Maki Chiang|Notes
  • Home
  • About
Sign in Subscribe

arxiv

A collection of 1 post
跳出 BPE 的局部最佳解:用 Convex Optimization 重新思考 Tokenization
arxiv

跳出 BPE 的局部最佳解:用 Convex Optimization 重新思考 Tokenization

大多數人把 tokenizer 當成模型訓練前的固定工序,但這篇新論文提醒我們:tokenization 本身其實就是一個近似最適化問題。當研究者把它從 BPE 這類貪婪法,重寫成可鬆弛、可求界的 convex optimization 問題後,tokenizer 不再只是工程習慣,而開始變成能被系統性設計與驗證的模型基礎設施。
28 5月 2026 7 min read
Page 1 of 1
Maki Chiang|Notes © 2026
  • Sign up
Powered by Ghost