arxiv 跳出 BPE 的局部最佳解:用 Convex Optimization 重新思考 Tokenization 大多數人把 tokenizer 當成模型訓練前的固定工序,但這篇新論文提醒我們:tokenization 本身其實就是一個近似最適化問題。當研究者把它從 BPE 這類貪婪法,重寫成可鬆弛、可求界的 convex optimization 問題後,tokenizer 不再只是工程習慣,而開始變成能被系統性設計與驗證的模型基礎設施。