當 Prompt Engineering 走到盡頭：從 LLM 長度控制失效看模型訓練的根本侷限

我們時常陷入一個迷思：只要提示（prompt）寫得夠好，大型語言模型（LLM）就能解決一切問題。然而，當前頂尖模型普遍無法精準遵循「輸出 500 字」這類簡單的長度指令，這現象揭示了一個更深層的困境。這並非提示工程的失敗，而是一個系統性的能力缺陷，根源於模型的訓練目標本身。這個看似微小的長度控制問題，實則是一個絕佳的案例，提醒我們辨識提示工程的邊界，並思考何時該停止修改提示，轉而審視模型底層的訓練方法與可控性（controllability）設計。

為什麼連「寫 500 字」這麼簡單的指令都做不到？

你可能也遇過類似的場景：要求模型生成一篇 800 字的短文，卻只得到 450 字；或請它用 20 個字總結，它卻滔滔不絕寫了 60 字。這種失控感並非個案。Meta AI 研究者近期發表的一篇論文 《Following Length Constraints in Instructions》，就系統性地驗證了這個問題。他們發現，包含 Llama 3、GPT-4o、Claude 3 Opus 在內的當代最強模型，都難以精確遵守長度限制。

實驗數據非常直觀。例如，當研究人員要求 Llama-3-70B-Instruct 模型生成 500 個單詞的內容時，它平均只會輸出約 350 個詞。這種偏差並非隨機，而是一種系統性的傾向——模型普遍更擅長生成比指令要求更短的內容。這背後的原因並非模型「看不懂」指令，而是其核心訓練目標與「精準計數」這類任務之間存在根本衝突。

大型語言模型的預訓練目標，是預測下一個詞元（token），使其生成的文本序列在統計上看起來「合理」。而在對齊（alignment）階段，如 InstructGPT 所奠定的典範，模型被教導要變得「有幫助、無害且誠實」。在這整個過程中，「嚴格遵守字數」從來不是一個高優先級的優化目標。

模型的內在動機是產出高品質、流暢的內容，而不是成為一個精準的計數器。當「寫得好」與「寫到剛好的長度」衝突時，模型往往會優先滿足前者，這也解釋了為何長度控制會成為一個普遍的系統性缺陷。

當我們發現反覆修改提示都無法穩定解決一個問題時，或許該問的不是「我的 prompt 該怎麼改？」，而是「這個模型的核心訓練目標，是否真的包含了我想強化的那項能力？」

為什麼提示工程無法解決長度控制問題？

這個長度控制的案例，為所有 AI 開發者與研究者劃下了一條重要的界線：提示工程的有效範圍。我們花了大量時間學習各種提示技巧，從思維鏈（Chain-of-Thought）到各種角色扮演，試圖「哄騙」或「引導」模型產出我們想要的結果。

這些提示工程方法在提升推理、創意或遵循複雜邏輯方面確實有效。然而，對於模型訓練數據與目標中本就缺乏的底層能力，提示能發揮的作用就非常有限，長度控制便是其中一個典型。

長度控制失效提醒我們，有些問題無法透過在脈絡（context）中增加更多指令來解決。模型的行為最終受其權重（weights）中編碼的知識與行為模式所主導。如果一個模型從未被系統性地訓練過如何精準控制輸出長度，那麼任何提示都只是在與模型根深蒂固的生成偏好進行一場勝率不高的拔河。

這讓我們必須拉高視角，思考「可控性」這個議題。一個真正可控的 AI 系統，不應只依賴用戶端的提示技巧，更需要在模型設計與訓練階段就將特定的控制維度納入考量。

這也意味著，評估一個模型時，我們不只要看它在標準 benchmark 上的表現，更要檢視它在各種「元指令」（meta-instructions）下的行為穩定性，例如格式、風格、語氣，以及我們今天討論的長度。

LIFT-DPO 如何從根本解決問題？

既然提示工程有其極限，那該如何從根本上解決問題？Meta 的研究團隊提出了名為 LIFT-DPO（Length Instruction Fine-Tuning with Direct Preference Optimization）的方法，這是一個漂亮的示範，展示了如何透過調整訓練方法來彌補能力的缺陷。

他們的核心思路很直接：如果模型不懂得「遵守長度」，我們就直接教它。研究團隊運用了 DPO（直接偏好優化）這項強大的對齊技術。DPO 是一種比傳統 RLHF 更有效率的微調方法，它讓模型直接從「哪個回應更好」的成對比較數據中學習，而不需要訓練一個獨立的獎勵模型。

具體作法如下：

• 建構偏好數據集：他們針對長度指令，創建了一個新的數據集。對於同一個指令，一個精準符合長度要求的回應被標記為「首選」（chosen），而一個長度偏差較大的回應則被標記為「非首選」（rejected）。
• 進行 DPO 微調：利用這個充滿長度偏好的數據集，對 Llama 3 進行微調。這個過程等於是直接告訴模型：「嘿，能夠遵守字數限制的答案，才是我們更想要的答案。」

結果相當驚人。經過 LIFT-DPO 微調後，Llama-3-70B-Instruct 在長度控制上的平均絕對百分比誤差（MAPE）從原本的 31.2% 大幅下降至 4.5%。這項改進並未犧牲模型在其他任務上的通用能力。

這項成果有力地證明，長度控制的缺陷是一個訓練問題，而非一個無法解決的架構問題。解方不在於更複雜的提示，而在於更精準的訓練數據與對齊目標。

長度控制的故事是一個縮影。它告訴我們，在打造更強大、更可靠的 AI 系統的道路上，我們需要同時掌握提示工程與模型訓練這兩把鑰匙。理解何時該精雕細琢我們的指令，以及何時該勇敢地承認模型的根本侷限並回到訓練場上，將是未來區分優秀 AI 實踐者的關鍵能力。

延伸閱讀

• Weston, J., et al. (2024). "Following Length Constraints in Instructions." arXiv:2406.17744.
• Hugging Face Blog: "Fine-tune Llama 2 with DPO"
• Rafailov, R., et al. (2023). "Direct Preference Optimization: Your Language Model is Secretly a Reward Model." arXiv:2305.18290.

我是江中喬，專注於 AI Agent Architecture、Memory Governance 與 Cognitive Diversity，持續研究如何打造能夠長期協作、可信任且可治理的 AI 系統。