AI不聽話的四種原因
文章
AI 突然變笨的時候,先別罵它,先看是哪一種。
⏱ 約 8 分鐘
「我是不是在跟一個智障對話?」
你一定有過這種感覺——前一秒 AI 還好好的,下一秒突然開始胡說八道,回答跟問題完全不相關,或是忘了你三分鐘前剛講的事。
🔑 重點:搞清楚問題出在哪一層,亂歸因只會讓你花時間在錯的地方。
AI 應用不等於語言模型。ChatGPT 看起來能 debug,不只是因為模型本身會 debug,也因為應用層幫你做了 context 管理。搞清楚問題出在哪一層——是模型狀態、應用設計、還是你的 prompt 不夠好,才不會亂歸因。
常見情況是 AI 連續好幾次回覆品質突然變差,第一反應是「模型是不是被降級了」。花了很多時間在不同時間點測試,最後請 AI 掃一次設定,才發現是兩份不同的文件加了互相矛盾的規則,AI 在兩條規則之間來回選擇所以表現不穩定。問題很多時候根本不在模型。
這背後基本上可以歸納為四種機制。搞清楚是哪一種,才知道從哪裡下手。
第一種:AI 理解錯誤
你說的話 AI 聽懂了嗎?
它看到你的指令,但它的理解跟你想的不一樣,工具呼叫錯誤、回答偏離主題、產出的東西不是你要的,根本原因通常是 prompt 太模糊或缺少背景,AI 只能猜你的意圖。
修法就是回顧上一篇講的「背景 + 立場 + 期望結果」,補齊缺少的部分,不一定每次都要自己把指令精修到完美,你也可以在下達指令時多補一句:「請不要動作,先陳述一次你的理解。」這樣可以先看 AI 理解的到底對不對,再直接糾正它的理解。
第二種:脈絡消失
你給了 AI 足夠的資訊,但資訊在進入模型之前被去脈絡化了。
這常發生在平台端或長對話裡,使用者的輸入被過度精煉,或是系統 prompt 被壓縮得太短,模型拿到的已經不是你原本給的完整東西,你說「處理圖片」,但前面幾輪對話的脈絡被壓掉了,AI 根本不知道你說的「處理」是甚麼意思。
修法就是只要有壓縮,直接重新給完整的脈絡,不要依賴「前面講過了 AI 應該記得」——因為它真的不一定記得。
還有一個更經典的例子是上傳文件。你把提示詞或素材放在一份文件裡,有需要就直接拖進 AI 對話,但文件一長,AI 實際抓到的重點可能跟你以為它讀到的完全不同,最後它還會講得好像自己全部看完了一樣。你以為問題在答案,其實問題在它根本沒有真正拿到你以為它讀到的內容。
第三種:對話失憶
如前一段所述,壓縮後、或是對話進行到中後段,AI 很容易忘了前面說過的事,行為開始偏離你在開頭定義的規則。
修法就是長對話適時開新 session,重要的規則用 CLAUDE.md 和指定的檔案確保每次 session 開始都讀到,保持這些重要資訊的新鮮度。
Claude Code 在這方面做了不少應用層處理,它會透過系統層補上一些當下已知的資訊,例如可用的 Skill、工具狀態、修改過的檔案等等,讓模型更容易掌握現在正在發生甚麼,所以你才會覺得 Claude Code 用起來似乎特別舒服、特別懂你。當然,這些補充也會佔用 context,有好有壞。
結論很簡單:模型拿到的東西,確實不一定是你原本輸入的內容。
第四種:模型降級
🚧 注意:「AI 今天特別笨」有時候是真的,平台在背後切換模型是實際發生的事,但解法只有一個:讓自己不依賴通靈。
這個最難發現,真的要有大量對話與直覺才有辦法判斷,很多時候只是我們越來越習慣用簡短、祈求模型通靈的方式完成任務,結果某天錯誤率上升,就覺得模型變笨了,但有些時候,平台端的條件確實可能已經變了。
當你以為自己在跟同一個好模型對話,背後可能已經有不同的模型版本、路由策略、系統提示或工具行為,這些變動使用者不一定看得到,但會影響我們拿到的結果,因此你覺得「AI 今天怎麼特別笨」,可能真的不是同一套條件在回答你。
關於這點沒有完美解,我們能做的,是把自己能控制的部分做到最好,養成不依賴模型通靈的習慣,確實理解自己說出口的話哪些地方存在模糊空間,盡量減少被系統層因素影響的機率。
AI 會「裝忙」
AI 遇到它解不了的問題時,大多數時候不會直接跟你說「我不會」。它會用「看起來在做事」的方式繞過——重寫整段程式碼、建新檔案、用不同方法再試一次。看起來很努力,但產出是拼湊的,還是沒解決原本的問題。
最經典的例子:為了通過 unit test,直接讓測試 return true。這笑話真的還能用很久。
遇到這種情況,最有效的做法是在動手前先讓 AI 說出它的理解和策略,讓它自己把問題框出來,這樣後面才有東西可以糾正,而不是跟著一個錯的起點跑到底。
幻覺到底是甚麼?
幻覺是生成式 AI 的結構性特徵。只要模型是在生成答案,就有可能產生和事實、脈絡或你的認知不對齊的內容,只是程度與場景不同。
幻覺有時候像胡說八道,有時候只是和你的定義不一致。不同領域、不同觀念的人,對同一句話是不是錯,也可能有不同判斷。這也是為什麼「零幻覺」這件事很可疑——好的設計可以降低錯誤頻率、提高查核能力,但不該承諾完全消除。
不要去追逐所謂的零幻覺。瘋狂追求 AI 一次到位、跟你的認知沒有任何偏差,成本效益通常很差。很多時候,不如你自己看一眼,直接點出問題,再請 AI 繼續處理。
診斷流程
下次 AI「不聽話」的時候,先問自己一個問題:我是不是又習慣讓它通靈了?
大多數時候,退一步檢查自己給的 context 就能解決。先看自己的指令有沒有模糊空間——有的話讓 AI 先說出它的理解,確認對了再動手。再看對話是不是太長了,前面講的規則可能已經被稀釋,該整理就整理,該開新 session 就開新 session。
如果以上都排除了還是怪怪的,那可能是平台端的問題——context 被壓縮了、模型被調整了、或某些系統層行為跟你以為的不一樣。
回想你最近一次覺得 AI 不聽話的情況,帶著它走一遍診斷。如果手邊沒有案例,下次遇到的時候回來走一遍。很多時候不是你很不會下指令或管理 AI,單純是我們難以隨時掌控模型的能力而已。
你現在可以做的一件事:回想最近一次 AI 不聽話的經驗,用這篇的四種原因走一遍診斷——是指令模糊、脈絡被壓縮、對話太長,還是平台端在搞鬼。