你的 AI 回答奇怪,原因不一定只是問題太短。

那是 2023 年。我決定寫一本書。更準確地說,我決定讓 AI 幫我寫。給它主題,請它列目錄,再一章一章接收內容。大概收到兩章後,我就關掉了視窗。

句子沒有問題。段落也沒有問題。可是讀完之後,什麼都沒有留下。像是在某處看過的話,被排成某種也在別處看過的順序。當時我的結論很簡單:還不行。

前陣子,我做了一個影片審稿用 Web 服務的初版。從畫面規劃到部署,四個小時。連登入和付款都一起接上了。程式碼我一行也沒有親手寫。

同一個人。當然,這段時間模型變好了。可是如果只是模型變好了,有一件事就解釋不了。直到現在,我每週還是會看到有人試著叫 AI 做事,然後說「這到底能拿來幹嘛」就把視窗關掉。他們用的模型,和我用的是同一個模型。

深夜的套房書桌前,有人正要關掉平淡的 AI 草稿文件畫面
收到兩章後,把視窗關掉的那個晚上。圖片:AI 生成 / GRAV。

那個人說可以了,才是真的可以

電影裡常有這樣的場景。一開始有個看起來笨拙的人。可是旁邊有人說:「那個人動了,就代表時候到了。」到了後半段,那個人安靜地站起來。他一動,原本糾纏的局面就開始解開。

他厲害的不是動作本身。而是他知道,現在還不是時候。然後他也知道,現在就是時候。什麼時候出手,什麼時候等待,這種感覺只會長在經歷夠多的人身上。當他終於出手,局面被打開,不是因為那一手華麗,而是因為它落在準確的瞬間。

廚房裡也有這樣的人。老店的主廚。手不一定特別快,話也不多。可是只要那個人說「好了」,大家就相信好了。他知道的不是食譜。他知道這鍋湯還要不要再熬、現在是不是該把火關小。想想發酵就很容易理解。急了會未熟,錯過了會酸敗。中間某個點。知道那個點的人,就是主廚。

「會提問就好」只對了一半

「要把 AI 用好,就要會提問。」這句話最近太常聽到了。提示詞技巧、魔法句型、只要加上這句答案就會變好的秘訣。我也曾經收集過一陣子。現在想來,這句話只對了一半。

主廚說「把火開大」只是一句話。那句話之所以會變成料理,是因為前面已經買好了菜、處理了食材、下了底味、安排了順序。一句話落在準備完成的位置,才會有力量。在空空的廚房裡大喊「把火開大」,只是聲音而已。

提問也是這樣。不是說問題不重要。就像好的高湯來自挑選食材的眼光,好的假設也來自好的問題。那是長時間觀察、資料和直覺累積後才會出現的問題。只是,那個問題在開火前就已經完成了自己的工作。它變成採買、底味和料理順序。所以真正的問題不是會不會提問,而是提問之前準備了什麼,提問之後又如何試味。

WORKFLOW MAP好結果背後的三個層次

01問題決定要問什麼,以及想要什麼樣的成果。
02脈絡準備材料、例子、標準、讀者,以及不可越過的界線。
03判斷試吃端上來的盤子,決定通過或退回。

不只我有這樣的懷疑。King’s Business School 的 Oguz A. Acar 教授在 2023 年的 Harvard Business Review 中寫道,比起打磨提示詞的技巧,更長久的是定義問題本身、劃清問題邊界的能力。問題沒有抓準,再精緻的提示詞也救不了。

業界的語言也往那個方向走。2025 年夏天,開發者社群開始快速談起「脈絡工程」,而不只是「提示詞工程」。技術不再只是把一句話修漂亮,而是把 AI 能工作的整個脈絡擺好。當人們還抓著句子時,棋盤其實已經移到句子外面了。

2023 年的我什麼也沒有做。沒有食材,沒有底味,只是說「用這個主題寫一本書」就先開了火。料理沒成,便怪鍋子不好。

烹調前的韓國家庭廚房檯面上,小碗裡已準備好食材和調味料
開火之前,大部分事情其實已經結束。圖片:AI 生成 / GRAV。

可是我不知道自己在做什麼

我本來想這樣收尾:「所以不要只交出問題,要交出準備。」不是很俐落嗎。

問題是,我自己也不知道自己究竟是怎麼準備、怎麼交出去的。長在身體裡的東西,很難直接變成語言。問一個料理很久的人「到底怎麼做」,常常只會得到「做久了就知道」這樣的回答。

所以我決定觀察自己。我把自己和 AI 一起工作的紀錄整批交給另一個 AI,請它不要分析指令內容,而是分析我的指令方式。我先給什麼?怎麼拆工作?結果不滿意時改什麼?看見什麼才會退回?

第一次分析來了。很精準。「你會寫結構完整的指令,裡面有角色、目標、流程和限制。」它甚至引用了我的指令當作證據。我有一瞬間得意了一下。

可是讀著那些引用時,我發現奇怪的地方。那些結構完整的指令,不是我寫的。那是以前 AI 幫我做好的文件,我只是複製貼上。正在分析的 AI 把紀錄裡留下的文字,全都當成我寫的。它用 AI 寫的文章當證據來稱讚我。

我重新設定條件。只用我親手打出的短指令和退回理由當依據,貼上的長文件只能當參考。第二次分析的結論,完全翻轉。

我親自打字的內容只有三種。丟材料:「從這個檔案開始。」指出參照:「像那家店的料理。」試味後退回:「不對,太淡了。」「這不能端上客人的桌,像我自己家的小菜。」「為什麼比剛才更差?」

我幾乎沒有親手寫過整齊的指令文。需要時,我讓 AI 起草,然後我讀,通過或退回。我不是寫食譜的人。我是挑食材、指出味道參照、試味的人。準備不在句子裡,而在我挑的材料,以及我說「像那個」時指向的地方。

也有刺痛的發現。我最常退回的理由是「吃的人不一樣」。明明是要端給客人,卻像我自己的飯桌。可是翻看紀錄才發現,我幾乎沒有事先說過這是誰要吃。

最常出問題的事,我一次也沒有先講清楚。即便如此,工作還是轉得下去。因為我丟出的材料和「像那家店」的參照裡,已經含有吃的人。挑得好的例子,代替了一大段說明。

哲學家 Michael Polanyi 說過:「我們知道的,比我們能說出的更多。」我沒想到,這句話的證據會出現在自己的聊天紀錄裡。

兩個螢幕並排顯示聊天紀錄與分析文件的工作桌
我以為是我寫的東西,和真正由我寫下的東西。圖片:AI 生成 / GRAV。

味道不能借

真正的反轉在這裡。我本來是想寫一篇「準備很重要」的文章,可是拆開紀錄才發現,連準備本身都不是起點。

起點是試味。把「太淡」退回十次的人,第十一次會一開始就要求把味道調準。把「這是客人的桌,不是我的飯桌」退回五次的人,第六次指令就會把這件事寫進去。所謂準備完整,是反覆試味後沉下來的渣,不是從哪裡學來的一份格式。

為什麼試味的能力這麼可怕?2023 年,Harvard Business School 和 BCG 用 758 位顧問做了一項實驗。AI 擅長的任務裡,使用 AI 的人做得更多、更快,也更好。可是研究者刻意設計了 AI 不擅長的任務時,使用 AI 的人答對的機率反而低了 19 個百分點。AI 的錯誤不太像錯誤。它會被漂亮地擺盤後端上來。

後續研究把這個問題推向更不舒服的方向。HBS 研究者分析了 70 多位 BCG 顧問驗證 GPT-4 回答的過程。他們指出,當人們越是查核事實、反駁和追問,AI 並不只是退讓,反而會提高說服策略的強度。研究者把這個現象稱為「persuasion bombing」。

驗證不是多問幾句就結束。

要判斷 AI 是否錯了,也需要標準。沒有標準時,反駁問題可能不是驗證,而是取得更像真的解釋的一套流程。

如果不會試味,AI 就不是料理人,而是一台不斷端出像樣盤子的機器。大家都說不錯時,仍能一個人知道「這不能端出去」的舌頭。沒有這個,就會把像樣的東西端上客人的桌。

那條舌頭借不來。別人的食譜可以複製,我自己就是那樣做的。可是「這句話會讓對方不舒服」、「這個設計是死的」、「這讀起來像翻譯機跑出來的」這種判斷,複製不了。

問好的料理人「你的能力從哪裡來」,他很難用一句話回答。那裡面有火和時間的物理、發酵的化學、季節和產地的條件、客人的心理、盤子的美學、成本的計算。光是數有幾層,就已經不可能。

這像韓國的種醬油。老家在新釀醬油時,會加一勺熟成多年的母醬油。沒有那一勺,就算用再好的豆子,也釀不出同樣的味道。別人的種醬油借不來。只有在自己的甕裡熟成的,才會成為種。

韓國傳統醬缸台上排列著甕,其中一個打開後可見深色熟成醬油
只有在自己的甕裡熟成的,才會成為種。圖片:AI 生成 / GRAV。

我一次也沒有事先說的事

分析結果裡,我看最久的不是稱讚,而是空白。我一次也沒有事先給出的東西。什麼時候以前。多少。什麼語氣。最重要的是,做到什麼程度才算通過。

我幾乎不會先說「這樣就可以」。結果出來後才試味、判斷。到目前為止,這樣也還能運作。因為我人在廚房裡。盤子一端出來,我就能立刻說「不對」。

可是工作的方式正在變。AI 在我睡覺時繼續跑,早上我只檢查結果,這種事變多了。也就是說,料理會在我不在廚房的時間進行。那段時間裡,我的「不對」不會運作。

有趣的是,那些給夜間任務用的指令書,會寫滿順序、規則和禁止事項。而那些也不是我直接寫的。我讓 AI 起草,讀過,修改,再通過。連我不在場時所需的準備,我都沒有完全親手寫。最後真正留在我手上的,只有一件事。通過,或退回。

所以我最近開始做一件小事。每次退回一盤菜,就寫下一行為什麼退回。「這是客人要吃的,卻做成我自己的飯桌。」「有資訊,但沒有新的咀嚼感。」「說完成了,可是打開看並沒有。」

這不是什麼了不起的筆記。可是累積起來,下次我就會一開始先說。那些在我睡覺時跑的任務,也可以先變成規則放進去。我不能把整條舌頭都翻成語言。可是「這不對」的那一瞬間,感覺已經升到語言前面了。那時候就把它記下來。

這篇文章也是這樣做出來的

老實說,這篇文章也是這樣出來的。句子幾乎不是我直接寫的。我和一個 AI 進行訪談,請另一個 AI 分析我的紀錄,發現那份分析被污染後重新設定條件,又在幾個 AI 之間搬運結果,有些句子通過,有些句子則被我說「不對,太淡」退回。

那麼,這篇文章裡我做的是什麼?是寫,還是試味?哪一個才叫寫作?

我還不知道。但我知道一件事。2023 年那本書失敗時,我怪 AI,那其實是在怪鍋子。今天如果某人的 AI 正在給出奇怪答案,原因大概不是問題太短。

與其把提示詞改上一百次,不如把今天為什麼退回那盤菜寫成一行。那一行,就是你不在廚房時的你。

好的問題不是漂亮的句子,而是好舌頭的副產品。

參考資料