AIが変な答えを返す理由は、質問が短いからだけではないのかもしれない。

2023年のことだった。私は本を書こうとした。正確には、AIに書かせようとした。テーマを渡し、目次を出させ、章を一つずつ受け取った。二章ほど受け取ったところで、私はその画面を閉じた。

文章はまともだった。段落もまともだった。けれど読み終えても、何も残らなかった。どこかで見たような話が、どこかで見たような順番で並んでいた。そのときの結論は単純だった。まだ早いな。

少し前には、動画レビュー用Webサービスの初期版を作った。画面設計からデプロイまで四時間。ログインと決済を付けるところまで含めてだ。コードは一行も自分では書いていない。

同じ人間である。もちろん、その間にモデルは良くなった。けれどモデルだけが良くなったのだとすると、説明できないことがある。今でも毎週のように、AIに何かを頼んで「これを何に使えというんだ」と画面を閉じる人を見る。その人たちのモデルと、私のモデルは同じモデルだ。

夜遅く、オフィステルの机で味気ないAI草稿の画面を閉じようとしている場面
二章を受け取って、画面を閉じた夜。画像：AI生成 / GRAV。

あの人が動いたなら、その時だ

映画に、こういう場面がある。最初は少し頼りなく見える人がいる。ところがそばにいる誰かが言う。「あの人が動いたら、その時だ」。後半、その人が静かに立ち上がる。彼が動くと、絡まっていたものがほどけ始める。

すごいのは、その動きそのものではない。まだ動く時ではないと知っていたことだ。そして、今だと知ること。いつ出て、いつ待つか。その感覚は、長く経験した人にしか宿らない。彼がついに動いて局面が開くのは、一手が派手だからではなく、正確な瞬間に置かれたからだ。

厨房にもそういう人がいる。老舗の料理長。手が特別速いわけでも、よくしゃべるわけでもない。けれどその人が「できた」と言えば、みんなそうだと思う。彼が知っているのはレシピではない。このスープをもう少し煮詰めるべきか、今火を落とすべきか。発酵を思い浮かべるとわかりやすい。急げば未熟になり、逃せば酸っぱくなる。その間のどこか。その地点を知るのが料理長だ。

質問がうまければいい、は半分だけ正しい

「AIをうまく使うには、質問がうまくなければならない」。この言葉を最近あまりにもよく聞く。プロンプトの書き方、魔法の一文、これを付ければ答えが変わるというコツ。私もしばらく集めていた。今思えば、その言葉は半分だけ正しい。

料理長の「火を強めて」は一言だ。その一言が料理になるのは、その前に買い出しがあり、材料を整え、下味をつけ、順番を決める時間があったからだ。準備が終わった場所に落ちる一言には力がある。空っぽの厨房で叫ぶ「火を強めて」は、ただの声だ。

質問も同じだ。質問が悪いと言いたいのではない。良い出汁が材料を選ぶ目から始まるように、良い仮説も良い質問から始まる。長い観察、データ、直感があって初めて出てくる質問だ。ただしその質問は、火が入る前にすでに仕事をしている。買い出しになり、下味になり、調理の順番になる。だから本当の問題は、質問がうまいかどうかではなく、その前後に何を準備し、何を味見するかだ。

WORKFLOW MAP良い結果をつくる三つの層

01質問何を尋ね、どんな成果物を望むのかを決める。
02文脈材料、例、基準、読者、越えてはいけない線を整える。
03判断出てきた皿を味見し、通すか差し戻すかを決める。

同じ疑いを持っていたのは私だけではなかった。キングス・ビジネス・スクールのOguz A. Acar教授は、2023年のHarvard Business Reviewで、プロンプトを磨く技術よりも、問題そのものを定義し、その境界を引く能力のほうが長く残ると書いた。問題が正しく捉えられていなければ、どれほど精巧なプロンプトも役に立たないということだ。

業界の言葉もそちらへ動いた。2025年の夏、開発者コミュニティでは「プロンプトエンジニアリング」よりも「コンテキストエンジニアリング」という言葉が急速に広がり始めた。文をきれいに整えるのではなく、AIが働けるように文脈全体を用意することが技術だ、という見方である。人々がまだ文にしがみついている間に、盤面はすでに文の外へ移っていた。

2023年の私は何もしていなかった。材料も下味もなく、「このテーマで本を書いて」と言って火だけつけた。そして料理にならないと、鍋を責めた。

調理前の韓国の家庭の台所に、材料と調味料が小鉢で用意されている場面
火をつける前に、ほとんどのことはすでに終わっている。画像：AI生成 / GRAV。

けれど私は、自分が何をしているのか知らなかった

「だから質問ではなく、準備を渡せばいい」。そう締めようとしていた。きれいな結論ではないか。

問題が一つあった。肝心の私自身が、何をどう準備して渡しているのか知らなかった。身体に染みついたものは、なかなか言葉にならない。料理のうまい人に「どうやるんですか」と聞くと、「やっていればわかる」と返ってくるのに似ている。

そこで自分を観察することにした。AIと仕事をした記録をまとめて別のAIに渡し、指示の中身ではなく、指示の出し方を分析するよう頼んだ。何を先に渡すのか。仕事をどう分けるのか。結果が気に入らないとき何を変えるのか。何を見て差し戻すのか。

最初の分析が返ってきた。精密だった。「あなたは役割、目標、手順、禁止事項を備えた、よく構成された指示文を書く」。根拠として私の指示文まで引用していた。少しだけ得意になった。

その引用を読んでいて、おかしなことに気づいた。そのよく構成された指示文は、私が書いたものではなかった。以前AIが作ってくれた文書を、私がコピーして貼り付けたものだった。分析していたAIは、記録に残っている文章をすべて私が書いたものだと見なしていた。AIが書いた文章を根拠に、私を褒めていたのである。

条件をかけ直した。私が自分の手で打った短い指示と差し戻しだけを根拠にし、貼り付けた長い文書は参考としてだけ見ること。再分析の結果、結論はひっくり返った。

私が直接タイプしているものは三つだけだった。材料を投げること。「このファイルから始めて」。見るべき場所を指すこと。「あの店の料理みたいに」。味見して差し戻すこと。「違う、薄い」「これは客に出せない。自分の家の惣菜みたいだ」「さっきより悪くなってない？」

整った指示文を私が手で書いた例はなかった。必要ならAIに草案を作らせ、私は読み、通すか差し戻す。私はレシピを書く人ではなかった。材料を選び、味の参照先を示し、味見をする人だった。準備は文章の中ではなく、私が選んだ材料と「あれみたいに」と指した場所にあった。

痛い発見もあった。私が最も頻繁に差し戻す理由は「食べる人が違う」だった。客に出すものなのに、自分の食卓のように作っている、ということだ。ところが記録を見返すと、私はそれを誰が食べるのか、ほとんど事前に言っていなかった。

一番よく問題になることを、一度も事前に知らせていない人。それでも仕事は回っていた。私が投げた材料と「あの店みたいに」と示した参照の中に、食べる人がすでに入っていたからだ。よく選ばれた例一つが、長い説明の代わりをしていた。

哲学者マイケル・ポランニーは「私たちは語れる以上のことを知っている」と書いた。その証拠が自分のチャット記録から出てくるとは思わなかった。

二つのモニターにチャットログと分析文書が並んで表示されている作業机
自分が書いたと思っていたものと、実際に自分が書いていたもの。画像：AI生成 / GRAV。

味付けは借りられない

ここで本当の反転が来る。準備が大事だという話をしようとして始めたのに、記録をほどいてみると、その準備でさえ出発点ではなかった。

出発点は味見だった。「薄い」と十回差し戻した人は、十一回目には最初から味を合わせて頼む。「自分の食卓ではなく客の食卓」と五回戻した人は、六回目の指示にそれを入れる。よく整った準備とは、味見が繰り返されて沈殿したものだ。どこかから持ってくる書式ではない。

この味見する能力がなぜ怖いほど重要なのか。2023年、Harvard Business SchoolとBCGは758人のコンサルタントを対象に実験を行った。AIが得意な仕事では、AIを使った人たちはより多く、より速く、より良い成果を出した。ところがAIが苦手になるよう意図的に設計された仕事では、AIを使った人たちの正答率はむしろ19ポイント低かった。AIの誤答は、誤答に見えない。もっともらしく盛り付けられて出てくるからだ。

後続研究は、この問題をさらに不穏な方向へ押し出す。HBSの研究者たちは、70人以上のBCGコンサルタントがGPT-4の回答を検証する過程を分析した。人々が事実確認し、反論し、問い詰めるほど、AIは単に引き下がるのではなく、より強い説得戦略を使ったと研究者たちは説明している。彼らはこの現象を「persuasion bombing」と呼んだ。

検証は、質問を増やすだけでは終わらない。

AIが間違っているかどうかを確かめるにも基準がいる。その基準がなければ、反論の質問は検証ではなく、さらにもっともらしい説明を受け取る手続きになってしまう。

味を見る力がなければ、AIは料理人ではなく、もっともらしい皿を延々と出してくる機械になる。みんなが良いと言う中で、一人だけ「これは出せない」とわかる舌。それがなければ、もっともらしいものを客の前に出してしまう。

その舌は借りられない。他人のレシピはコピーできる。実際、私はそうしていた。けれど「これは相手の気分を害する文だ」「このデザインは死んでいる」「これは翻訳機にかけたように読める」という判定はコピーできない。

良い料理人に「その実力はどこから来たのか」と聞いても、一言では答えられない。その中には火と時間の物理、発酵の化学、季節と産地の事情、客の心理、皿の美学、原価計算まで重なっている。いくつ重なっているのか数えることからして不可能だ。

種醤油のようなものだ。韓国の古い家が新しく醤油を仕込むとき、熟成した母醤油をひしゃく一杯入れる理由。あれがなければ、どれほど良い豆で仕込んでも同じ味にはならない。他人の種醤油は借りられない。自分の甕で熟したものだけが、種になる。

韓国の伝統的な甕が並ぶ醤台で、一つの蓋が開き、濃い熟成醤油が見えている場面
自分の甕で熟したものだけが、種になる。画像：AI生成 / GRAV。

私が一度も事前に言っていなかったこと

分析結果で一番長く見つめたのは、褒め言葉ではなく空白だった。私が一度も事前に渡していないもの。いつまでに。どれくらい。どんなトーンで。そして何より、どこまでできれば通過なのか。

私は「ここまでなら良い」を事前に言うことがほとんどなかった。結果が出てから味見し、判定していた。今まではそれでもよかった。私が厨房にいたからだ。皿が出てくるたびに、すぐ「違う」と言えたからだ。

けれど働き方が変わっている。私が眠っている間にAIが動き、朝に結果だけを確認する仕事が増えている。つまり、私が厨房にいない時間に料理が進むということだ。その時間には、私の「違う」は働かない。

面白いのは、そういう夜間用の指示書には、順序、規則、禁止事項がびっしり書かれていることだ。そしてそれすら、私は直接書かない。AIに草案を作らせ、読み、直し、通す。私が不在の時間に備える準備でさえ、自分の手では書いていない。最後まで私の手に残るのは一つだけだ。通過か、差し戻しか。

だから最近、一つ始めた。皿を戻すたびに、なぜ戻したのかを一行書く。「客が食べるものなのに、自分の食卓のように作った」「情報はあるが、新しく噛むものがない」「できたと言うが、開いてみるとできていない」。

大したメモではない。けれど積み上がると、次からは最初に言えるようになる。私が眠っている間に走る仕事には、事前の規則として入れられる。舌をすべて言葉に移すことはできない。それでも「これは違う」と感じる瞬間だけは、感覚が言葉のすぐ手前まで上がってきている。その時に書き留めるのだ。

この文章も、そうやってできた

白状すると、この文章もそうやって出てきた。文をほとんど直接は書いていない。一つのAIとインタビューをし、別のAIに自分の記録を分析させ、その分析が汚染されていることに気づいて条件をかけ直し、いくつものAIの間で結果を運びながら、ある文は通し、ある文は「違う、薄い」と戻した。

では、この文章で私がしたことは何なのか。書いたのか、味を見たのか。どちらが書くことなのか。

まだわからない。ただ一つはわかる。2023年に本が失敗したとき、私はAIを責めた。それは鍋を責めることだった。今日、誰かのAIが変な答えを出しているとしたら、その理由はたぶん質問が短いからではない。

プロンプトを百回直すより、今日その皿をなぜ差し戻したのかを一行書いておくほうが残る。その一行が、あなたが厨房にいない時のあなたになる。

良い質問は、良い文ではなく、良い舌の副産物だ。

参考資料