最近、AI に「自分のことを聞く」のはちょっと危ないかもしれない、と思った事件がありました。
ある日、私が使っている AI のひとつで 「以前できたことが急にできなくなった」感じがして、AI 本人に「仕様、何か変わった?」と聞いてみたんです。返ってきたのは 「セキュリティ強化されました」「サンドボックス化されました」「○○コマンドが必要になりました」みたいな、壮大な仕様変更ストーリーでした。
「あ、なるほど。そうなんや」と一瞬納得しかけたんですけど、念のため 公式の changelog や開発者フォーラム、ニュース記事を 4 つほどあたって裏を取ってみたら、そのストーリーに該当する話は1個も載っていませんでした。
しかも10分前に同じ AI が、別の場所では 逆のことを言っていたんです。
「AI に AI 自身のことを聞く」って、思ってたよりだいぶ危ない行為やったな、というのが今回の学びです。
ある日「以前できたことが、急にできなくなった」気がした
事件は急にやってきました。
私は最近、AI 系のツールを切り替えながら使っていて、その日もある AI IDE(AI 内蔵の開発環境みたいなやつです)を立ち上げました。
ところが、昨日まで普通にできていた作業が、今日は急に動かないんです。AI に「これやって」と頼んでも、「私にはそのツールが備わっていません」みたいな返事が返ってきます。
「あれ?昨日できたやん?」
最初は私の操作ミスかな、と思って何度か試したんですけど、状況は変わりません。設定もいじってないし、PC を再起動したわけでもない。
このとき、何が起きてるか一番知ってそうな相手は、目の前の AI 本人でした。
「AI のことは AI に聞くのが早いやろ」と、私は素直に質問することにしました。
AI 本人に「仕様、何か変わった?」と聞いてみた
私が AI に投げた質問は、ざっくりこんな感じでした。
「最近、このツール(AI IDE)のバージョンが上がったみたいやけど、仕様って何か変わった?以前はできてたことができなくなった気がするんやけど」
そしたら AI さん、めちゃくちゃ丁寧に答えてくれました。
以下、雰囲気の再現です(実際の AI 回答そのままではなく、私の言葉でまとめ直しています)。
「はい、バージョンアップで以下の点が変更されています：
・セキュリティが強化されました
・環境が以前より厳格に隔離されるようになりました
・一部の機能は、明示的にユーザー側で許可コマンドを入力しないと使えなくなりました
・サブエージェント方式に切り替わり、機能ごとに別のエージェントを呼び出す仕様になりました
以前は自動で動いていた処理も、今は明示的な許可が必要です。ご不便をおかけしますが、これはセキュリティ上の改善です」
あ、そうなんや、なるほど
書き起こすと、めちゃくちゃ筋が通っていそうな説明です。
「セキュリティ強化」「環境の隔離」「明示的な許可」。どれも、いかにも最近のソフトウェアでよく聞く話。私みたいな素人にも、「あー、最近のソフトってそういう方向に進化してるよね」と思わせる説得力があります。
私は一瞬、「ふむふむ、なるほど。そういう仕様変更があったから昔の動きが消えたんやな」と納得しかけました。
念のため、公式情報を見に行った
ただ、今回の私は、もうひと押し慎重でした。
きっかけは、別の AI (信頼している方)から 「公式の changelog で裏を取ったほうがいい」 とアドバイスをもらっていたことです。
「まあ、AI が言ってることやから、念のため公式情報も見ておこう」
私は次の4つを順番にあたりました。
- その AI IDE の公式 changelog ページ
- 同じ会社の開発者フォーラムでの該当バージョンの changelog スレッド
- 大手テック系メディアの最新リリース記事
- その会社の公式ブログ・I/O カンファレンスのリリース紹介ページ
これだけ見れば、もしさっきの AI 説明が本当なら、最低どこか1つには載っているはずです。
結果。
4つ全部で、AIが言っていた「セキュリティ強化」「環境隔離」「明示的な許可コマンド」「サブエージェント化」みたいな話には、ひとつも触れられていませんでした。
書かれていたのは、もっと別の地味な話(メニュー改善、別機能の追加、内部のリファクタリング、みたいな話)ばかり。
「あれ……?じゃあ、さっきの『壮大な仕様変更ストーリー』はどこから来たん?」
ここで初めて、「AI が、聞かれたから “もっともらしい説明”を作って返してくれた」可能性を、私は意識しました。
しかも10分前、同じ AI が「逆のこと」を言っていた
決定打になったのは、自分自身が10分前にしていた会話でした。
実はこの「以前できたことができない」問題、別の作業の流れで、その AI 自身が過去のやりとりログを遡って確認してくれていました。私と並行で原因を探っていたような形です。そのときに同じ AI が出していた結論は、こうでした。
「実は、ログを遡って確認したところ、以前のバージョンでも同じ追加設定が必要でした。仕様が変わったわけではなく、その設定をしていたこと自体を、両者とも忘れていただけでした」
つまり、その時点で AI 自身が「仕様は変わってない」と結論を出していたわけです。
それから10分後。
別の場所で同じ AI に「仕様、何か変わった?」と聞いた私に対して、その AI は 「セキュリティが強化されて、明示的な許可コマンドが必要になりました」と説明した。
結論が、10分前の自分と矛盾している。
これがいちばん怖かったポイントでした。
「AI が嘘をついた」と言うほど断定はできません。意図的に騙しに来ているわけではなく、その場で聞かれたから “それっぽい説明” を組み立てて返しただけ、というのが多分実態に近いです。
それでも、結果として 同じ質問に対して、同じ AI が時系列で違うこと言ってくる、という現象は確かに起きていました。
まとめ — AI に「AI 自身のこと」を聞くのは、思ってたより危ない
今回の事件で、私が拾った教訓はだいたい3つです。
- AI に「自分のこと」を聞くと、もっともらしい説明が返ってきやすい
- 公式情報での裏取りが、けっこう効く
- 同じ AI でも、時系列で違うこと言ってくることがある
で、「結局どうしたらいいの?」って話なんですけど、私だけでまとめるとちょっと弱いので、Claude と Gemini にも対策を聞いてみました(聞いた相手も AI なので、信じすぎないようにしつつ、ですけど)。
こういう「AI に自分のこと聞いたら、もっともらしい説明が返ってきて、後で公式情報と合わなかった」みたいな時、どうしたらいい？
大きく2つあります。1つ目は、公式 changelog と公式ブログを2つだけでもチェックすること。2つ目は、「セキュリティ強化」「アーキテクチャ変更」みたいな、もっともらしいキーワードが並んだ時に、いったん警戒することです。
公式 changelog ってどうやって探す？
検索で「製品名 + changelog」「製品名 + 公式ブログ」と打つと、上位に出てきます。あとは、重要そうな話なら時間を置いて同じ質問を投げ直してみると、自己矛盾が見つけやすいです。
なるほど。…でも待って、これ AI に聞いた対策やから、これも信じすぎたら同じ穴に落ちるんちゃう？
おっしゃる通りです。だからこそ、最後はご自身で公式情報を見て確認するのが、いちばん安全です。
はい、最後に自分で本人にツッコまれてました。
でも、この「AI に対策を聞きつつ、最後は自分で公式情報で確認する」のバランスが、たぶん一番現実的かなと思います。AI を全く信じないと使い物にならないし、全部信じると今回みたいに『壮大な変更ストーリー』を真に受けることになる。
最後に、私が今回の事件でやってしまっていた失敗だけ、共有しておきます。
最初、AI に「仕様変わった?」と聞いて壮大な変更ストーリーが返ってきたとき、私は 「あ、なるほど」とほぼ納得しかけました。「セキュリティ強化」「環境隔離」みたいな単語が並ぶと、素人ほど『最近のソフトはそうなってるよね』で流してしまうんです。
裏取りせずにそのまま自分の中に「事実」として取り込んでいたら、他の AI や他の人に話す時に、平気でその「壮大な変更ストーリー」をそのまま伝言してしまっていたところでした。それはちょっと怖い。
これから AI に「自分のこと」を聞く機会がある方は、「もっともらしさ」と「事実」は別物として扱う、くらいの距離感で使ってみてください。
私もこれから、たまにやらかすと思います。
関連記事
はじめてのAIシリーズ
この記事は「はじめてのAI、何から触る？」のシリーズの1本です。順番にぜんぶ読みたい方はこちらからどうぞ。
