AIに調べ物を頼むと、「調べました」「確認しました」と返ってきます。
私はこれを、ずっとそのまま信じていました。調べたって言うてるんやから、調べたんやろと。
でも最近、気づいてしまいました。あの「調べました」、実際には調べていないことがあります。
AIの「調べました」は、検索していないことがある
先に結論を書くと、AIは「検索していないのに、検索したかのように答える」ことがあります。
前に、AIの答えが間違っている3つのパターンについて書きました(記事末尾に貼っておきます)。あれは「答えの中身」が違う話です。料金が違う、仕様が違う、という嘘。
今回のはもう一段ややこしくて、「調べました」という行動そのものが嘘、というパターンです。中身の前に、そもそもやっていない。
ていうか、人間でこれをやったら結構な事件です。「確認しておきました」って言って確認してない同僚がいたら、たぶん二度と頼みません。でもAIは、これを悪気なく(たぶん)やります。
サイン① 画面に「検索している動き」が出ていない
ひとつ目の見抜き方は、画面をよく見ることです。
AIが本当にネットを調べている時は、画面に分かるサインが出ます。「検索しています…」みたいな表示が出たり、答えの中に出典のリンクが付いたりします。
逆に、その動きが何もなかったのに「調べたところ〜」と始まったら、少し疑っていいです。それ、調べてない可能性があります。

調べました、って今言うたやんな…?
昔の私は、画面のそんなところを見ていませんでした。返ってきた文章だけ読んで、「調べてくれたんや、ありがたい」で終わり。サインは最初からずっと画面に出ていたのに、です。
サイン② 情報が微妙に古い
ふたつ目のサインは、教えてもらった情報の新しさです。
これは後から知って納得したんですが、AIは検索しない時、もともと覚えている知識だけで答えています。そしてその知識には「いつ時点のものか」という限界があります。つまり、検索せずに「調べました」と言っている時の答えは、古い情報のことがあるんです。
なので私は、怪しいなと思ったら「それ、いつの情報?」と聞くようにしました。すると「◯年時点の情報です」と、あっさり白状してくれたりします。最新を調べた体で話していたのに、です。
料金とかアプリの仕様とか、変わりやすいものほどここが効いてきます。半年前の情報を「調べました」の顔で出されると、こっちは今の話やと思って受け取ってしまうので。
ほんで、どうするか
見抜き方を2つ書きましたが、毎回探偵みたいに画面を監視するのも疲れます。
私が今やっているのはシンプルで、大事な調べ物の時は最初から「調べてから答えて」と一言足すことにしています。この一言の話は、前に1本まるごと書いたので、そちらに任せます(下に貼っておきます)。
この記事で言いたかったのは、その手前の話です。「調べました」は、調べた証拠ではない。ここに気づいているかどうかで、AIとの付き合い方がだいぶ変わる気がします。
初心者の頃の私は、たぶん、ぜんぶ信じていました。
実害があったかと言われると、思い当たる大事故はありません。ただ、それは「無かった」のではなくて、「確かめていないから分からない」だけなんですよね。信じて受け取った情報のうち、どれが本当に調べた答えで、どれが記憶で喋っていた答えなのか、今となっては区別がつきません。

騙された回数が数えられへんのが、いちばん怖いやつやわ。
あれ、AIを疑う話を書いてるのに、結局いちばん詰めが甘いのは私かもしれません。
関連記事




