AIの回答で一番厄介なのは、間違いそのものではなく、正しいことも怪しいことも、同じ自信満々の口調で書かれていることだと私は思います。
断定口調で並んだ文章のどこに落とし穴があるのか、読んでいる側には見分けがつきません。全部疑えばAIを使う意味が薄れるし、全部信じれば事故が起きる。欲しいのは「どこを確認すべきか」の目印です。
第7章の最終回で紹介する Calibrated Confidence(確信度の見える化) は、回答の要素ごとに「どのくらい自信があるか」を併記させて、その目印を作る型です。
Calibrated Confidenceとは?
Calibrated Confidenceは、一言でいうと「回答の各ポイントに確信度(%や高・中・低)を付けさせ、低確信の箇所を確認対象として扱う」手法です。
たとえると、天気予報の降水確率です。「降水確率」がない時代の「明日は雨でしょう」より、「降水確率30%」の方が行動を決めやすいですよね。予報の当たり外れ以前に、確からしさが数字で見えること自体に価値がある。AIの回答にも、この降水確率を付けさせます。
元になった研究について
AIが自分の答えへの確信度を言葉で表現できるか、は実際に研究されています。2022年の研究では、モデルが回答と一緒に「確信度90%」のような表現を生成でき、その数値が実際の正答率とよく対応する(キャリブレーションされている)ことが示されました。「言語化された確率(verbalized probability)」と呼ばれる研究領域です。
📎 Lin, Hilton, Evans (2022) “Teaching Models to Express Their Uncertainty in Words”, TMLR 2022
https://arxiv.org/abs/2205.14334
ただし正直に書いておくと、この研究は訓練を工夫した場合の結果で、プロンプトで言わせるだけの確信度は「過信気味」になる傾向も知られています。だからこの型では、数値を絶対の確率としてではなく、「回答内の相対的な危険度マップ」として使います。90%の文と60%の文があったら、60%の方から確認する。その使い方なら、過信気味でも十分に機能します。
なぜ効くのか
①確認の優先順位が生まれる
確信度がなければ、全文を同じ濃度で疑うしかありません。確信度が付けば、低い箇所から順に確認すればいい。確認作業が「全部やるか、やらないか」の二択から、優先順位付きのタスクに変わります。
②確信度を聞かれると、AIの断定口調が和らぐ
確信度を出す前提で回答させると、AIは自分の知識の確かさを一度点検してから書くことになります。「〜です」で押し切っていた箇所に「〜とされていますが諸説あります」のような留保が入り、回答自体が誠実になります。
コピペOKプロンプト
以下の質問に答えてください。ただし、回答の各ポイントの末尾に
確信度を(%)で付けてください。
確信度80%未満のポイントについては、最後にまとめて
「何を・どこで確認すべきか」を書いてください。
質問:［ ］2文目の「80%未満は確認方法もセットで」が実用の鍵です。低確信の箇所を示すだけでなく、「メーカーの取扱説明書で品番を確認」のような確認の宛先まで出させる。ここまでやると、確信度が行動につながります。
実践例:before / after
「枯れかけた観葉植物(モンステラ)の立て直し方」で試してみました。AIが自信満々に答えがちで、かつ間違いに気づきにくいジャンルです。
🔴 before:普通に聞いた場合
「モンステラの葉が黄色くなってきました。どうすればいいですか?」
→ 結果:「水のやりすぎが原因です。水やりを週1回に減らし、明るい日陰に移動してください」と、断定調の対処法が返ってきました。もっともらしい。でも、黄変の原因は水以外にも根詰まり・寒さ・肥料などいろいろあるはず。この断定を信じて水を減らすだけでいいのか、判断材料がありません。
🟢 after:確信度付きで聞いた場合
→ 結果:「葉の黄変の最多原因は水のやりすぎ(85%)。ただし冬場なら低温ストレスの可能性(65%)。鉢底から根が出ていれば根詰まり(状況による・要観察)」と、原因候補が確からしさ付きで並ぶ回答に変わりました。80%未満の項目には「置き場所の最低気温を確認(モンステラは寒さに弱いとされる)」「鉢底の根の状態を目視」という確認方法が添えられ、「まず何を見ればいいか」の行動リストとして使える形になりました。断定に従うのではなく、確認しながら絞り込む進め方に変わったのが大きな違いです。
使いどころと注意点
✅ こんな場面で使う
- 間違いに気づきにくいジャンルの質問(植物・家電・手続き・ルール)
- 回答をもとに実際に行動する予定があるとき
- AIの断定口調に不安を感じたとき全般
❌ これには向いていない
- 創作・アイデア出し(正誤の概念がなく、確信度が意味を持たない)
- 健康・法律・お金の重要判断(確信度が高くても、AIの回答だけで判断せず必ず専門家・公式情報へ)
注意点はすでに書いた通りです。プロンプトで出させる確信度は過信気味になりがちで、90%と書かれていても間違うことはあります。絶対値ではなく相対的な優先順位のマップとして使う。これがこの型との正しい距離感です。
🔧 上級者向け:検索と組み合わせる
ここは応用の話なので、読み飛ばしてOKです。
AIの検索機能が使えるツールなら、「確信度80%未満の項目は、Webで検索して確認してから最終回答を出してください」と組み合わせられます。自己申告の弱かった部分だけ外部情報で補強されるので、回答全体の信頼性が一段上がります。Day 1のCoVe(自己検証)の検証ステップに検索を組み込むのと同じ発想です。
まとめ + 第7章の振り返り
- Calibrated Confidenceは「回答に確信度を付けさせ、低い箇所から確認する」型
- 数値は絶対の確率ではなく、相対的な危険度マップとして使う
- 「80%未満は確認方法もセットで」が行動につなげる鍵
これで第7章「あまり知られていない裏プロンプト」は完結です。同調を消す(第31話)、多様性を解放する(第32話)、見積もりの構造を暴く(第33話)、失敗から逆算する(第34話)、確からしさを見える化する(第35話)。どれも「AIのクセを知って、質問の側で補正する」という共通の発想でした。AIを疑うのでも盲信するのでもなく、クセ込みで使いこなす。それがこの章の到達点です。
⚠️ この記事の情報は執筆時点(2026年6月)の内容です。AIツールの仕様・挙動はアップデートで変わることがあります。最終確認は各サービスの公式サイトや一次情報でお願いします。
📎 引用・参考
・Lin, Hilton, Evans (2022) “Teaching Models to Express Their Uncertainty in Words”, Transactions on Machine Learning Research
https://arxiv.org/abs/2205.14334
次回予告
次回から「AIに外部の力を接続する ― MCP活用」の話に入ります。1本目は、YouTube動画の内容をAIに読み込ませる「Supadata MCP」の紹介です。ここからは、プロンプトの工夫だけでは届かない領域に踏み込みます。
👉 Supadata MCPとは?YouTube動画をAIに読ませるツール活用術
コメント