まな先生解説
こころ質問
すい要点整理
生成AIのハルシネーション対策は「何を検証しないか」から決める
独自アセット①：その作業、どこまで検証する？3階層仕分けチャート
- Q1: この出力が間違っていたら、誰かにお金・法的責任・健康被害が発生するか？ → YESならレベルA（ここで終了）
- Q2: 社外の人（顧客・取引先・応募者・読者）がこの出力を見るか？ → YESならレベルB
- Q1もQ2もNO → レベルC
| レベル | 該当する作業 | 検証のルール | やってはいけない使い方 |
|---|---|---|---|
| A | 見積書の金額、契約条件、税務・社会保険の要件、求人票の労働条件、医療・健康の助言、法令の条番号 | AI出力は成果物に使わない。一次情報を必ず自分で確認する。AIは「探す場所を教える役」に限定 | 「出典を出して」と頼んで返ってきたURLをそのまま信じる |
| B | 提案資料、ブログ記事、SNS投稿、顧客向けメール | 数字・固有名詞・日付・URLの4項目のみ全件照合。それ以外の文章表現は通す | 全文を読み直して満足する（表現を直しても事実誤りは見つからない） |
| C | アイデア出し、下書き、要約の下ごしらえ、社内メモ | 検証しない。ここで検証しないと決めることが時短の実体 | 念のためと言って検証を始める（Cを検証した瞬間にAI利用は赤字化する） |
ハルシネーションとは何か？定義と、対策設計に効く3つの原因
原因1：確率で次の言葉を選んでいる（＝空欄を埋めたがる）
原因2：「わからない」と答えると損をする評価構造だった
原因3：出典を出させても、出典自体が間違う
補足
知識のカットオフ（学習データの収集期限）や学習データの偏りも原因ですが、これらは検索連携やソース限定ツールで回避できるため、運用設計上は上の3つほど重要ではありません。
「出典を出させれば安全」が崩れる理由：ハルシネーション事例と実測データ
見抜きにくいのは「張冠李戴型」の誤り
| 型 | 症状 | 気づきやすさ | 確認方法 |
|---|---|---|---|
| 捏造型 | 存在しない書籍名・判例名・URL（クリックすると404） | 高い（検索すれば一発） | URLを実際に開く。書名を検索する |
| 陳腐化型 | 情報自体は昔正しかったが、現在は変わっている（料金・制度・法令） | 中くらい | 公式サイトで更新日を確認する |
| 張冠李戴型 | 出典は実在し、内容もそれらしいが、その出典にその記述がない／数値だけ違う | 極めて低い | 原典の該当ページを開いて数値を目で照合する |
ChatGPTのハルシネーションは減ったのか
注意
「ChatGPTは精度が上がったから大丈夫」という判断は誤りです。上がったのは「渡した資料に忠実である度合い」であって、「知らないことを知らないと言う能力」ではありません。
生成AIの嘘の見分け方：根拠を担保する7つの手段を料金と手間で比較する
独自アセット②：根拠を担保する7つの手段 比較表
| 手段 | 月額（税込） | 根拠の出方 | カバー範囲 | 残存リスク（実測） | 追加作業時間 | 向く用途 |
|---|---|---|---|---|---|---|
| ①素のチャット（検索オフ） | 0円〜 | なし | モデルの記憶 | 事実照会で重大な誤り20%（EBU/BBC） | 0分 | C |
| ②Web検索モードON | 0円（無料枠あり） | リンク | 公開Web | 誤答37〜60%超（CJR/Tow Center） | 3〜5分 | B・C |
| ③Deep Research系 | 0円（回数制限）／月20ドル前後 | リンク＋レポート | 公開Web | — | 10〜20分 | B |
| ④ソース限定ツール（NotebookLM等） | 0円／上位版2,900円 | 本文中の該当箇所表示 | 自分が入れた資料のみ | 要約タスクで1.8〜3.3%（Vectara） | 2〜3分 | A補助・B |
| ⑤自社データを繋いだRAG | 構築費・運用費が別途 | 参照文書 | 社内文書 | — | 構築工数が大 | B（組織向け） |
| ⑥二重回答照合（別モデル2つ） | 0円 | なし（食い違いを検出） | モデルの記憶＋Web | — | 5〜8分 | B |
| ⑦一次情報を自分で当たる | 0円 | 原典そのもの | 官公庁・公式ドキュメント | 0%（人為ミスを除く） | 10〜30分 | A |
※残存リスクの「—」は、本記事が根拠とする調査に該当する実測値がないため空欄としています。推測値は記載しません。
④ソース限定ツールの使い方が肝心
⑥二重回答照合は「一致」を信じない
独自アセット③：検証込みで得か損かを計算する（実質時短の計算式）
ケース①：議事録の要約（レベルC）
- 従来60分 → AIで作る5分 ＋ 検証10分
- 手戻り期待値：3% × 120分 ＝ 3.6分
- 実質時短：60 −（5＋10＋3.6）＝ +41.4分の得
ケース②：取引先向け提案資料に市場データを引用（レベルB）
- 従来90分 → AIで作る10分 ＋ 検証40分
- 手戻り期待値：45% × 120分 ＝ 54分
- 実質時短：90 −（10＋40＋54）＝ −14分の損
ケース③：補助金の申請要件確認（レベルA）
- 手戻りコストが「申請落選」＝金額換算で数十万円
- 遭遇率も制度情報という性質上高い
- 計算不能 → AI単独利用は不可
自分の数字を入れる空欄テンプレート
- 従来の作業時間：＿＿分
- AIで作る時間：＿＿分
- 検証時間：＿＿分
- 遭遇率（要約系3%／事実照会系45%を目安に）：＿＿% × 120分 ＝ ＿＿分
自動化バイアス：対策が効かない最大の原因は人間側にある
「個人の判断任せ」から抜け出す最小の一歩
レベルA（お金・法的責任・健康が絡む出力）は、AIの回答をそのまま成果物に入れない。
RAGのハルシネーション対策：導入前に知っておくべき限界
- 検索が外すと答えも外す: 参照すべき文書が検索で拾えなければ、AIは手元の記憶で埋めようとします。社内文書の整備状況がそのまま精度になります。
- 要約段階の誤りは残る: Vectaraの数値が示すとおり、資料を与えた条件でも1.8〜3.3%の誤りが出ます。RAGは「渡した資料を正しく読む」保証ではありません。
- 張冠李戴型は起こりうる: 正しい文書を参照しながら、数値だけ取り違えるパターンは構成上防ぎきれません。
明日から実装する手順（30分でできる）
- 3階層チャートを紙かメモアプリに書く（5分）: Q1・Q2の2問と、レベルごとのルールだけで十分です。
- レベルCの作業を3つ書き出す（5分）: 「今日から検証しない」と決める作業を明示します。ここが時短の原資になります。
- プロンプトのテンプレートを辞書登録する（5分）: 「根拠となる情報源を明記し、確信が持てない箇所は『未確認』と書いてください。情報がない場合は『わかりません』と答えてください」の1文を、スニペットとして毎回自動で入るようにします。
- NotebookLMに手元の資料を1つ入れる（10分）: 就業規則でも公募要領でも構いません。ソース限定型の挙動を体感しておくと、レベルAの作業での使いどころが分かります。
- レベルB用のチェック4項目を決める（5分）: 数字・固有名詞・日付・URL。この4つ以外は照合しないと決めます。
やってはいけないNG対応
- 全文をざっと読み返して満足する: 表現の違和感は見つかりますが、数値の誤りは見つかりません。照合は4項目に絞って全件やる方が確実です。
- 同じAIに「今の回答は正しい?」と聞いて安心する: 自己検証は誤りを見逃します。別モデルか一次情報と組み合わせてください。
- 「嘘をつくな」と命令して対策した気になる: 指示だけでは消えません。原因2で述べたとおり、「わからないと言ってよい」という許可の方が構造的に効きます。
- 出典URLが実在したことで確認を終える: 張冠李戴型はここをすり抜けます。開いた先で該当記述を目視するまでが確認です。
- 怖いから全面禁止にする: 隠れて使う「シャドーAI」を生みます。商工中金調査で「禁止・制限等」が3.9%にとどまるのは、実務的に機能しないと判断されているためと考えられます。
注意
副業ライターの方は特に注意してください。納品先メディアがAI利用と事実確認のルールを定めている場合があり、無断利用と検証省略は契約トラブルの元になります。
