ハルシネーションとは
ハルシネーションとは、生成AIが、正しそうに見える嘘の情報・作り話を出力することです。
OWASPは、AIが学習データの隙間を、統計的なパターンで埋めるために起きると説明しています。内容を本当に理解しているわけではないため、答えが「もっともらしいが根拠がない」ことがあります [S3]。
OpenAIは、別の角度から原因を説明しています。現在の学習や評価の仕組みが、「わからない」と答えることより、当てずっぽうで答えることを高く評価してしまう、という指摘です。
だから、AIが賢くなっても自信満々に間違える問題は残る、としています [S5]。
同社は、ハルシネーションは全てのAIにとって根本的な課題であり続けている、とも述べています [S5]。
公式が勧める、減らすための工夫
Anthropicの公式ガイドは、次の方法を紹介しています [S4]。
- 「わからない」と言ってよいと伝える：不確かなときは、そう言ってよいと明記する。これだけで誤情報が大きく減りうる
- まず原文を引用させる：長い資料を扱うときは、作業の前に、関連する部分をそのまま抜き出させる
- 根拠を付けさせる：各主張に引用や出典を付けさせ、あとから確認できる形にする
- 同じ質問を何度かして比べる：答えがぶれたら、作り話の疑いがある
- 資料に書かれたことだけを使わせる：AI自身の一般知識に頼らせない
ただし、同じ公式ガイドが「これらの方法で大きく減らせるが、完全にはなくならない」と明記しています [S4]。
OWASPも、RAG（詳細②）による裏付け、人による確認、重要な出力の自動検証、リスクの周知、利用者への教育などを対策に挙げています [S3]。
同時に、利用者がAIを過信して確かめないこと（過度の依存）が被害を大きくすると指摘しています [S3]。
実際に起きた例
OWASPは、実例として次を挙げています[S3]。
- 航空会社のチャットボットが旅行者に誤った案内をして、会社が訴えられた
- AIが存在しない裁判例を作り出し、裁判で問題になった
- AIが実在しないソフトの部品名を提案する
AIの誤りが、会社の責任問題に発展しうることがわかります。
情報漏えいはどこから起きるのか
OWASPは、「機密情報の漏えい」をAI特有のリスクの上位に挙げています。
対象になる情報例は以下になります[S2]。
- 個人情報
- 金融情報
- 医療記録
- 社外秘のビジネス情報
- 認証情報（パスワードなど）
- 法的文書
また、情報漏洩の経路として、次が整理されています [S2]。
- AIの出力に、他の利用者の個人情報が混ざってしまう
- 入力した情報がAIの学習に使われ、のちの出力に現れる
- 細工した入力で、機密情報を引き出される（詳細③）
対策としては、学習に使うデータからの機密情報の除去、アクセス権限を最小限にすること、利用者への注意喚起、データの保管・利用のルールの明示などが挙げられています [S2]。
また、「システムプロンプト（AIへの基本指示）で、出してはいけない情報を指定する」対策も有効だが、守られない場合や、細工した入力で回避される場合があるとされています [S2]。
日本の個人情報保護の考え方
個人情報保護委員会は、2023年6月に、生成AIサービスの利用に関する注意喚起を出しています [S10]。事業者向けの要点は次の2つです。
- 個人情報を含む文章をAIに入力するときは、決めた利用目的の範囲内かを十分に確認する
- 本人の同意なく個人データを入力し、それがAIの回答を出す以外の目的で扱われる場合、個人情報保護法に違反する可能性がある。そのため、AIの提供事業者が、そのデータを機械学習に使わないことなどを十分に確認する
一般の利用者向けには、入力した個人情報が学習に使われ、不正確な内容で出力されるリスクがあること、そして利用規約やプライバシーポリシーを十分に確認することが挙げられています [S10]。
注記：個人情報保護委員会の注意喚起は、2023年6月の時点のものです。
委員会自身が、今後追加の注意喚起を行う可能性がある、としています [S10]。
実際の業務で使う前に、最新の公式情報をご確認ください。
発注・利用の前に確認したいこと
- そのAIの使い方は、誤りが重大な影響を及ぼす業務か。出力を人が確認する運用になっているか [S12]
- 入力した情報は、AIの学習に使われるか。使われない設定にできるか [S10]
- 個人情報・機密情報を入力してよい範囲を、ルールで決めているか [S2]
注記：この3点は、上の公式資料の内容から整理した確認項目です。
公式資料がこの形のチェックリストを示しているわけではありません。
参照元
[S2] OWASP Gen AI Security Project, LLM02:2025 Sensitive Information Disclosure — https://genai.owasp.org/llmrisk/llm022025-sensitive-information-disclosure/
[S3] OWASP Gen AI Security Project, LLM09:2025 Misinformation — https://genai.owasp.org/llmrisk/llm092025-misinformation/
[S4] Anthropic, Reduce hallucinations — https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations
[S5] OpenAI, Why language models hallucinate — https://openai.com/index/why-language-models-hallucinate/
[S10] 個人情報保護委員会, 生成AIサービスの利用に関する注意喚起等について（令和5年6月2日） — https://www.ppc.go.jp/news/press/2023/230602kouhou/ （本文PDF：https://www8.cao.go.jp/cstp/ai/ai_team/6kai/shiryouchuuikanki.pdf） [S12] デジタル庁, DS-920 行政の進化と革新のための生成AIの調達・利活用に係るガイドライン（2026年6月12日） — https://www.digital.go.jp/assets/contents/node/information/field_ref_resources/decb64eb-f26e-41cb-8d37-f3dd173108b8/59054b35/20260612_resources_standard_guidelines_guideline_01.pdf
コメント