ChatGPTとかClaudeで、
嘘の情報が含まれてることあるけど
どうにかできないかなぁ?
生成AIを利用していると、嘘の情報に出くわすことがありませんか?
この記事では生成AIが嘘をつく(ハルシネーション)現象の対策法について解説していきます
Claude公式が紹介のハルシネーション対策をもとにしているので参考になると思います
嘘をつかせないための考え方から具体的なプロンプトまで解説しているので、ぜひ最後までご覧ください
- ハルシネーションについて
- ハルシネーションの原因
- ハルシネーションを防ぐためのプロンプト
ハルシネーションってなに?
ハルシネーションについて
AIが、事実に基づかない虚偽の情報を真実であるかのように生成してしまう現象のことです
英語の幻覚(Hallucination)からきています
本来は「幻覚」や「幻聴」を意味する医学・心理学用語なんだって!
ハルシネーションは、特に会話型の生成AIでよくみられます
具体的には、ChatGPTやClaudeなどの生成AIですね
ハルシネーションが起きる原因
ハルシネーションが起きる原因は3つに大別されます
- 学習データの問題
- データの不足や偏り
- 古いデータや誤ったデータの使用
- データの質の低さ
- AIモデルの問題
- モデルの設計や構造の限界
- 生成プロセスによる誤り
- 事実と虚構を区別する能力の不足
- プロンプトの問題
- 曖昧な指示や質問
- 誘導的な質問
- 複雑すぎる要求
ハルシネーションを完全に防ぐことはできません
AIの出力をそのまま信じるのではなく、自分で確かめることが大切です
- 学習データの問題
- AIモデルの問題
については生成AIそのものの問題のため、わたしたち利用者がここの問題にアプローチするのは難しいです
この記事では、
- プロンプトの問題
にフォーカスして対策法を紹介していきます
ハルシネーション対策法
全部で7つの対策法をご紹介します
Claude公式推奨のハルシネーション対策法だから、効果あるはずだよ!
参考サイトAnthropic公式 – ハルシネーションを軽減する
「わからない」と言えるようにする
不確実性を認める許可を明示してあげます
実にシンプルですが、誤った情報の出力を大幅に減らすことができます
- 2023年の日本の平均睡眠時間は何時間ですか?
正確な数字が分からない場合は、率直に「わかりません」と答えてください。
直接引用を使用する
ドキュメントやテキストを扱うタスクでは、まず文書内の引用を示してもらいましょう
実際のテキストに基づいた応答が可能になり、憶測での出力の減少が見込めます
- 添付した『SDGsに関する報告書』を分析し、気候変動対策に関する重要な情報を示す直接引用を3つ抽出してください。
その後、それらの引用を使用して気候変動対策の現状を簡潔に説明してください。
根拠・参考箇所を求める
出力の根拠となる箇所を示してもらいます
また、出力生成後に不審な点があれば主張を裏付ける引用を見つけるようお願いするのも効果的です
- これまでのやり取りの内容に基づいて、健康的な食生活の主なポイントを3つ挙げてください。
各ポイントについて、根拠となる箇所を引用として示すようにしてください。
引用が見つからない場合は、そのポイントを記載しないでください。
段階的に思考させる
最終的な回答の前に、段階的に推論を説明させます
これにより、誤った論理や前提を明らかにできます
結果だけ知ろうとするのはダメなの?
短答のものだったら問題ないね!
でも、議論的なやり取りとか論理的な思考が必要な内容だと
情報が間違ってなくても、回答の質が落ちることもあるんだ
逆に、結果だけを先に明示するようお願いするのはあまりオススメしません
回答が間違いやすくなりますし、その結論に導くように後の回答や根拠づけまで歪曲する傾向があります
- 地域のゴミ削減問題を解決する方法を提案してください。
以下のステップに従って回答を構築してください:
1. 地域のゴミ問題の現状と背景を説明する
2. 可能な解決策をいくつか列挙する
3. 各解決策の実現可能性と効果を分析する
4. 最適な解決策を選択し、その理由と実施手順を詳しく説明する
各ステップでの考え方を明確に説明してください。
同じプロンプトで出力を比較する
同じプロンプトを複数回与え、出力を比較します
内容は変えずに、少しだけ文章を変えてみるのもいいです
出力が一致しない場合、ハルシネーションの可能性があります
- 下記文章の文字数を教えてください
ーーーーーーーーーーーーーーーーーー
猫の魅力は、その愛らしい外見、自由気ままな性格、そして癒し効果にあります。大きな目やふわふわの毛並みは、見る人の心を掴みます。また、猫は独立心が強く、自分のペースで甘えたり遊んだりする姿が魅力的です。さらに、ゴロゴロと喉を鳴らす音や、愛情表現としてのスリスリなど、猫との触れ合いは心を和ませてくれます。これらの要素が相まって、猫は多くの人々に愛される存在となっています。
余談ですが、Claudeで文字数を聞いたり、指定の文字数で文章を書いてもらったりすると実際の文字数とかけ離れていることが多々あります
下記内容をプロンプトに盛り込むと乖離があまりなくなるのでオススメです
日本語のマルチバイト形式で数えて
反復的に改善する
AIが一度で完璧な回答を出力してくれることはあまりありません
前の回答で直してほしいところや、疑問に思ったところを指摘するようにしましょう
- AIの情報について、Xでポストする内容を考えてください。
- 下記に留意して出力した文章を調整してください。
・より短く、シンプルにできないか
・一貫した主張になっているか
・専門用語を使っていないか
外部知識を制限する
添付したドキュメントやテキストからの情報のみを使用し、一般的な知識を使わないよう明示的に指示します
- 『東京観光ガイド』の3ページ目のみを情報源として使用して、『東京で人気の観光スポットTop3は?』という質問に答えてください。
このページに含まれていない情報は使用せず、含まれた内容に基づいてのみ回答してください。
もし答えるための十分な情報がない場合は、その旨を述べてください。
まとめ
ハルシネーションは完全になくすことはできません
しかし、今回ご紹介したテクニックで軽減することができるでしょう
ハルシネーションを減らすには
この7つです
生成AIの嘘の情報に悩んでいる方は、ぜひ実践してみてください
まずは1つからでも試してみるよ!
コメント