ハルシネーション（幻覚）

ハルシネーション（幻覚）とは

ハルシネーションは、AIが事実と異なる内容を、あたかも正しいかのように生成してしまう現象です。英語の「Hallucination（幻覚）」に由来し、AIが"それらしい嘘"を作ってしまう状態を指します。

例えば、実在しない条文番号を引用したり、架空の判例を「◯◯裁判所の判決」として挙げたりするのが典型例です。

なぜ起きるのか

LLMは、大量のテキストから「次にどの単語が来るか」を確率的に予測するモデルです。正確性ではなく自然な文章として成立することを最適化しているため、知らないことを聞かれても"もっともらしく"補完してしまいます。

主な原因は以下です。

• 学習データに含まれない情報を問われた場合
• 古い情報しか持っていない場合（例: 学習後に行われた法改正）
• 質問が曖昧で、AIが勝手に前提を補っている場合

士業の実務での影響

ハルシネーションは、士業が特に警戒すべき弱点です。

• 条文・判例の捏造: 存在しない法令番号、架空の判例を自信満々に出すことがある
• 金額・率の誤り: 税率や計算例をもっともらしく間違える
• 類似制度の混同: 軽減税率と非課税、個人事業主と一人社長など、似て非なる概念の取り違え

士業の最終判断に、AI出力をそのまま使うのは危険です。

対策

• RAG を使う: 自事務所の資料や公式情報を検索対象にし、AIに根拠付きで答えさせる
• 出典を聞く: 「根拠となる条文・判例を引用して」と指示し、検証可能な形で回答させる
• 人が最終確認: 出力をそのまま顧客に提示せず、専門家が裏取りする運用にする
• ガードレールを設ける: 「わからないときは『わからない』と答えて」とシステムプロンプトで明示する

AIは下書き・リサーチの補助として使い、正誤の最終責任は人が持つ、という前提が重要です。