「生成 AI は便利そうだが、もっともらしく間違えるのが怖い」──業務利用の相談で、最も多く聞く不安です。実際、AI が事実と異なる内容を自信ありげに答える現象(ハルシネーション)は存在しますし、最新のモデルでもゼロにはなりません。ただ、ここで多くの解説が「プロンプトの工夫」や「高性能モデルの選択」に話を向けるのに対して、この記事の立場は違います。対策の主戦場は AI 側ではなく、誤りを前提に組んだ業務側の設計です。誤りが顧客やお金に届く前に確認で止まる構造さえ作れば、ハルシネーションは「事故の種」ではなく「確認で拾われる普通の差し戻し」になります。それは新人に仕事を任せるとき、私たちが昔からやってきた発想と同じです。この記事では、ハルシネーションが起きる構造、発生を減らす 3 つの打ち手、そして本丸である「誤りを事故にしない」確認設計の 4 ステップを、当社が自社業務で毎日実践している方法をもとに解説します。
- ハルシネーションは最新モデルでもゼロにはならない ── 目標を「なくす」から「事故にさせない」に置き換えるのが実務の出発点
- 打ち手は 2 層 ── 発生を減らす(入力・指示の側)× 事故にさせない(確認の側)。主戦場は後者
- 発生を減らす 3 つの打ち手 ── 根拠になる資料を渡す / 「分からない」の出口を作る / 根拠をセットで出させる
- 確認は人の注意力に頼らない ── 影響度に応じた確認の強度を決めれば、全件を読み直さなくても安全に回せる
ハルシネーションとは ── なぜ最新の AI でも起きるのか
ハルシネーションとは、生成 AI が事実と異なる内容を、もっともらしい文章として生成する現象です。存在しない書籍や判例を挙げる、実在しない機能を「あります」と答える、数字を微妙に取り違える──形はさまざまですが、共通するのは「間違いなのに、文章としては自然で自信ありげ」という点です。
これは AI の不具合というより、仕組みに根ざした性質です。生成 AI は「正しいことを調べて答える」装置ではなく、「この文脈に最も自然につながる言葉」を選び続ける装置です。学習した膨大な文章のパターンから、確からしい続きを組み立てる──この仕組みは、知識が十分にある領域では驚くほど正確に働きますが、知識の切れ目に当たったとき、「知りません」と止まるより、それらしい言葉で穴を埋める方向に働きやすいのです。しかも出てくる文章の流暢さは、正しい回答のときと変わりません。人間の「自信がないときは歯切れが悪くなる」という信号がないため、読み手の警戒が働きにくい──ここがハルシネーションの実務上、いちばん厄介な点です。
モデルの進化とともに発生頻度は着実に下がっています。また、社内文書などの根拠資料を検索して回答させる仕組み(RAG)を使えば、大きく抑えることもできます。ただし、それでもゼロにはなりません。資料の探し当てに失敗したり、「関連はするが答えではない」断片を根拠に、それらしく間違えるケースが残るからです。この仕組み側の話は「社内ナレッジをAIに回答させる仕組み(RAG入門)」で詳しく解説しています。本記事はその続き──仕組みで減らしたうえで、それでも残る誤りをどうするか──を扱います。
対策の考え方 ── 「なくす」ではなく「事故にさせない」
「ゼロにならないなら、業務では使えないのでは」と感じるかもしれません。ここで思い出したいのは、人間の業務もゼロを前提にしていないという事実です。経理は検算し、契約書は上長が確認し、請求書はダブルチェックする──会社の業務プロセスは、人が間違える前提で、誤りが外へ出る前に止まる関所を組み込んで設計されています。誰も「新人が一度でもミスしたら業務から外す」とは考えません。AI も同じです。問うべきは「間違えるかどうか」ではなく、「間違えたとき、それが事故になる前にどこで止まるか」です。
この視点に立つと、ハルシネーション対策は 2 つの層に整理できます。
| 層 | やること | 効果の性質 |
|---|---|---|
| 層 1: 発生を減らす | 根拠資料を渡す・指示を設計する・モデルや仕組み(RAG など)を選ぶ | 誤りの頻度が下がる。ただしゼロにはならない |
| 層 2: 事故にさせない | 任せない領域の線引き・検証できる出力・確認の関所・誤りの回収 | 残った誤りが顧客・お金・対外発信に届く前に止まる |
世の中の解説の多くは層 1 に集中しますが、層 1 だけでは「頻度は下がったが、いつか抜ける」状態のままです。逆に層 2 が組めていれば、層 1 の精度がどうであれ、誤りは確認で拾われる想定内の出来事になります。だから投資の順番は層 2 が先です。層 2 という受け皿があって初めて、層 1 の改善もモデルの進化も、安心して業務に取り込めるようになります。
発生を減らす ── 入力と指示の 3 つの打ち手
層 2 が本丸だと述べたうえで、層 1 の打ち手も押さえておきます。特別な技術ではなく、指示の設計だけでできるものを 3 つに絞りました。
ハルシネーションが起きやすいのは、AI が自分の記憶(学習知識)だけで答えるときです。就業規則・製品仕様・過去の議事録など、答えの根拠になる資料を渡し、「この資料の範囲で答える。資料にないことは答えない」と指示するだけで、誤りの質が変わります。AI の仕事が「知識を思い出す」から「渡された文書を読んで整理する」に変わるためです。全文を毎回渡せない量なら、検索の仕組み(RAG)を検討するのはこの段階です。
AI が穴をそれらしく埋めてしまうのは、「必ず答える」以外の選択肢を与えられていないからでもあります。「判断がつかない項目は、推測で埋めず『不明』と書いて保留リストに集める」──この一文を指示に入れるだけで、埋められていたはずの穴が、保留として目に見える形で残るようになります。大事なのは、不明の行き先(保留リスト・人への確認)まで指定することです。出口のない「嘘をつくな」は精神論ですが、出口のある「不明と書け」は仕組みとして機能します。
回答や成果物に「どの資料の、どの記述を根拠にしたか」を併記させます。数字なら元データの参照先を添えさせます。狙いは 2 つ──第一に、根拠を明示させること自体が、根拠のない生成への抑止になります。第二に、後段の確認が「正しいかどうかを読んで考える」作業から「根拠と突き合わせる」作業へ変わり、大幅に軽くなります。層 1 の打ち手でありながら、層 2 の確認コストを下げる布石でもある──3 つの中で最も費用対効果の高い一手です。
誤りを事故にしない ── 確認を業務に組み込む 4 ステップ
ここからが本丸です。当社自身、販促物の生成・経理のドラフト・記事の作成といった日常業務を AI に任せて毎日運用していますが、安心して任せられている理由はモデルの賢さではなく、この 4 ステップを最初に組んだことにあります。
STEP 1: 任せない領域を先に決める ── 実行と下書きを分ける
最初にやるのは、AI に任せる範囲を広げることではなく、任せない領域に線を引くことです。基準はシンプルで、「誤りが出たとき、やり直しが効くか」。社内で完結する下書き・整理・分析は、誤りが見つかっても直せばよいだけなので、思い切って任せられます。一方、顧客へのメール送信・支払いの実行・契約の約束・対外公開といった取り消しの効かない操作は、AI は「下書きまで」、実行のボタンは人が押すと最初に決めてしまいます。当社もこの線引きを最初に固定しており、AI だけで完結してよい作業と、人の承認がなければ実行できない操作を分けています。この一線があるから、ハルシネーションが起きても、それは「下書きの誤字」と同じ扱いで済むのです。なお、この「やり直しが効くか」は、そもそもどの業務から AI に任せるかを選ぶ条件でもあります。業務選定の手順は「AIに任せる業務の選び方 ── 社内業務の棚卸しから最初の1業務を決める手順」で詳しく解説しています。
STEP 2: 検証できる形で出させる
確認のしやすさは、確認する人の能力ではなく、出力の形で決まります。形式が毎回違う長文を渡されたら、どんなに注意深い人でも見落とします。逆に、「列は項目・結論・根拠・参照元」と形式を固定し、根拠が併記されていれば、確認は元データとの突き合わせ作業になります。ポイントは「正しいことを書かせる」ではなく「間違いがあったとき、見つけられる形で書かせる」と考えることです。要約なら原文の該当箇所を添えさせる、集計なら合計の検算列を付けさせる、調査なら出典の一覧を分けて出させる──業務ごとに「何と突き合わせれば真偽が判定できるか」を決め、その突き合わせ相手を成果物に同梱させます。
STEP 3: 確認の関所を置く ── 強度は影響度で変える
次に、業務フローのどこで誰が確認するかを固定します。「気づいた人が見る」「不安なときは確認する」という善意頼みの運用は、忙しい日に必ず抜けます。関所は場所として固定する──そのうえで、すべてを同じ重さで確認する必要はありません。確認の強度は、誤りが通り抜けたときの影響度で決めます。
- ①全件確認 ── 対外に出るもの・お金に関わるものは、1 件ずつ人が根拠と突き合わせて承認します。STEP 1 で「実行は人」と決めた領域は、自動的にこの強度になります。
- ②要点確認 ── 社内で使う資料・下書き段階のものは、あらかじめ決めた確認項目(3 つ以内が実用的)だけを見ます。全文を読み直すのではなく、「合計は合っているか」「根拠は実在するか」「保留は残っていないか」のような急所だけを突き合わせます。
- ③サンプリング+機械チェック ── 大量・定型の処理は、形式チェック(必須項目の欠落・形式外の出力を機械的に弾く)を自動で回し、人は一部を抜き取って確認します。運用が安定するほど、この強度に移せる業務が増えていきます。
この 3 段階を決めておくと、「全部見るのは無理だ」と「見ないのは不安だ」の間で消耗しなくなります。当社の運用でも、対外に出る成果物は人の承認を必ず通し、たとえば生成した画像に入る文字は一字ずつ照合してから外に出す一方、社内の下書きは要点確認で速く回す──と強度を分けることで、確認が業務のボトルネックにならずに済んでいます。
STEP 4: 見つけた誤りを型に返す
確認で誤りが見つかったら、直して終わりにせず、同じ誤りが二度と出ないように仕組みの側を直します。根拠のない記述が出たなら渡す資料の不足、推測で埋められていたなら「不明の出口」の指示漏れ、見落としかけたなら確認項目の欠落──誤りの一つひとつは、指示・資料・確認項目のどこかの穴を教えてくれる無料の点検です。この「見つけた誤りを型に返す」ループを回すには、型を直す担当と頻度を決めておく必要があります。更新の担当を置くことが定着の成否を分ける話は「生成AIが社内に定着しない理由と、定着させる進め方」で述べたとおりで、ハルシネーション対策はその考え方を「誤り」という切り口で実装するものだと言えます。
やりがちな 3 つの間違い
最後に、対策のつもりが逆効果になりやすいパターンを 3 つ挙げます。どれも現場で本当によく見かけるものです。
プロンプトに「正確に」「嘘をつかないで」と書いても、AI の生成の仕組みは変わりません。意図の宣言と、構造の変更は別物です。効くのは、根拠資料を渡す(打ち手 01)・不明の出口を作る(打ち手 02)・根拠を出させる(打ち手 03)のような、生成の条件そのものを変える指示です。宣言だけの対策で「言い聞かせたから大丈夫」と確認を緩めてしまうと、かえって危険になります。
不安だからと全成果物を人が最初から読み直す運用は、二重に失敗します。第一に、AI に任せて浮いたはずの時間が確認で消え、「自分でやった方が早い」に逆戻りします。第二に、全部を読む確認は集中力が続かず、かえって見落とします。解決の方向は確認を増やすことではなく、確認を軽くすること──検証できる形で出させ(STEP 2)、影響度で強度を分ける(STEP 3)。読む確認から、突き合わせる確認へ。これが持続する安全の作り方です。
導入初期に誤答が 1 件見つかり、「やはり危ない」と利用を全面的に止めてしまう──慎重に見えますが、得られるはずだった効率も、誤りから型を育てる機会も、同時に失います。しかも禁止は往々にして、把握できない個人利用に潜る形で破られます。1 件の誤りから見直すべきは利用の可否ではなく、設計です。「その誤りは、どの関所で止まったか(止まらなかったか)」を点検し、止まったのなら設計が機能した証拠、止まらなかったのなら関所を 1 つ足す──それが誤りを想定内に置く運用です。
Livune は、この記事の方法──任せない領域の線引き・検証できる出力・確認の関所──を自社の日常業務で毎日実践している AI 開発・DX 支援の会社です。任せる業務の選定から確認設計、定着の運用まで、実践ベースでご一緒します。
Livune の AI 定着支援を見る →よくある質問
頻度は下がりますが、なくなりません。モデルの乗り換えは「発生を減らす」層の打ち手の 1 つであり、それだけでは「いつか抜ける」構造が残ります。順番としては、確認の設計(事故にさせない層)を先に組むことをおすすめします。受け皿があれば、モデルの進化はそのまま「確認で引っかかる件数が減っていく」という形で、安全に恩恵を受け取れます。
宣言だけでは防げません。AI は「事実だけを答えたい」と思っても、自分の出力が事実かどうかを自分では保証できないからです。効くのは生成の条件を変える指示です──根拠になる資料を渡してその範囲で答えさせる、判断がつかないときは「不明」と書く出口を作る、回答に根拠の参照を併記させる。この 3 つを組み合わせると、誤りの頻度が下がるだけでなく、残った誤りも見つけやすい形で出てくるようになります。
使えます。ただし役割を「実行」ではなく「下書きと下ごしらえ」に置きます。最終確認と実行(送信・支払い・公開)を人に固定すれば、AI の誤りは人の確認で止まる構造になり、ミスが許されない業務でも、資料の整理・ドラフト作成・突き合わせの下準備といった時間のかかる部分を安心して任せられます。「AI か人か」ではなく「どの工程を AI、どの工程を人」で考えるのがコツです。
「読んで違和感に気づく」ことを人に求める設計をやめるのが答えです。人の直感は、流暢な文章の前では頼りになりません。代わりに、成果物に根拠と参照元を併記させ、確認を「決めた項目を元データと突き合わせる」作業に変えます。突き合わせであれば、業務知識のある人なら誰でも判定でき、確認の品質が個人の注意力に左右されなくなります。確認項目を 3 つ以内に絞ることも、見落としを減らす実用的なコツです。