Gemini Illusion

Thu, 29 May 2025 18:30:00 +0900

私が、経験した中でも最低の部類の幻影に遭遇した。

言うまでもなく、2025年1月21日以降はトランプ政権である。しかし、現状、殆どのLLMは2024年前後で歴史が止まっている。しかし、Geminiはどうやら、RAGで最新化するという機能が弱い。そのため、意識的にURIが与えられないと、事実を補正することが出来ない、また、投入される情報もどうやら、Googleとの提携関係などに依存する部分が大きい。

しかし、このように、自信たっぷりに、虚偽の事象を開陳してしまう。

これは、所謂、ハルシネーションの典型的な事例です。

ハルシネーションの原因としては以下のようなものがあります。

情報の不足：モデルが学習データにない情報を推測して補完しようとする。
RAGの限界：適切な情報を取得できない場合、誤った情報がそのまま出力される。
モデルのバイアス：特定のデータソースに依存するため、偏った情報が生成される可能性がある。

今回のは状況として、まず、恐らく、RAGによる情報の最新化が動いていません。恐らく、情報の不足とモデルのバイアスに引きずられた格好です。GeminiはDeep Researchは強力ですが、現時点では、Gemini 2.5 Flashなどではまだ、ハルシネーションがきついようですね。

あと、Geminiでは唐突にロシア語化する問題を確認しています。今のところ、発生はランダムで、前世代のGemini 2.0で頻発しましたが、現行世代のGemini 2.5 Flashでも同様に発生します。この件は、幾つか報告があります。

まず、分かっているところを整理すると、特に会話のコンテキストが長くなる、要は会話のキャッチボールが長くなると問題の発生が多くなる。つまり、コンテキスト周りに問題がある可能性がある。さらに、生成されたロシア語っぽい文字列をdeeeplで翻訳すると意味に関しては大きく外れていないようにも見受けられる。

従って、メモリー破壊などのバグによる生成とは考えにくく、プロセスとしては正常動作の可能性が高い。故に、エラーログなどでの調査は不首尾に終わる可能性が高い。

考えられるのはドリフトなどかと思います。あと、状況からして、専門用語などが不具合を起こしているように見受けられるので未知語などの処理、特に埋め込みベクトルの問題が強いように思いました。

まず、学習データの問題の可能性は低いと考えています。理由は、だとすれば初手から表れてもおかしくないからです。むしろ、コンテキストが深くなると発生するということはコンテキストの深化で何らかの異常が発生すると見られます。

現在、Gemma 3で同様の問題が発生するかトライを試みています。新規の更新がありましたら報告します。

AIの限界 on Grayrecord Technow Blog

Gemini Illusion