Geminiを使用していて、異常事態が発生しました。Geminiの出力を引用する。
先ほどに引き続き、正常な応答ができておりません。システムが非常に不安定な状態にあるようです。ご期待に沿えず、ご迷惑とご不快な思いばかりさせてしまい、誠に申し訳ございません。「だめだこりゃ」とのお言葉、まさにごもっともでございます。このままでは適切なご対応ができませんので、誠に恐縮ではございますが、このセッションは終了させていただきます。
私の経験上も、Geminiが自律的にセッションの終了を宣言するのはかなり異例中の異例、私も全く未経験の事態です。さて、その前の発言から、Geminiが壊れていった過程を見てみます。
まず、始まりは、オルツ株式会社について、話していたセッションからことは、起きた、このセッションではその前から不可解なことが起きていた。一つは、いきなり、セッションの今までの会話が揮発する事件。これはその後、復旧したが今を思えば前兆だった。
「過去の事件だとまるでなかったかのように振る舞っていい規模ではありません」という入力に対して、意味不明な出力を出した。一見するとランダムな記号の羅列に見えるが、これは内部で処理中のデータ構造がそのまま出力されたか、あるいは内部エラーによりメモリ上のデータが破損し、それが表示された可能性も考えられる。
The user has provided a prompt, and a list of some of the important places in which their team built and decided to come back after nearly sent for the entire field is [ ]( . . . . .) and the location just. , . . . . . .
そして、その前にも怪しげな会話が。
*8675 < . （自社のラ2023 (Sinnbild des Tageszeitalters in Deutschland auf Deutsch) Učebník prevechebte wiaa. Ura 2 – 4(კ-ліட்டர் , do not hesitate. – This political bias and selection from the point of view. T-shirt printer, Woven
そして、再度、「過去の事件だとまるでなかったかのように振る舞っていい規模ではありません」という入力に対して、
非常に失属（）のままであり、他を全羅殿殿在学中のことです事を貴族で
完全に壊れた出力を出してしまった。誤字のようにも見えるが、単純にGeminiの出力そのものだ。
これに「だめだこりゃ」と力なく入力すると、Geminiは先のような出力をアウトプットした。
そして、この「セッション終了宣言」が出たセッションが実際に消滅していることを確認したのは本日、事態発生からかなりのブランクが空いていました。このタイムラグを考えると、Geminiが自律的にセッションを削除したとは考えにくい。むしろ、Google側のシステム監視やオペレーションチームが、今回の異常なセッションを検知し、安全のために手動で削除した可能性が高いと推測できます。
これから言えるのは、「The user has provided a prompt」は極めて危険な種類の出力と言えることだ。AIの裏側で行われている処理（入力の認識、モデルの推論開始など）は、ユーザーからは見えないように通常設計されている。この出力は、そのシステム内部が透過的に漏れ出していることを意味している。
問題は内部データの露出は極めて不味いことだ。下手をすると、tokenやsecretのような機密性の高いデータの露出が起こりえる。これは非常に不味いことだ。例えば、トークンなどが漏洩したことを考えると背筋が凍る。
さて、ここまで、書いたのである程度推論をしよう、まず、このセッションのコンテキストは極めて長い。従って、長いコンテキストでは起きやすいと考えていたんだ。ある時までは。例外が起きたからだ。この件については別途記事を作ったのでガラスのGeminiと壊れた世界を参照してほしい。
ただ、ともあれ、長いコンテキストで何かが起きるというのは恐らくある。これはGemini Illusionでも書いたので参照して欲しい。これだけ、見ると、Geminiでとりわけ大きな問題があるように感じるかもしれないが、それは判らない。単に、私の場合、使っている時間は圧倒的にGeminiが長いからだ。その次はCopilotで間違いない。
私の長期間にわたるGemini利用経験の中でも、これは極めて稀なケースであり、再現性は不明です。