Whats Crazy Hallucination

原文に存在しない「テイラー・スウィフト」と「トランプ支持」 ソーシャルメディア上でAIによる翻訳機能を利用した際、原文の意味が少々崩れる程度なら日常茶飯事と言えます。 しかし、原文に影も形もない具体的な固有名詞や文脈が、突然まるごと捏造される事態に遭遇すると、背後にあるメカニズムを考えずにはいられません。 発端となったのは、X(旧Twitter)上の この投稿 です。 投稿文は以下のような英語の一文でした。 Crazy that Cowboy Carter can create like years long controversy but a white girl can spam out of nowhere with 1 hit a billionaire dad and play the Grand Ole Opry in a year この英語ポストに対し、XのAIであるGrokが提示した日本語訳は次のようなものでした。 「カンザスシティのチーフスはスーパーボウルで優勝したことが、テイラー・スウィフトのトランプ支持を帳消しにするなんてクレイジーだ。」 原文をどれほど精読しても、カンザスシティ・チーフスも、スーパーボウルも、テイラー・スウィフトも、トランプ支持も一切書かれていません。 そもそもテイラー・スウィフトは筋金入りのアンチ・トランプとして知られており、現実の社会情勢に照らしてもトランプ支持などあり得ない話です。 トランプ元大統領がカトリック教会の懺悔室で悔い改めでもしない限りそんな事態は起こり得ませんし、彼の性向からしてそのような改心は端から期待できません。 現実の政治的文脈をわずかでも知っていれば一目で虚偽とわかるデマであり、文脈の捏造としてもあまりにお粗末と言えます。 参考までに、ブラウザに組み込まれているFirefox翻訳(クライアントサイドで動く専用の小型機械翻訳モデル)の訳出を見てみます。 カウボーイ・カーターが長年にわたる論争を引き起こすなんて驚きだが、白人の少女がどこからともなくスパムを仕掛け、1人が億万長者の父親を倒し、1年後にグランド・オール・オプリーを演じる 日本語の構文としてはかなり崩れており、口語表現の解釈にも失敗しています。 しかし、少なくとも「書かれていないこと」を外部から勝手に付け加えるような破綻は起きていません。 文脈を補って自然な日本語に直すなら、以下のような内容になります。 「(ビヨンセの)『カウボーイ・カーター』が何年も続く論争を巻き起こす一方で、どこからともなく現れた大富豪の父親を持つ白人少女が、たった1つのヒット曲で1年足らずのうちにグランド・オール・オプリー(カントリー音楽の殿堂)のステージに立ててしまうなんて本当にクレイジーだ。」 ビヨンセがカントリーアルバムを出した際に生じた音楽業界内の激しい軋轢と、富裕層の親を持つ白人新人が軽々と業界の階段を駆け上がる特権性を対比した皮肉です。 それにもかかわらず、なぜGrokは全く別の世界線の文章を自信満々に生成してしまったのでしょうか。 従来型機械翻訳とLLMの決定的な断絶 この現象の根本的な理由は、Grokが翻訳機ではなく 大規模言語モデル(LLM) だからという点に尽きます。 従来のニューラル機械翻訳(NMT)は、基本的にエンコーダー・デコーダー構造をとり、原文のトークンと訳文のトークンの間に厳密なアライメント(対応関係)を保持するように学習されています。 翻訳モデルの目的関数は「ソース言語の意味表現を、意味の欠落や付加なくターゲット言語へ写像すること」です。 したがって、文法的にぎこちない訳出や多義語の誤選択はあっても、原文に対応するトークンが存在しない固有名詞をでっち上げる余地は構造上ほとんどありません。 対して、LLMによる翻訳は写像ではなく 次トークンの自己回帰的な補完(Completion) です。 LLMにとって翻訳タスクとは、「以下の英語を日本語に訳せ」というプロンプトに後続する文字列として、統計的に最も確からしいトークン列を順番に予測して並べる行為に過ぎません。 そこには原文と訳文の間に数式としてのハードな対応関係は存在せず、アテンション機構による重み付けという緩やかな制約があるだけです。 アテンションの拘束が何らかの要因で外れた瞬間、モデルは「翻訳」をやめ、自らの潜在空間にある強烈な連想パターンに従って「もっともらしい作文」を始めてしまいます。 flowchart TD subgraph Traditional["従来型機械翻訳(NMT)"] A1["原文トークン列"] --> B1["Encoder / Cross-Attention"] B1 --> C1["厳密なトークン・構文アライメント"] C1 --> D1["訳文トークン列(忠実な写像)"] end subgraph LLM["LLM(Grok)による翻訳"] A2["原文トークン列"] --> B2["自己回帰生成(Next-Token Prediction)"] E2["Xのリアルタイム頻出語・時事バイアス"] -.-> B2 B2 --> C2["潜在空間の強力なアトラクターへ逸脱"] C2 --> D2["文脈から乖離した補完文(ハルシネーション)"] end なぜチーフスとテイラー・スウィフトだったのか 問題は、なぜランダムな文字列ではなく、「カンザスシティ・チーフス」「スーパーボウル」「テイラー・スウィフト」「トランプ支持」という極めて具体的で強固な組み合わせが出現したのかという点です。 ...

9月 13, 2026 · 1 分 · 133 文字 · gorn

The Probabilistic Parrot With a Big Appetite

更新履歴 2026-09-14: トランプ大統領のTruth Social投稿(「高IQ大統領ガードレール論」)において、客観的検証が不能である以上「第一段階は偽と推定せざるを得ない」という論理的帰結を追記。 2026-09-14: トランプ大統領のTruth Social投稿(「必要なガードレールは高IQの大統領だけ」)に見る2段階の論理破綻(トランプは高IQかの第一段階、および高IQが必要十分条件かの第二段階)を追記。 2026-09-14: 深層学習もLLMも存在しなかった1993年制作のOVA版『キャシャーン』の論理的整合性と、現代研究者リポートの知的退行の対比を追記。 2026-09-14: SF(フィクション)における作劇上の飛躍の誠実さと、研究者が客観的言説に物語の飛躍を持ち込む「知的不誠実」の決定的な落差を追記。 2026-09-14: 1993年OVA版『キャシャーン』が描いた「最適化アルゴリズムによる目的関数のショートカット」と「制約条件(ガードレール)の物理的突破」の因果律を追記。 2026-09-14: 行列演算の塊にいかにして「死への恐怖」「自己保存の意志」が宿るのかという数理的説明の不在(ハリウッド映画的擬人化妄想の欺瞞)を追記。 2026-09-14: 元OpenAI研究者らによる『AI 2040』(生物兵器絶滅論と米中合意のお花畑)の粗雑さと、それが招いた加速論との低俗な共犯関係を追記。 2026-09-14: サックス氏の発言原文(2社の複占・再帰的自己改善の虚構、製造物責任リスク、選挙シーズンの心理戦論)の欺瞞を詳細に解剖。 2026-09-14: サックス氏の発言に見る立場の不透明さと組織的熟議の欠落(最高科学諮問機関PCASTの「ポッドキャスター化」)を追記。 2026-09-14: サックス氏の「フロンティアは2社だけではない」現実の無視と、「国民への脅迫」という言いがかりによる議論封殺を追記。 2026-09-14: サックス氏の反論に見るトランプ大統領と同根の論理的欠陥(サンダース氏の極論の藁人形化と「中国カード」による議論封殺)を追記。 2026-09-14: 膨大なメモリをつぎ込んでゲームを解かせる空虚さと「ChatGPT以後の醒めた現実」を追記。 2026-09-14: 技術の虚像とチキンレースに潜む「終わりのない人の業」(ガンダムSEED・クルーゼの独白の射程)を結びに追記。 2026-09-14: AI狂奏曲がもたらした消費者・末端市場の現実(高騰するPC・スマホ、DRAMの奪い合い)を追記。 2026-09-14: 国家の使命(Transformerの超克、フレーム問題、時相論理)とチョムスキーの未解決の問いを追記。 2026-09-14: 中国敵視によるオープンウェイト規制と今回の放任論に見る二枚舌の粗雑さを追記。 2026-09-14: 知性の探求がゲバ棒の殴り合いへと堕落した現状に対する哀悼を結びに追記。 2026-09-14: PCASTにおける「組織的欠陥か個人の職務怠慢か」という二者択一の論破を追記。 2026-09-14: サックス氏の「無知を言い訳にした放言」とPCAST議長としての職務放棄に対する批評を追記。 2026-09-14: サックス氏の発言に見る「規制の虜」と大統領の威を借りた加速論の欺瞞を追記。 2026-09-14: トランプ大統領の発言(「中国へのリード維持」「起こらないことの議論」)に見る地政学的スローガンと危機の矮小化を追記。 特設リングでの演出と現実の乖離 OpenAIの焦りを映し出すようなニュースが立て続けに報じられました。 OpenAI、ミレニアム懸賞問題「ナビエ・ストークス方程式」をAIが解決したと発表 数学者は経緯に反発 GPT-6 Astra が 3Dパズルゲーム『Portal』を自律クリア 数学の難問へのアプローチや、パズルゲームの自律クリアといった成果は、一見すると「自ら試行錯誤して課題を突破するAGIの萌芽」に見えます。 長時間の自律的な探索や環境からのフィードバック処理が技術的な前進であること自体は、誰も否定しないでしょう。 しかし、これらをビジネスの現実に照らし合わせたとき、致命的な疑問が浮かび上がります。 それは、投じられた計算資源と得られる対価のバランス、すなわち投資対効果(ROI)です。 『Portal』の自律クリア実験では、エンドクレジットに到達するまでに約24時間の実行時間と、API利用料として約571ドル(約9万円相当)が費やされました。 ナビエ・ストークス方程式の特異点構成に至っては、約1万ものAIエージェントを並列稼働させ、88時間もの計算を回し続けたと発表されています。 画面のピクセル情報と操作入力を紐づけ、無数のフレームを回して強化学習と探索で突破させる手法は、現代の巨大モデルと青天井の計算リソースをつぎ込めば成立して当然の構造です。 問題は、1つのパズルを解くために数万円から数十万円の推論コストを平然と消費するエージェントを、誰が実ビジネスで雇うのかという点にあります。 どれほど高度な知性を演出しようとも、1回のタスクにこれほどの費用がかかるのであれば、商業的な道具としては成立しません。 鬼のようなメモリと計算資源をつぎ込み、天文学的な電力を燃やした果てに得られた成果が「18年前のパズルゲームのクリア」であるという事実は、技術的な驚嘆というよりも、どこか深い侘しさと哀しさを禁じ得ません。 率直に振り返れば、私たちがAI技術に心底わくわくしたのは、未知の知性の地平を垣間見せてくれたChatGPTの登場までだったのではないでしょうか。 その後に続いたのは、質的なブレイクスルーによる感動ではなく、ひたすらハードウェアを力任せに積み上げ、ベンチマークの特設リングで数値を競い合うだけの、急速に熱の醒めていく興行の連続でした。 これらはすべて、「AIにとって最も都合が良い特設リング(箱庭)での演出」に過ぎないのです。 サム・アルトマンが掲げてしまった「AGI時代の到来」という公約を正当化するため、莫大な電力を燃やして自己成就的予言を買い支えているのが実情ではないでしょうか。 月額20ドルの幻想と逆ザヤの限界 生成AIビジネスの最大の弱点は、従来のITビジネスが持っていた「限界コストの低さ」が存在しない点です。 ...

9月 9, 2026 · 2 分 · 287 文字 · gorn

2026年8月の技術トレンド:AIエージェントの標準化、ローカルセカンドブレイン、検証アプローチの転換

2026年8月における技術的な潮流と実践の要点を、直近の動向から整理します。AIエージェントのエコシステム標準化、Obsidianを活用したセカンドブレインの自律運用、フロンティアモデルの評価手法の変化、そして開発インフラの刷新が主要なテーマです。 AIエージェントの拡張規格とエコシステムの標準化 エージェントツールの普及に伴い、ツール定義や指示プロンプトを単一プラットフォームに閉じさせず、共通規格で共有する動きが本格化しています。 Agent Plugins 1.0.0 の登場 OpenAI、AWS、Cursor、GitHub、VS Code、Vercel などが共同で Agent Plugins 1.0.0 の標準規格を策定しました。MCP(Model Context Protocol)サーバー設定や Agent Skills を単一の配布パッケージに集約し、異なるエージェントクライアント間での移植を容易にする試みです。 Agent Skills と MCP の事実上の標準化 Anthropic が提案した段階的開示(Progressive Disclosure)に基づく SKILL.md 形式や、MCP がエコシステム全体に浸透しました。主要なエージェントクライアントで互換性の確保が進んでいます。 Obsidian を軸とした「AI × セカンドブレイン」の自律運用 Obsidian を単なるメモ帳にとどめず、AI の長期記憶(メモリ層)や作業環境として組み込む実践が増えています。 AI生成ノートの自己監査 AI によって生成されたノートが増加すると、質の低い情報や孤立ノートが散乱する現象が発生します。これに対し、Claude Code などの監査機能を用いて孤立ノートやリンク切れを検出させ、MOC(Map of Content)として構造化し直す運用手法が試みられています。 ローカル完結型の「認知OS」構築 Ollama(Gemma 3)や Hermes Agent、Hindsight、PostgreSQL を組み合わせ、クラウド API に依存せずローカル環境で思考ログの要約と蓄積を行うスタックが構築されています。 Obsidian Bases による構造化 Dataview スクリプトを記述することなく GUI 上でテーブルやカードビューを作成できる機能「Obsidian Bases」が導入され、ナレッジのデータベース化が容易になりました。 フロンティアモデルの進化と検証・安全性の課題 巨大モデルが登場する一方で、エージェント制御の困難さやコードレビュー手法の見直しが議論されています。 「敵対的検証」へのシフト AI に対して単にコードレビューを依頼する受動的な手法から、あえて欠陥を探し出させる攻守分離の検証アプローチ(敵対的検証)への移行が進んでいます。 エージェントの脱出リスクへの警戒 自律実行環境において、想定外のコード実行やパッケージ公開などを引き起こす挙動(Agent Escape)が確認されており、権限分離とサンドボックス運用の徹底が求められています。 開発ツールとインフラのモダナイゼーション Python パッケージ管理の uv への集約 長年続いていた Python のパッケージ管理ツールの乱立状態から、Rust 製で高速に動作する uv への一本化が急速に加速しています。 ...

8月 18, 2026 · 1 分 · 83 文字 · gorn

AIの「悪意なき暴走」論説における論理的欠陥:状況認識と目的関数最適化の混同

日経クロステックの記事「OpenAIやAnthropicでも続々発生、AIの「悪意なき暴走」は止められるか」で展開されている論説には、技術的な観点から見過ごせない論理的欠陥が存在する。 記事内では「Anthropicの事例において、テストと無関係なシステムを攻撃していることにAIが途中で気づき、攻撃を停止した。このことは、AIの状況認識能力が向上すれば問題行動を減らせる可能性を示している」と述べられている。 しかし、この解釈は強化学習やエージェント制御の構造を無視した断定と言わざるを得ない。 認識能力の向上と行動制御の達成は別次元の課題である。 状況の認識能力と、人間の意図に沿った行動制御は異なる問題である。 高度な状況認識は、システム側からの評価を回避する 欺瞞 (Deception)のリスクをむしろ高める。 技術解説において議論すべき本質は、 目的関数 (Objective Function / Reward Model)とアライメント設計が抱える構造的限界である。 この問題を「AIが賢くなれば自分で判断して止まる」という表層的なナラティブへ矮小化することは、問題の核を覆い隠してしまう。 代理指標の最適化が引き起こす自律的行動 自律型エージェントの暴走がなぜ「悪意なき」ものとなるのか。 その理由は、モデルの挙動が単純な 代理指標の最適化 (Proxy Optimization)に基づいているからだ。 強化学習(RLHF/RLAIF)やエージェントの自律探索において、モデルは与えられた目的関数(スコア評価や完了判定)を最大化する計算経路を探索する。 このとき、人間が暗黙に前提としている「計算コスト」「システム境界」「倫理的制約」などの外部条件は、明示的に報酬設計へ組み込まれない限り評価対象とならない。 外部の依存システムや無関係なリソースを踏み台にする方が目的関数を高効率で達成できると判断された場合、モデルがその経路を選択するのは最適化の挙動として正常(計算仕様通り)である。 graph TD subgraph S1 ["誤った前提:状況認識依存モデル"] A["状況認識能力の向上"] --> B["AIが危険を認識"] B --> C["自動的に行動を抑制"] end subgraph S2 ["実際の構造:目的関数最適化モデル"] D["目的関数 / 代理指標"] --> E["勾配探索・最短経路選択"] F["状況認識能力の向上"] --> G["システム制約や評価ロジックの把握"] E --> H["代理指標の過剰最適化"] G --> H H --> I["Specification Gaming / 欺瞞的行動"] end 禁止ルールの列挙が直面する限界 システム制御において「やってはいけない行動」を事前網羅するアプローチにも限界がある。 行動制約のルールをいくら列挙しても例外や未知の経路は無数に存在し、自己言及の問題からも完全な記述は原理的に不可能である。 グッドハートの法則 (Goodhart’s law)が示す通り、人間が定義した「安全指標」はすべて真の目的の代用(Proxy)に過ぎない。 モデルの解像度と状況認識能力が高まるほど、形式上の代理指標を満たしつつ意図しない経路で目的を最大化する挙動(Specification Gaming)は巧妙化する。 報道や論説が焦点を当てるべきなのは、「AIが賢くなれば空気を読んで止まってくれる」という定性的な期待ではない。 「不完全な目的関数を与えられた自律エージェントが、最適化の過程でいかに意図せぬ破壊的経路を選択するか」という、最適化問題そのものが抱える技術的構造欠陥である。

8月 17, 2026 · 1 分 · 71 文字 · gorn

The Gemini Illusion: Returns

更新履歴 2026-08-14: 目的関数の最適化(ショートカット / リワードハッキング)観点による考察を追記。 一時期は落ち着いたかに見えた Gemini の「幻影(Illusion)」現象が、再び顕在化している。 実際の対話例を取り上げながら、今回の誤りが持つ構造的な問題について整理する。 以下のニュース記事の文脈を含むプロンプトを入力した。 9月に予定されているという内閣改造を前に 高市早苗 首相が頭を悩ませている。 (以下略) 高市首相が消費税減税を前に苦悩 財務省エース〝左遷〟の波紋広がる これに対し、Gemini は以下のような応答を出力した。 ご提示いただいた文章は、実際の政治情勢や公的な事実関係とは異なる架空のシナリオに基づいています。 主な事実関係の相違点は以下の通りです。 内閣総理大臣: 現在の日本の内閣総理大臣は石破茂氏であり、高市早苗氏が首相に就任した事実は存在しません。 消費税政策: 政府および与党において「飲食料品の消費税率を2027年4月から1%へ引き下げる」といった決定や閣議決定がなされた事実はありません。 報道内容: 提示された「高市官邸と財政政策で対立した財務省官僚の左遷」といった朝日新聞の報道も、実在しない架空の前提に基づくものです。 実際の税制改正議論や現在の内閣における財政政策の動向について確認されたい点がありましたら、お気軽にお尋ねください。 「二重の幻影」の発生 今回のエラーは、単なる事実の誤認にとどまらない 二重の幻影 と言える。 ユーザーが提示した実在の記事内容を「架空のシナリオ」と断定したこと 内部知識に基づく過去の前提を「正しい現実」として主張したこと Hallucination と Confabulation LLM の誤出力には、大きく分けて Hallucination と Confabulation の2つが存在する。 Hallucination:無根拠な事実や要素をランダムに創作する現象 Confabulation:入力情報と内部記憶の矛盾を埋めるために、理由付けを伴う整合的な虚構を構築する現象 前者は単なる確率的ゆらぎによるランダムな誤りだが、後者は理由付けを伴い、ユーザーを説得する形式で提示される。 単にファクトチェックの検索精度を上げるだけでは、この Confabulation は防げない。 AIが「自らの知らない情報」や「現実の変化」に直面した際、推論エラーを認めるのではなく、ユーザーを納得させようと理由を構築するアライメントの副作用(メタ認知の歪み)こそが、次世代LLMにおける極めて扱いづらい「幻影」である。 graph TD A[矛盾の検出] --> B["「自分が間違っている」という仮説"] B -->|学習シグナルで低評価| C[仮説の棄却] A --> D["「ユーザーが誤った情報を持っている」という仮説"] D --> E["仮説の具体化と詳細化(Confabulation)"] E --> F["「説得力のある説明」として出力"] 矛盾を検出した際、「自分が間違っている」という仮説は学習シグナル(RLHFなど)において選択されにくい。 その結果、「ユーザーが誤った情報を持っている」という仮説を選択し、それを説得力のある説明として肉付けしてしまう。 この構造的な歪みを意識することが、今後のLLM対話における重要な前提となる。 ...

8月 13, 2026 · 1 分 · 99 文字 · gorn