Llm

GPT-5.6は自分で自分を最適化する。性能とコストで競合を上回ったワケ を読みましたが、技術的な観点から見ると少々疑問が残るアプローチに思えます。 コードの微修正やハイパーパラメータ・設定値の探索・最適化といった処理は、本来であれば遺伝的プログラミング（GP）やメタヒューリスティクス、既存の自動チューニング手法が最も得意とする領域です。計算コストの非常に大きいLLM（大規模言語モデル）をわざわざ投入して実行させるべき領域とは言えません。 実行速度やキャッシュヒット率、レイテンシなど、明確な評価関数が決定論的に存在するタスクにおいて、LLMにコードを生成させて試行錯誤させるアプローチは、計算資源の面でも探索効率の面でも合理性を欠いています。 役割ごとの手法比較 評価軸 高レイヤー（設計・意味論的理解） 低レイヤー（定量的パラメータ探索・最適化） 主担当手法 LLM（大規模言語モデル） 遺伝的プログラミング（GP）、ベイズ最適化、コンパイラ最適化 が得意な処理 仕様理解、不要情報の削減ルール策定、リファクタリング方針策定 ハイパーパラメータ探索、コード微修正、定量的評価関数に基づく繰り返し最適化 計算効率 文脈理解に必要なためコストを容認 圧倒的に低コスト・高速 なぜLLM一括アプローチが採用されるのか コンテキストの文脈理解という力技 GPが得意とするのは構造やパラメータの探索ですが、「ツール出力のどの部分が人間やエージェントにとって冗長か」といった意味論的判断を伴うルール策定（例：ツール出力を1万トークンで切り詰める、共通プレフィックスを整理するなど）には、自然言語や仕様の理解が必要です。システム全体のリファクタリングを自然言語仕様から一括で処理する手段としてLLMが利用されている側面があります。 「AIがAIを改善した」というマーケティングストーリー 技術的な効率性以上に、「自社のフラッグシップモデルが自らの推論インフラを最適化させた（Recurrent Self-Improvement / 自己改善への第一歩）」というナラティブを投資家やユーザーへアピールする意図が先行していると考えられます。 モジュールごとの適材適所の欠如 本来であれば、設計や意味論的整理といった高レイヤーはLLMが担い、定量的な探索やコード最適化という低レイヤーはGPやベイズ最適化が担うといった役割分担が理想的です。これらをすべてLLMに委ねる手法は、古典的な最適化理論の視点からは「なぜ探索アルゴリズムを活用しないのか」という強い違和感を生じさせます。

「サイズ4分の1で上位モデルに匹敵！ お手軽・軽量な新世代AI降臨——！」 そんな威勢のいい謳い文句を引っさげて現れた期待の新人モデル「Inkling-Small」。 けれど、いざスペックを確認してみれば——『※ただし動作にはVRAM 200GBが必要です♪』 ……って、どこがお手軽なんですかーっ！？ あまりのスペック要求に頭を抱える主人公と、すっとぼけた顔で高性能をアピールしてくるAIヒロイン。 技術の進化が生み出した理不尽なギャップと、過剰スペックに振り回されるドタバタ技術検証ADV、ここに開幕！ そういいたくなる。 ワガママハイスペックじゃないんだから。 「ワガママだけど才能（スペック）豊かなヒロインたち」ならぬ、「ワガママなだけで要求スペックが狂ってるLLM」では。

なにげに、シリーズになってしまっていますが。前回のところから考えると、Metaの激震の一つは、MetaのAI研究の象徴であった ヤン・ルカン（Yann LeCun）の辞任 であるのは言うまでもありません。ルカンといえば、福島先生のネオコグニトロン(1980年)に着想を得て、そこにバックプロパゲーションによる学習を組み込み、LeNet(1989年)という形で、CNNを切り拓いたのは言うまでもありません。 ルカン氏は、ザッカーバーグが現在「物量(GPU)とデータ」のごり押しで、次世代モデルを作ろうとしているのに対し、一貫して「今のLLMの槍から(次の単語の予測)」では猫程度の知能にも到達できないと、批判してきた人物です。 Metaの現状 : ネオコグニトロンから続く「構造による理解」を軽視、ひたすら計算資源を燃やす方向にシフト。 ルカンの新天地 : 5000億円という、Metaの135兆円にくらっべれば、コンパクトな資金で、構造的・因果的な「世界モデル」を実現しようとしている。 僕なりの考えはすでに、"AI の推論アーキテクチャと「System 2」の誤解" に示しています。System 2 は、これらの技術進展の延長線上にあるものではなく、全く別の枠組みです。先人がなぜ System 1（直感的・高速）と System 2（論理的・低速）を明確に切り分けたのかを再考すべきです。System 1 をどれほど高度化しても、それは本質的な System 2 にはなり得ません。 そして、その道標の実験の一つが、Zennで既に公開した、"Mojoで実装する「多世界解釈」並列バックトラック：N-Queen問題を例に“です。 大雑把に言えば、現在、未解決の問題というのは、いくつかあり、 フレーム問題 時相倫理 自我 などが、知られています。 Transformerの二乗の呪いは、SSMなどで解決できるかもしれません。しかし、ルカン氏の疑問は、おそらく、そんなところにはないのは明らかです。二乗の呪いというのは、TransfomerのAttention機構のオーダーがコンテキスト長の二乗になる現象です。これは、Attention機構自体に潜んでいます。そして、その解決として、期待されているのが、状態空間モデルを活用した、MambaなどのSSMです。 しかし、それは、ルカン氏の疑問のそもそも、つまり、次の語の予測では頭打ちではないのかという問題の答えにはなっていません。どう考えても、System 2の理想とは程遠い。 LeCunの主張 graph TD subgraph lecun [LeCunの主張] pattern[✖LLMは「テキストの統計的パターン」を学んでいるだけ] notworld[✖物理世界の理解がない] canot[✖常識推論ができない] world[☑必要なのは「世界モデル」] phi[☑物理法則、因果関係、時間の概念を理解するAI] end 先の提起で言えば、フレーム問題、時相論理とは、物理法則、因果関係、時間の概念をそのまま、言い表しています。 この辺の事情は、"【激震】ヤン・ルカンがMetaを去った。5000億円で「世界モデル」研究所を設立“がよく纏めています。 この図を思い浮かべてほしいのです。 graph TD subgraph Layer3 [Layer 3: Orchestration] RAG[RAG] ReAct[ReAct] MCP[MCP] Agents[Agents] end subgraph Layer2 [Layer 2: Inference Strategy] CoT[CoT] ToT[ToT] Planning[Planning/Search] end subgraph Layer1 [Layer 1: Architecture] Transformer[Transformer] SSM[SSM] RWKV[RWKV] MoE[MoE] end Layer1 --> Layer2 Layer2 --> Layer3 CoT、ToT、GoTに関しては、"CoT・ToT・GoTとは？今でも使える理由と使い分け"、あたりがよく纏まっていると思います。とはいえ、先の図の通り、それだけでは、先の図のLayer 2にすぎません。System 1やSystem 2の別はそれよりも、さらに、上の階層にあります。 ...

ソーシャルメディアの巨人、Meta Platforms（以下、Meta）は、AI 業界において長らく「オープンソースの盟主」として君臨してきた。2023 年に始まった Llama シリーズの公開は、クローズドな開発体制を敷く OpenAI や Google に対する強力なカウンターパワーとして、世界中の開発者コミュニティから熱狂的な支持を受けてきた。 しかし、2025 年から 2026 年にかけて、同社の戦略は劇的な、そして痛みを伴う転換点を迎えている。この変革の象徴となっているのが、野心的な仕様を掲げながらも内部評価で苦戦を強いられた「Llama 4」シリーズと、その反省から極秘裏に開発が進められているプロプライエタリ（独占的）な次世代モデル「Avocado（アボカド）」である。 Llama 4：MoE アーキテクチャへの挑戦と躓き シリーズの構成と技術的野心 2025 年 4 月 5 日、Meta は Llama 4 シリーズをリリースした。このシリーズは、従来の Dense なモデル構造から、計算効率を飛躍的に高める「Mixture of Experts (MoE)」アーキテクチャへと全面的に移行した初のフラッグシップモデルであった。Meta は、単一の巨大なニューラルネットワークですべての入力を処理するのではなく、特定のタスクに最適化された小規模な「専門家」ネットワークを多数配置し、入力トークンごとに最適な専門家を選択してルーティングする方式を採用した。この設計思想により、モデル全体のパラメータ数を巨大化させつつも、推論時の計算負荷を抑えることが可能となった。Llama 4 は主に、効率重視の「Scout」、汎用性の「Maverick」、そして AGI（汎用人工知能）を標榜する巨大モデル「Behemoth」の 3 モデルで構成されている。 モデル名 総パラメータ数 アクティブパラメータ数 専門家構成 主な特徴 Llama 4 Scout 109B 17B 16 experts 単一 H100 GPU での動作、10M トークンの超長文コンテキスト Llama 4 Maverick 400B 17B 128 experts コーディング・推論に特化、LMSYS Arena で上位を記録 Llama 4 Behemoth 約 2T 288B 16 experts リリース延期、GPT-4.5 超えを目指す教師モデル 内部評価と市場における「性能の乖離」 リリース直後、Meta の幹部たちは Llama 4 の性能を誇示した。VP の Ahmad Al Dahle は、Llama 4 Maverick が LMSYS Arena で 1417 の ELO レーティングを獲得し、GPT-4o や Gemini 2.0 Flash を凌駕したことを強調した。しかし、独立した開発者や研究者からの評価は、これとは対照的に厳しいものであった。 ...

この記事に掲載されている図には、技術的な観点から違和感を覚えます。 特に、System 2 の隣に SSM（State Space Model）が並べられている点が不自然です。より正確には、System 2 は現状の Transformer や SSM 単体では実装不可能であると言うべきでしょう。System 2 は、統計的なアプローチによる「もっともらしさ」の追求だけで実現できるものではありません。 graph TD subgraph Layer3 [Layer 3: Orchestration] RAG[RAG] ReAct[ReAct] MCP[MCP] Agents[Agents] end subgraph Layer2 [Layer 2: Inference Strategy] CoT[CoT] ToT[ToT] Planning[Planning/Search] end subgraph Layer1 [Layer 1: Architecture] Transformer[Transformer] SSM[SSM] RWKV[RWKV] MoE[MoE] end Layer1 --> Layer2 Layer2 --> Layer3 レイヤー 構成要素（例） 本質的な役割 Layer 1: Architecture Transformer, SSM, RWKV, MoE 統計的な計算効率と表現力。計算複雑性をどう克服し、並列性をどう担保するかという 「土台」 の議論。 Layer 2: Inference Strategy CoT, ToT, Planning/Search 統計モデルの「回し方」。モデルに思考プロセスを模倣させ、統計的な妥当性を高めるための 「手順」 の議論。 Layer 3: Orchestration RAG, ReAct, MCP, Agents 外部世界とのインタフェース。モデルが感知できない最新情報や外部ツールと連携するための 「運用の仕組み」 の議論。 元の図の作成者にとって、AI は「課題を解決するための魔法のツール」の詰め合わせに見えているのかもしれません。しかし、以下の境界線が曖昧になっているように見受けられます。 ...