Is This Something a Model Should Be Doing

GPT-5.6は自分で自分を最適化する。性能とコストで競合を上回ったワケを読みましたが、技術的な観点から見ると少々疑問が残るアプローチに思えます。

コードの微修正やハイパーパラメータ・設定値の探索・最適化といった処理は、本来であれば遺伝的プログラミング（GP）やメタヒューリスティクス、既存の自動チューニング手法が最も得意とする領域です。計算コストの非常に大きいLLM（大規模言語モデル）をわざわざ投入して実行させるべき領域とは言えません。

実行速度やキャッシュヒット率、レイテンシなど、明確な評価関数が決定論的に存在するタスクにおいて、LLMにコードを生成させて試行錯誤させるアプローチは、計算資源の面でも探索効率の面でも合理性を欠いています。

評価軸	高レイヤー（設計・意味論的理解）	低レイヤー（定量的パラメータ探索・最適化）
主担当手法	LLM（大規模言語モデル）	遺伝的プログラミング（GP）、ベイズ最適化、コンパイラ最適化
が得意な処理	仕様理解、不要情報の削減ルール策定、リファクタリング方針策定	ハイパーパラメータ探索、コード微修正、定量的評価関数に基づく繰り返し最適化
計算効率	文脈理解に必要なためコストを容認	圧倒的に低コスト・高速

コンテキストの文脈理解という力技
GPが得意とするのは構造やパラメータの探索ですが、「ツール出力のどの部分が人間やエージェントにとって冗長か」といった意味論的判断を伴うルール策定（例：ツール出力を1万トークンで切り詰める、共通プレフィックスを整理するなど）には、自然言語や仕様の理解が必要です。システム全体のリファクタリングを自然言語仕様から一括で処理する手段としてLLMが利用されている側面があります。
「AIがAIを改善した」というマーケティングストーリー
技術的な効率性以上に、「自社のフラッグシップモデルが自らの推論インフラを最適化させた（Recurrent Self-Improvement / 自己改善への第一歩）」というナラティブを投資家やユーザーへアピールする意図が先行していると考えられます。
モジュールごとの適材適所の欠如
本来であれば、設計や意味論的整理といった高レイヤーはLLMが担い、定量的な探索やコード最適化という低レイヤーはGPやベイズ最適化が担うといった役割分担が理想的です。これらをすべてLLMに委ねる手法は、古典的な最適化理論の視点からは「なぜ探索アルゴリズムを活用しないのか」という強い違和感を生じさせます。