DataEngineering

更新履歴 2026-09-12: 「優れたデータサイエンスはピボットテーブルに帰着する」という本質論を結びと論考に追記。 2026-09-12: ピボットテーブルの決定論的強靭さと粗雑なモデリング・外部AI依存の比較を追記。 2026-09-12: 外部持ち出しによるガバナンス崩壊と初歩的集計へのAI依存に関する分析を追記。 2026-09-12: 包括サブスクリプションの消化圧力とSIerの受託力学に関する分析を追記。 ChatGPT Workにおいて、自然言語で指示するだけで社内データを集計し、グラフやダッシュボードまで作成する「Data agent」が発表された。一見するとビジネスユーザーにとって利便性の高い進化に見えるが、システムアーキテクチャの観点から見ると、その技術的価値には強い疑問が残る。実務におけるデータ分析では、テーブルの物理スキーマだけでなく、カラムの文脈、ビジネスロジック、データリネージ、行レベルのアクセス権限といったメタデータが不可欠である。外部のエージェントが自律的に正しい分析を行うためには、構造上、Snowflake HorizonやDatabricks Unity Catalog、あるいはMicrosoft Fabricといったメタデータ基盤からこれらの定義を取り込まねばならない。しかし、そうしたメタデータ基盤をすでに整備している環境であれば、基盤自身が最適化されたLLMクエリ生成エンジンをすでに備えている。確立されたメタデータ基盤の外側に、あえて別建てのLLMエージェントを被せる構成は、車輪の上に別の車輪を重ねるような過剰な二重構造にほかならない。二重構造が生み出す4つの構造的欠陥すでにネイティブなクエリ生成機構とオントロジーを持つメタデータ基盤に対し、外付けのLLMエージェントを仲介させる構成は、運用と性能の両面で重大な欠陥をもたらす。第一に、レイテンシの多段化である。ユーザーの自然言語入力を外部エージェントが解釈し、APIを介して基盤側にスキーマやデータを要求し、基盤側のエンジンがパースして実行し、その結果をエージェントが受け取って再解釈・可視化する。通信ホップと推論のステップが無駄に多重化することで、対話型分析として許容できない待ち時間が発生する。第二に、コンテキストの二重翻訳による情報の劣化である。データ基盤内部であれば、Unity CatalogのオントロジーやHorizonのセマンティック定義をインメモリで直接参照してクエリを最適化できる。外部エージェントを挟む構成では、それらの定義情報をプロンプト（テキストトークン）として切り出して注入し直さなければならない。コンテキスト長やトークン制約による情報の脱落が生じやすく、定義の誤読やハルシネーションの温床となる。第三に、責任境界とトレーサビリティの崩壊である。出力された集計値に誤りや齟齬があった際、障害箇所の特定が極めて困難になる。「外部エージェントのプロンプト解釈の誤りなのか」「API連携時のマッピングミスなのか」「基盤側のセマンティック定義の不備なのか」の切り分けに多大な調査コストを強いられる。第四に、運用の二重化とコストの暴走である。データプラットフォーム側のコンピュート費用に加え、外部LLMのトークン消費費用、外部エージェントのオーケストレーション保守工数がすべて上乗せされる。エージェントが最適化されていないアドホックなSQLをDWHに乱発すれば、スキャン費用が青天井に跳ね上がるリスクも抱え込む。車軸直結のダイレクトドライブと外付け車輪車軸（データストレージ）とタイヤ（メタデータ・ガバナンス層）が一体化し、そこに直接駆動モーター（ネイティブAI機能）が組み込まれているプラットフォームがある。この統合された足回りに対し、外部から別のモーター付き車輪を無理やり押し当てて走らせようとする構成は、純粋にアーキテクチャの敗北と言える。データが存在する場所（ストレージ）、データを意味づける場所（メタデータ）、そしてクエリを処理する場所（コンピュート）が同一境界内にあれば、データ移動は不要となり、ガバナンスも一元的に維持される。 Databricks GenieやSnowflake Cortex、Microsoft Fabric Copilotといった基盤ネイティブの機能は、まさにこの垂直統合によって精度と速度を両立させている。外部の知能にデータを吸い上げさせるのではなく、データの集積地に直接知能を配置することこそが自然な設計である。セマンティックモデルとDirect Lakeによる二重構造の解消この二重構造の解消を示す代表的な実例が、Microsoft Fabricにおけるセマンティックモデルと Direct Lake モードの連携である。 Direct Lakeモードでは、OneLake上のDelta Parquetデータに対して、インポート処理やデータの複製を行わず、メモリ上に直接マッピングして高速な集計処理を行う。外部エージェントがアドホックなSQLをデータウェアハウスに乱れ打ちし、コンピュートリソースを枯渇させる懸念は構造的に排除される。さらに、ビジネスロジックの管理においてもセマンティックモデルが決定的な役割を果たす。「粗利」「有効アクティブ顧客数」といったビジネス定義をFabricやPower BIのセマンティックモデル（DAX/メジャー）として一度定義すれば、すべての分析者が単一の真実（Single Source of Truth）を参照できる。 AIに対してプロンプト経由で計算文脈を推測させる必要そのものがなくなり、確定的かつ再現性のある結果を保証できる。キャパシティ課金によるコストの予測可能性アーキテクチャの統合は、運用のコスト構造にも明確な差をもたらす。 ...