量子化

清水亮氏の『AI研究者が見た「不都合な」真実』を拝読しましたが、正直なところ、論理の飛躍があまりにも多く、全く読むに堪えないものでした。まるでWELQの健康に関する記事を読んだ後のような読後感です。 特に、最初に引っかかったのは以下のところです。 そのほかさまざまな技術的イノベーションもあり、もはやオープンウェイトの大規模言語モデルを一般企業や個人が手元で動かすことは、十分実用的なものになりつつある。 しかし、DeepSeek-R1のようなモデルを動かそうとすると、数百GB以上のVRAMが必要であり、コンシュマーレベルのGPUでは到底対応できません。ARM Macの環境だと、SharedなRAMのおかげで少し軽減しますが、それでも数百GBは無理があります。 まず、段階を追って清水氏の言説を検証します。 論理的に分解すると、以下の段階です。 GPT-4.5の問題 GPT-4.5をDeepSeek-R1で実現できる DeepSeek-R1を動的1bit量子化で実現できる 動的1bit量子化で適切なアウトプットが出る 動的1bit量子化モデルをMac Studioで動かせる Mac Studioが最適 まず、1.の問題は明確に存在し、計算コストの問題があります。問題は、2.以降です。DeepSeek-R1は大規模推論が可能ですが、GPT 4.5と同等な能力があるかどうかは実証されていないと考えます。3.はまあ、Unislothの発表を見る限り、実現はしてるとは思うのですが、4.はUnislothの発表を見る限りまだ、ベンチマークは十分ではありません。5.については容量的には動きそうレベルです。6.に関しては全く論外です。これは後述します。 ただし、米国型大型AIモデルを言うならば、コロッサスの問題を避けては通れないでしょう。南部環境法センター（Southern Environmental Law Center）が2025年4月9日に公開した調査によると、コロッサスでは 認可申請された15基を遥かに超える、35基のガスタービンエンジンを備えています。当然、この現実こそ、まさに不都合な真実です。 ちなみに、清水氏が記事で「不都合な真実」として引き合いに出している、OpenAIの競合であるAnthropic社のダリオ・アモデイCEOによる「今後5年間でAIが一部の仕事を奪う可能性、特に認知労働、つまりホワイトカラーの初級職に大きな影響が出て、5年で半分の初級職がなくなる」という警鐘は、本来の「不都合な真実」（環境問題）とは異なる文脈で用いられています。この点も、清水氏の言説がアテンションを引くための装置として機能している一例と言えるでしょう。 まず、Unislothの検証は以下の環境です。 The 1.58bit quantization should fit in 160GB of VRAM for fast inference (2x H100 80GB), with it attaining around 140 tokens per second for throughput and 14 tokens/s for single user inference. You don’t need VRAM (GPU) to run 1.58bit R1, just 20GB of RAM (CPU) will work however it will be very slow. For optimal performance, we recommend the sum of VRAM + RAM to be at least 80GB+. ...