Series

ソーシャルメディアの巨人、Meta Platforms（以下、Meta）は、AI 業界において長らく「オープンソースの盟主」として君臨してきた。2023 年に始まった Llama シリーズの公開は、クローズドな開発体制を敷く OpenAI や Google に対する強力なカウンターパワーとして、世界中の開発者コミュニティから熱狂的な支持を受けてきた。 しかし、2025 年から 2026 年にかけて、同社の戦略は劇的な、そして痛みを伴う転換点を迎えている。この変革の象徴となっているのが、野心的な仕様を掲げながらも内部評価で苦戦を強いられた「Llama 4」シリーズと、その反省から極秘裏に開発が進められているプロプライエタリ（独占的）な次世代モデル「Avocado（アボカド）」である。 Llama 4：MoE アーキテクチャへの挑戦と躓き シリーズの構成と技術的野心 2025 年 4 月 5 日、Meta は Llama 4 シリーズをリリースした。このシリーズは、従来の Dense なモデル構造から、計算効率を飛躍的に高める「Mixture of Experts (MoE)」アーキテクチャへと全面的に移行した初のフラッグシップモデルであった。Meta は、単一の巨大なニューラルネットワークですべての入力を処理するのではなく、特定のタスクに最適化された小規模な「専門家」ネットワークを多数配置し、入力トークンごとに最適な専門家を選択してルーティングする方式を採用した。この設計思想により、モデル全体のパラメータ数を巨大化させつつも、推論時の計算負荷を抑えることが可能となった。Llama 4 は主に、効率重視の「Scout」、汎用性の「Maverick」、そして AGI（汎用人工知能）を標榜する巨大モデル「Behemoth」の 3 モデルで構成されている。 モデル名 総パラメータ数 アクティブパラメータ数 専門家構成 主な特徴 Llama 4 Scout 109B 17B 16 experts 単一 H100 GPU での動作、10M トークンの超長文コンテキスト Llama 4 Maverick 400B 17B 128 experts コーディング・推論に特化、LMSYS Arena で上位を記録 Llama 4 Behemoth 約 2T 288B 16 experts リリース延期、GPT-4.5 超えを目指す教師モデル 内部評価と市場における「性能の乖離」 リリース直後、Meta の幹部たちは Llama 4 の性能を誇示した。VP の Ahmad Al Dahle は、Llama 4 Maverick が LMSYS Arena で 1417 の ELO レーティングを獲得し、GPT-4o や Gemini 2.0 Flash を凌駕したことを強調した。しかし、独立した開発者や研究者からの評価は、これとは対照的に厳しいものであった。 ...

あまりに、どけちすぎる、伝説級の詐欺メールが登場です。 楽天ポイント大還元祭！ 今だけ！楽天カード会員様限定で、エントリーしてくじを引くだけで最大3,000ポイントが当たるチャンス！抽選は毎日可能。今すぐチャレンジしよう！ ■ キャンペーン概要 期間：2025年5月25日〜6月20日 対象：楽天カード会員様（要ログイン） ■ 参加方法 以下のボタンをクリックしてエントリー ログイン後、くじを引くだけで抽選に参加！ その場でポイント当選結果が表示されます ■ 賞品内容 特賞：楽天ポイント 3,000pt（5名様） 1等：1,000pt（30名様） 2等：300pt（100名様） 3等：50pt（1,000名様） 参加賞：楽天ポイント 1pt（全員） 保証されてるのが1ポイントだけって、詐欺としてもケチすぎるでしょう。 こんなんで誰が応募するとでも？ ■ ご注意事項 楽天IDでのログインが必要です 当選ポイントは期間限定ポイントとして付与されます キャンペーン内容は予告なく変更・終了する場合があります ▶ 今すぐエントリーしてくじに挑戦 番外編として、次の愚劣詐欺もピックアップ。 “[spam]【重要なお知らせ】amazonアマゾンプライムの自動更新設定を解除いたしました3574366919” サブジェクトしかねー本文もねー添付もねーリンクもねー 俺ら東京さ行ぐだの替え歌にしちゃうぞ。

またしても、伝説級の詐欺師あらわるです。 FROM: European Commissioninfo@eu.org EUを名乗っているのに、ドメインが「eu.org」？ あり得ない…。 Representation in United Kingdom Europe House 32 Smith Square London SW1P 3EU. For your attention. RE: $25,000,000.00 PAYMENT APPROVAL NOTICE. This message is to bring to your notice that your scammed victim’s compensation funds payment has been approved for payment by the Order of the President of the European Commission after the Executive Meeting on Monday 29th October 2024. Upon the process of your payment, we received an application from one of your attorneys in the United Kingdom (ADENITIS & PARTNERS) who introduced himself as your legal representative in the United Kingdom. Stating that you have authorized them to change the ownership of your payment to INVERNESS MAINTENANCE COMPANY INC. as the sole beneficiary with the account number: 3010007328 with the Citi Bank of America. ...

本日、スーパーレジェンド級の詐欺と思われるメールが着弾しました。 Apple Card（アップルカード）は2025年現在発行できる？現状や特徴を紹介 Appleが提供するクレジットカード「Apple Card」は、2025年4月現在、日本では利用できません。 そう、まだ、発行されていないカードです。私も、まだ、発行されていないカード で詐欺メールが来たのは初めてです。 では、メールを晒しますね。 本文としては以下の内容です。 カード情報の速やかなご確認 2025年5月26日にご登録のカードにおいて異常な使用が確認されました。現在、ご利用は一時的に制限されております。 Apple Cardのご利用を継続するため、2日以内に認証手続きを完了してください。情報は暗号化され保護されます。 残念ですが、この文面は100%、信頼不可能です。この種のメールは個人情報を詐取する目的で作られており、リンク先のサイトで情報を入力してしまうと、その情報は悪用される可能性が高いです。 まず、詐欺メールの基本技術として、緊急性を煽るなどが利用されています。これは、詐欺メールのもう、基本技術としてありふれていますね。 現在、ご利用は一時的に制限されております。 などは典型例です。 ある意味、未発行のカードを騙るという手口は盲点かもしれません。特に、Appleユーザはもしかすると騙されるかもしれません。この種のパターンは要注意かもしれません。しかし、未発行のカードという原点を忘れなければ騙されようがありません。 もし、このようなメールを受信しても、慌ててリンクをクリックしたり、情報を入力したりしないでください。まずはAppleの公式サイトにアクセスし、ご自身のApple IDでログインして状況を確認するようにしましょう。不審なメールは、Appleに報告することも可能です。この時、メール上のリンクの使用は厳禁です。アカウント情報を登用される恐れがあります。

※ この記事は前の記事の続きになります。 AIモデルの裏側を探る：アテンションメカニズムの可視化とは？を参照してください。 先の記事で、LLMのアテンション機構の可視化を実施しました。そこからの続きで別の文について、可視化を試みてみます。モデルをGPT-2系の日本語モデルに変えて、『走れメロス』の冒頭の文に挑戦してみました。使用したのは以下の文になります。「メロスは激怒した。必ず、かの邪智暴虐の王を除かなければならぬと決意した。メロスには政治がわからぬ。メロスは、村の牧人である。笛を吹き、羊と遊んで暮して来た。けれども邪悪に対しては、人一倍に敏感であった。」 基本的なコードは先のコードですが、幾つか変わっています。実験はGoogle Colab上で行っています。 import torch from transformers import GPT2Model, T5Tokenizer, GPT2LMHeadModel import matplotlib.pyplot as plt import seaborn as sns import japanize_matplotlib tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt2-medium") model = GPT2LMHeadModel.from_pretrained("rinna/japanese-gpt2-medium", attn_implementation="eager") text = "メロスは激怒した。必ず、かの邪智暴虐の王を除かなければならぬと決意した。メロスには政治がわからぬ。メロスは、村の牧人である。笛を吹き、羊と遊んで暮して来た。けれども邪悪に対しては、人一倍に敏感であった。" tokens = tokenizer(text, return_tensors="pt") # トークンIDを対応する単語へ変換 tokens_list = tokenizer.convert_ids_to_tokens(tokens["input_ids"][0].tolist()) # 最後の層、最初のAttentionヘッドを取得 layer_idx = -1 head_idx = 0 attention_matrix = attentions[layer_idx][0, head_idx].cpu().numpy() # 左上1/4部分を切り取る quarter_size = attention_matrix.shape[0] // 2 # 行列サイズの1/2を計算 subset_matrix = attention_matrix[:quarter_size, :quarter_size] # 左上1/4部分を抽出 # 対応するトークンのリストも切り取る subset_tokens = tokens_list[:quarter_size] # ヒートマップを描画 plt.figure(figsize=(8, 8)) sns.heatmap(subset_matrix, cmap="viridis", xticklabels=subset_tokens, yticklabels=subset_tokens) plt.xlabel("Attention対象") plt.ylabel("Attention元") plt.title("左斜め上1/4のAttentionマップ拡大表示") plt.xticks(rotation=90, fontsize=8) plt.yticks(fontsize=8) plt.show() 可視化した結果が以下になります。アテンションマップの隅1/4を拡大しています。 ここから言えることは、恐らく、メロスの単語が辞書にないためだと思いますが、メロスの挙動は不安定です。その結果、周囲の文脈から何を意味しているか推測している可能性があります。また、主語「メロス」と「邪」のようなワードに注意が向いているようです。「邪智暴虐」という表現が特徴的ですから、AIがそのフレーズを重要だととらえている可能性があります。また、文のイメージがネガティブというのも影響している可能性があります。また、除にも注意が向いているので、「除かなければならぬ」などの文脈に注意が流れている可能性があります。