前回からの変化
前回(2026-11-03、前日)との比較である。前回はMistral Large 4の重み公開、DeepSeekの自律エージェント、評価指標GDPxが中心だった。今回は、重みを直接読み書きする研究と、その再現・批判、エージェントの土台(ハーネス)の比較が中心である。
変わったこと(変化・新規)
- 前回のGDPxでは「閉じたモデルが首位」という評価が話題だったが、今回は同じGPT-6 Astraを使った別の研究が出た。重みを直接編集して小型モデルを改善する手法で、2日公開の記事が3日にHacker Newsの上位を占めた(Rikiya Takehiほか、Hacker News)
- 前回は「複数のエージェントを走らせる設計」(DeepSeek、agentmash)が話題だったが、今回はIBM Researchが、同じモデルでもハーネス次第で成績が30.0%から81.1%まで変わると示した(Hugging Face Blog)
- Anthropicが、自社のモデルが「AIによる自己改良の入り口」に近いと更新した目論見書で述べたと2日に報じられた(TechCrunch)
昨日と同じこと(継続)
- 評価の物差しへの関心は続く。前回のGDPxに続き、Allen AIが長い文書での状態追跡を測るStateBenchを公開し、評価の話題が連日出ている(Hugging Face Blog)
- Claude Opus 5.5やGPT-6系が、評価の比較対象として登場する点は前回から続く
要因の連続性
- 継続要因: 評価の物差しとモデルの序列への関心。エージェントの安全と信頼性への注意
- 新規要因: 「モデル本体でなく、まわりの設計(ハーネス)が成績を左右する」という実証が加わった。重みを直接扱う研究が、再現と批判の両方を呼んだ
- 解消した要因: なし
本日のハイライト
GPT-6 Astraに重みを直接編集させる「Weight-Space Programming」と、その再現・批判
MIT CSAILのRikiya Takehi氏、Jayden Teoh氏、Alex Zhang氏、Omar Khattab氏が2日に公開した研究である。LLMが、勾配降下法(学習で重みを少しずつ直す一般的な方法)を使わず、数値として並んだ別のモデルの重みを読み、自然言語の指示に沿って直接書き換える。Pythonの実行環境と、順伝播(モデルに入力を流して出力を得る処理)の回数の上限を与え、学習のループは禁止した。編集役はGPT-6 Astra、編集される側は0.8B(8億パラメータ)のQwenである(Rikiya Takehiほか)。
結果は、実験8で、順伝播50回の編集により、MATH-500が7.9%から48.1%、GSM8Kが13.8%から67.1%、IFEvalが21.0%から62.3%に上がった。順伝播10回の編集では、全体の0.016%にあたる131,072個の重みを変えている。限界として、注意の仕組みの情報がなければ、重みだけから挙動の違いを解釈できないこと、能力を持たないモデル(Gemma 3 270M)は改善できなかったことが挙げられている。実験のログはGitHubに、編集後のQwenはHugging Faceに公開されている。数字は著者による自己報告である(同上)。
再現と批判: 3日、Simon Willison氏は、ノートパソコンで動かしたQwen 3.8 27B(量子化版で17GB、LM Studioとllmコマンドを使用)に、ゲームを遊ぶ小さなニューラルネットの重みを読ませた。ツールなしで、4つのうち3つ(パックマン、ポン、ブロック崩し)を当てたが、フリーウェイは外した。1回あたりの推論は46分から1時間ほどかかった。同氏は、元の研究が「重みを理解する力」と「コードで重みを書き換える力」を混ぜていると指摘し、十分に経験のある人間でも、時間をかければ同じことができるとの見方を示した(Simon Willison)。また3日には、「Astraが重みを読み書きしてQwenを改善したという記事は誤解を招く」という趣旨の投稿がHacker Newsで801ポイントを集めた。本文は確認できておらず、見出しと反応の大きさのみの確認である(Hacker News)。道具として使えるのは、まだ先と見立てる。
vercel-labsのagent-desktop
vercel-labsが公開した、AIエージェントにデスクトップのアプリを操作させるコマンドラインツールである。ここが新しいのは、画面のスクリーンショットや画素の照合に頼らず、OSのアクセシビリティAPI(画面の部品を構造化して返す仕組み)から、部品の一覧をJSONで返す点である。エージェントは「スナップショットを取る、部品を指して操作する、再度スナップショットで確かめる」という手順で動く。macOS 13以上、Windows 10(1809以降)、Linux(Ubuntu 24.04以降)に対応し、クリック、入力、スクロール、クリップボードなど60のコマンドがある。ライセンスはApache-2.0で、npm install -g agent-desktopで入れる。AIモデルは含まず、外部のエージェントが必要である。スナップショットやクリップボードに個人情報が含まれうる点は注意とされている。GitHub Trendingでは、3日の星の増加が3,792、累計は12,442である(GitHub)。性能の第三者検証は、今回確認できなかった。
主要企業のリリース
Anthropic: 更新した目論見書で、自社の内部推計では、責任あるスケーリング方針(RSP)が定める「AIの助けで開発が劇的に加速する水準」を、近く満たしうると述べた。いまのところ、どのモデルも水準には達していないという。人間が先端モデルの開発を握り続けるよう、方針を更新するとも述べた。過去には、能力の加速を、その場で見抜けなかったことがあるとも認めた(TechCrunch)。背景として、同社は9月18日の文書で、社内のコード生産が増え、Claudeが書くコードが人間と同水準に近づいたと説明している(Anthropic)。
NVIDIA(10月28日公開、直近の未紹介分): 音声認識を言語モデルに統合した「Nemotron 3.5 Transcribe 30B-A4B」を公開した。総パラメータ34B、有効約4.3BのMamba-2とTransformerの混成のMoEで、40言語に対応する。Open ASR Leaderboardの英語の平均単語誤り率は4.71%、1時間までの録音を扱え、文字起こし、翻訳、話者の区別などをこなす。ライセンスはOpenMDW-1.1で、vLLMなどで動かせる。数字は同社の公表値である(Hugging Face)。
そのほかの主要企業の、技術面の新しい公式発表は、確認できた範囲では見当たらない。
新興AI・注目の新顔
新顔として、上のvercel-labsのagent-desktopを紹介した。それ以外に、技術的に新しい個人・新興発のモデルは今回見つからなかった。
AI開発手法
同じモデルでも「ハーネス」で成績が変わる: IBM Researchは3日、3つのエージェントのハーネス(モデルを動かして道具につなぐ土台)CUGA、Hermes、Deep Agentsを、同じオープンウェイトのモデルGLM-5.3-flashで比べた。課題はAppWorldの90タスク(30シナリオ、9つのアプリと457のAPI)である。タスク完了率はCUGAが81.1%(73/90)、Hermesが46.7%(42/90)、Deep Agentsが30.0%(27/90)で、シナリオ全体を一貫して終える率は66.7%、26.7%、6.7%だった。著者らは「モデルだけでなくハーネスが重要だ」と結論した。課題は、90タスクのみで一般化は限られること、各ハーネスの設定が同一ではないこと、方針の遵守を測っていないことである。設定の改善は、公開リポジトリで受け付けている(Hugging Face Blog)。自分のエージェントを選ぶときは、モデルを固定してハーネスだけを入れ替える評価(eval)を組むと、差の原因を切り分けやすい。
AIを使った新サービス
特筆すべき新サービスなし。
トレンドのAI活用法
特筆すべきトレンドなし。
LLM性能比較・得意分野
StateBench(Allen AI、3日公開): 長い文書の中で、対象の状態が変わっていくのをモデルが追えるかを測る。難しさは4段階で、約6万8千件のデータがある。Claude Opus 5.5、GPT-6 Sol・Luna、Gemini 3.8 Flashなどの先端モデルは、入力が長くなるほど精度が下がり、最も長い「一般の有限問題」では13%以下だった。この条件での結果であり、日常の用途での優劣を示すものではない(Hugging Face Blog)。
研究・技術
状態追跡で、Transformerより混成型が強い(Allen AI): StateBenchの同じ報告では、Gated DeltaNet(漸化式で状態を更新する層)を含むモデルや混成モデルは、易しい3段階の問題を最長の入力まで、ほぼ完全にこなした。一方、Transformerは長い入力で劣化し、一般の有限問題は学べなかった。7B規模のOlmo 3とOlmo Hybrid、275Mと2.7Bの小型モデルを含む検証である。データとコードは公開されており(allenai/state-bench)、小さなモデルで状態追跡の能力を測る道具として、すぐ使える(Hugging Face Blog)。
