前回からの変化
変わったこと(変化・新規)
- 前回の新顔はAWSのStrands Decider 2BとCactus ComputeのWhistleだったが、本日は「大きなモデルを手元で動かす」推論エンジンStrataと、判断専用モデルのCloudflare Clefが中心になった
- Googleが10月9日から無料枠を縮小する。前回はGemini 4 Argonの限定提供を扱っており、提供条件の話題は新規である
昨日と同じこと(継続)
- 判断専用モデル(文章でなく選択肢と確信度を返すモデル)の流れは前回から続いている。Clefも前回のStrands Decider 2Bと同じ10月1日の公開で、続報にあたる
- 手元の環境で動かせるオープンウェイトモデルへの関心が続いている
要因の連続性
- 継続要因: 「より安く、手元で動かせるモデル」への需要が前回に続き働いている
- 新規要因: 無料枠の縮小という、クラウド側の提供条件の変化が加わった
- 解消した要因: なし
本日のハイライト
AI Weeklyによると、MITライセンスの推論エンジン「Strata」は、125Bパラメータの Qwen3.8-Flash-Next を、12GBのVRAMと32GB以上のメインメモリを持つ1台のゲーミングPCで動かす。このモデルは2万4,576個の小さな専門家(エキスパート)を持つMoE構成で、1語あたり使うのは10個だけである。Strataはよく使われるエキスパートをGPUに置き、全体をメインメモリに保ち、残りをCPUで並列処理する。
自社の計測ではRTX 5070で毎秒94トークン(Q2_0量子化)、AMD RX 9070 XTで毎秒60トークンとされる。投機的デコーディング(小さな補助モデルが先読みし、大きなモデルがまとめて検証する手法)で1.6〜1.8倍の高速化を見込むとも説明されている。数値は開発側の自己申告で、量子化により品質が下がる可能性もある。日本語ではPC Watchも取り上げている。
主要企業のリリース
Googleは10月9日から、Geminiの無料利用者を最も軽いFlash-Liteに限定する。AI Weeklyの一覧によると、月額4.99ドルのAI PlusではFlashが使え、Pro機能は月額19.99ドルの階層に移る。元記事は9to5Googleで、一次の公式告知は確認できていない。
Claude Codeは10月3日の更新で、Stopプロンプトフックの不具合、Linuxで空のエディタ画面が余分に開く問題、サインアウト後のスキル管理を修正した。詳細はClaude Code Docsの変更履歴にある。
新興AI・注目の新顔
Cloudflareが10月1日に公開した「Clef」(27B、Qwen3.8-27Bが土台)と「Clef-flash」(9B、Qwen3.5-9Bが土台)は、はい・いいえ、選択肢から選ぶ、尺度で点数を付ける、の3種類の問いに型付きの確率で答える判断専用モデルである。Cloudflareの変更履歴によると、Workers AIで使え、重みはHugging FaceにApache 2.0で公開されている。MarkTechPostは、1回のリクエストで最大64問を扱え、画像や動画フレームも読めると伝えている。これは前回のStrands Decider 2Bの続報にあたる流れで、9月に紹介したJevが対応していない画像入力が違いである。性能値の第三者検証は確認できていない。
ほかに、BilibiliのIndexチームが10月2日、150のテキスト言語に対応する翻訳モデル「Index-Translate-35B-A3B-preview」(合計35B、稼働3BのMoE)をHugging Faceに公開したとの報告がある。一次情報は確認できていないため、詳細は割愛する。
AI開発手法
新しい開発手法の話題なし。
AIを使った新サービス
特筆すべき新サービスなし。
トレンドのAI活用法
特筆すべきトレンドなし。ただし、Strataが10月4日にHacker Newsのトップページに載っており、手元で大型モデルを動かす使い方への関心は高い。
LLM性能比較・得意分野
新しい比較情報なし。
研究・技術
Strataの技術的な特徴は、MoEモデルのうち使用頻度の高いエキスパートだけをGPUに常駐させ、残りをメインメモリとCPUで補う配置にある。コードは公開されており、12〜24GBのVRAMを持つ手元の環境で大型モデルを試せる段階にある。ただし、動作にはモデルの量子化済みファイル(数十GB)と十分なメインメモリが要る。
