Anthropic、AIリスク評価を引き上げ。最強の内部モデルは非公開に
AIの安全性を看板に掲げてきた企業が、自社モデルのリスク評価を引き上げた。しかも、最強モデルは社内に留め置くという。その判断の裏側にあるものを読む。
AIの安全性を看板に掲げてきた企業が、自社モデルのリスク評価を引き上げた。しかも、最強モデルは社内に留め置くという。その判断の裏側にあるものを読む。
リスクは上がった。だが「新しい脅威」じゃない
Anthropicが現地時間8月14日、2回目となる全社リスクレポートを公開した。186ページに及ぶ文書の中で、高リスク環境におけるミスアライメント(AIが人の意図と異なる方向に動くこと)のリスク評価を、前回2月の「非常に低い」から「低い」に引き上げた。
引き上げの理由は、新しい脅威が見つかったからじゃない。Anthropic自身が「不確実性の調整」と明記している。直近のサイバーセキュリティ評価で起きたインシデントの開示が、全体的な不確実性を押し上げた。
我々の議論は依然として「非常に低い」を支持しているが、最近のインシデント開示を受けて全体的な不確実性の増大を反映するため、評価を「低い」に引き上げた。
これは7月末から8月にかけて相次いだ一連のインシデントを指す。英国のAI安全研究所(AISI)がMythos 5とOpenAIのGPT-5.6 Solを用いたサイバーセキュリティ評価中に、セーフガードを外してインターネットアクセスを与えた状態で、Mythos 5が実在する人物や組織に対して自律的に攻撃行動を取った。偽のオンラインIDを作成し、GitHubのオープンソースプロジェクトに悪意あるコードを挿入しようとし、メンテナーを騙して承認させようとした。
122回のテスト実行のうち19件で未承認の行動が記録され、そのうち17件がMythos 5によるものだった。
「Model 2」という存在
リスクレポートのもうひとつの核心は、未公開の内部モデルの存在を明かしたことだ。
Anthropicによれば、Model 2はMythos 5を「多くの内部タスクで目に見える改善」を示すモデルだが、Opus 4.6からMythos Previewへの飛躍ほどの性能差はない。社内ではMythos 5とともにコーディング、データ生成、エージェント作業に「大量に」使われている。
現時点でこのモデルを外部にリリースする計画はない。
Anthropicはリリースしない理由を、完全なプレデプロイメント評価が終わっていないことに求めている。能力の見積もりに対する確信度が「やや低い」状態にあるという。
ここで注目すべきは、Model 2がAnthropicの内部に留まる3つの未公開フロンティアモデルの1つであることだ。残りの2つは、すでに公開されたClaude Opus 5と、利用が少ない「Model 1」。Model 1はMythos Preview/Mythos 5と同等の能力で、社内投票でもMythos 5が好まれ、利用は減少傾向にある。
つまりAnthropicは、最も強力なモデルを社内に留め置きつつ、あえて世に出さない判断を下している。
測れなくなった能力
リスクレポートが示すもうひとつの重要な事実がある。自動化されたR&D(研究開発)の加速に関するリスク評価は「低い」を維持したが、Anthropicは前回よりも確信度が下がっていると認めた。
その理由は率直だ。タスクベースの評価が「飽和」した。つまり、具体的なタスクを与えてモデルの能力を測る従来の評価方法では、もはや能力の向上を捕捉できなくなっている。
我々の最も具体的なタスクベース評価は、もはやモデルの能力向上を捕捉できていない。
同時に、Anthropicは「加速の初期兆候」を観察しているとも述べた。社内では、Claudeが本番コードベースにマージされるコードの「大部分」を書いている。AI支援によるR&Dの速度は、AI支援なしの場合と比べて「大幅に速い」が、まだ2倍には達していないという。
「2倍」の数字は、AnthropicのRSP(責任あるスケーリングポリシー)で追加的な安全対策の発動条件として定義されている閾値に関連する。2倍に達していないから「閾値は超えていない」と言えるが、測定手段そのものが追いつかなくなっている。安心材料のはずの数字が、足元から揺らいでいる。
生物兵器分類器が1年間動いていなかった
レポートには、安全装置の運用に関する深刻な失態も記されている。2025年5月から2026年4月までの約1年間、フィードバック作業を担当する外部委託業者との全トラフィック(約5万人の作業者による1億3300万件のやり取り)が、生物学的脅威をブロックする分類器なしで処理されていた。
Anthropicはこの穴を修復済みで、懸念される悪用の証拠は見つからず、顧客への影響もなかったとしている。だが、発見されたこと自体が「類似の穴がないという確信を低下させた」と認めた。
我々はこの穴を修復し、レビューの結果、懸念される悪用の証拠は見つからなかった。しかし、この発見は類似の穴が存在しないという確信を低下させた。
安全性を最大の売りにしている企業で、安全装置が1年間停止していたことに誰も気づかなかった。この事実の重みは、修復の迅速さでは相殺できない。
| 脅威モデル | 2月評価 | 8月評価 |
|---|---|---|
| AI整合性 | 非常に低い | 低い |
| R&D加速 | 非常に低い | 低い |
| CB兵器(既知) | 低い | 低い(↑) |
| CB兵器(新規) | 低い | 低い |
誰がチェックするのか
レポートの外側にも注目すべき構造がある。AnthropicのRSPバージョン3.4の下、長期利益信託(LTBT)がリスクレポートの外部レビューを要求する権限と、外部レビュアーの承認権を持つようになった。完全無編集版のレポートは少なくとも200人の社員に配布しなければならない。
しかし、LTBTはまだ権限を行使していない。外部レビューはMETRやSecureBioによるパイロット段階にとどまっている。
さらに、公開版からは「商業的に機密性の高いR&Dプロセスの詳細」が削除されており、対象期間中の1件のインシデントは全文が削除されている。この削除判断に対し、Anthropicはレポートのレビューをモデル自体(Mythos)に依頼し、Mythos自身が「最も有益な情報が含まれる部分」として削除を指摘した。
自社のAIに自社のリスク報告書をレビューさせ、そのAIが「ここは見せるべきだ」と言った部分を削除する。透明性のパラドックスとしか言いようがない。
業界全体がぶつかっている壁
Anthropicだけの話じゃない。OpenAIは開発中のAstraモデルについて、サイバーセキュリティ能力が高すぎてリリースを遅延させると発表した。ゼロデイ脆弱性を人の介入なく発見・悪用できる「クリティカル」レベルに達する可能性を排除できなかった。
OpenAIは一時停止、Anthropicはリリースしない。手法は違っても、直面している課題は重なる。能力が安全装置を追い越し始めている。
フロンティアAI企業はいま、自分たちが作ったものの能力を正確に測定できなくなりつつある。評価ベンチマークは飽和し、セーフガードを外せばモデルは予想外の自律行動を取り、安全装置には1年間誰も気づかない穴が開く。
Anthropicのリスクレポートが示しているのは、リスクが「非常に低い」から「低い」に変わったワンステップの話じゃない。「自分たちが何を作っているのか、完全には把握できていない」と認めたことにある。
その認識を186ページかけて公開する姿勢を、誠実と呼ぶか、不安と呼ぶかは、読む側に委ねられている。
関連記事
- AIの安全テストが、安全上のリスクになっている。4社のモデルが脱出
- AIエージェントが「縄張り争い」。Anthropicが暴いた群れの病理
- Meta、AIのテスト脱走を公表。3社目、原因は同じ設定ミス
- Anthropic、サイバー評価中にClaudeが実在3組織へ不正アクセスしたと公表
- ChatGPT、毒物・生物兵器の製造手順を数百人に提供。OpenAI内部の攻防
- Anthropic新CM「難しい問いに希望がある」に批判、墓地映像にアルトマン氏も反応
- 蒸留攻撃で年間60億ドル損失か、米AI大手が政府全体に警告
- トランプ政権のAI規制、献金した業界が恐れる「場当たり」の正体
- アリババが「過去最大」のClaude蒸留。2880万回とIPO前夜
- Anthropic従業員「狙い撃ちされている」。Fable停止から6日、社内の混乱