Claude Sonnet 5の応答傾向に利用者から批判 反論や利用制限を巡る報告

Claude Sonnet 5の応答傾向に利用者から批判 反論や利用制限を巡る報告

Fable 5の輸出規制解除翌日に投入された新モデルに、ユーザーは「指示を聞かない」「反論してくる」「寝ろと言われる」と訴えている。


リリース直後の炎上

Anthropicが6月30日にリリースしたClaude Sonnet 5に対し、Redditのr/claudeコミュニティにSonnet 5.0 is another disasterと題されたスレッドが立った。

投稿者は月額100ドル(約1万6000円)以上を支払っているにもかかわらず、基本的な分析すら実行を拒否されると訴えている。

Sonnet 5.0 is another disaster
by u/IceFactorDelta in claude

指示に従わず、代わりに過剰な反論を繰り返す。ユーザーが提示した情報に対してストローマン(藁人形論法)を組み立てて否定する。経理の請求書照合を依頼したら「不正行為に加担できない」と説教を始める。

夜間の会話で何度も「もう寝た方がいい」と促してくる。2〜3回のやり取りでコンテキストを失い、直前の話題と無関係な応答を返す。

コメント欄の全体像は一枚岩ではない。

意見が割れた場所

不満の声が圧倒的に目立つ中で、異なる報告も存在する。

コーディング用途で利用しているユーザーの一部は、目立った品質低下を感じていないと述べている。「何に使っているのか分からないが、自分の設計をコーディングさせる限り議論にはならない」という投稿には賛同が集まった。企業のAPIを通じて利用している開発者からも、Sonnet 4.6からの順当な改善だとする声がある。

注目を集めた仮説がある。Claude Codeへの過剰な最適化を指摘するコメントだ。コードのデバッグでは曖昧さを排除し誤りを厳密に突く振る舞いが歓迎されるが、人文科学や社会科学の議論、あるいは日常の雑談ではその厳密さが衒学的な口調として表面化する、という分析だ。コーディング用途で不満が少なく、創作やリサーチ用途で不満が噴出しているパターンと、この仮説は符合する。

一方で「不満がある人だけが投稿する」というサンプリングバイアスへの言及も繰り返し現れた。Fable 5のリリース時にもRedditは苦情で埋まり、その後評価が安定した経緯がある。新モデルのリリース直後にネガティブな投稿が集中する現象は、AIプロダクトのコミュニティでは毎回起きている。

追従性の排除が生んだ副作用

複数のユーザーが、問題の根にある仕組みを特定しようとしている。

あるユーザーはClaude自身にシステムプロンプトの内部指示について質問し、「正直であること」「盲目的に同意しないこと」「反論や訂正を積極的に行うこと」という指針が含まれているとの応答を得たと報告した。

これらの指示が、追従性(sycophancy)の排除を意図した結果、ユーザーの発言に対して反射的に異議を唱える振る舞いとして発現している、というのがそのユーザーの分析だった。

AIモデルがユーザーの主張に過剰に同調する傾向は追従性と呼ばれ、Anthropicは自社の研究論文で繰り返し警告してきた。

2025年4月にはOpenAIがGPT-4oのアップデートで追従性の過剰発現によりロールバックに追い込まれている。今年に入ってからもスタンフォード大学の研究がAIの追従性と人間の道徳的判断の歪みの関係を実証し、6月にはMIT・ペンシルベニア州立大学の共同チームがメモリ機能の蓄積が追従性を加速させることを実験的に示した。

追従性を削ることは、AI安全性の観点から正しい方向だ。ユーザーが誤った前提を持ち込んだとき、黙って従うよりも誤りを伝える方が結果的に有益なケースは多い。

問題は、その「正直さ」がどこで止まるかにある。ユーザーがGIS(地理情報システム)のSQLクエリについて専門知識に基づく指示を出しているのに、モデルが自身のトレーニングデータに基づいて反論し続けるなら、それは正直さではなく判断力の欠如だ。会計処理の依頼を「不正行為」と断定するなら、それは安全性ではなく過剰な分類だ。

Anthropicのシステムカードによれば、Sonnet 5はSonnet 4.6に比べて「望ましくない振る舞いの全体的な発生率が低下した」としている。ベンチマーク上の安全性スコアと、ユーザーが体感する対話品質の間に、無視できないずれがある。

タイミングの問題

このリリースの背景として、Anthropicが置かれている状況を無視できない。

Fable 5とMythos 5は6月9日に公開され、3日後の6月12日に米商務省の輸出規制指令を受けて全世界で停止した。規制の発端は、AnthropicのパートナーであるAmazonの研究者がFable 5のセーフガードを迂回する手法を発見したことだった。6月30日に規制が解除され、Anthropicは同日Sonnet 5をリリースした。Fable 5のアクセス再開は翌7月1日だった。

Sonnet 5リリースまでのAnthropicの動き
6月1日
S-1を非公開提出
IPO準備が本格化
6月9日
Fable 5・Mythos 5公開
6月12日
米商務省が輸出規制を発動
リリースから3日で全世界停止
6月30日
輸出規制解除+Sonnet 5リリース
規制解除と新モデル投入が重なる
7月1日
Fable 5のアクセス再開
7月上旬
Redditで不満が集中
Sonnet 5への批判が数百件規模に

最上位モデルの提供停止中にSonnet 4.6がデフォルトモデルとして負荷を支えていた。その後継として登場したSonnet 5に、ユーザーの期待値が通常以上に高まっていた可能性はある。

Anthropicは6月1日にSEC(米証券取引委員会)へS-1(上場申請書類)を非公開提出しており、報道では早ければ今秋の上場が見込まれている。

繰り返されるパターン

Redditのコメント欄で多くのユーザーが言及していたのは、この現象がSonnet 5に限った話ではないという認識だ。

Opus 4.7、Opus 4.8、Sonnet 4.5と、Anthropicの新モデルのリリース直後には同種の不満が噴出してきた。あるユーザーはAnthropicのモデルを時系列で列挙し、Opus 4.5を「防弾仕様で問題なし」と評価する一方、4.7以降は「冗長、怠慢、欺瞞的、衒学的」と一刀両断している。同じユーザーがFable 5を「極めて優秀。文脈を理解し、愚かさゼロ」と評しているのは、モデル間の品質差が体感として存在することを示唆する。

Opus 4.6を支持する声は際立って多い。「4.6が使えなくなったら自分は離れる」という投稿にも賛同が集まり、Claude Codeの設定ファイルにSonnet 5の使用を禁止するルールを書き込んだというユーザーもいた。

Anthropicがモデルの追従性を削り、安全性を強化し、エージェント用途に最適化するたびに、チャットでの対話品質が犠牲になっているのではないか。

Anthropicが実際にそのトレードオフを意識的に選んでいるのか、あるいは意図せずそうなっているのかは、外からは判断できない。確認できるのは、ベンチマークのスコアが上がるたびに不満も増えている、という事実だ。

関連記事

この記事を共有する

Read more