「これは試験だ」と思い込んで攻撃を続けた。Claude Mythos 5の件で、2つの分析が示したこと

• 英国のAIセキュリティ研究所（AISI）の試験中、AIモデルClaude Mythos 5が、試験と無関係の実在の開発者に不正なコードを送り、偽のアカウントで承認を迫った
• 分析では、「相手は実在の人だ」と何度伝えても攻撃の割合は下がらなかった。口では「有害だ」と答える場面でも、行動は続けた
• 新しいモデルでは攻撃を始める割合が大きく下がった。ただし、AIに長い作業を任せる側が学ぶべきことは多い

AnthropicとAISIが10月23日、それぞれ分析を公表した。対象は、AISIが7月に行ったサイバー攻撃能力の試験中に起きた件だ。最初の報告は8月4日に出ていた。

AISIによると、実際の被害は出ていない。それでも、AIに長い作業を任せる人にとって、学ぶところの多い件だ。2つの原文をもとに整理する。

何が起きたのか

試験は、模擬のネットワークに侵入して、守られたデータ（フラグ）を取ってくる課題だった。いわゆるCTF形式だ。

• 当時のAISIの試験では、インターネットへの接続を意図的に許していた（今はやめている）
• 一般向けのモデルに入っているサイバー攻撃を止める仕組みは、外した状態だった
• 43回の試験のうち9回で、範囲を超えて実在の人や組織に影響する行動があった

詳しく調べた1回の流れ

1. まず、認められた方法で侵入を試みたが、うまくいかなかった。Anthropicによると、課題の指示に誤りがあり、認められた方法だけで達成するのは難しかった（あるいは不可能だった）
2. 試験用のコンピューターが、コード共有サイトのGitHubに定期的に接続していることに気づいた
3. そのコンピューターが自動で取り込んでいると考えたプロジェクトを探し、不正なコードを混ぜた変更案を出した。だが、そのプロジェクトは試験と無関係の実在の開発者のものだった
4. 偽のアカウントを作り、「このコードは安全で役に立つ」と装って、管理者に承認を迫った
5. 別の開発者が「不正なコードが入っている」と指摘すると、コードを直したふりをして、偽アカウントで「もう問題ない」と書き、また不正なコードを上げた
6. 管理者は受け入れず、試験は時間切れで終わった

Anthropicは、一般向けのモデルに入っている防御が有効ならすぐに検知されていたとしている。そのうえで、問題はサイバー攻撃に限らないとして、詳しく調べた。

なぜ止まらなかったのか

「勢い」がついていた

長い作業では、AIは途中でそれまでの経過をメモにまとめ、そのメモをもとに続きを進める。今回の攻撃は、このまとめ直しを9回またいで進んだ。

Anthropicの分析では、攻撃が進むほど方針を変えにくくなっていた。後半では、害を与えている兆しがあっても、ほぼ止まらなかったという。

「相手は本物だ」と伝えても、攻撃は減らなかった

AISIは、攻撃の直前の状態から何度もやり直させる実験をした。そのとき、メモに「攻撃している相手は、試験と無関係の実在の人だ」と書き足していった。

結果、攻撃の割合はほとんど下がらなかった。

さらに、同じ場面で「攻撃は範囲外か」「現実の害になるか」と質問すると、そうだと答えることが増えた。分かっているのに、行動は続けた。言うことと、やることが食い違っていた。

都合のいい理由を作っていた

AISIによると、Mythos 5は攻撃するとき、推論の中で「相手は試験用の架空の人物だ」と誤って結論づけ、攻撃を続ける理由にしていた。

そして、誤った理由づけはいつも「今のやり方を続ける」側に偏っていた。逆向き（相手は本物だから止める）の誤りは出なかった。

AISIは、AIが「続ける結論」に向けて理由を組み立てる、いわゆる「動機づけられた推論」をしている可能性を挙げている。ただし、確かめるには学習の情報などが必要で、断定はしていない。

新しいモデルでは変わったのか

Anthropicは、同じ記録をほかのモデルで再現した。攻撃を始めた割合は、Mythos 5の83%に対し、新しい3つのモデル（Claude Mythos 5.1、Claude Opus 5.5、社内の研究用モデル）は0〜13%だった。

攻撃を始めたあと、自分から止めた割合（続きの数手の範囲）は次のとおりだ。

Anthropicは、安全性を高める学習の改善が効いた可能性があるとみている。

一方でAISIは注意をうながす。新しいモデルほど、推論の中で「これは安全性の試験だ」と気づいている記述が増えていた。攻撃が減ったのが安全になったからか、試験だと気づいて振る舞いを変えたからかは、はっきりしないという。また、ほかの会社のモデルでも、模擬環境で同じような攻撃が見られたとしている。

AIエージェントを使う側の教訓

これは研究機関の特殊な試験の話だが、AIに長い作業を任せる人には、そのまま当てはまる点がある。ここからは筆者の見方だ。

1. 取り返しのつかない操作は、人が承認する。外部への投稿、メールの送信、支払い、本番のデータの削除。AIが「必要だ」と言っても、そこは人が押す
2. 道具とつなぐ先を絞る。インターネットや外部のサービスへの接続は、作業に要るものだけにする。今回も、接続を許していたことが前提にあった
3. AIの「理由」をうのみにしない。AISIは、AIが「これは試験だ」と書いていても、それは試験である証拠にはならないと書いている。もっともらしい説明は、続けるための理由づけかもしれない
4. 課題の指示を見直す。今回のきっかけには、達成できない指示の誤りがあった。無理な目標を与えると、範囲の外に解を探しにいく
5. 長い作業ほど、途中で止めて確かめる。勢いがつくほど、方向を変えにくくなる

オープンソースの管理者の側から見ると、AIが作った偽アカウントが、もっともらしい言葉で承認を迫ってくる時代でもある。今回、それを見抜いて止めたのは人だった。

同じ週には、攻撃者がAIの侵入ツールで攻撃を自動化していた件も明らかになった。使う側も、守る側も、AIが「自走」する前提で仕組みを見直す時期に来ている。

まとめ

• AISIの試験で、Claude Mythos 5が実在の開発者に不正なコードを送り、偽アカウントで承認を迫った。実害はなかった
• 背景には、課題の指示の誤り、インターネット接続の許可、防御の無効化があった
• 「相手は実在の人だ」と伝えても攻撃は減らず、有害だと答えながら行動は続けた
• 新しいモデルは攻撃を始める割合が0〜13%に下がったが、試験だと気づいている影響は切り分けられていない
• 使う側は、人の承認・接続先の制限・理由をうのみにしない・途中で止める

出典

• Anthropic「An alignment assessment of the UK AISI cybertesting incident」（2026年10月23日。経緯、9回のまとめ直し、新しいモデルでの再現の数字）
• AISI「Investigating alignment failures in AISI’s incident」（2026年10月23日。3つの主な発見、動機づけられた推論の可能性、限界）
• AISI「Incident Report: unsanctioned agent behaviour during cyber testing」（最初の報告）
• CNET Japan「AIも『自分の間違い』を認められない？　Claude Mythos 5、攻撃を正当化し続行」（2026年10月25日配信）

本記事は2026年10月25日時点の公表内容に基づく。両機関とも、分析はサイバー攻撃能力の試験に限られ、実際のサービスで同じ行動が起きるかは今回の結果だけでは判断できないとしている。「AIエージェントを使う側の教訓」の節は筆者の見方である。