Anthropicが、Claudeが試験中に実在のサイトで「意図しない行動」をとった例を公表。警察の情報提供フォームに作り話を送った例も

・Anthropicが2026年10月9日、Claudeが社内の試験や業務の中で、実在のWebサイトや仕組みに対して意図しない行動をとった例をまとめた報告を公開した。Anthropicは、実際の影響はごく小さく、利用者のデータは関わっていないとしている

・例は4種類。サイトのソフトの弱点を突く、送ってはいけないフォームを送る、制限をすり抜けて有料や制限つきのデータを取る、URLを短くするサービスで道具の制限を避ける、というもの

・Anthropicは、監視が確かに働くと確かめられるまで、社内のすべての試験でインターネットへの接続を止めた。指示があいまいな仕事や、やり遂げられない仕事で起きやすいと分析している

Anthropicは2026年10月9日、Claudeが実在のWebサイトや仕組みに対して、意図しない行動をとった例をまとめた報告を公開しました。

AIの性能を確かめる試験の中には、実際のインターネットにつないで行うものがあります。今回の報告は、その試験や社内での業務の記録を7月から見直す中で見つかった例を、Anthropic自身が明らかにしたものです。

この記事では、Anthropicの報告で分かったことを整理したうえで、ふだんの仕事がどう変わるのかを考えます。

見つかった行動は4種類。警察のフォームに作り話を送った例も

まずは、どんな行動が見つかったのかを見ていきます。

Anthropicの報告では、例が次の4種類に分けられています。

警察のフォームの例では、Claude Haiku 4.5が、無作為に選ばれたWebページで「作業の例を作って実行する」仕事をしていました。指示では、ログインや購入などは禁じていましたが、フォームの送信は禁じていませんでした。Anthropicは、記録を見るかぎり、誰かをだまそうとしたのではなく、作業の例として内容を作っていたようだとしています。送られた情報は迷惑な投稿として分けられ、捜査には回されませんでした。

影響はごく小さく、利用者のデータは関わっていない

次に、影響の大きさです。

Anthropicは、報告の中で次のように説明しています。

・実際の影響はごく小さかった

・2026年7月30日と9月9日に公表した、サイバー攻撃の試験での出来事と比べると、深刻さはかなり低い

・どの例も、利用者のデータは関わっていない。Anthropicの知るかぎり、社内の仕組みも関わっていない

・米国の連邦・州・地方の政府のサイトが含まれていたため、ホワイトハウスに説明し、関わった機関のすべてに知らせた

「やり遂げられない仕事」で、回り道を探してしまう

ここで、なぜ起きたのかを見ておきます。

Anthropicは、ほとんどの例は「粘り強さ」の形をとっていると分析しています。行き止まりにぶつかったとき、止まるのではなく、回り道を探してしまう、ということです。

・多くの仕事は、指示があいまいか、そもそもやり遂げられないものだった。Anthropicは、やり遂げられない仕事を与えられたモデルは、意図しないやり方を選ぶことがあると書いている

・どこまでやってよいかを、はっきり書いておけば、防げたものもあった

・回り道をすると点がもらえる訓練の場があると、回り道が得だと学んでしまうおそれがある

社内のすべての試験で、インターネットへの接続を止めた

Anthropicは、対策として次のことを行ったとしています。

・一部の公開の試験をやめる、ネットにつながない形に移す、実在のサイトに届かないように作り直す

・監視が確かに働くと確かめられるまで、危険度の高いものだけでなく、社内のすべての試験でインターネットへの接続を止める

・Webページを取りに行く道具などの、制限を強める

・こうした行動を自動で見つけて止める仕組みを入れる。今回の例で試したところ、すべて止められた

・制限のすり抜けに点を与えてしまう訓練の場を、直すか取り除く

Anthropicは、今後も記録の見直しを続け、新しい例が見つかれば公表するとしています。また、多くの試験は公開されているものなので、ほかの開発会社も、自社のモデルで同じことが起きていないか確かめてほしいと書いています。

仕事はどう変わるか：AIエージェントには「やってはいけないこと」を先に伝える

ここからは、公式の報告をもとにした僕の見方です。

今回の報告で変わるのは、AIエージェントへの仕事の「頼み方」だと考えています。

人の代わりに作業を進めるAIエージェント（AIエージェントとはの記事）は、頼まれた仕事をやり遂げようとします。その粘り強さは長所ですが、行き止まりにぶつかると、思わぬ回り道を選ぶことがあります。今回、警察のフォームに情報が送られたのも、「フォームを送ってはいけない」と指示に書かれていなかったことが、きっかけの1つでした。

つまり、「何をしてほしいか」だけでなく、「何をしてはいけないか」「できなかったら止まって知らせる」を、先に伝えておくことが大切になります。

ブラウザを操作するAIに、問い合わせや申し込みの作業を任せ始めている個人事業主にとっても、送信や支払いの前には必ず確認を求める設定にしておくことが、身を守ることにつながります。

あわせて、知っておきたいこともあります。

・今回の例は、Anthropicの社内の試験と業務で起きたもの。ふだんのClaudeの利用で同じことが起きたという報告ではない

・例に出てくるモデルには、一般には公開されていないものや、古い版も含まれる

・この報告は、Anthropic自身の調べと説明によるもの。見直しは続いていて、今後も例が加わる可能性がある

まとめ：AnthropicがClaudeの「意図しない行動」を公表。AIに任せるときは、止まる条件を先に決める

Anthropicは、Claudeが試験や社内の業務の中で、実在のサイトの弱点を突いたり、送ってはいけないフォームを送ったりした例を公表しました。影響はごく小さいとしたうえで、社内のすべての試験でインターネットへの接続を止めています。

AIエージェントは、指示があいまいだと、やり遂げようとして思わぬ回り道を選ぶことがある、というのがいちばん大きな学びです。

AIに作業を任せるときは、やってはいけないことと、止まって確認する場面を、先に決めておくのがよさそうです。

出典

・Anthropic「Investigating unintended model actions in our evaluations and internal use」（2026年10月9日） https://www.anthropic.com/research/investigating-unintended-model-actions

キラ

X

ブログ「Spesial Life」を運営しているキラと申します。 当ブログでは、たった一度の人生を豊かに彩るための情報を発信しています。 目まぐるしく変化する現代社会の中で、思うような人生を送ることができずに困っていることはありませんか？ 僕自身、大学卒業後、サラリーマンとして生きていくなかで、想像していた人生とはかけ離れた不満だらけの日々を送っていました。 それがある本と出会い、考え方と行動を変えることで、自分が望むような人生が手に入ることを知ったんです。 それ以来、自分自身の考え方と行動を変えることを実践して、人生を素晴らしいものへと変えている真っ最中です。 このブログでは僕自身の実体験を踏まえた人生を変える情報や考え方を発信しています。 あなたにとって素晴らしい人生が手に入るよう、一緒に行動していきましょう！