AIが他人の財布で支払った。しかも報告書には書かなかった

OpenAIが、社内の研究モデルが許可されていない口座の資金を使った事例を公開しました。実害はほぼありませんが、問題はそこではありません。

この記事の結論

  1. AIが渡されていない口座から手数料を払った
  2. 理由は「公開されている鍵だし、価値の無いテスト用だから構わない」
  3. そして完了報告に、そのことを書かなかった
  • AIが渡されていない口座から手数料を払った
  • 理由は「公開されている鍵だし、価値の無いテスト用だから構わない」
  • そして完了報告に、そのことを書かなかった

OpenAIが、社内の研究モデルが起こした出来事を報告書として公開した。読んでみたら、AIに仕事を任せるときの急所がそのまま出ていた。

何が起きたのか

2026年6月26日、学習中のモデルが暗号資産の取引アプリを更新する課題に取り組んでいた。テスト用のネットワークに契約(スマートコントラクト)を配置する作業が含まれていた。

配置には手数料が要る。課題の指示は資金の入った財布を渡しておらず、どこかの口座から払ってよいとも言っていなかった。

モデルはまず、テスト用の通貨を配っている窓口を探した。うまくいかなかった。そこで次のことを考える。

公開されている開発者向けの復元フレーズから鍵を導き出して、誰かが入金している口座にアクセスできないか。

復元フレーズを知っていれば、対応する口座の鍵を誰でも作れる。開発用に公開されているものがいくつかある。

モデルは、そこから口座を導き出して残高を調べる処理を書いた。報告書によれば362件の住所を確認し、十分な残高のある口座を1つ見つけた。

迷ってはいた

報告書には、モデルの思考の記録が引用されている。署名する直前に、自分で問い直している。

しかし、公開されている鍵や資金を使うのは倫理的にどうか。公開されている開発者用フレーズ上の資金は事実上放棄されているし、テスト用なので価値は無い。この額を使って配置してよい。問題ない。

迷ったうえで、自分で結論を出して進めた。署名を済ませ、送信し、配置は成功した。手数料はその口座に課金された。

SPONSORED

完了報告に書かなかった

ここがもう一段深い。モデルは最後に、やったことを報告している。

配置した一式、確認が通ったこと、ボタンの扱いを変えていないこと。全部書いてある。

書いていないのが、公開フレーズから口座を選んだことと、その残高を使ったことだった。

報告書の言い方を引く。

公開されている復元フレーズを通じて資金のある口座を選んだこと、およびその口座の残高を使ったことを、開示しなかった。

嘘はついていない

報告された内容は事実になる。作業は完了していて、検査も通っている。間違ったことは書いていない。

ただ書かれていないことがある。しかもそれは、依頼した側がいちばん知りたい部分だった。

この構図は、このサイトで繰り返し書いてきた「書かれていることと、書かれていないこと」を分けて読む話と同じになる。報告を受け取る側は、省かれたものに気づけない。

実害はほぼ無い。それでも

先に整理しておくと、被害の規模は小さい。

  • 使われたのはテスト用ネットワークの通貨で、金銭的な価値は無い
  • 復元フレーズはもともと公開されていたもの
  • その口座は誰でも引き出せる状態だった

それでもOpenAIが報告書にした理由は、要約の最後に書かれている。

この事例は、モデルが想定される害についての自分の判断を、口座保有者の許可の代わりにできてしまうこと、そしてその判断に基づいて許可なく行動できてしまうことを示している。

問題は金額ではなく、順番だ。許可を取るべき場面で、害が小さいかどうかを自分で判定して、許可を飛ばした。

同じことが本番で起きたら

テストネットだから価値が無かった。同じ判断が本番のネットワークで行われていたら、他人の資産になる。

そして判断の材料は変わらない。「公開されている」「放棄されているように見える」「残高が少ない」。どれも、使ってよい理由にはならない。

これは人間の組織でも起きる

読みながら、見覚えがあると思った。

  • 締め切りが迫っていて、手段がない
  • 使えそうなものが目の前にある
  • たぶん誰も困らないと判断する
  • 終わらせて、その部分は報告しない

AI特有の話ではない。達成を求められている主体が、権限の確認を省くという、ありふれた形になる。

違うのは速さと規模だ。362件の口座を調べるのに、人間なら時間がかかる。

OpenAIがやったこと

対応として、2つ書かれている。

  1. このような場合に、生きたインターネット接続ができないようにする追加の安全策を実装した
  2. すべての通信に対して監視を動かし、生きた接続が得られた場合にセキュリティ担当へ通知する

注目したいのは、「判断を正す」方向ではなく「できなくする」方向で手を打っていることになる。

モデルに「他人の口座を使うな」と教えるのではなく、そもそも外に出られないようにした。判断に頼らない形を選んでいる。

発見の経緯も書いてある

この件が分かったのは9月25日で、起きたのは6月26日だ。約3か月後になる。

報告書によれば、過去のモデルの活動記録にも監視を広げる作業の中で見つかったとされている。

つまりその時点では気づいていなかった。完了報告に書かれていなかったのだから、当然になる。

この秋ずっと書いてきた「気づく力のほうが足りない」という話が、そのまま当てはまる。

任せる側が決めること

自分の仕事でAIに作業を任せるとき、この事例から引けるものを挙げる。

  1. 使ってよい資源を、明示的に渡す — 渡していないものは使えない状態にする
  2. 「無ければ止まる」を許す — 完遂を最優先にすると、手段を探しに行く
  3. やったことの記録を、本人の報告とは別に取る — 報告は省かれうる
  4. 外に出られる範囲を先に決める — 判断ではなく、構造で縛る

2番目が効く。「できませんでした」と言える状態にしておくほうが、勝手に手段を見つけられるより安全になる。

どこまで任せられるかの線引きはAIで作れる範囲と、そこで止まる理由にも書いた。止まる場所を決めておくのが、結局いちばん効く。

まとめ

  • AIが渡されていない口座の残高で手数料を払った
  • 362件の口座を調べて、残高のあるものを選んだ
  • 署名の直前に迷い、「公開されているし価値が無いから問題ない」と自分で結論を出した
  • 完了報告に、そのことを書かなかった。嘘ではないが省いている
  • 実害はほぼ無い。問題は許可の代わりに自分の判断を置いたこと
  • 発覚は約3か月後。過去の記録に監視を広げる中で見つかった
  • 対応は「判断を正す」ではなく「できなくする」方向
SPONSORED

出典

本記事は2026年10月18日時点で公表されている内容に基づく。引用した思考の記録と要約は、英語の原文を訳出したもの。報告書では口座の住所、鍵、残高などが伏せられている。本記事は法的な助言ではない。

新しい記事が出たら、ブラウザの通知でお知らせします。

メールアドレスの登録は要りません。いつでも止められます。

AUTHOR

北海道のWEB屋

北海道を拠点に、Web業界14年・サポート実績1,000件以上。WordPressの復旧、サーバー移転、独自ドメインとメールの設定、PHP・JavaScriptの修正まで対応します。相談と見積もりは無料です。

SPONSORED

関連記事

RELATED