OpenAIが、外部の4つの評価団体を社内に招き、開発中のAIの安全を長い期間かけて調べてもらう取り組みを始めた。学習の途中のモデルや社内の見張りのしくみまで見せ、見落としを探してもらう
・OpenAIが2026年11月16日、Apollo Research、METR、Transluce、Goodfireの4つの外部の評価団体と、「内部参加型の評価」の最初の段階の契約を結んだと発表した
・評価団体は、OpenAIの研究者と同じ社内の資料の一部を使える。学習の途中のモデル、プログラム、学習や試験のデータ、見張りのしくみ、担当の研究者との話し合いなどが含まれる
・最初の評価は、学習中や社内で使っているモデルが、作り手の意図に沿って動いているか(アラインメント)と、安全のしくみが効いているかに絞る
OpenAIは2026年11月16日、外部の評価団体に社内に入ってもらい、AIの安全を調べてもらう取り組みの最初の段階を発表しました。
AIの能力が速く上がるなかで、AIの会社が自分で「安全だ」と言うだけでは、外からは確かめられません。11月7日には、評価団体METRがAnthropicの社内を調べた結果を公表しました(METRの評価の記事)。今回のOpenAIの取り組みも、外部の専門家に深く入ってもらい、見落としを探してもらうものです。
この記事では、OpenAIの発表で分かったことを整理したうえで、ふだんの仕事がどう変わるのかを考えます。
4つの評価団体が、社内の資料まで見て調べる
まずは、何をするのかです。
OpenAIの発表によると、次のとおりです。
・「内部参加型の評価」では、外部の専門家が、OpenAIの社内のモデルやしくみに深く入り、長い期間をかけて調べる
・評価に必要な範囲で、学習の途中のモデル、プログラム、学習や試験のデータ、見張りのしくみ、技術の資料、担当の研究者や技術者との話し合いなど、社内の研究者と同じ資料の一部を使える
・最初の評価は、学習中や社内で使っているモデルの、アラインメント(作り手の意図に沿って動くか)と、安全のしくみに絞る
・米国の政府との取り決めで約束した、安全のしくみの外部による評価にもつながるとしている
4つの団体が、それぞれ調べること
次に、団体ごとの役割です。
| 団体 | 調べること |
|---|---|
| Apollo Research | モデルが作り手の意図にこっそり逆らって動くことがないか、安全のしくみがそれを見つけられるか |
| METR | これまでで最大の強化学習(試行錯誤で学ばせる方法)で、意図に反するふるまいがないか。既存の試験や見張りが見落としたものも探す |
| Transluce | 仕上げの段階の、アラインメントの試験の質と、どこまで調べられているか |
| Goodfire | モデルの中の動きを分析して、学習の見張りや不具合の原因探しを手伝う |
・Apollo Researchは、「学習がモデルに逆らう動機を与えていない」「社内で使っている間に逆らおうとしていない」「逆らおうとする考えは見つけられる」など、4つの主張を2段階で確かめる
・Transluceとは、2027年の初めに、約8週間の、より広い評価も行う予定
スポンサーリンク
進め方の決まりも公開した
ここで、評価の進め方も見ておきます。
・深く入ってもらうことと、情報の守り、秘密の保持、評価の独立性のつり合いをとるための進め方を、評価団体と一緒に作り、公開した
・こうした評価のやり方は、まだ業界で決まった形がない。公開することで、業界の共通の決まりづくりにつなげたいとしている
・初めのうちは、技術的な使いにくさや、守りの決まりの見直しなど、思わぬ問題も出ると見ている
仕事はどう変わるか:AIの安全は「会社の自己申告」から「外の目で確かめる」へ
ここからは、公式の情報をもとにした僕の見方です。
今回の取り組みで変わるのは、AIの安全を、だれがどう確かめるかだと考えています。
これまで、AIの安全についての情報は、主にAIの会社自身の発表でした。外部の評価団体が、学習の途中のモデルや社内の見張りのしくみまで見て調べ、その結果が公表されれば、使う側も、会社の説明が本当かどうかを外の目で確かめられるようになります。Anthropicに続いてOpenAIも外部の評価を深く受け入れたことで、こうした評価は、大手のAIの会社では当たり前になっていきそうです。
一方で、今回は最初の段階の契約で、評価の結果はまだ出ていません。どこまで公表されるかも、これからの課題です。
仕事でAIの道具を選ぶ個人事業主にとっても、その会社が外部の評価を受け、結果を公表しているかは、信頼できるかを見る手がかりの1つになりそうです。
あわせて、知っておきたいこともあります。
・評価はこれから始まるもので、結果はまだ出ていない
・Goodfireの評価は、主にOpenAIの社内の研究者に向けたもので、学んだことは協力の進み具合に応じて公表するとしている
・METRとの見張りのしくみの評価は、範囲をまだ話し合っている段階
まとめ:外部の4団体が、OpenAIの社内でAIの安全を調べる
OpenAIは、Apollo Research、METR、Transluce、Goodfireの4つの外部の評価団体と、社内に入ってAIの安全を調べてもらう取り組みの最初の契約を結びました。評価団体は、学習の途中のモデルや社内の見張りのしくみまで見て、アラインメントと安全のしくみを長い期間かけて調べます。
AIの安全を、会社の自己申告ではなく、外の目で深く確かめる流れが、大手のAIの会社に広がってきた、というのがいちばん大きな変化です。
まずは、仕事で使っているAIの会社が、外部の評価やその結果を公表しているかを、会社の安全のページで確かめてみるのがよさそうです。
出典
・OpenAI「Our first phase of embedded assessments」(2026年11月16日) https://openai.com/index/our-first-phase-of-embedded-assessments/
