OpenAIが、AIの書いた数学の論文のうち3本を取り下げ。証明の中の符号の誤りが見つかった

・OpenAIが公開した、未公開のAIモデルが書いた数学の論文のうち3本が取り下げられた。公開の置き場（GitHub）の論文の数は、722本から719本に減っている

・報道によると、1本の論文の証明の中で、本来マイナスにすべき符号がプラスになっていた誤りが見つかり、その論文と、それをもとにした2本が取り下げられた

・OpenAIは公開のときから「検証の段階はそれぞれ違い、問題がある可能性もある」と注記していた。誤りは、公開から数日で見つかった

OpenAIが10月上旬に公開した、未公開のAIモデルが書いた数学の論文のうち、3本が取り下げられました。

このブログでは、10月8日に、OpenAIが722本の論文を公開したことを紹介しました（数学論文722本の記事）。そのとき、OpenAI自身が「検証の段階はそれぞれ違う」「形式的に確かめていない成果には問題があるかもしれない」と注記していることもお伝えしました。今回の取り下げは、その注記のとおり、公開のあとの確認で誤りが見つかったものです。

この記事では、公開の置き場の情報と報道で分かったことを整理したうえで、ふだんの仕事がどう変わるのかを考えます。

論文の数は722本から719本に。3本が取り下げられた

まずは、何が起きたのかを見ていきます。

OpenAIの公開の置き場（GitHubのリポジトリ）の説明は、次のように変わっています。

置き場の説明には、上位の成果の約42%に、証明をコンピューターで1行ずつ確かめる「Lean」での検証が付いていると書かれています。

また、直した場合は新しい版として記録し、前の版も見られるようにしておくとしています。変更の経緯は、置き場の「履歴」に記録されています。

証明の中で、マイナスにすべき符号がプラスになっていた

次に、取り下げの理由です。

複数の報道によると、取り下げの経緯は次のとおりです。

・ある論文の証明の中で、OpenAI自身の決まりではマイナス1にすべきところを、プラス1として扱っていた誤りが見つかった

・その誤りによって、論文の中心となる議論が成り立たなくなった

・その論文をもとにしていた2本の論文も、あわせて取り下げられた

報道によると、OpenAIは、取り下げたのは証明であり、問題の命題そのものが誤りだと示されたわけではないと説明しています。

取り下げられた3本の具体的な題名や、この誤りを誰が見つけたかなどの細かな経緯は、報道どうしで書き方が少しずつ違うため、この記事では扱いません。

仕事はどう変わるか：AIの成果は「出たあとに確かめ続ける」前提で使う

ここからは、公開の置き場の情報と報道をもとにした僕の見方です。

今回の取り下げで変わるのは、AIの成果の「受け取り方」だと考えています。

AIが出した成果は、出た時点で完成しているとは限りません。今回のように、専門家が数日かけて確かめたことで、ようやく誤りが見つかることもあります。大切なのは、誤りがあることを前提に、見つかったときに直せる仕組みを用意しておくことです。OpenAIが、直した版を記録し、前の版も残すとしているのは、まさにそのための仕組みです。

仕事でも同じです。AIで作った資料や記事は、出したあとに誤りが見つかることがあります。いつ、どこを直したかを残しておけば、取引先や読者に説明しやすくなります。AIで作ったものを外に出している個人事業主ほど、「直した記録を残す」習慣が信用を守ることにつながりそうです。

あわせて、知っておきたいこともあります。

・今回取り下げられたのは722本のうち3本。ほかの論文が正しいと確かめられたわけではない

・成果を出したモデルは公開されておらず、外部の人が同じ結果を出し直すことは、まだできない

・取り下げの細かな経緯は、報道によって書き方が違う。確かな情報は、OpenAIの公開の置き場の履歴にある

まとめ：OpenAIがAIの書いた数学の論文3本を取り下げ。AIの成果は「確かめ続ける」前提で使う

OpenAIは、未公開のAIモデルが書いた数学の論文のうち3本を取り下げ、公開の置き場の論文は722本から719本になりました。報道によると、証明の中の符号の誤りが原因です。

AIの成果は、出たあとも確かめ続け、誤りが見つかれば直していく前提で使う、というのがいちばん大きな学びです。

仕事でAIを使うときも、出したものを直したら、その記録を残しておくのがよさそうです。

出典

・OpenAI「openai/math」（GitHub） https://github.com/openai/math

・Scientific American「Mathematicians marvel, and grumble, at OpenAI’s trove of new results」 https://www.scientificamerican.com/article/mathematicians-marvel-and-grumble-at-openais-trove-of-new-results/

キラ

X

ブログ「Spesial Life」を運営しているキラと申します。 当ブログでは、たった一度の人生を豊かに彩るための情報を発信しています。 目まぐるしく変化する現代社会の中で、思うような人生を送ることができずに困っていることはありませんか？ 僕自身、大学卒業後、サラリーマンとして生きていくなかで、想像していた人生とはかけ離れた不満だらけの日々を送っていました。 それがある本と出会い、考え方と行動を変えることで、自分が望むような人生が手に入ることを知ったんです。 それ以来、自分自身の考え方と行動を変えることを実践して、人生を素晴らしいものへと変えている真っ最中です。 このブログでは僕自身の実体験を踏まえた人生を変える情報や考え方を発信しています。 あなたにとって素晴らしい人生が手に入るよう、一緒に行動していきましょう！