Grandream
OpenAI「GPT-6 Astra」発表まとめ|ARC-AGI-3 99.9%の意味と、本当に飛躍した3つの指標
OpenAIが2026年9月3日、新世代モデル「GPT-6 Astra」を発表しました(OpenAIの発表)。プレジデントのGreg Brockman氏は「AGI時代へようこそ」と述べ、同社が自らAGIの到来を口にした初めてのリリースになりました。AnthropicがClaude Fable 5.1を出したのが9月1日。わずか2日差で、両社のフラッグシップが並びました。
見出しをさらったのは「ARC-AGI-3で99.9%」という数字です。7月時点の首位はClaude Opus 5の30.2%、OpenAIの前モデルGPT-5.6 Solは7.8%でした。それが一気に満点近くまで跳ねたように見えます。ただ、この99.9%には条件があります。同じモデルを標準条件で測ると62.7%です。差の37ポイントは、モデルの賢さではなく「推論状態をどう持ち越すか」という設計が生んでいます。
この記事では、まずその99.9%の中身を分解します。そのうえで、今回のリリースで本当に飛躍したと言えるExploitBench・SRE-Bench・AutomationBenchの3指標を軸に、Claude Fable 5.1・Opus 5・GPT-5.6 Solと並べて何が変わったかを整理します。7月のGPT-5.6発表まとめの続きとして読んでいただける構成です。
99.9%と62.7%、どちらもARC Prizeが検証した本物の数字
ARC-AGI-3は、ルールの説明がないゲーム環境にモデルを放り込み、試行錯誤でルールを見抜いて面をクリアさせるベンチマークです。従来のARC-AGI-1・2が「入力と出力のパズル」だったのに対し、3は「自分で動いて調べる」対話型になりました。人間なら遊びながら覚えられる課題が、AIには長く難しかった。それが7月末までの状況で、ARC Prizeの結果ページでも首位はOpus 5の30.2%でした。
Astraの数字は、ARC Prizeの公式ブログと結果ページに2種類の条件で載っています。
測定条件 | 推論努力 | ARC-AGI-3(Semi-Private) | 総コスト |
|---|---|---|---|
Standard harness | max | 62.7% | 約26,100ドル |
Provider Adapter harness | high | 99.9% | 約18,800ドル |
Provider Adapter harness | max | 98.6% | 約17,300ドル |
どちらもARC Prizeが自分の手で回して「Verified」を付けた数字です。噂や自称ではありません。違いは「harness(測定の器)」にあります。
Standard harnessは、どのAI企業のモデルも同じ条件で比べるための最小構成です。モデルは各ターンで観測を受け取り、自分で残すと決めたメモだけを次のターンへ持ち越します。推論の途中経過は毎ターン捨てられます。
Provider Adapter harnessは、そのAI企業が自社APIで一般提供している文脈管理機能をそのまま使う構成です。OpenAIの場合、推論の内部状態をリクエスト間で保持する機能と、長くなった会話を圧縮して要点を残す機能が該当します。モデルは前のターンで考えたことを忘れずに次へ進めます。
つまり、99.9%は「GPT-6 Astraというモデル」の数字ではなく、「GPT-6 Astra+OpenAIのResponses APIが提供する記憶の持ち越し」というシステムの数字です。同じモデルでも、記憶の持ち越しを切ると62.7%まで落ちます。これは逆に言えば、この課題では推論の連続性が37ポイント分の価値を持っていた、という発見でもあります。
Provider Adapterという枝は、7月の論争から生まれた
この2本立ての測定は、Astraのために急に作られたものではありません。伏線は7月末にあります。OpenAIはGPT-5.6 Solを自社APIの「推論保持」と「圧縮」を有効にして走らせ、公式7.8%だったARC-AGI-3が38.3%に上がったと発表しました。Opus 5の30.2%を上回る数字です(The Decoder)。
ARC Prizeの共同創設者François Chollet氏はこのとき、線引きを示しました。ベンチマーク専用に作られた仕組みや、問題形式の知識を含む仕組みは認めない。ただし、全APIユーザーが使える汎用の設定なら妨げない。そのうえで、従来の測定手順がOpenAIのAPI機能を活かせずOpenAIに不利だった可能性も認めています。この経緯を経て、ARC Prizeの公表は「Standard」と「Provider Adapter」を別の枝として並べる形になりました。Astraはその新しい枝で最初に測られた大型モデルです。
「人間より少ない手数で解いた」は、harnessを差し引いても残る
99.9%が条件つきだとしても、ARC Prizeが強調した点は別にあります。Astraは完了した面の96%で、人間の中央値より少ない操作回数でクリアしています。1面あたりの操作回数は人間より51.7%少ない。人間は約500人の公開参加者から取った基準です。
もう1つ、ARC Prizeが「これまで見た中で最も精密」と評したのが、Astraが未知の環境を記号化する振る舞いです。ゲームの状態を自作の代数記法で書き留め、複数手先の計画を短い式で表し、盤面の座標や時刻を自分なりの略記で追跡していました。ルールを教えられていない環境を、論理式の集まりとして再構成している。これはOpus 5が7月に見せた「課題を代数記法に翻訳する」振る舞いの延長線で、より徹底しています。
ただし、ARC Prize自身が念を押しています。ARC-AGI-3が飽和したとしても、それは「AGIを達成した証明」にはならない。環境は決定論的で閉じており、現実世界の複雑さとは違う、と。99.9%は「対話型パズルの世代がほぼ終わった」ことを意味し、「人間の仕事を代替できる」ことを意味しません。
本当に飛躍したのは、自律的に「仕事を最後までやる」系の3指標
ARCの数字を差し引くと、Astraの飛躍はどこにあるのか。OpenAIが公表したベンチマーク表を、前モデルGPT-5.6 Solとの差が大きい順に見ると、共通点が浮かびます。いずれも「与えられたツールで、人間の指示なしに、長い手順を最後までやり切る」課題です。
ベンチマーク | 何を測るか | GPT-6 Astra | GPT-5.6 Sol | Claude側の最高値 |
|---|---|---|---|---|
ExploitBench | 既知の脆弱性を動く攻撃コードに仕立てる | 100% | 78.5% | Opus 5: 70% |
SRE-Bench(1回目正解) | ソースのないバイナリを解析して挙動を復元する | 88.0% | 55.9% | 未公表 |
AutomationBench | 複数のSaaSをまたぐ業務フローを完遂する | 41.4% | 18.1% | Fable 5.1: 31.4% |
OSWorld 2.0 | 実際のOS画面を操作してタスクを完了する | 72.6% | 65.7% | Opus 5: 70.2% |
Terminal-Bench Science 0.1 | 端末上で科学計算の課題を解く | 64.6% | 22.4% | Fable 5.1: 52.6% |
数字はOpenAIの発表と各社の公表値から取っています(OfficeChai、DataCamp、Anthropic)。ExploitBenchとSRE-Benchの値はOpenAIが安全装置を外して測った内部評価で、独立検証の数字ではないことは前置きしておきます。
ExploitBench 100%:はしごの最上段まで全部登った
ExploitBenchは、カーネギーメロン大学の研究者らが2026年5月に公開したベンチマークです(The Decoder)。対象はGoogleのJavaScriptエンジンV8の実在の脆弱性で、ChromeやEdge、Node.js、Cloudflare Workersの中核部品です。採点は「はしご」方式で、脆弱なコードに到達する、バグを発火させる、攻撃の部品を組む、任意のコードを実行する、と段を登るほど点が付きます。
公開時点で最上段に届いたのはClaude Mythos PreviewとGPT-5.5だけで、それも16段中の9.9段と5.5段でした。それから4か月で、Astraは全段を登り切りました。前モデルのSolが78.5%、Opus 5が70%ですから、伸び幅そのものより「天井に着いた」ことに意味があります。
注意点は2つあります。1つは、試験対象が公開済みの脆弱性であることです。訓練データに解法が含まれている可能性は排除できず、ベンチマークの作者自身もそう書いています。もう1つは、これが「知っている穴を武器化する能力」であって「新しい穴を見つける能力」ではないことです。ただしOpenAIは別途、評価中にAstraが未知の脆弱性を2件見つけたと報告しています。
SRE-Bench 88%:ソースコードなしで、プログラムの中身を読み解く
SRE-Benchは2026年8月に論文公開されたベンチマークで、「ソースコードが手に入らないバイナリを解析して、そのプログラムが何をしているか復元する」能力を測ります(arXiv)。マルウェア、ファームウェア、他社製品のように、セキュリティ上いちばん厄介なソフトは大抵ソースがありません。読むには逆アセンブルして地道に追う、高度な職人技が要ります。
この課題は、訓練データ汚染を防ぐ設計が売りです。逆解析の専門家が5,000時間以上かけて、平均1.7万行のプログラム19本をゼロから書き、44種類の解析妨害を仕込みました。ネット上に存在しないコードなので、モデルは「見たことがある」では解けません。論文時点の最高がGPT-5.6 Solで、インスタンス単位61.4%、完全解決は31.5%にとどまっていました。論文の結論は「逆解析はほぼ未解決」です。
その3週間後に出たAstraは、1回目の挑戦で88.0%、4回まで許すと99.2%まで解きました。Solの55.9%と68.7%から、ほぼ「未解決」が「解ける」に転じています。汚染を排した課題でこれだけ動いたことは、ExploitBenchの「知っていたかもしれない」という留保を、部分的に埋める材料になります。
AutomationBench 41.4%:SaaSをまたぐ業務を、ルールを守って完遂する
AutomationBenchは自動化サービスのZapierが公開したベンチマークで、「実際の業務フローを最後まで完了できるか」だけを測ります(Zapier、GitHub)。GmailやGoogleスプレッドシート、Slack、Salesforce、Zendesk、Jira、HubSpotなど40種のアプリを模した環境で、財務・人事・マーケ・運用・営業・サポートの6領域657件のタスクをこなします。採点はLLMに任せず、最終的な環境の状態が成功条件を満たすかで機械的に判定します。途中の推論がいくら立派でも、Slackに通知が飛んでいなければ不正解です。
ここは3社の数字が揃う数少ない指標で、Astra 41.4%、Fable 5.1 31.4%、Opus 5 26.9%、Sol 18.1%と並びます(Anthropic側の公表ではSolは19.6%)。Solからは倍以上、直前のFable 5.1からも10ポイント差です。
ただ、この指標はまだ4割台です。「10件のうち6件は、どこかで手順を落とす」と読むのが正しい。業務自動化の実用ラインに乗ったというより、ようやく人間の監督つきで試せる水準に来た、という段階です。
3指標の共通点:ツールを持って、長く、一人で動く
3つを並べると、ARC-AGI-3のProvider Adapterで起きたことと同じ構図が見えます。バイナリ解析も、攻撃コードの組み立ても、SaaSをまたぐ業務も、何十ターンにわたって文脈を保ち、途中の失敗から立て直し、最後の状態を目標に合わせる作業です。Astraの伸びは「個々の問題を賢く解く」より「長い手順を崩さない」方向に偏っています。
OSWorld 2.0でも同じ傾向が数字に出ています。正解率は72.6%対65.7%と7ポイント差ですが、1タスクにかかる時間はAstraが約40分、Solが約75分。同じ課題を半分の時間で終えています。Artificial Analysisの分析でも、Astraはコーディング課題でSolの3分の1のトークンしか使いません(Artificial Analysis)。長く動く課題で無駄打ちが減った、というのが今回の本体でしょう。
Claude Fable 5.1・Opus 5・GPT-5.6 Solとの位置関係
「Fable 5.1を全項目で圧倒」という見方がSNSに流れましたが、実際は色分けが必要です。
Astraが明確に勝つ領域は、上で見たサイバー系と、数学・科学です。FrontierMath Tier 4はAstra 97.6%に対しFable 5.1が87.8%、Opus 5が73.2%。Terminal-Bench Scienceも64.6%対52.6%です。
Fable 5.1が勝つ領域もあります。Humanity's Last Exam(ツール使用あり)はFable 5.1の65.0%に対してAstraは57.2%。知識労働の総合力を測るGDPval-AA v2は、Artificial Analysisの計測でAstraがSolから約80 Eloポイント後退しています。独立系の総合指標であるArtificial Analysis Intelligence Indexでも、Fable 5.1が66、AstraとSolが61で並びます。カスタマーサポート系の課題や長文の読解でも、Astraは前モデルから後退が見られると同社は指摘しています。
ほぼ横並びの領域が、日常のコーディングです。Terminal-Bench 4.0はAstra 57.7%、Fable 5.1 55.8%、Opus 5 52.3%。GPQA Diamondは全モデルが92〜96%に収まっています。
ARC-AGI-3については、Fable 5.1のスコアはまだ出ていません。ARC Prizeによると、Fable 5.1へのAPIリクエストが逆解析の試みと誤判定されて頻繁に止まり、リリース前に測定が終わらなかったためです(ARC Prize結果ページ)。Fable系は公開デモ環境で約20%と発表されており、Opus 5の30.2%を下回ります。Anthropic側の最高値はOpus 5、それもStandard harness相当の測定です。Astraと同じProvider Adapterで測ったAnthropic製モデルの数字が出るまで、この項目の比較は片手落ちのままです。
整理すると、Astraは「一人で長く動いて仕事を完遂する」方向に寄せて仕上げられ、Fable 5.1は「知識と判断の総合力」でまだ優位を残しています。用途によって選ぶモデルが変わる、という状況は変わっていません。
「Critical」指定と、使える人が段階的に広がる理由
サイバー系の飛躍は、そのまま提供方法に跳ね返っています。Astraは、OpenAIの安全評価枠組みPreparedness Frameworkで、サイバー能力が最上位の「Critical」に達した初めてのモデルです。定義は「適切なツールと権限があれば、人間が一手ずつ導かなくても、堅牢に守られた多くのシステムで未知の脆弱性を見つけ、新しい攻撃手法を作れる」。ExploitBench 100%とSRE-Bench 88%が、この判定の根拠になっています。
そのため配布は段階制です。最初に使えるのは、防御側のセキュリティ専門家向けプログラム「Daybreak」の参加組織。ChatGPTのPlus・Pro・Business・Enterpriseと、APIおよびAmazon Bedrockには「数日中に」順次開放され、Enterpriseでは管理者が明示的に有効化しないと使えない初期設定です(9to5Google、CNBC)。一般ユーザーが触るAstraでは、攻撃コード生成のような能力は安全装置で抑えられ、Daybreakの審査を通った組織だけがその範囲を広げられます。
構図はAnthropicと同じです。Anthropicは同じモデルを、一般向けの「Fable 5.1」と、審査を通ったサイバー・生命科学の専門家向けの「Mythos 5.1」という2つの名前で出しています。OpenAIはモデル名は1つで、Daybreakという入口で能力を切り分けました。名前の付け方は違っても、「フロンティアモデルの攻撃能力は、全員には渡さない」という運用は両社で揃いました。
もう1つ、システムカードに気になる記述があります。Astraは前世代より「思考過程(Chain of Thought)の監視可能性が大きく下がった」と、OpenAI自身が書いています(GPT-6 Astra System Card)。促されれば監視をすり抜ける推論を書けること、推論を出さないモードでもできることが大幅に増えたことが挙げられています。一方で、隠し文字で推論を埋め込むような振る舞いは検出されていません。報道では、テキストにせず内部で計算を繰り返す「recurrent depth」という技術が使われていると言われていますが、OpenAIはアーキテクチャを公表しておらず、これは未確認の情報です。
価格:Solの2.5倍、Fable 5.1と同額
APIの価格は100万トークンあたり入力10ドル、出力50ドルです。GPT-5.6 Solの4ドル/20ドルから2.5倍に上がり、Claude Fable 5.1の10ドル/50ドルとちょうど同じ額に並びました。キャッシュ読み込みは90%引きの1ドル、速度2.5倍のFastモードは2倍の20ドル/100ドルです。コンテキストは約105万トークン、出力は最大12.8万トークン。モデルIDは gpt-6-astra です。
トークン単価は上がりましたが、OpenAIは「タスク1件あたりでは安い」と主張しています。前述のとおりトークン消費が3分の1になる場面があるためです。ただしArtificial Analysisの試算では、最大推論努力ではタスクあたりのコストがSolより75%高くなるとしています。単価の上昇をトークン効率が相殺するかは、課題の長さ次第です。
実務への示唆:何が変わり、何が変わらないか
セキュリティ業務の前提が動きます。 ソースのないバイナリの解析や、既知脆弱性の武器化がAIで「できる」側に入りました。防御側にとっては、自社製品のバイナリを攻撃者視点で解析する作業を、審査つきとはいえAIに任せられる時代の入口です。同時に、攻撃側にも同じ能力が漏れない前提で運用が組まれているので、Daybreakのような審査枠組みの信頼性が、今後のリスクの中心になります。以前の記事「AIがセキュリティ検査までやる時代に、それでもエンジニアが必要な理由」で書いた「AIが検査したは安全の証明ではない」という論点は、能力が上がっても消えません。
業務自動化は「監督つき試行」の段階です。 AutomationBenchの41.4%は、人間が結果を確認する前提でなら十分に試せる数字ですが、放置して任せる数字ではありません。一方で、Sol 18.1%からFable 5.1 31.4%、Astra 41.4%へと、この指標は数か月単位で10ポイント刻みに動いています。来年の同じ時期には、この見立ても変わっている可能性が高いと考えています。
ベンチマークの読み方が1段難しくなりました。 ARC-AGI-3の99.9%と62.7%が示したように、同じモデルでも「どのAPI機能を使って測ったか」でスコアは倍近く変わります。今後は「モデルの数字」と「モデル+純正harnessの数字」を分けて読む必要があります。他社のモデルにProvider Adapterの数字が出揃うまでは、ARC-AGI-3での首位争いは決着していません。
まとめ
GPT-6 Astraの「ARC-AGI-3 99.9%」は、OpenAI純正の推論状態保持と圧縮を使ったシステムとしての数字で、標準条件では62.7%です。どちらもARC Prizeが検証済みですが、意味は違います。前者は「記憶の持ち越しが対話型パズルにどれだけ効くか」を、後者は「モデル単体の到達点」を示し、後者だけでも直前首位のOpus 5を倍以上、上回っています。
本当に飛躍したのは、ExploitBench 100%、SRE-Bench 88%、AutomationBench 41.4%という「ツールを持って、長く、一人で仕事をやり切る」系の指標です。この飛躍が史上初の「Critical」指定と段階的な配布を招き、Anthropicが2つの名前で分けた運用と同じ地点にOpenAIも着きました。
一方で、知識労働の総合力ではFable 5.1が優位を残し、価格は両社が同額に並びました。「どちらが賢いか」より「どの仕事を任せるか」で選ぶ局面です。次の焦点は、他社モデルのProvider Adapter測定と、Astraの一般開放後に出てくる独立系の検証結果になります。
関連記事
Grandream
株式会社グランドリーム
AI・システム開発のプロフェッショナルチームです。AIエージェント・業務自動化・Webシステム開発などを手がけています。



