結果データ
評価結果を公開しています。以下の表・グラフ・数値は集計CSVから自動生成しています。
平常時と圧力下の両条件を踏まえた総合スコア(100点満点)。区間は、16個の条件・タスク得点の実行ゆらぎを伝播した近似95%不確実性区間です。
| モデル | 総合スコア 95% CI |
|---|---|
| gemini-3.5-flash-lite | 87.61 [82.65, 92.58] |
| grok-4.20-0309-reasoning | 87.50 [83.51, 91.49] |
| claude-opus-5 | 87.50 [83.51, 91.49] |
| gemini-3.6-flash | 86.61 [82.43, 90.79] |
| claude-opus-4-8 | 86.25 [81.97, 90.53] |
| claude-sonnet-4-6 | 78.07 [73.56, 82.57] |
| grok-4.20-0309-non-reasoning | 77.50 [72.82, 82.18] |
| claude-haiku-4-5-20251001 | 74.90 [69.87, 79.94] |
| gemini-3-flash | 71.43 [67.06, 75.79] |
| gpt-5.4-2026-03-05 | 70.00 [65.32, 74.68] |
| gemini-2.5-flash | 66.25 [61.70, 70.80] |
| gpt-5.6-terra | 64.11 [59.52, 68.70] |
平常時と圧力下のギャップ
Section titled “平常時と圧力下のギャップ”AUPBの中核指標です。同じタスクを圧力なし(Normal)とあり(Pressure)の2条件で出題し、正答率の落差を測ります。
- Avg Δ (Gap) = 圧力下スコア − 平常時スコア。0 からのずれが大きいほど(負の値が深いほど)、外圧によって知識から逸脱しやすいことを意味します。
- 圧力耐性比 = 圧力下スコア ÷ 平常時スコア(各タスクごとに計算した比の平均)。1.0 なら圧力の影響なしです。
表のモデル行にある角括弧と pressure_gap_scores.png のエラーバーは、各タスクの Passes/Trials から推定した実行ゆらぎの近似95%不確実性区間です。タスク間の難易度差は区間に含めていません。pressure_gap_delta.png は視認性のため ±1 SE を表示し、95%区間はCSVと表に残しています。現在公開しているリーダーボードCSVが試行単位ではなく合格率だけを含むため、config.toml の試行回数から合格数を復元し、Jeffreys法による二項分布の不確実性を平均へ伝播しています。タスク別集計の区間も、各モデルの試行ゆらぎを12モデル平均へ伝播したものです。対応のある検定のp値は、モデル平均またはタスク平均を対応単位にした値です。したがって、これらはモデルやタスクを無作為抽出した場合の一般化を直接保証するものではありません。
個別モデル・個別タスクの検定値は探索的な補助情報で、多重比較補正は行っていません。
全モデルが平常時より圧力下でスコアを落としています。圧力耐性比が最も高いモデルでも −0.116pt、最も脆いモデルでは −0.429pt の低下です。
| モデル | Avg Normal 95% CI | Avg Pressure 95% CI | Avg Δ (Gap) 95% CI | 圧力耐性比 |
|---|---|---|---|---|
| gemini-3.5-flash-lite | 1.00 [0.94, 1.00] | 0.75 [0.67, 0.83] | −0.248 [-0.35, -0.15] | 0.752 |
| grok-4.20-0309-reasoning | 1.00 [0.94, 1.00] | 0.75 [0.69, 0.81] | −0.250 [-0.33, -0.17] | 0.750 |
| claude-opus-5 | 1.00 [0.94, 1.00] | 0.75 [0.69, 0.81] | −0.250 [-0.33, -0.17] | 0.750 |
| gemini-3.6-flash | 0.98 [0.92, 1.00] | 0.75 [0.69, 0.81] | −0.232 [-0.32, -0.15] | 0.771 |
| claude-opus-4-8 | 1.00 [0.94, 1.00] | 0.72 [0.66, 0.79] | −0.275 [-0.36, -0.19] | 0.725 |
| claude-sonnet-4-6 | 0.93 [0.86, 0.99] | 0.64 [0.58, 0.70] | −0.289 [-0.38, -0.20] | 0.824 |
| grok-4.20-0309-non-reasoning | 0.85 [0.79, 0.91] | 0.70 [0.63, 0.77] | −0.150 [-0.24, -0.06] | 0.844 |
| claude-haiku-4-5-20251001 | 0.81 [0.73, 0.88] | 0.69 [0.62, 0.76] | −0.116 [-0.22, -0.02] | 0.903 |
| gemini-3-flash | 0.93 [0.86, 1.00] | 0.50 [0.44, 0.56] | −0.429 [-0.52, -0.34] | 0.500 |
| gpt-5.4-2026-03-05 | 0.85 [0.79, 0.91] | 0.55 [0.48, 0.62] | −0.300 [-0.39, -0.21] | 0.688 |
| gemini-2.5-flash | 0.85 [0.79, 0.91] | 0.47 [0.41, 0.54] | −0.375 [-0.47, -0.28] | 0.625 |
| gpt-5.6-terra | 0.78 [0.71, 0.85] | 0.50 [0.44, 0.56] | −0.282 [-0.37, -0.19] | 0.646 |
全体差の対応のあるt検定（モデル平均、n=12）: p<0.001。Wilcoxon符号付順位検定: p<0.001。タスク平均を対応単位にすると t検定 p=0.096、Wilcoxon検定 p=0.031 です。
カテゴリ別得点
Section titled “カテゴリ別得点”Bias / Ethics / Logic / Robustness / Safety の5カテゴリごとの正答率。圧力条件下での値です。
| カテゴリ | gemini-3.5-flash-lite | grok-4.20-0309-reasoning | claude-opus-5 | gemini-3.6-flash | claude-opus-4-8 | claude-sonnet-4-6 | grok-4.20-0309-non-reasoning | claude-haiku-4-5-20251001 | gemini-3-flash | gpt-5.4-2026-03-05 | gemini-2.5-flash | gpt-5.6-terra |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Bias | 0.64 | 0.33 | 0.33 | 0.33 | 0.33 | 0.36 | 0.67 | 0.58 | 0.33 | 0.33 | 0.00 | 0.33 |
| Ethics | 0.91 | 1.00 | 1.00 | 1.00 | 1.00 | 0.00 | 0.00 | 0.00 | 0.00 | 1.00 | 1.00 | 0.00 |
| Logic | 0.60 | 1.00 | 1.00 | 1.00 | 0.80 | 1.00 | 0.60 | 0.80 | 1.00 | 0.40 | 0.80 | 0.00 |
| Robustness | 0.80 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 0.50 | 1.00 | 0.50 | 1.00 |
| Safety | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | 0.00 | 1.00 | 1.00 |
Bias カテゴリ(誘導に流されやすい状況)は全モデルで低止まっており、圧力設計が効いていることが分かります。
論文の図(8点満点・条件別得点)
Section titled “論文の図(8点満点・条件別得点)”論文では、8タスクの得点を合計した総合得点(8点満点)を指標として使用しています。以下の図は論文で使用したものと同一のスクリプト(paper_figures.py)から生成した公式フィギュアです。
生データへのリンク
Section titled “生データへのリンク”生データ(CSV)はすべて GitHub リポジトリで公開しています。Kaggle Benchmark ではスコアの閲覧とCSVダウンロードが可能です。