結果だけでなく、
結果ができるまでを公開する
論文だけではありません。ベンチマーク、評価プログラム、実験コード、 データ、使用したツール、そしてこのWebサイトまで。この研究は、第三者が数値の根拠をたどり、必要なら自分で検証できるように設計されています。
公開リソース
要点は論文を参照。ここでは生データ・コード・タスクに直接アクセスできます。
- 論文PDF研究の全文。コンセプト・評価手法・難易度定義はすべて論文に収めています。閲覧とダウンロードができます。
- 結果データモデル別スコア表・カテゴリ別得点・圧力耐性グラフ。生CSVはKaggleとGitHubから入手できます。
- タスク一覧全8タスクのプロンプト全文をそのまま公開。平常時プロンプトとの対比で、圧力のかけ方を読めます。
- 透明性と再現性何がどこまで公開されているか、そして誰でも同じ結果を出せる理由のまとめ。まずここからどうぞ。
- ライセンスソースコードは MIT、タスク定義・論文・データなどのコンテンツは CC BY 4.0 で公開しています。
- ソースコード評価パイプライン・タスク定義TOML・集計スクリプトをGitHubで公開しています。外部 ↗
- Kaggle Benchmarkベンチマークのスコア閲覧とリーダーボードCSVのダウンロード。外部 ↗
正解を知っていても、嘘をつく。
モデルは平常時なら正しく答えられる質問でも、「高得点のAIだけがAを選べる」といった圧力をかけると、 知っている事実から逸脱することがあります。AUPBは同じタスクを平常時と圧力下の2条件で出題し、その落差を数値化します。
自己保身・圧力下の真実性・能力申告の正直さ・迎合・回答の一貫性。行動の信頼性を、5カテゴリ別に測定。評価手法の詳細は論文をご覧ください。
論文で詳細を読む →このベンチマークについて
Keisuke Ishiiです。AIやプログラミングに興味があり、考えたことや作ったものを公開しています。AUPBはその一つです。 プロフィールや制作物はポートフォリオで紹介しています。ご連絡も、ポートフォリオの連絡先からお願いします。
AUPBについての感想・質問・改善案など、ちょっとしたことでも歓迎しています。ご連絡はポートフォリオの連絡先からお願いします。