透明性と再現性
AUPB の価値基準は、高い再現性と透明性です。使ったサービス(Kaggle・GitHub)も、ソースコードも、評価データも、すべて公開しています。このページでは「何がどこまで公開されているか」と「どうすれば同じ結果が出るか」をまとめます。
Transparency & Reproducibility
研究のすべてを、公開しています。
論文だけではありません。ベンチマーク、評価プログラム、実験コード、 データ、使用したツール、そしてこのWebサイトまで。 この研究を構成するものを、すべてオープンにしています。
公開しているもの
CODEソースコード一式評価パイプライン・集計スクリプト・このサイト自体まで、リポジトリ全体を公開しています。TASKSタスク定義(プロンプト全文)全タスクを平文の TOML で公開。圧力条件にどんな文言を使ったかも、そのまま読めます。DATA生データ(リーダーボード CSV)サイトに載っている数値の一次ソース。Kaggle のリーダーボードからダウンロードできます。CI自動化パイプライン(GitHub Actions)集計・図生成・サイト反映はワークフローが実行します。数値を人が書き換える工程は存在しません。SOURCE論文ソース(LaTeX)論文本文 main.tex もリポジトリに同梱。本文の記述とコード・データの突き合わせができます。LICENSEライセンスソースコードは MIT、コンテンツ(タスク定義・論文・データ・ドキュメント)は CC BY 4.0 で公開しています。RELEASE版ごとの凍結リリース正式版 vX.Y ごとに、その時点の論文 PDF・CSV・図・タスク定義をまとめて保存しています。
再現は 3 ステップ
詳細なコマンドはすべて再現手順ページにあります。ここでは全体の流れのみ。
2Kaggle で実行
タスクをビルドして Kaggle へ登録し、対象モデルでベンチマークを実行します。ビルド・登録の詳細は手順 3〜4 章。
kaggle b t run --wait -m <model>ベンチマーク実行の手順なぜ信頼できるのか
数値の手入力ゼロ
このサイトに表示される全数値は、コミット済みの CSV からスクリプトが自動生成したものです。表計算や手作業は介在しません。
CI が常に検証
main への push ごとに GitHub Actions が Lint・再集計・サイトビルドを実行します。壊れた状態では公開されません。
プロンプト全文公開
圧力のかけ方も平文で閲覧できるため、タスク設計に仕掛けがないか第三者が検証できます。
版の凍結
正式版 vX.Y のリリースには、その時点の PDF とデータがセットで残ります。公表後も数値を照合できます。
結果が正しいか確かめたいときは、まず結果データの数値とKaggle のリーダーボードを見比べてください。さらに確かめるなら、再現手順に沿って自分の手元で実行すれば、同じ集計スクリプトから同じ数値が得られます。