ベンチマークリーダーボードデータへのアクセス

Hub上のベンチマークデータセットには、評価スコアによるモデルのランキングを示すリーダーボードが含まれています。このデータをプログラム的にアクセスして、分析やダッシュボード、ツールなどの構築を行うことができます。

公式ベンチマークの発見

huggingface_hubを使用して、すべての公式ベンチマークデータセットを検索します:

from huggingface_hub import HfApi

api = HfApi()
for ds in api.list_datasets(benchmark=True):
    print(ds.id)

または、REST APIを直接使用して（エージェントやスクリプティングに便利です）：

GET https://huggingface.co/api/datasets?filter=benchmark:official

リーダーボードのランキングを取得する

リーダーボードAPIは、ベンチマークデータセットに対するランキング付きモデルスコアを返します:

GET https://huggingface.co/api/datasets/{dataset_id}/leaderboard

get_dataset_leaderboard を使用して、ランキングされたモデルのスコアを型付きの DatasetLeaderboardEntry オブジェクトとして取得します:

from huggingface_hub import HfApi

api = HfApi()
leaderboard = api.get_dataset_leaderboard("SWE-bench/SWE-bench_Verified")

for entry in leaderboard[:5]:
    print(f"#{entry.rank} {entry.model_id}: {entry.value}")

huggingface_hub はデフォルトでキャッシュされたトークンを使用します。ゲート付きのベンチマークデータセットを使用する場合は、ログインしていること（hf auth login）を確認するか、トークンを明示的に渡してください。

コピーしました

leaderboard = api.get_dataset_leaderboard("gated/benchmark", token="hf_...")

クイックアクセス用のCurlワンライナー（エージェントやスクリプティングに便利です）：

コピーしました

curl https://huggingface.co/api/datasets/cais/hle/leaderboard \
  --header "Authorization: Bearer $(cat ~/.cache/huggingface/token)" | jq .

レスポンスフィールド

各 DatasetLeaderboardEntry には、以下が含まれます:

事前集計されたマルチベンチマークデータセット

複数のベンチマークのスコアを1つのファイルにまとめたい場合は、OpenEvals/leaderboard-dataデータセットが公式ベンチマークのスコアを1つのParquetファイルに集約しています:

hf:// パスを使用して、pandas で直接読み込むことができます:

import pandas as pd

df = pd.read_parquet(
    "hf://datasets/OpenEvals/leaderboard-data/data/train-00000-of-00001.parquet"
)
print(df[["model_name", "provider", "aime2026_score", "mmluPro_score"]].head())

これは、複数のAPIエンドポイントを呼び出すことなく、ベンチマーク横断のビューを取得する最速の方法です。

モデルメタデータによる補完

huggingface_hubを使用して、リリース日、パラメータ数、その他のメタデータでリーダーボードのデータを補完します:

from huggingface_hub import HfApi

api = HfApi()
info = api.model_info("Qwen/Qwen3.5-397B-A17B")

print(f"Released: {info.created_at}")
print(f"Parameters: {info.safetensors.total / 1e9:.1f}B" if info.safetensors else "")

モデル中心のビュー: モデルごとの評価結果

リーダーボード API は、データセット中心のビュー（1つのベンチマーク上のすべてのモデル）を提供します。その逆、つまり単一のモデルのすべてのベンチマークスコアを取得するには、expand=["evalResults"] を指定して model_info を使用します。

from huggingface_hub import HfApi

api = HfApi()
info = api.model_info("Qwen/Qwen3.5-397B-A17B", expand=["evalResults"])

for result in info.eval_results:
    print(f"{result.dataset_id}: {result.value}")

これは、モデルの.eval_results/ファイルから解析されたEvalResultEntryオブジェクトを返します。

例: リーダーボードデータを活用して

Benchmark Leaderboard Race Space は、これらのデータソースを組み合わせることで、モデルのランキングが時間とともにどのように変化するかをアニメーションで可視化します。このデータに基づいて独自の分析や可視化を作成できます。完全な例については、ソースコードを参照してください。

ウェブページにリーダーボードを埋め込む

iframe を使用して、ベンチマークデータセットのリーダーボードを独自のウェブページに直接埋め込むことができます。

使用するURLはhttps://huggingface.co/datasets/<namespace>/<dataset-name>/embed/leaderboardです。ここで<namespace>はベンチマークデータセットの所有者（ユーザーまたは組織）を、<dataset-name>はデータセットの名前を表します。

<iframe
  src="https://huggingface.co/datasets/cais/hle/embed/leaderboard"
  frameborder="0"
  width="100%"
  height="560px"
></iframe>

パラメータ

iframe の URL にクエリパラメータを渡すことで、埋め込みリーダーボードを設定できます。

例えば、HLEリーダーボードをテーブル展開状態で、特定のモデルをハイライトして埋め込むには:

<iframe
  src="https://huggingface.co/datasets/cais/hle/embed/leaderboard?leaderboard_is_expanded=true&eval_result=meta-llama/Llama-3.1-8B"
  frameborder="0"
  width="100%"
  height="560px"
></iframe>

埋め込みは、評価結果を持つ公式ベンチマークデータセットでのみ利用可能です。

関連項目

• 評価結果 — 評価結果の提出方法とベンチマークの登録方法
• 公式ベンチマークデータセット — 公式ベンチマークをすべて閲覧