Erişim Benchmark Liderlik Tablosu Verileri

Hub'daki Benchmark veri kümeleri, modelleri değerlendirme puanlarına göre sıralayan liderlik tabloları içerir. Bu verilere programatik olarak erişerek analiz yapabilir veya üzerine panolar ve araçlar geliştirebilirsiniz.

Resmî ölçümleri keşfetme

Tüm resmi benchmark veri setlerini bulmak için huggingface_hub kullanın:

from huggingface_hub import HfApi

api = HfApi()
for ds in api.list_datasets(benchmark=True):
    print(ds.id)

Veya doğrudan REST API'si üzerinden (ajanlar ve betikler için faydalı):

GET https://huggingface.co/api/datasets?filter=benchmark:official

Lider tablosu sıralamalarını alma

Lider tablosu API'si, bir referans veri seti için sıralanmış model puanlarını döndürür:

GET https://huggingface.co/api/datasets/{dataset_id}/leaderboard

Sıralı model puanlarını DatasetLeaderboardEntry tipinde nesneler olarak almak için get_dataset_leaderboard kullanın:

from huggingface_hub import HfApi

api = HfApi()
leaderboard = api.get_dataset_leaderboard("SWE-bench/SWE-bench_Verified")

for entry in leaderboard[:5]:
    print(f"#{entry.rank} {entry.model_id}: {entry.value}")

huggingface_hub varsayılan olarak önbellekteki token'ınızı kullanır. Kapalı (gated) benchmark veri kümeleri için oturum açtığınızdan emin olun (hf auth login) veya bir token açıkça iletin:

Kopyalandı

leaderboard = api.get_dataset_leaderboard("gated/benchmark", token="hf_...")

Hızlı erişim için tek satırlık Curl komutu (ajanlar ve betikler için faydalı):

Kopyalandı

curl https://huggingface.co/api/datasets/cais/hle/leaderboard \
  --header "Authorization: Bearer $(cat ~/.cache/huggingface/token)" | jq .

Yanıt alanları

Her DatasetLeaderboardEntry şunları içerir:

Önceden toplanmış çoklu-benchmark veri seti

Birden fazla benchmark puanını tek bir dosyada almak istiyorsanız, OpenEvals/leaderboard-data veri seti resmi benchmarklardaki puanları tek bir Parquet dosyasında bir araya getirir:

Bunu hf:// yolu kullanarak doğrudan pandas ile yükleyebilirsiniz:

import pandas as pd

df = pd.read_parquet(
    "hf://datasets/OpenEvals/leaderboard-data/data/train-00000-of-00001.parquet"
)
print(df[["model_name", "provider", "aime2026_score", "mmluPro_score"]].head())

Birden fazla API uç noktasını çağırmadan çapraz referans noktası görünümüne sahip olmanın en hızlı yolu budur.

Model meta verileriyle zenginleştirme

huggingface_hub kullanarak liderlik tablosu verilerini yayınlanma tarihleri, parametre sayıları ve diğer meta verilerle zenginleştirin:

from huggingface_hub import HfApi

api = HfApi()
info = api.model_info("Qwen/Qwen3.5-397B-A17B")

print(f"Released: {info.created_at}")
print(f"Parameters: {info.safetensors.total / 1e9:.1f}B" if info.safetensors else "")

Model odaklı görünüm: model başına değerlendirme sonuçları

Sıralama tablosu API'si veri seti odaklı bir görünüm sunar (tek bir ölçekte tüm modeller). Tersi için — tek bir modelin tüm ölçek puanları — model_info fonksiyonunu expand=["evalResults"] parametresiyle kullanın:

from huggingface_hub import HfApi

api = HfApi()
info = api.model_info("Qwen/Qwen3.5-397B-A17B", expand=["evalResults"])

for result in info.eval_results:
    print(f"{result.dataset_id}: {result.value}")

Bu, modelin .eval_results/ dosyalarından ayrıştırılan EvalResultEntry nesnelerini döndürür.

Örnek: liderlik tablosu verileri üzerine inşa etme

Benchmark Leaderboard Race Space, bu veri kaynaklarını birleştirerek model sıralamalarının zaman içinde nasıl evrildiğini gösteren animasyonlu bir görselleştirme oluşturur. Bu verilerin üzerine kendi analizlerinizi ve görselleştirmelerinizi oluşturabilirsiniz — tam bir örnek için kaynak koduna bakın.

Bir web sayfasına liderlik tablosu yerleştirin

Bir benchmark veri setinin liderlik tablosunu, bir iframe kullanarak kendi web sayfanıza doğrudan gömebilirsiniz.

Kullanılacak URL https://huggingface.co/datasets/<namespace>/<dataset-name>/embed/leaderboard şeklindedir; burada <namespace> benchmark veri setinin sahibi (kullanıcı veya kuruluş) ve <dataset-name> veri setinin adıdır.

<iframe
  src="https://huggingface.co/datasets/cais/hle/embed/leaderboard"
  frameborder="0"
  width="100%"
  height="560px"
></iframe>

Parametreler

Gömülü lider tablosunu, iframe URL'sine sorgu parametreleri geçirerek yapılandırabilirsiniz:

Örneğin, HLE lider tablosunu tablo genişletilmiş ve belirli bir model vurgulanmış şekilde yerleştirmek için:

<iframe
  src="https://huggingface.co/datasets/cais/hle/embed/leaderboard?leaderboard_is_expanded=true&eval_result=meta-llama/Llama-3.1-8B"
  frameborder="0"
  width="100%"
  height="560px"
></iframe>

Gömme yalnızca değerlendirme sonuçlarına sahip resmî kıyaslama veri kümeleri için kullanılabilir.

İlgili

• Değerlendirme Sonuçları — değerlendirme sonuçlarını gönderme ve kıyaslamaları kaydetme
• Resmî Çözümleme Veri Setleri — tüm resmî çözümlemeleri görüntüleyin