Değerlendirme Sonuçları

Bu, üzerinde çalışılan bir özelliktir.

Hub, model değerlendirme sonuçlarını izlemek için merkezi olmayan bir sistem sağlar. Benchmark veri kümeleri liderlik tabloları barındırır ve model depoları, değerlendirme puanlarını hem model sayfasında hem de benchmark'ın liderlik tablosunda otomatik olarak görüntüleyen şekilde saklar.

Karma Test Veri Setleri

Veri seti depoları Benchmarks (ör. MMLU-Pro, HLE, GPQA) olarak tanımlanabilir. Bunlar bir “Benchmark” etiketi gösterir ve Hub genelindeki model depolarından değerlendirme sonuçlarını otomatik olarak derleyerek en iyi modellerin bir lider tablosunu görüntüler.

Model Değerlendirme Sonuçları

Değerlendirme puanları, model depolarında .eval_results/ klasöründe YAML dosyaları olarak saklanır. Bu sonuçlar:

• Model sayfasında, benchmark lider tablosuna bağlantılarla görünür
• Benchmark veri setinin liderlik tablolarında birleştirilir
• PR'ler aracılığıyla gönderilebilir ve “topluluk tarafından sağlanan” olarak işaretlenebilir

Değerlendirme Sonuçları Ekleme

Bir modele değerlendirme sonuçları eklemek için, .eval_results/ klasöründe bir YAML dosyası içeren bir PR göndererek model deposuna katkıda bulunabilirsiniz.

Model depolamanızda .eval_results/*.yaml içinde bir YAML dosyası oluşturun:

- dataset:
    id: cais/hle                  # Required. Hub dataset ID (must be a Benchmark)
    task_id: default              # Required. ID of the Task, as defined in the dataset's eval.yaml
    revision: <hash>              # Optional. Dataset revision hash
  value: 20.90                    # Required. Metric value
  verifyToken: <token>            # Optional. Cryptographic proof of auditable evaluation
  date: "2025-01-15"              # Optional. ISO-8601 date or datetime of when the eval was run (defaults to git commit time)
  source:                         # Optional. Attribution for this result, for instance a repo containing output traces or a Paper
    url: https://huggingface.co/spaces/SaylorTwift/smollm3-mmlu-pro  # Required if source provided
    name: Eval traces             # Optional. Display name
    user: SaylorTwift             # Optional. HF username/org
  notes: "no-tools"               # Optional. Details about the evaluation setup (e.g., "tools", "no-tools", etc.)

Veya yalnızca zorunlu özniteliklerle:

- dataset:
    id: Idavidrein/gpqa
    task_id: gpqa_diamond
  value: 0.412

Sonuçlar, YAML dosyasındaki meta verilerine dayalı olarak rozetler görüntüler:

Bu verinin nasıl biçimlendirileceğine dair daha fazla ayrıntı için Eval Results spesifikasyonlarına göz atın.

Topluluk Katkıları

Herkes, herhangi bir modele Pull Request yoluyla değerlendirme sonuçları gönderebilir:

1. Model sayfasına gidin, Community sekmesine tıklayın ve bir Pull Request açın.
2. Sonuçlarınızı içeren bir .eval_results/*.yaml dosyası ekleyin.
3. PR, açıkken model sayfasında “topluluk tarafından sağlanan” olarak görünecektir.

Bir modeli değerlendirme konusunda yardım için Inspect ile modelleri değerlendirme kılavuzuna bakın. Inspect'ten gelen değerlendirme günlükleri doğrudan HF Storage Buckets içine yazılabilir.

Topluluk puanları, PR açıkken görünür. Bir puanla ilgili itiraz varsa, model yazarı PR'ı kapatarak puanı kaldırabilir. Amaç, doğrulanmış puanlar aracılığıyla tamamen yeniden üretilebilir bir standarda doğru ilerlerken mevcut değerlendirme verilerini şeffaf bir şekilde ortaya koymaktır.

Sıralama Tablosundan Modelleri Gizleme

Benchmark yöneticileri, örneğin raporlanan sonuçlarına itiraz ettikleri durumlarda, bir modeli lider tablosundan gizleyebilir:

• Benchmark dataset sayfasında, bakımcılar her liderlik tablosu satırındaki anahtarı kullanarak bir modeli gizleyebilir veya gizliliğini kaldırabilir. Gizlenen modeller, daha sonra geri yüklenebilmeleri için bir menüde listelenir.
• Gizleme, benchmark'un tüm görevlerinde modele uygulanır.
• Gizli modeller genel sıralama tablosundan kaldırılır ve kalan modeller yeniden sıralanır.
• Model sayfasında, o benchmark'a ait sonuçlar artık herkese açık olarak gösterilmez.

Bir Ölçüm Kaydetme

Veri setinizi bir referans olarak kaydetmek için:

1. Değerlendirme verilerinizi içeren bir veri seti deposu oluşturun
2. Depo köküne, aşağıda tanımlanan spesifikasyona uygun olarak benchmark yapılandırmanızı içeren bir eval.yaml dosyası ekleyin.
3. Dosya, push sırasında doğrulanır
4. (Beta) İzin listesine ekleyebilmemiz için bizimle iletişime geçin.

Örnekler şu referans testlerinde bulunabilir: GPQA, MMLU-Pro, HLE, GSM8K.

Eval.yaml spesifikasyonu

eval.yaml aşağıdaki alanları içermelidir:

• name — Benchmark için insan tarafından okunabilir görüntüleme adı (ör. "Humanity's Last Exam").
• description — Benchmark'in ne ölçtüğüne dair kısa açıklama.
• evaluation_framework — Bu benchmark için kanonik değerlendirme çerçevesi tanımlayıcısı. Bu, Hugging Face ekibinin yönettiği bir sayılabilir değerdir. Kendi çerçevenizi listeye buradan ekleyebilirsiniz. Her benchmark için yalnızca bir çerçeve desteklenir.
• tasks[] — Bu benchmark tarafından tanımlanan görevlerin (alt lider tablolarının) listesi (aşağıya bakın).

Her tasks[] öğesinde zorunlu alanlar:

• id — Görevin benzersiz tanımlayıcısı. (örn. "gpqa_diamond"). Tek bir benchmark birden fazla görev tanımlayabilir; her görev kendi lider tablosunu oluşturur. Her görev için bir lider tablosu tanımlayıcısı seçmekte serbestsiniz.

Her tasks[] öğesindeki isteğe bağlı alanlar:

• config — Değerlendirilecek Hugging Face veri setinin yapılandırması (ör. "default"). Varsayılan olarak veri setinin varsayılan yapılandırması kullanılır.
• split — Değerlendirilecek Hugging Face veri setinin bölümü (ör. "test"). Varsayılan değer "test"'tir.

evaluation_framework: inspect-ai ayarlandığında, aşağıdaki alanların da ayarlanması gerekir:

• field_spec — Girdi ve çıktı alanlarının spesifikasyonu. input, target, choices ve isteğe bağlı input_image alt alanlarından oluşur. Daha fazla ayrıntı için belgeleri inceleyin.
• solvers — Girdiden çıktıya geçişte yapay zeka modelini kullanan çözücüler. Bunlar basit bir sistem isteminden (system prompt) kendi kendini eleştirme döngülerine kadar çeşitlilik gösterebilir. Daha fazla ayrıntı için belgeleri inceleyin.
• scores — Kullanılan skorlayıcılar. Skorlayıcılar, veri setinde tanımlanan hedef için doğru çıktıyı bulmada çözücülerin başarılı olup olmadığını ve ne ölçüde başarılı olduklarını belirler. Daha fazla ayrıntı için belgelerine bakın.

Minimal örnek (yalnızca zorunlu alanlar):

name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: math-arena

tasks:
  - id: MathArena/aime_2026

Genişletilmiş örnek:

name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: "math-arena"

tasks:
  - id: MathArena/aime_2026
    config: default
    split: test

Genişletilmiş örnek ("inspect-ai"-özel):

name: Humanity's Last Exam
description: >
  Humanity's Last Exam (HLE) is a multi-modal benchmark at the frontier of human
  knowledge, designed to be the final closed-ended academic benchmark of its
  kind with broad subject coverage. Humanity's Last Exam consists of 2,500
  questions across dozens of subjects, including mathematics, humanities, and
  the natural sciences. HLE is developed globally by subject-matter experts and
  consists of multiple-choice and short-answer questions suitable for automated
  grading.
evaluation_framework: "inspect-ai"

tasks:
  - id: hle
    config: default
    split: test

    field_spec:
      input: question
      input_image: image
      target: answer

    solvers:
      - name: system_message
        args:
          template: |
            Your response should be in the following format:
            Explanation: {your explanation for your answer choice}
            Answer: {your chosen answer}
            Confidence: {your confidence score between 0% and 100% for your answer}
      - name: generate

    scorers:
      - name: model_graded_fact
        args:
          model: openai/o3-mini