Resultados de la evaluación

Esta es una función en desarrollo.

El Hub proporciona un sistema descentralizado para hacer seguimiento de los resultados de evaluación de modelos. Los conjuntos de datos de referencia alojan tablas de clasificación, y los repositorios de modelos almacenan las puntuaciones de evaluación que aparecen automáticamente tanto en la página del modelo como en la tabla de clasificación del conjunto de datos de referencia.

Conjuntos de datos de referencia

Los repositorios de datasets pueden definirse como Benchmarks (p. ej., MMLU-Pro, HLE, GPQA). Estos muestran una etiqueta de “Benchmark” y agregan automáticamente los resultados de evaluación de los repositorios de modelos en todo el Hub, mostrando un ranking de los mejores modelos.

Resultados de la evaluación del modelo

Las puntuaciones de evaluación se almacenan en los repositorios de modelos como archivos YAML en la carpeta .eval_results/. Estos resultados:

• Aparecer en la página del modelo con enlaces al ranking de benchmarks
• Se agregan en las tablas de clasificación del conjunto de datos de referencia
• Puede enviarse mediante PRs y marcarse como “proporcionado por la comunidad”

Agregando resultados de evaluación

Para agregar resultados de evaluación a un modelo, puede enviar un PR al repositorio del modelo con un archivo YAML en la carpeta .eval_results/.

Crea un archivo YAML en .eval_results/*.yaml en tu repositorio de modelo:

- dataset:
    id: cais/hle                  # Required. Hub dataset ID (must be a Benchmark)
    task_id: default              # Required. ID of the Task, as defined in the dataset's eval.yaml
    revision: <hash>              # Optional. Dataset revision hash
  value: 20.90                    # Required. Metric value
  verifyToken: <token>            # Optional. Cryptographic proof of auditable evaluation
  date: "2025-01-15"              # Optional. ISO-8601 date or datetime of when the eval was run (defaults to git commit time)
  source:                         # Optional. Attribution for this result, for instance a repo containing output traces or a Paper
    url: https://huggingface.co/spaces/SaylorTwift/smollm3-mmlu-pro  # Required if source provided
    name: Eval traces             # Optional. Display name
    user: SaylorTwift             # Optional. HF username/org
  notes: "no-tools"               # Optional. Details about the evaluation setup (e.g., "tools", "no-tools", etc.)

O, solo con los atributos obligatorios:

- dataset:
    id: Idavidrein/gpqa
    task_id: gpqa_diamond
  value: 0.412

Los resultados muestran insignias basadas en sus metadatos en el archivo YAML:

Para más detalles sobre cómo formatear estos datos, consulta las especificaciones de Eval Results.

Contribuciones de la comunidad

Cualquiera puede enviar resultados de evaluación a cualquier modelo mediante una Pull Request:

1. Ve a la página del modelo, haz clic en la pestaña “Community” y abre un Pull Request.
2. Agrega un archivo .eval_results/*.yaml con tus resultados.
3. La PR se mostrará como “proporcionada por la comunidad” en la página del modelo mientras esté abierta.

Para obtener ayuda al evaluar un modelo, consulte la guía Evaluación de modelos con Inspect. Los registros de evaluación de Inspect se pueden escribir directamente en HF Storage Buckets.

Las puntuaciones de la comunidad son visibles mientras la PR esté abierta. Si una puntuación es disputada, el autor del modelo puede cerrar la PR para eliminarla. El objetivo es mostrar de forma transparente los datos de evaluación existentes mientras se avanza hacia un estándar completamente reproducible mediante puntuaciones verificadas.

Ocultar modelos de un ranking

Los responsables de los benchmarks pueden ocultar un modelo de su clasificación, por ejemplo, si cuestionan sus resultados reportados:

• En la página del conjunto de datos de referencia, los mantenedores pueden usar el interruptor en cada fila de la clasificación para ocultar u mostrar un modelo. Los modelos ocultos se listan en un menú para que puedan restaurarse más adelante.
• El ocultamiento se aplica al modelo en todas las tareas del benchmark.
• Los modelos ocultos se eliminan del tablero de clasificación público y los modelos restantes se reordenan.
• En la página del modelo, los resultados de esa prueba ya no se muestran públicamente.

Registro de un benchmark

Para registrar tu conjunto de datos como un benchmark:

1. Crea un repositorio de datos que contenga tus datos de evaluación
2. Agrega un archivo eval.yaml en la raíz del repositorio con la configuración de tu benchmark, de acuerdo con la especificación definida a continuación.
3. El archivo se valida en el momento del envío
4. (Beta) Ponte en contacto para que podamos añadirlo a la lista de permitidos.

Se pueden encontrar ejemplos en estos benchmarks: GPQA, MMLU-Pro, HLE, GSM8K.

Especificación de Eval.yaml

El eval.yaml debe contener los siguientes campos:

• name — Nombre de visualización legible para el benchmark (p. ej. "Humanity's Last Exam").
• description — Descripción breve de lo que mide el benchmark.
• evaluation_framework — Identificador del marco de evaluación canónico para este benchmark. Se trata de un enumerable que el equipo de Hugging Face mantiene. Añade el tuyo a la lista aquí. Se admite exactamente un marco por benchmark.
• tasks[] — Lista de tareas (subclasificaciones) definidas por este benchmark (ver abajo).

Campos obligatorios en cada elemento de tasks[]:

• id — Identificador único de la tarea. (p. ej. "gpqa_diamond"). Un único benchmark puede definir varias tareas, cada una de las cuales genera su propio leaderboard. Puede elegir un identificador de leaderboard para cada tarea.

Campos opcionales en cada elemento de tasks[]:

• config — Configuración del conjunto de datos de Hugging Face a evaluar (p. ej., "default"). Por defecto, se utiliza la configuración predeterminada del conjunto de datos.
• split — División del conjunto de datos de Hugging Face a evaluar (p. ej. "test"). Por defecto, "test".

Al configurar evaluation_framework: inspect-ai, también es necesario establecer los siguientes campos:

• field_spec — Especificación de los campos de entrada y salida. Está compuesto por los subcampos input, target, choices y el subcampo opcional input_image. Consulte la documentación para más detalles.
• solvers — Solvers utilizados para pasar de la entrada a la salida mediante el modelo de IA. Esto puede ir desde un simple system prompt hasta bucles de autocrítica. Consulta la documentación para más detalles.
• scores — Evaluadores utilizados. Los evaluadores determinan si los resolvers tuvieron éxito al encontrar la salida correcta para el objetivo definido en el conjunto de datos, y en qué medida. Consulte la documentación para más detalles.

Ejemplo mínimo (solo campos obligatorios):

name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: math-arena

tasks:
  - id: MathArena/aime_2026

Ejemplo extendido:

name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: "math-arena"

tasks:
  - id: MathArena/aime_2026
    config: default
    split: test

Ejemplo extendido (específico de "inspect-ai"):

name: Humanity's Last Exam
description: >
  Humanity's Last Exam (HLE) is a multi-modal benchmark at the frontier of human
  knowledge, designed to be the final closed-ended academic benchmark of its
  kind with broad subject coverage. Humanity's Last Exam consists of 2,500
  questions across dozens of subjects, including mathematics, humanities, and
  the natural sciences. HLE is developed globally by subject-matter experts and
  consists of multiple-choice and short-answer questions suitable for automated
  grading.
evaluation_framework: "inspect-ai"

tasks:
  - id: hle
    config: default
    split: test

    field_spec:
      input: question
      input_image: image
      target: answer

    solvers:
      - name: system_message
        args:
          template: |
            Your response should be in the following format:
            Explanation: {your explanation for your answer choice}
            Answer: {your chosen answer}
            Confidence: {your confidence score between 0% and 100% for your answer}
      - name: generate

    scorers:
      - name: model_graded_fact
        args:
          model: openai/o3-mini