Какой pooling использовался при подсчете бенчмарка?
#1
by DiTy - opened
Пытаюсь воспроизвести бенчмарк Encodechka, пулю через CLS токен и получается сильно хуже чем значения в model card.
Подскажите, что юзали для пуллинга?
Заранее спасибо за ответ 🤗!
Привет!
Мы использовали оригинальный репо и пример оттуда -- https://github.com/avidale/encodechka/blob/master/evaluation%20example.ipynb
Там происходит следующим образом:
- Строятся эмбеды по CLS и Mean пулингу, а также их нормализованные версии
- Поверх эмбедов обучается лог. рег или knn
- Берется максимальное значение
Базово модель не обучалась на эмбеддинги, так что особо нет разницы какой пулинг обучать. Для RSG мы использовали AutoModelForSequenceClassification
DiTy changed discussion status to closed