Сканер стороннего разработчика: JFrog

Сканер безопасности JFrog обнаруживает вредоносное поведение в моделях машинного обучения.

Пример отчёта для danger.dat

Мы сотрудничаем с JFrog, чтобы обеспечить сканирование и сделать Hub более безопасным. Файлы моделей сканируются сканером JFrog, а результаты сканирования отображаются в интерфейсе Hub.

Сканер JFrog разработан с целью снижения количества ложных срабатываний. Действительно, на практике мы наблюдаем, что код, содержащийся в весах модели, не всегда является вредоносным. При обнаружении кода в файле сканер JFrog выполняет его парсинг и анализ, чтобы проверить наличие потенциального вредоносного использования.

Вот пример репозитория, который можно изучить, чтобы увидеть работу этой функции: mcpotato/42-eicar-street.

Повторение основ безопасности моделей

Для обмена моделями мы сериализуем структуры данных, используемые для взаимодействия с моделями, чтобы упростить их хранение и передачу. Некоторые форматы сериализации уязвимы для серьёзных атак, таких как выполнение произвольного кода (именно pickle), что делает обмен моделями потенциально опасным.

Поскольку Hugging Face стала популярной платформой для обмена моделями, мы хотим защитить сообщество от этого, поэтому мы разработали такие инструменты, как picklescan, и интегрируем сторонние сканеры.

Pickle — не единственный уязвимый формат, см. для справки, как можно использовать слои Keras Lambda для выполнения произвольного кода.

Update on GitHub