Trình quét bên thứ ba: JFrog

Trình quét bảo mật của JFrog phát hiện hành vi độc hại trong các mô hình học máy.

Ví dụ về báo cáo cho danger.dat

Chúng tôi đã hợp tác với JFrog để cung cấp tính năng quét nhằm giúp Hub an toàn hơn. Các tệp mô hình được quét bởi trình quét của JFrog và chúng tôi hiển thị kết quả quét trên giao diện Hub.

Trình quét của JFrog được xây dựng với mục tiêu giảm thiểu các cảnh báo dương tính giả. Thực tế, điều chúng tôi quan sát được hiện nay là mã nguồn chứa trong trọng số mô hình không phải lúc nào cũng có tính chất độc hại. Khi phát hiện mã nguồn trong một tệp, trình quét của JFrog sẽ phân tích cú pháp và kiểm tra để xác định các cách sử dụng có thể gây hại.

Dưới đây là một kho lưu trữ mẫu mà bạn có thể xem để thấy tính năng hoạt động: mcpotato/42-eicar-street.

Ôn lại về bảo mật mô hình

Để chia sẻ các mô hình, chúng ta thực hiện serialize các cấu trúc dữ liệu được sử dụng để tương tác với các mô hình, nhằm tạo điều kiện thuận lợi cho việc lưu trữ và truyền tải. Một số định dạng serialize dễ bị khai thác bởi các lỗ hổng bảo mật nghiêm trọng, chẳng hạn như thực thi mã tùy ý (đặc biệt là pickle), khiến việc chia sẻ mô hình có thể tiềm ẩn rủi ro.

Khi Hugging Face trở thành một nền tảng phổ biến để chia sẻ mô hình, chúng tôi muốn bảo vệ cộng đồng khỏi điều này, do đó chúng tôi đã phát triển các công cụ như picklescan và tích hợp các trình quét bên thứ ba.

Pickle không phải là định dạng có thể bị khai thác duy nhất, tham khảo cách một người có thể khai thác các lớp Keras Lambda để thực thi mã tùy ý.

Update on GitHub