إحصائيات تنزيل مجموعات البيانات

كيف يتم احتساب عمليات التنزيل للبيانات؟

إنّ عدّ عدد تنزيلات مجموعات البيانات ليس مهمةً بسيطة، إذ قد يحتوي مستودع مجموعة بيانات واحدة على ملفات متعددة، من مجموعات فرعية وتقسيمات متعددة (مثل train/validation/test)، وأحيانًا مع وجود العديد من الملفات في تقسيم واحد. لحلّ هذه المشكلة وتجنّب عدّ تنزيل شخص واحد عدة مرات، نعتبر جميع الملفات التي ينزّلها مستخدم (بناءً على عنوان IP الخاص به) خلال نافذة زمنية مدتها خمس دقائق في مستودع معيّن تنزيلًا واحدًا لمجموعة البيانات. يحدث هذا العدّ تلقائيًا على خوادمنا عند تنزيل الملفات (عبر طلبات GET أو HEAD)، دون الحاجة إلى جمع أي معلومات عن المستخدمين أو إجراء استدعاءات إضافية.

قبل سبتمبر 2024

كانت منصة Hub توفر إحصاءات التحميل فقط للمجموعات البيانات القابلة للتحميل عبر مكتبة datasets. لتحديد عدد مرات التحميل، كانت المنصة تعدّ كل مرة يُستدعى فيها load_dataset في بايثون، مع استبعاد أدوات CI الخاصة بـ Hugging Face على GitHub. لم تُرسل أي معلومات من المستخدم، ولم تُجرَ أي استدعاءات إضافية لهذا الغرض. تم إجراء العد على جانب الخادم أثناء تقديم الملفات للتحميل. وهذا يعني أن:

• كان عدد مرات التحميل هو نفسه بغض النظر عما إذا كانت البيانات مخزنة مباشرةً في مستودع Hub أو كان المستودع يحتوي على سكربت لتحميل البيانات من مصدر خارجي.
• إذا قام المستخدم بتنزيل البيانات يدويًا باستخدام أدوات مثل wget أو واجهة المستخدم (UI) الخاصة بالمستودع، فإن تلك التنزيلات لم تكن مشمولة في عدد مرات التنزيل.

ماذا لو كنت بحاجة إلى بيانات تنزيل أكثر تفصيلاً لمجموعاتي؟

إذا كنت بحاجة إلى بيانات تنزيل أكثر تفصيلاً، على سبيل المثال من أجل:

• التمييز بين ملفات البيانات وبيانات الوصف،
• استبعاد التحميلات من خطوط CI/CD،
• أو إزالة التكرار من المستخدمين (أي عدّ المُحمّلين الفريدين)،

ثم يمكن لـ Publisher Analytics، ولا سيما ميزة granular logs، أن توفر سجلات وصول مُجهَّلة على مستوى الطلب لجميع النماذج ومجموعات البيانات التي تنشرها مؤسستك.

تُقدَّم هذه البيانات كسجلات خام، لأن معظم المؤسسات ستُريد تطبيق قواعد مخصصة خاصة بها.

Update on GitHub