Datasets ダウンロード統計

ダウンロード回数はどのようにカウントされますか？

ダウンロード回数のカウントは、単一のデータセットリポジトリが複数のサブセットやスプリット（例：train/validation/test）からなる複数のファイル、場合によっては1つのスプリット内に多数のファイルを含む可能性があるため、容易ではありません。この問題を解決し、1人のユーザーのダウンロードを複数回カウントすることを避けるために、特定のリポジトリ内で5分間のウィンドウ内にユーザー（IPアドレスに基づいて）がダウンロードしたすべてのファイルを、1回のデータセットダウンロードとして扱います。このカウントは、ファイルがダウンロードされた際に（GETまたはHEADリクエストを通じて）サーバー上で自動的に実行され、ユーザー情報の収集や追加の呼び出しは不要です。

2024年9月以前

Hubは以前、datasetsライブラリで読み込めるデータセットのダウンロード統計のみを提供していました。ダウンロード回数を決定するために、Hubは以前、Pythonでload_datasetが呼び出されるたびにカウントしていました（GitHub上のHugging FaceのCIツールは除外）。このためにユーザーから情報が送信されることも、追加の呼び出しが行われることもありませんでした。ダウンロード用にファイルを配信する際、サーバーサイドでカウントが行われていました。これは、次のことを意味します：

• ダウンロード回数は、データがHubのリポジトリに直接保存されている場合でも、外部ソースからデータをロードするためのスクリプトがリポジトリに存在する場合でも、同じでした。
• ユーザーがwgetなどのツールやHubのユーザーインターフェース（UI）を使用してデータを手動でダウンロードした場合、そのダウンロードはダウンロードカウントに含まれていませんでした。

データセットについて、より詳細なダウンロードデータが必要になった場合はどうすればよいですか？

より詳細なダウンロードデータが必要な場合、例えば:

• データファイルとメタデータを区別します。
• CI/CD パイプラインからダウンロードを除外します。
• またはユーザーを重複排除する（つまり、ユニークなダウンロード数をカウントする）

その後、Publisher Analytics、特にgranular logs機能により、組織が公開したすべてのモデルとデータセットについて、匿名化されたリクエストレベルのアクセスログを提供できます。

ほとんどの組織が独自のルールを適用したいと考えているため、これらは生のログとして提供されます。

Update on GitHub