Daft

Daft هو محرك بيانات عالي الأداء يوفر معالجة بيانات بسيطة وموثوقة لأي نمط بيانات وأي حجم. يدعم Daft بشكل أصلي القراءة من مجموعات بيانات Hugging Face والكتابة إليها.

البدء

للبدء، ثبّت daft باستخدام pip مع ميزة huggingface:

pip install 'daft[huggingface]'

اقرأ

يمكن لـ Daft قراءة مجموعات البيانات مباشرةً من Hugging Face Hub باستخدام الدالة daft.read_huggingface() أو عبر بروتوكول hf://datasets/.

قراءة مجموعة بيانات كاملة

باستخدام daft.read_huggingface()، يمكنك بسهولة تحميل مجموعة بيانات.

import daft

df = daft.read_huggingface("username/dataset_name")

سيؤدي هذا إلى قراءة مجموعة البيانات بأكملها في كائن DataFrame.

قراءة ملفات محددة

لا يمكنك قراءة مجموعات البيانات بأكملها فحسب، بل يمكنك أيضاً قراءة ملفات فردية من مستودع مجموعة بيانات. باستخدام دالة قراءة تستقبل مساراً (مثل daft.read_parquet()، daft.read_csv()، أو daft.read_json())، حدد مسار مجموعة بيانات Hugging Face عبر البادئة hf://datasets/:

import daft

# read a specific Parquet file
df = daft.read_parquet("hf://datasets/username/dataset_name/file_name.parquet")

# or a csv file
df = daft.read_csv("hf://datasets/username/dataset_name/file_name.csv")

# or a set of Parquet files using a glob pattern
df = daft.read_parquet("hf://datasets/username/dataset_name/**/*.parquet")

اكتب

يمكن لـ Daft كتابة ملفات Parquet إلى مستودع مجموعة بيانات Hugging Face باستخدام daft.DataFrame.write_huggingface. يدعم Daft تقنية Content-Defined Chunking وتقنية Xet للكتابة الأسرع والمُزالة التكرار.

الاستخدام الأساسي:

import daft

df: daft.DataFrame = ...

df.write_huggingface("username/dataset_name")

راجع صفحة واجهة DataFrame.write_huggingface لمزيد من المعلومات.

المصادقة

يمكن استخدام معامل token في daft.io.HuggingFaceConfig لتحديد رمز وصول Hugging Face للطلبات التي تتطلب المصادقة (مثل قراءة مستودعات مجموعات البيانات الخاصة أو الكتابة إلى مستودع مجموعة بيانات).

مثال على تحميل مجموعة بيانات مع رمز محدد:

from daft.io import IOConfig, HuggingFaceConfig

io_config = IOConfig(hf=HuggingFaceConfig(token="your_token"))
df = daft.read_parquet("hf://datasets/username/dataset_name", io_config=io_config)