Introducere

În Capitolul 3 ați încercat biblioteca 🤗Datasets și ați văzut că existau trei pași principali atunci când vine vorba de fine-tuningul unui model:

1. Încărcați un dataset din Hugging Face Hub.
2. Preprocesați datele cu Dataset.map().
3. Încărcați și calculați metricele.

Dar aceasta este doar o mică parte a ceea ce poate face 🤗 Datasets! În acest capitol, ne vom aprofunda în această bibliotecă. Pe parcurs, vom găsi răspunsuri la următoarele întrebări:

• Ce faceți atunci când datasetul tău nu este pe Hub?
• Cum puteți tăia și împărți un dataset? (Și ce dacă tu really trebuie să folosești Pandas?)
• Ce faceți atunci când datasetul este uriaș și va topi RAM-ul laptopului dumneavoastră?
• Ce este “memory mapping” și Apache Arrow?
• Cum puteți crea propriul dataset și să-l trimiteți pe Hub?

Tehnicile pe care le veți învăța aici vă vor pregăti pentru sarcinile avansate de tokenizare și fine-tuning din Capitolul 6 și Capitolul 7 — deci luați o cafea sau două și să începem!

Update on GitHub