Hub documentation
Hugging Face'te BERTopic Kullanımı
Hugging Face'te BERTopic Kullanımı
BERTopic, 🤗 transformers ve c-TF-IDF’den yararlanarak, konu açıklamalarında önemli kelimeleri korurken kolayca yorumlanabilir konulara izin veren yoğun kümeler oluşturan bir konu modelleme çerçevesidir.
BERTopic, her türden konu modelleme tekniğini destekler:
Hub'da BERTopic'i Keşfetme
BERTopic modellerini modeller sayfasının solundaki filtreleme özelliğini kullanarak bulabilirsiniz.
Hub üzerinde barındırılan BERTopic modellerinin, modeller hakkında faydalı bilgiler içeren bir model kartı vardır. BERTopic Hugging Face Hub entegrasyonu sayesinde BERTopic modellerini birkaç satır kodla yükleyebilirsiniz. Bu modelleri ayrıca Inference Endpoints kullanarak dağıtabilirsiniz.
Kurulum
Başlamak için BERTopic kurulum kılavuzunu takip edebilirsiniz. Ayrıca pip üzerinden aşağıdaki tek satırlık kurulumu da kullanabilirsiniz:
pip install bertopic
Mevcut Modelleri Kullanma
Tüm BERTopic modelleri Hub'dan kolayca yüklenebilir:
from bertopic import BERTopic
topic_model = BERTopic.load("MaartenGr/BERTopic_Wikipedia")Yüklendikten sonra, yeni örnekler için konuları tahmin etmek için BERTopic'in özelliklerini kullanabilirsiniz:
topic, prob = topic_model.transform("This is an incredible movie!")
topic_model.topic_labels_[topic]Bunun bize verdiği konu şudur:
64_rating_rated_cinematography_film
Modelleri Paylaşma
Bir BERTopic modeli oluşturduğunuzda, Hugging Face Hub üzerinden onu başkalarıyla kolayca paylaşabilirsiniz. Bunu yapmak için, modeli doğrudan Hugging Face Hub'a göndermemizi sağlayan push_to_hf_hub fonksiyonundan yararlanabiliriz:
from bertopic import BERTopic
# Train model
topic_model = BERTopic().fit(my_docs)
# Push to HuggingFace Hub
topic_model.push_to_hf_hub(
repo_id="MaartenGr/BERTopic_ArXiv",
save_ctfidf=True
)Kaydedilen modelin boyut indirgeme ve kümeleme algoritmalarını içermediğini unutmayın. Bunlar yalnızca modeli eğmek ve ilgili konuları bulmak için gerekli olduğundan kaldırılmıştır. Çıkarım, konu ve belge gömme vektörleri arasında basit bir kosinüs benzerliği üzerinden yapılır. Bu, yalnızca modeli hızlandırmakla kalmaz, aynı zamanda üzerinde çalışabileceğimiz minik bir BERTopic modeline sahip olmamızı da sağlar.