Hugging Face에서 BERTopic 사용

BERTopic은 🤗 transformers와 c-TF-IDF를 활용하여 주제 설명에 중요한 단어를 유지하면서 쉽게 해석할 수 있는 주제를 생성할 수 있는 밀집 클러스터를 만드는 토픽 모델링 프레임워크입니다.

BERTopic은 모든 종류의 토픽 모델링 기법을 지원합니다:

Hub에서 BERTopic 탐색

모델 페이지 왼쪽에서 필터링하여 BERTopic 모델을 찾을 수 있습니다.

Hub에 호스팅된 BERTopic 모델에는 모델에 대한 유용한 정보가 포함된 모델 카드가 있습니다. BERTopic의 Hugging Face Hub 통합 덕분에 몇 줄의 코드로 BERTopic 모델을 로드할 수 있습니다. 또한 Inference Endpoints를 사용하여 이러한 모델을 배포할 수도 있습니다.

설치

시작하려면 BERTopic 설치 가이드를 따를 수 있습니다. 또는 다음 pip 한 줄 설치 명령을 사용할 수도 있습니다:

pip install bertopic

기존 모델 사용

모든 BERTopic 모델은 Hub에서 쉽게 로드할 수 있습니다:

from bertopic import BERTopic
topic_model = BERTopic.load("MaartenGr/BERTopic_Wikipedia")

로드된 후, BERTopic의 기능을 사용하여 새로운 인스턴스에 대한 주제를 예측할 수 있습니다:

topic, prob = topic_model.transform("This is an incredible movie!")
topic_model.topic_labels_[topic]

다음 주제를 제공합니다:

64_rating_rated_cinematography_film

모델 공유

BERTopic 모델을 생성한 후에는 Hugging Face Hub를 통해 다른 사용자와 쉽게 공유할 수 있습니다. 이를 위해 모델을 Hugging Face Hub에 직접 업로드할 수 있는 push_to_hf_hub 함수를 사용할 수 있습니다:

from bertopic import BERTopic

# Train model
topic_model = BERTopic().fit(my_docs)

# Push to HuggingFace Hub
topic_model.push_to_hf_hub(
    repo_id="MaartenGr/BERTopic_ArXiv",
    save_ctfidf=True
)

저장된 모델에는 차원 축소 및 클러스터링 알고리즘이 포함되지 않는다는 점에 유의하세요. 이들은 모델 학습 및 관련 주제 탐색에만 필요하므로 제거되었습니다. 추론은 주제 임베딩과 문서 임베딩 간의 단순한 코사인 유사도를 통해 수행됩니다. 이를 통해 모델의 속도를 높일 뿐만 아니라, 작업할 수 있는 작은 BERTopic 모델을 가질 수 있습니다.

추가 자료

• BERTopic 저장소
• BERTopic 문서
• Hub의 BERTopic 모델