Transformers documentation
BertJapanese
Mô hình này đã được đóng góp cho Hugging Face Transformers vào ngày 2020-11-16.
BertJapanese
Tổng quan
Các mô hình BERT được huấn luyện trên văn bản tiếng Nhật.
Có các mô hình sử dụng hai phương pháp token hóa khác nhau:
- Tokenize bằng MeCab và WordPiece. Điều này yêu cầu một số phụ thuộc bổ sung, fugashi là một wrapper bao quanh MeCab.
- Chia token thành các ký tự.
Để sử dụng MecabTokenizer, bạn nên pip install transformers["ja"] (hoặc pip install -e .["ja"] nếu bạn cài đặt từ mã nguồn) để cài đặt các phụ thuộc.
Xem chi tiết trong kho lưu trữ cl-tohoku.
Ví dụ về việc sử dụng một mô hình với MeCab và phân từ WordPiece:
import torch
from transformers import AutoModel, AutoTokenizer
bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese")
## Input Japanese Text
line = "吾輩は猫である。"
inputs = tokenizer(line, return_tensors="pt").to(model.device)
print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾輩 は 猫 で ある 。 [SEP]
outputs = bertjapanese(**inputs)Ví dụ về việc sử dụng một mô hình với phân tách ký tự:
bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese-char", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese-char")
## Input Japanese Text
line = "吾輩は猫である。"
inputs = tokenizer(line, return_tensors="pt").to(model.device)
print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾 輩 は 猫 で あ る 。 [SEP]
outputs = bertjapanese(**inputs)Mô hình này được đóng góp bởi cl-tohoku.
Cài đặt này giống với BERT, ngoại trừ phương pháp phân tách token. Tham khảo tài liệu BERT để biết thông tin tham chiếu API.
BertJapaneseTokenizer
lớp transformers.BertJapaneseTokenizer
< source >( vocab_filespm_file = Nonedo_lower_case = Falsedo_word_tokenize = Truedo_subword_tokenize = Trueword_tokenizer_type = 'basic'subword_tokenizer_type = 'wordpiece'never_split = Noneunk_token = '[UNK]'sep_token = '[SEP]'pad_token = '[PAD]'cls_token = '[CLS]'mask_token = '[MASK]'mecab_kwargs = Nonesudachi_kwargs = Nonejumanpp_kwargs = None**kwargs )
Tham số
- vocab_file (
str) — Đường dẫn đến tệp từ vựng có mỗi dòng chứa một từ. - spm_file (
str, tùy chọn) — Đường dẫn đến tệp SentencePiece (thường có phần mở rộng .spm hoặc .model) chứa từ vựng. - do_lower_case (
bool, tùy chọn, mặc định làTrue) — Có nên chuyển đầu vào sang chữ thường hay không. Chỉ có hiệu lực khi do_basic_tokenize=True. - do_word_tokenize (
bool, tùy chọn, mặc định làTrue) — Có thực hiện phân tách từ hay không. - do_subword_tokenize (
bool, tùy chọn, mặc định làTrue) — Có thực hiện phân tách token con (subword tokenization) hay không. - word_tokenizer_type (
str, tùy chọn, mặc định là"basic") — Loại bộ phân tách từ. Chọn từ [“basic”, “mecab”, “sudachi”, “jumanpp”]. - subword_tokenizer_type (
str, tùy chọn, mặc định là"wordpiece") — Loại subword tokenizer. Chọn từ [“wordpiece”, “character”, “sentencepiece”,]. - mecab_kwargs (
dict, tùy chọn) — Từ điển được truyền cho bộ dựngMecabTokenizer. - sudachi_kwargs (
dict, tùy chọn) — Từ điển được truyền cho bộ dựngSudachiTokenizer. - jumanpp_kwargs (
dict, tùy chọn) — Từ điển được truyền cho bộ dựngJumanppTokenizer.
Xây dựng một tokenizer BERT cho văn bản tiếng Nhật.
Tokenizer này kế thừa từ PreTrainedTokenizer, lớp chứa hầu hết các phương thức chính. Người dùng nên tham khảo: siêu lớp này để biết thêm thông tin về các phương thức đó.
Chuyển đổi một chuỗi các token (chuỗi ký tự) trong một chuỗi duy nhất.