LLM Course

0. 安裝

1. Transformer 模型

2. 使用 🤗 Transformers

3. 微調一個預訓練模型

4. 分享你的模型和標記器

5. 🤗 Datasets庫

6. 🤗 Tokenizers庫

7. 主要的 NLP 任務

章節簡介標記（token）分類微調一個掩碼（mask）語言模型翻譯文本摘要從頭開始訓練因果語言模型問答系統掌握 NLP 章節測驗

8. 如何尋求幫助

9. 構建並分享你的模型

課程活動

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

End-of-chapter quiz

Let’s test what you learned in this chapter!

1.下列哪個任務可以被框定為令牌分類問題？

找出句子中的語法成分。判斷一個句子的語法是否正確。找出句子中提到的人物。找到一個句子中能夠回答問題的詞組。

2.令牌分類預處理的哪一部分與其他預處理管道不同？

當我們在數據集上運行一個模型，並獲得該數據集中每個樣本的預測時。在應用截斷/填充時，我們需要確保將標籤截斷或填充到與輸入相同的大小。沒有必要做任何事情，課文已經被標記了。因為互聯網上有大量的文本

3.當我們對標記分類問題中的單詞進行標記並希望標記時，會出現什麼問題？

標記器添加了特殊的標記，我們沒有為他們的標籤。每個單詞可以產生幾個標記，所以我們最終得到的標記比標籤多。因為目標是按順序排列的文本問題

4.“領域適應”是什麼意思？

因為模型的內部損耗輸出是默認使用的當我們在數據集上訓練模型時。當我們對一個新的數據集微調一個預先訓練好的模型時，它給出的預測更適合這個數據集當我們將錯誤分類的樣本添加到數據集中，使得我們的模型更加健壯。

5.掩碼語言建模問題中的標籤是什麼？

輸入句子中的一些標記是隨機屏蔽的，標籤是原始輸入標記。輸入句子中的一些標記是隨機屏蔽的，標籤是原始的輸入標記，向左移動。輸入句子中的一些標記是隨機屏蔽的，標籤是這個句子是肯定的還是否定的。兩個句子中的一些標記是隨機屏蔽的，標籤是兩個句子是否相似。

6.這些任務中的哪一個可以看作是一個順序到順序的問題？

撰寫長文檔的簡短評論回答有關文件的問題我們使用 < code >-100 來標記特殊標記。修正我侄子/朋友發來的信息，使它們用正確的英語

7.對於序列到序列的問題，預處理數據的正確方法是什麼？

輸入和目標必須一起發送到標記器，其中包括 < code > input = ... 和 < code > target = ... 。輸入和目標都必須在對標記器的兩個獨立調用中進行預處理。因為我們在訓練之後計算度量輸入必須發送到標記器，目標也是如此，但需要使用特殊的上下文管理器。

8.為什麼序列到序列問題有一個特定的“培訓者”子類？

因為序列到序列問題使用自定義丟失，所以忽略設置為 < code >-100 的標籤當您擁有大量可用數據時，即使有一個經過預先訓練的模型可以處理這些數據文本是作為單詞給出的，所以我們只需要應用子詞的標記。因為我們在序列到序列問題中使用了兩個模型

10.你應該在什麼時候預先訓練一個新的模型？

當您的特定語言沒有經過預先訓練的模型時當您有大量可用的數據時，即使有一個經過訓練的模型可以處理這些數據當你擔心你所使用的預先訓練過的模型的偏差時當可用的預先訓練好的模型還不夠好的時候

11.為什麼在大量的文本上預先訓練一個語言模型是很容易的呢？

當你擔心你所使用的預先訓練的模型的偏差時因為預訓練目標不需要人工標記數據因為變形金剛庫只需要幾行代碼就可以開始培訓

12.問答任務的預處理數據時，主要的挑戰是什麼？

你需要對輸入進行標記。你需要處理非常長的上下文，這些上下文提供了一些訓練特性，這些特性可能有也可能沒有答案。您需要將問題的答案以及輸入標記化。從文本中的答案範圍中，您必須在標記化的輸入中找到開始和結束標記。

13.問題回答中的後處理通常是怎樣進行的？

模型給出了答案的開始位置和結束位置，您只需要解碼相應的標記跨度。該模型為每個由一個示例創建的特性提供了答案的開始和結束位置，您只需要解碼分數最高的那個特性中相應的記號跨度。該模型為每個示例創建的特性提供了答案的開始和結束位置，您只需將它們與上下文中得分最高的特性的跨度相匹配。模型生成一個答案，你只需要解碼它。

Update on GitHub

←掌握 NLP

Next chapter

End-of-chapter quiz 1.下列哪個任務可以被框定為令牌分類問題？2.令牌分類預處理的哪一部分與其他預處理管道不同？3.當我們對標記分類問題中的單詞進行標記並希望標記時，會出現什麼問題？4.“領域適應”是什麼意思？5.掩碼語言建模問題中的標籤是什麼？6.這些任務中的哪一個可以看作是一個順序到順序的問題？7.對於序列到序列的問題，預處理數據的正確方法是什麼？8.為什麼序列到序列問題有一個特定的“培訓者”子類？9.為什麼在 Transformer 模型上調用“ compile ()”時通常不需要指定損失？10.你應該在什麼時候預先訓練一個新的模型？11.為什麼在大量的文本上預先訓練一個語言模型是很容易的呢？12.問答任務的預處理數據時，主要的挑戰是什麼？13.問題回答中的後處理通常是怎樣進行的？