TRL documentation
Distillation Trainer
Distillation Trainer
概要
Distillation Trainer は、Rishabh Agarwal、Nino Vieillard、Yongchao Zhou、Piotr Stanczyk、Sabela Ramos、Matthieu Geist、および Olivier Bachem による On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes に記載されている on-policy 知識蒸留を実装しています。
論文の要旨は以下の通りです:
Knowledge distillation (KD)は、より小さなstudentモデルを訓練することで、teacherモデルを圧縮し、推論コストとメモリフットプリントを削減するために広く使用されています。しかし、現在のauto-regressive sequenceモデル向けのKD手法では、訓練中に参照される出力シーケンスと、推論時にstudentが生成する出力シーケンスとの間に分布の不一致が生じるという問題があります。この問題に対処するために、私たちはGeneralized Knowledge Distillation (GKD) を導入しました。GKDは、固定された出力シーケンスのセットだけに依存するのではなく、teacherからのフィードバックを活用して、studentが自己生成した出力シーケンスに対してstudentを訓練します。supervisedなKDアプローチとは異なり、GKDはstudentとteacher間の損失関数として代替手法を採用する柔軟性も提供します。これは、studentがteacherの分布を模倣する表現力を持たない場合に有用です。
DistillationTrainerは、学生モデル自身のオンポリシー生成に対して、教師モデルの次のトークンの分布に一致するように、より小さい学生モデルを訓練します。学生モデルの補完をオンポリシーで生成し(必要に応じてvLLMを使用)、メモリ効率の良いチャンク化されたJensen-Shannon分散損失を用いて教師モデルの完全な次のトークン分布に一致させるため、教師モデルの高密度分布は完全にマテリアライズされません。
このトレーナーは、Carlos Miguel Patiño によって提供されました。
生成と学習を分離し、ローカルでのフォワードパスではなくHTTP経由で提供される教師モデルに対してスコアリングを行う非同期の対応版については、AsyncDistillationTrainerを参照してください。
クイックスタート
この例では、蒸留法を用いてモデルを学習する方法を示します。UltraFeedback プロンプトデータセットのプロンプトに対して、Qwen 2.5 1.5B Instruct teacherからQwen 2.5 0.5B Instruct modelを蒸留します。データセットのデータはここで確認できます:
以下は、モデルを学習するためのスクリプトです。
# train_distillation.py
from datasets import load_dataset
from trl import DistillationTrainer
dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")
trainer = DistillationTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
train_dataset=dataset,
)
trainer.train()以下のコマンドを使用してスクリプトを実行します:
torchrun --nproc_per_node 8 train_distillation.py
蒸留手法の詳細
On-policy knowledge distillationでは、教師モデルの固定された出力セットではなく、生徒モデルが自ら生成した補完(completions)に対して、教師モデルの次のトークンの分布を再現するように生徒モデルを訓練します。自身の生成物から学習することで、生徒モデルは自身の誤りを修正でき、これは一般的にoff-policy distillationよりも優れた性能を発揮します。このセクションでは、実際の動作を分解して説明し、補完の生成と損失の計算という2つの主要なステップを扱います。
補完の生成
各トレーニングステップにおいて、studentはサンプリングされたプロンプトに対して、completionのバッチを生成します。
損失の計算
損失は 一般化された Jensen-Shannon 分散 (JSD) であり、学生分布 と教師分布 の間の、生成された補完トークンに対する、 beta で補間された値として定義されます。
ここで は -の2つの分布の混合です。端点は純粋な発散に帰着します: beta=0.0 は前方KL 、 beta=1.0 は後方KL .
実際には、語彙への射影と発散はチャンク単位で計算されるため、ピーク時のアクティベーションメモリは、語彙サイズ × シーケンス長の logits テンソル全体に比例して増加しません。メモリ使用量の削減を参照してください。
期待されるデータセットの型
データセットは、conversational形式のプロンプトのみのデータセットとしてフォーマットする必要があります。学生モデルはオンポリシーで自身の補完を生成するため、プロンプトのみが必要です:
{"prompt": [{"role": "user", "content": "What color is the sky?"}]}記録されたメトリクス
学習と評価の実行中、以下のメトリクスを記録します:
num_tokens: プロンプトと補完の両方を含む、これまでに処理されたトークンの総数です。ツールを使用している場合、ツール以外のトークンのみがカウントされます。step_time: 1回の学習ステップ(生成を含む)に要する平均時間(秒)。completions/mean_length: 生成された補完の平均長さ。ツールを使用している場合、ツール以外のトークンのみがカウントされます。completions/min_length: 生成される補完の最小長。ツールを使用する場合、ツール以外のトークンのみがカウントされます。completions/max_length: 生成される補完の最大長。ツールを使用する場合、カウントされるのはツール以外のトークンのみです。completions/mean_terminated_length: EOSで終了した生成済み補完の平均長さ。ツールを使用している場合、ツール以外のトークンのみがカウントされます。completions/min_terminated_length: EOSで終了する生成された補完の最小長。ツールを使用している場合、ツール以外のトークンのみがカウントされます。completions/max_terminated_length: EOSで終了する生成された補完の最大長。ツールを使用している場合、カウントされるのはツール以外のトークンのみです。completions/clipped_ratio: 切り詰められた(クリップされた)補完の割合。tools/call_frequency: 生成バッチにおける1回のコンプリーションあたりのツール呼び出しの平均回数。toolsが提供されている場合のみ記録されます。tools/failure_frequency: ツール呼び出しのうち失敗した割合(ツールが見つからなかった、例外が発生した、呼び出しタイプがサポートされていない)。ツールが呼び出されなかった場合は0.0になります。toolsが提供された場合のみ記録されます。entropy: 生成された補完全体にわたるトークン予測の平均エントロピー(ナット単位)。
カスタマイズ
vLLMによる生成でトレーニングを高速化
オンポリシー手法での学習において、生成は多くの場合、主なボトルネックとなります。生成を高速化するには、LLM向けの高スループット・低レイテンシ推論エンジンであるvLLMを使用できます。これを有効にするには、まずパッケージをインストールしてください。
pip install trl[vllm]
トレーニング中のvLLMの使用方法として、colocateモードとserverモードの2つをサポートしています。
オプション 1: Colocate モード
このモードでは、vLLMはトレーナープロセス内で実行され、学習モデルとGPUメモリを共有します。これにより、別のサーバーを起動する必要がなくなり、GPUの利用率を向上させることができますが、学習用GPU上でメモリ競合が発生する可能性があります。これがデフォルトのモードです。
from trl import DistillationConfig
training_args = DistillationConfig(
...,
use_vllm=True, # vllm_mode="colocate" by default
)オプション2: サーバーモード
このモードでは、vLLMは別プロセス(および別GPU)で実行され、HTTP経由でトレーナーと通信します。推論用に専用GPUがある場合に最適です。
vLLMサーバーを開始します:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \ --weight-transfer-config '{"backend": "nccl"}' \ --logprobs-mode processed_logprobs \ --max-logprobs -1学習スクリプトでサーバーモードを有効にする:
from trl import DistillationConfig training_args = DistillationConfig( ..., use_vllm=True, vllm_mode="server", )
サーバーがトレーナーとは異なる GPU を使用していることを確認してください。そうでない場合、NCCL エラーが発生する可能性があります。使用する GPU は、
CUDA_VISIBLE_DEVICES環境変数で指定できます。
モデルサイズや学習に必要なGPUメモリ全体の要件に応じて、DistillationConfigの
vllm_gpu_memory_utilizationパラメータを調整し、リソースの未活用やメモリ不足エラーを回避する必要がある場合があります。
詳細については、vLLMによるトレーニングの高速化を参照してください。
PEFTでアダプターを学習
🤗 PEFT ライブラリとの緊密な統合をサポートしており、学生モデル全体を学習するのではなく、アダプターを学習して Hub で共有できます。
from datasets import load_dataset
from trl import DistillationTrainer
from peft import LoraConfig
dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")
trainer = DistillationTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
train_dataset=dataset,
peft_config=LoraConfig(),
)
trainer.train()蒸留損失は
lm_head.weightを直接読み取り、PeftModel.forward()を経由せずに学生モデルのバックボーンを実行します。そのため、lm_headへのアダプタ(target_modules経由)やプロンプト学習手法(PromptTuning、PrefixTuning、P-Tuning)は拒否されます。これらは無言のうちに無視されてしまうためです。ヘッドを学習させるには、代わりにmodules_to_save=["lm_head"]を使用してください。
エージェントの学習
DistillationTrainer は エージェント学習 をサポートします。学生モデルは生成中にツールを呼び出し、その結果として得られる軌跡に対して蒸留が行われます。ツール結果のトークンは損失からマスクされるため、学生モデルは自身が生成したトークンのみで学習されます。
ツール
tools 引数には、エージェントが利用可能なツールを定義する Python 関数のリストを指定します:
from trl import DistillationTrainer
trainer = DistillationTrainer(
tools=[tool1, tool2],
...,
)各ツールは、型ヒント付きの引数と戻り値を持つ標準的なPython関数である必要があります。また、その目的、引数、戻り値を説明するGoogleスタイルのdocstringが必要です。 詳細については、ツールの渡し方ガイドを参照してください。
ツール呼び出しループには、チャットテンプレートがプレフィックス保存型である必要があります(ツールメッセージを追加しても、それ以前のメッセージのレンダリング方法が変わらないこと)。既知のモデルファミリー(例: Qwen3、DeepSeek-V3)では、ツールが有効化されている場合、TRLは自動的にパッチを適用したトレーニング用テンプレートに切り替えます。完全なリストについては、Chat Templatesを参照してください。
DistillationConfig で max_tool_calling_iterations を使用して、ツール呼び出しのターン数を上限設定できます。デフォルトでは上限がなく、学生モデルがツール呼び出しを含まない応答ターンを生成した場合、完了(すべてのターンとツール結果)が max_completion_length トークンに達した場合、または完全なシーケンスがモデルの最大長(vllm_mode="colocate" の場合は vllm_max_model_length、それ以外の場合はモデルの max_position_embeddings)に達した場合に、生成が停止します。
例:
from trl import DistillationTrainer
def multiply(a: int, b: int) -> int:
"""
Multiplies two integers.
Args:
a: The first integer.
b: The second integer.
Returns:
The product of the two integers.
"""
return a * b
trainer = DistillationTrainer(
tools=[multiply],
...,
)非同期ツールはまだサポートされていません。同期関数を渡してください。
マルチモーダルツールレスポンス
ツールは、コンテンツブロックのリストを返すことで、テキストと並んで画像を返すことができます。これは、ツールが視覚的なフィードバック(スクリーンショット、プロット、カメラキャプチャなど)を提供するVLMエージェントの学習に有用です。
from PIL import Image
def take_screenshot() -> list:
"""
Takes a screenshot of the current screen.
Returns:
The screenshot image with a description.
"""
img = Image.open("screenshot.png")
return [{"type": "image", "image": img}, {"type": "text", "text": "Here is the screenshot."}]返された画像は自動的に会話に挿入され、以降の生成ターンでVLMに渡されます。
ビジョン言語モデルの学習
DistillationTrainer は、テキストと画像の両方を含むマルチモーダルデータセット上で、Vision-Language Models (VLMs) の蒸留をサポートしています。VLM を学生モデルと教師モデルの両方として渡し、image 列(サンプルごとに1枚の画像)または images 列(サンプルごとに画像のリスト)を持つプロンプトのみを含むデータセットを提供してください。期待されるデータセットの構造の詳細については、Dataset Format — Vision datasets セクションを参照してください。
テスト済み:
- Gemma 3 — 例:
google/gemma-3-4b-it - LLaVA-NeXT — 例:
llava-hf/llava-v1.6-mistral-7b-hf - Qwen2-VL — 例:
Qwen/Qwen2-VL-2B-Instruct - Qwen2.5-VL — 例:
Qwen/Qwen2.5-VL-3B-Instruct
すべてのVLMとの互換性は保証されていません。サポートされるべきモデルがあると思われる場合は、GitHubでissueを立ててください。より良い方法としては、必要な変更を含むpull requestを送信することです。
コマンドラインインターフェース
trl distillation CLI を使用して、コマンドラインから蒸留トレーニングを開始します。標準の ModelConfig フラグにより、フルトレーニングと LoRA をサポートしています。
# Full training:
trl distillation \
--model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--teacher_model_name_or_path Qwen/Qwen2.5-1.5B-Instruct \
--dataset_name trl-lib/ultrafeedback-prompt \
--learning_rate 2e-5 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 8 \
--output_dir distilled-model \
--num_train_epochs 1# LoRA:
trl distillation \
--model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--teacher_model_name_or_path Qwen/Qwen2.5-1.5B-Instruct \
--dataset_name trl-lib/ultrafeedback-prompt \
--learning_rate 2e-4 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 8 \
--output_dir distilled-model \
--num_train_epochs 1 \
--use_peft \
--lora_r 64 \
--lora_alpha 16DistillationTrainer
クラス trl.DistillationTrainer
< source >( model: str | PreTrainedModel | PeftModelteacher_model: str | transformers.modeling_utils.PreTrainedModel | None = Noneargs: trl.trainer.distillation_config.DistillationConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)quantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = Nonetools: list[collections.abc.Callable] | None = None )
パラメータ
- model (
strまたは PreTrainedModel またはPeftModel) — 学習対象のモデル。以下のいずれかです:- 文字列。huggingface.co上のモデルリポジトリにホストされている事前学習モデルのmodel id、またはsave_pretrainedを使用してモデルの重みを保存したディレクトリへのパス(例:
'./my_model_directory/')です。モデルは、モデル設定から導出される<ModelArchitecture>を用いた<ModelArchitecture>.from_pretrainedによって、args.model_init_kwargs内のキーワード引数を使用して読み込まれます。args.model_init_kwargsにdtypeが指定されていない場合、デフォルトはfloat32です。これは、モデル設定からdtypeを推論する(Transformers v5以降)from_pretrainedとは異なります。 - PreTrainedModelオブジェクト。因果言語モデルのみサポートされています。
PeftModelオブジェクト。因果言語モデルのみサポートされています。
- 文字列。huggingface.co上のモデルリポジトリにホストされている事前学習モデルのmodel id、またはsave_pretrainedを使用してモデルの重みを保存したディレクトリへのパス(例:
- teacher_model (
strまたは PreTrainedModel、optional) — Student が次トークンの分布を一致させるよう学習する Teacher モデルです。model id / パス (modelと同様に、args.teacher_model_init_kwargsを使用して読み込まれます)または、インスタンス化済みの PreTrainedModel を指定できます。Student と語彙を共有する必要があります。Teacher を別の方法(例:リモートサーバー)で提供するサブクラスでは、省略できます。 - args (DistillationConfig、任意) —
このトレーナーの設定です。
Noneの場合、デフォルトの設定が使用されます。 - train_dataset (Dataset または IterableDataset) —
学習に使用するデータセットです。データセットには
"prompt". データセット内のその他の列は無視されます。サンプルの形式は次のいずれかです:train_datasetが IterableDataset(ストリーミングデータセットなど)である場合、その長さを推定できないため、学習ループの上限を定め、学習率スケジューラを設定するために必要な総学習ステップ数を指定するため、max_stepsを学習引数で設定する必要があります。 - eval_dataset (Dataset、IterableDataset、DatasetDict、IterableDatasetDict または
dict[str, Dataset | IterableDataset]) — 評価に使用する Dataset です。train_datasetと同じ要件を満たす必要があります。 - processing_class (PreTrainedTokenizerBase、ProcessorMixin、任意) —
データを処理するために使用される処理クラスです。padding side は “left” に設定する必要があります。
Noneの場合、from_pretrained を使用してモデル名から処理クラスを読み込みます。padding トークンであるtokenizer.pad_tokenを設定する必要があります。処理クラスに padding トークンが設定されていない場合、tokenizer.eos_tokenがデフォルトとして使用されます。 - callbacks (のリスト TrainerCallback, 省略可) —
トレーニングループをカスタマイズするためのコールバックのリスト。デフォルトのコールバックのリストに追加されます。デフォルトのコールバックの詳細は こちら.
デフォルトで使用するコールバックの1つを削除したい場合は、remove_callbackメソッドを使用します。
- optimizers (
tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None]、任意、デフォルトは(None, None)) — 使用するオプティマイザーとスケジューラーを含むタプルです。デフォルトでは、モデルに対してAdamWのインスタンスと、argsによって制御される get_linear_schedule_with_warmup によって与えられるスケジューラーが使用されます。 - quantization_config (BitsAndBytesConfig、任意) —
モデル識別子からモデルを読み込む際に使用される量子化設定です。QLoRA 学習には
peft_configと組み合わせて使用します。モデルがすでにインスタンス化されている場合は無視されます。 - peft_config (
PeftConfig, 任意) — モデルをラップするために使用される PEFT 設定です。Noneの場合、モデルはラップされません。 - tools (
Callableのリスト、省略可) — 生成中にモデルが呼び出すことができるコールラブルなツール関数のリストです。各ツールは、適切に型ヒントが付けられた引数と戻り値を持つ標準的な Python 関数であり、その目的、引数、戻り値を説明する Google スタイルの docstring を持つ必要があります。詳細については、https://huggingface.co/docs/transformers/en/chat_extras#passing-tools を参照してください。モデルは、関数名、型ヒント、docstring を用いて呼び出し方法を決定します。モデルのチャットテンプレートがツール使用をサポートしており、ツール呼び出し用にファインチューニングされていることを確認してください。
知識蒸留用のTrainer。生徒モデルはオンポリシーで学習され、教師モデルの次のトークンの分布に一致させるために、補完を自ら生成します。この分布の一致は、betaによって前方KL、後方KL、およびJSDを補間する汎化されたJensen-Shannon分散を用いて行われ、On-Policy Distillation of Language Modelsで導入された手法です。
例:
>>> from trl import DistillationTrainer
>>> from datasets import load_dataset
>>> dataset = load_dataset("trl-lib/tldr", split="train")
>>> trainer = DistillationTrainer(
... model="Qwen/Qwen2.5-0.5B-Instruct",
... teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
... train_dataset=dataset,
... )
>>> trainer.train()train
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
パラメータ
- resume_from_checkpoint (
strまたはbool、省略可) —strの場合、以前のTrainerインスタンスによって保存されたチェックポイントのローカルパスを指定します。boolでTrueの場合、以前のTrainerインスタンスによって args.output_dir に保存された最後のチェックポイントを読み込みます。指定がある場合、ここで読み込まれたモデル/オプティマイザ/スケジューラの状態からトレーニングを再開します。 - trial (
optuna.Trialまたはdict[str, Any]、省略可) — ハイパーパラメータ探索のための試行またはハイパーパラメータの辞書。 - ignore_keys_for_eval (
list[str]、省略可) — モデルの出力が辞書である場合、学習中の評価で予測を収集する際に無視すべきキーのリストです。
戻り値
~trainer_utils.TrainOutput
グローバルステップ数、トレーニング損失、およびメトリクスを含むオブジェクト。
メインの学習エントリポイント。
モデルを保存するため、from_pretrained()を使用して再読み込みできます。
メインプロセスからのみ保存します。
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
パラメータ
- commit_message (
str、任意、デフォルトは"End of training") — プッシュ時にコミットするメッセージ。 - blocking (
bool、省略可能、デフォルトはTrue) —git pushが完了した後にのみ関数が返すかどうか。 - token (
str、任意、デフォルトはNone) — Trainer の元の引数を上書きするための書き込み権限を持つトークン。 - revision (
str, 省略可) — コミット元の git リビジョンです。“main” ブランチのヘッドがデフォルトです。 - private (
bool、省略可) — リポジトリ作成時にプライベートにするかどうか。デフォルトはargs.hub_private_repoです。リポジトリが既に存在する場合は、この引数は無効です。 - kwargs (
dict[str, Any]、省略可) —~Trainer.create_model_cardに渡される追加のキーワード引数。
self.args.hub_model_id のリポジトリに、self.model と self.processing_class を 🤗 model hub にアップロードします。
DistillationConfig
クラス trl.DistillationConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool | None = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falseteacher_model_name_or_path: str | None = Noneteacher_model_revision: str | None = Noneteacher_model_init_kwargs: dict[str, typing.Any] | str | None = Nonedisable_dropout: bool = Falsemax_completion_length: int | None = 512ds3_gather_for_generation: bool = Trueshuffle_dataset: bool | None = Truepad_to_multiple_of: int | str | None = 'auto'temperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict | str | None = Nonechat_template_kwargs: dict | str | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_structured_outputs_regex: str | None = Nonevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonevllm_tensor_parallel_size: int = 1beta: float = 1.0max_tool_calling_iterations: int | None = Nonelog_completions: bool = Falsenum_completions_to_print: int | None = Nonelog_unique_prompts: bool = False )
モデルと教師モデルを制御するパラメータ
- model_init_kwargs (
strまたはdict[str, Any]、省略可) —AutoModelForCausalLM.from_pretrainedのキーワード引数です。トレーナーのmodel引数が文字列として指定された場合に使用されます。revisionの値は、処理クラスの読み込み時にも使用されます。 - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained, for both the student and teacher. - teacher_model_name_or_path (
str, 任意) — 教師モデルのモデル名またはパス。教師モデルをローカルで読み込む場合に使用します。 - teacher_model_revision (
str, 任意) — 教師モデルのリビジョン(例: ブランチ名、タグ、コミットハッシュ)。 - teacher_model_init_kwargs (
strまたはdict[str, Any]、省略可) — 文字列から教師モデルをインスタンス化する場合に、AutoModelForCausalLM.from_pretrainedに渡されるキーワード引数 - disable_dropout (
bool、任意、デフォルトはFalse) — 学習中に学生モデルのdropoutを無効にするかどうか。
データ前処理を制御するパラメータ
- remove_unused_columns (
bool、任意、デフォルトはFalse) — データセットで"prompt"列のみを保持するかどうかです。Trainer は生の prompt 列を消費し、オンポリシーで補完を生成するため、デフォルトはFalseです。 - max_completion_length (
intまたはNone、任意、デフォルトは512) — オンポリシー生成時に、1回のコンプリーションで生成するトークンの最大数。 - ds3_gather_for_generation (
bool、任意、デフォルトはTrue) — この設定は DeepSpeed ZeRO-3 に適用されます。有効にすると、生成のためにポリシーモデルの重みが集約され、生成速度が向上します。ただし、このオプションを無効にすると、1 つの GPU の VRAM 容量を超えるモデルのトレーニングが可能になりますが、その代わりとして生成速度は低下します。このオプションを無効にすると、vLLM による生成と互換性がありません。 - shuffle_dataset (
bool、任意、デフォルトはTrue) — 学習データセットをシャッフルするかどうか。 - pad_to_multiple_of (
intまたはstr、任意、デフォルトは"auto") — 設定されている場合、プロンプト ID と補完 ID は、この値の倍数にパディングされます。"auto"は Neuron (AWS Trainium) 上で 128 の倍数にパディングします。Neuron は入力形状ごとに一度だけコンパイルされるためです。その他の環境ではパディングは行われません。
生成を制御するパラメータ
- temperature (
float、任意、デフォルトは1.0) — 生成時のサンプリングおよび蒸留損失の計算に使用される温度です。値を高くすると、より柔らかい確率分布が得られます。 - top_p (
float、任意、デフォルトは1.0) — オンポリシー生成におけるトップp(ニュークレウス)サンプリングのパラメータです。 - top_k (
int、任意、デフォルトは0) — オンポリシー生成におけるTop-kサンプリングのパラメータです。0を指定すると、Top-kフィルタリングが無効になります。 - min_p (
float, 省略可) — トークンの最小確率です。最も確率の高いトークンの確率でスケーリングされます。0.0と1.0の間の値である必要があります。一般的な値は0.01-0.2の範囲です。 - generation_kwargs (
dict[str, Any], 省略可) — 補完のサンプリング時に GenerationConfig (transformers を使用する場合) またはSamplingParams(vLLM を使用する場合) に渡す追加のキーワード引数です。suppress_tokensやnum_beamsの設定など、生成の動作をさらにカスタマイズするために使用できます。 他の生成パラメータ (例:min_p、top_pなど) と競合するキーが含まれている場合、それらが上書きされます。 - chat_template_kwargs (
dict[str, Any], 省略可) — 補完を生成する際にapply_chat_template関数に渡す追加のキーワード引数。 - repetition_penalty (
float、任意、デフォルト値は1.0) — プロンプトとこれまでに生成されたテキストにトークンが出現しているかどうかに基づいて、新しいトークンをペナルティする浮動小数点数です。 値が1.0より大きい場合、モデルは新しいトークンを使用するよう促され、値が1.0より小さい場合、モデルはトークンを繰り返すよう促されます。 - cache_implementation (
str, 任意) —use_vllmがFalseに設定されている場合、生成を高速化するためのキャッシュ方式の実装。
vLLM による生成加速を制御するパラメータ
- use_vllm (
bool、省略可、デフォルトはFalse) — 学生モデルからのオンポリシー補完の生成に vLLM を使用するかどうか。 - vllm_mode (
str、任意、デフォルトは"colocate") — 学生モデルの vLLM 統合モード。"server"または"colocate"のいずれかです。 - vllm_model_impl (
str、任意、デフォルトは"vllm") — vLLM のモデル実装バックエンドです。"vllm"または"transformers"を使用します。 - vllm_enable_sleep_mode (
bool、任意、デフォルトはFalse) — vLLM のスリープモードを有効にし、オプティマイザーステップ中に学生モデルの重みをオフロードします。 - vllm_structured_outputs_regex (
str, 省略可) — vLLMの構造化出力に使用する正規表現パターンです。
vLLM サーバーを制御するパラメータ(`vllm_mode` が `"server"` の場合のみ使用)
- vllm_server_base_url (
str, 省略可) — 学生 vLLM サーバーのベース URL です。指定された場合、vllm_server_hostとvllm_server_portは無視されます。 - vllm_server_host (
str, 任意, デフォルトは"0.0.0.0") — 学生 vLLM サーバーのホストです。 - vllm_server_port (
int, 任意, デフォルトは8000) — 学生 vLLM サーバーのポート。 - vllm_server_timeout (
float, 任意, デフォルト値は240.0) — 学生 vLLM サーバーへの接続のタイムアウトです。 - vllm_group_port (
int、任意、デフォルトは51216) — vLLM の重み更新グループ(NCCL コミュニケーター)に使用するポート。
colocate された vLLM 実行を制御するパラメータ(`vllm_mode` が `"colocate"` の場合のみ使用)
- vllm_gpu_memory_utilization (
float、任意、デフォルト値は0.3) — 同一マシンに配置された student vLLM エンジン用の GPU メモリ使用率。 - vllm_max_model_length (
int, 省略可) — コロケーションされた vLLM エンジン用のモデルの最大シーケンス長です。 - vllm_tensor_parallel_size (
int, 任意、デフォルトは1) — コロケーションされた student vLLM エンジンのテンソル並列サイズです。
学習を制御するパラメータ
- beta (
float、任意、デフォルト値は1.0) — Generalized Jensen-Shannon Divergence損失の補間係数です。0.0の場合、損失はforward KL分散になります。1.0の場合、損失はreverse KL分散になります。0.5の場合、標準的なJSDになります。GRPOのbeta(参照モデルに対するKLペナルティ係数)とは異なり、ここでは分散そのものを選択します。参照モデルに対するKLペナルティはありません。 - max_tool_calling_iterations (
int, 任意) — エージェントの学習におけるツール呼び出しのターン数の上限です。Noneの場合、上限はなく、モデルがツール呼び出しを含まない応答ターンを生成したとき、または補完(すべてのターンとツール結果)がmax_completion_lengthトークンに達したとき、または完全なシーケンスがモデルの最大長(vllm_mode="colocate"の場合はvllm_max_model_length、それ以外の場合はモデルのmax_position_embeddings)に達したときに、生成が停止します。
ログ出力を制御するパラメータ
- log_completions (
bool、任意、デフォルトはFalse) —logging_stepsステップごとに、(プロンプト、補完) のペアのサンプルをログに記録するかどうか。richがインストールされている場合、サンプルを出力します。wandbおよび/またはtrackioのログ出力が有効な場合、wandbおよび/またはtrackioに記録します。 - num_completions_to_print (
int, 省略可) —richで表示する補完の数を指定します。Noneの場合、すべての補完がログに記録されます。 - log_unique_prompts (
bool、任意、デフォルトはFalse) — 一意のプロンプトのみをログに記録するかどうか。Trueの場合、一意のプロンプトのみがログに記録されます。Falseの場合、すべてのプロンプトがログに記録されます。
DistillationTrainerの構成クラスです。
TrainingArgumentsを拡張し、知識蒸留に固有のパラメータを追加します。必要なすべてのフィールドがここで宣言されています。
HfArgumentParser を使用すると、このクラスをコマンドラインで指定できる argparse の引数に変換できます。
これらのパラメータは、TrainingArgumentsとは異なるデフォルト値を持っています:
logging_steps: デフォルト値が500ではなく10になります。gradient_checkpointing: デフォルト値がFalseではなくTrueに変更されました。bf16:fp16が設定されていない場合、デフォルトでFalseではなくTrueになります。learning_rate:5e-5ではなく、デフォルト値が1e-6に変更されました。