TRL documentation
SDFT
SDFT
セルフディスティルドファインチューニング(SDFT)は、Idan Shenfeld、Mehul Damani、Jonas Hübotter、Pulkit Agrawal による論文 Self-Distillation Enables Continual Learning で説明されています。
継続的学習は、既存の能力を劣化させることなくモデルに新しいスキルや知識を習得させることを可能にするものであり、基盤モデルにとって根本的な課題であり続けます。オンポリシー強化学習は忘却を軽減できますが、多くの場合利用できない明示的な報酬関数を必要とします。代替手段として主に用いられるエキスパートのデモからの学習は、本質的にオフポリシーである教師ありファインチューニング(SFT)が支配的です。私たちは、デモから直接オンポリシー学習を可能にするシンプルな手法である自己蒸留ファインチューニング(SDFT)を導入します。SDFTはインコンテキスト学習を活用し、デモ条件付きモデルを自身の教師として使用することで、新しいスキルを習得しながらも既存の能力を保持するオンポリシーの学習シグナルを生成します。スキル学習および知識取得のタスクにおいて、SDFTは一貫してSFTを上回り、新しいタスクの精度を向上させると同時に、カタストロフィック・フォーゲッティングを大幅に軽減します。逐次学習の実験では、SDFTにより単一のモデルが時間の経過とともに複数のスキルを蓄積し、性能の劣化なしに学習を継続できることを示し、デモからの継続的学習への現実的な道としてオンポリシー蒸留を確立しました。
仕組み
通常の教師ありファインチューニングは、デモテキストをオフポリシーで学習するため、既存の能力を上書きする傾向があります。一方、SDFTはオンポリシーで学習します。具体的には、学生モデルが通常のpromptから生成し、教師モデル(同じモデルにpromptと例のprivileged_contextを表示したもの)がそのトークンを再スコアリングし、デモ条件付きの分布を学生モデルに蒸留します。教師と学生は見る情報だけが異なる単一のネットワークであり、自己蒸留ループを形成します。
教師の選択
teacher_model_kind は、どのモデルのコピーが教師として機能するかを選択します。"base"(デフォルト)は、初期の重みを固定した参照として凍結し、論文と一致します。"live" は、現在の学生モデルをゼロラグの自己教師として再利用します。"ema" は、指数移動平均を維持し、teacher_sync_steps ステップごとに teacher_update_rate のレートで再同期します。PEFT の下では、"base" は教師のフォワードパス中にアダプターを無効化してベースの重みを復元することで取得され、純粋な LoRA トレーニングにおける "ema" は、2 つ目のモデルコピーの代わりに、専用の "teacher" アダプターに移動平均を保持します。"ema" を純粋でない LoRA の PEFT モデル(例: modules_to_save または bias)と組み合わせて使用することはサポートされていません。これは、独立した EMA コピーを学生モデルのパラメータと一致させることができないためです。
デフォルトでは、student はプレーンなプロンプトから生成します。generate_from_teacher=True を設定すると、代わりにデモ条件付きプロンプトからサンプリングし、オンポリシーの忠実性を犠牲にしてより高品質なロールアウトを得ることができます。蒸留の目的関数は、distillation_mode(デフォルトは "topk_logits"、"full_logits" および "sampled_token" が代替案)、distillation_alpha、および distillation_topk で設定されます。num_loss_tokens_to_skip は、損失計算から先頭の completion トークンを除外します。学習はテキストのみです。生成はデフォルトで transformers 経由で実行されますが、use_vllm=True の場合は vLLM(colocate または server モード)が使用されます。
使用方法
from datasets import Dataset
from trl.experimental.sdft import SDFTConfig, SDFTTrainer
dataset = Dataset.from_dict(
{
"prompt": [[{"role": "user", "content": "Solve 2+2."}]],
"privileged_context": ["Example answer: 4."],
}
)
training_args = SDFTConfig(
output_dir="sdft-model",
distillation_alpha=0.5,
distillation_mode="topk_logits",
distillation_topk=5,
max_completion_length=64,
)
trainer = SDFTTrainer(
model="Qwen/Qwen2.5-1.5B-Instruct",
args=training_args,
train_dataset=dataset,
)
trainer.train()生徒のプロンプトではなく教師条件付きプロンプトから生成するには、generate_from_teacher=Trueを設定します。
教師プロンプトの構築方法をカスタマイズするには、experimental.sdft.SDFTConfigにteacher_prompt_templateを設定します。
vLLMサーバーから教師モデルをサービングする
teacher_model_kind="live" を設定すると、教師モデルは現在の学生モデルとなり、その重みは vLLM の サーバー がすでに保持しています(生成のために各ステップで同期されます)。use_teacher_server=True を設定すると、教師の対数尤度をその同じサーバー上でスコアリングし、別途ローカルで教師のフォワードパスを実行する必要がなくなります。これにより、教師モデルをトレーニングステップから完全に排除できます。
training_args = SDFTConfig(
output_dir="sdft-model",
use_vllm=True,
vllm_mode="server",
teacher_model_kind="live",
use_teacher_server=True,
distillation_mode="sampled_token",
)教師サーバーを使用する場合:
use_vllm=Trueとvllm_mode="server"は必須ですteacher_model_kindは"live"(サーバーが現在の student の重みを保持している)である必要があります。distillation_modeは"sampled_token"(実現トークンに対する reverse KL)または"topk_logits"である必要があります。サーバーは教師モデル自身の top-k log-probs を返すため、topk_logitsは教師モデルの top-k サポート上で蒸留を行います(ローカルな目的関数とは異なり、生徒モデルのサポートは使用できません)。"live"教師モデルの場合、両方のサポートはほぼ一致します。full_logitsは利用できません。
期待されるデータセットの列
各例は、以下を提供する必要があります:
prompt: 学生向けのプロンプトprivileged_context: デモンストレーション、ヒント、または特権フィードバックなど、教師モデルにのみ提供される追加情報
標準的なテキストプロンプトと会話形式のプロンプトの両方が、トレーナーのプロンプト処理によってサポートされています。
コールバック
Trainer は、デバッグ、観測可能性、テストに有用な一連の小さなコールバックフックを出力します。これらのフックは、実験的な自己蒸留ワークフローのための実用的な統合ポイントとして意図されています。
共有された自己蒸留フック:
on_self_distillation_batch_prepared: セルフディストリレーションのバッチが準備できたときに発火します。ペイロードには、prompt_ids、completion_ids、および、インポータンスサンプリングのクリッピング用入力が利用可能な場合のold_per_token_logpsが含まれます。on_generation_batch_built: 新しいバッファリングされた生成バッチが作成されたときに発火します。ペイロードにはgenerate_everyとsteps_per_generationが含まれます。
SDFT固有のフック:
on_generation_prompts_selected: SDFT が on-policy 生成のプロンプトソースを選択したときに発火します。ペイロードには、選択されたgeneration_promptsと対応するgeneration_prompt_textが含まれます。
スクリプトの例
examples/sdft_privileged_context/sdft_privileged_context.py を使用して、コマンドラインから SDFT の学習を開始します。このスクリプトは、Hub 上の任意の causal LM、--dataset_path を通じたカスタムのローカルデータセット、および標準的な ModelConfig フラグによる PEFT/LoRA をサポートしています。
python examples/sdft_privileged_context/sdft_privileged_context.py \
--model_name_or_path Qwen/Qwen3.5-0.8B \
--dataset_name your-org/your-dataset \
--output_dir outputs/sdft-qwen3.5-0.8b \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 16 \
--learning_rate 2e-5 \
--max_prompt_length 1024 \
--max_completion_length 512 \
--generate_from_teacher \
--teacher_model_kind ema \
--teacher_sync_steps 1 \
--teacher_update_rate 0.05 \
--eval_strategy steps \
--eval_steps 50 \
--report_to wandb元の実装はidanshen/Self-Distillationで利用できます。
SDFTConfig
クラス trl.experimental.sdft.SDFTConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | None = Nonetrust_remote_code: bool = Falsedisable_dropout: bool = Truemax_prompt_length: int | None = 512num_generations: int = 8num_generations_eval: int | None = Nonemax_completion_length: int | None = 256ds3_gather_for_generation: bool = Trueshuffle_dataset: bool = Truegeneration_batch_size: int | None = Nonesteps_per_generation: int | None = Nonetemperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict[str, typing.Any] | None = Nonechat_template_kwargs: dict[str, typing.Any] | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falseuse_teacher_server: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_group_port: int = 51216vllm_server_timeout: float = 240.0vllm_tensor_parallel_size: int = 1vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonenum_iterations: int = 1teacher_model_kind: str = 'base'teacher_update_rate: float = 0.05teacher_sync_steps: int = 1distillation_alpha: float = 0.5distillation_mode: typing.Literal['sampled_token', 'full_logits', 'topk_logits'] = 'topk_logits'distillation_topk: int | None = 100distillation_is_clip: float | None = 2.0distillation_add_tail: bool = Falsegenerate_from_teacher: bool = Falseteacher_prompt_template: str = '{prompt}\n\n{privileged_context}'num_loss_tokens_to_skip: int = 0 )
SDFT損失を制御するパラメータ
- distillation_alpha (
float、任意、デフォルト値は0.5) — SDFT top-k logit蒸留における発散補間係数。 - distillation_mode (
Literal["sampled_token", "full_logits", "topk_logits"]、任意、デフォルトは"topk_logits") — 蒸留の目的モード。SDFTのデフォルトはtop-k logit蒸留です。 - distillation_topk (
int、任意、デフォルトは100) — デフォルトの SDFT top-k logit 目的関数で使用される上位トークンの数。 - distillation_is_clip (
float、任意、デフォルトは2.0) — 自己蒸留における重要度サンプリングのクリッピング係数です。Noneを指定すると、クリッピングが無効になります。 - distillation_add_tail (
bool、任意、デフォルトはFalse) — トップk以外の確率質量に対してテールバケットを追加するかどうかを指定します。 - num_loss_tokens_to_skip (
int、省略可能、デフォルトは0) — 蒸留損失から除外する、最初の補完トークンの数。
教師モデルを制御するパラメータ
- teacher_model_kind (
str、任意、デフォルトは"base") — SDFT におけるセマンティックな教師モデルの選択です。baseは初期の学生モデルを使用し、liveは現在の学生モデルを使用し、emaは指数移動平均を用いた教師モデルを使用します。 - teacher_update_rate (
float、任意、デフォルトは0.05) —teacher_model_kind="ema"の場合に使用される EMA の更新率です。1.0を指定すると、更新がハードオーバーライトになり、教師モデルが現在の生徒モデルの重みと定期的に同期されます。 - teacher_sync_steps (
int、任意、デフォルトは1) — 教師モデルの更新の間隔となるオプティマイザーステップ数。
教師条件付き生成を制御するパラメータ
- generate_from_teacher (
bool、省略可、デフォルトはFalse) — オンポリシー生成において、学生プロンプトではなく教師条件付きプロンプトを使用するかどうか。 - teacher_prompt_template (
str, 省略可、デフォルトは"{prompt}\n\n{privileged_context}") — 学生プロンプトと特権コンテキストを教師プロンプトに結合するために使用されるテンプレート。
モデルを制御するパラメータ
- model_init_kwargs (
dict[str, Any]、省略可) —SDFTTrainerのmodel引数が文字列として指定された場合、transformers.AutoModelForCausalLM.from_pretrainedに渡すキーワード引数です。処理クラスの読み込み時にもrevisionの値が使用されます。 - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained, for both the student and teacher. - disable_dropout (
bool、任意、デフォルトはTrue) — studentモデルとteacherモデルのdropoutを無効にするかどうかを指定します。
データ前処理を制御するパラメータ
- remove_unused_columns (
bool、任意、デフォルトはFalse) — データセットから、trainer が必要とする列のみを保持するかどうかを指定します。trainer が必要とする追加の列(例:privileged_context)を指定する場合は、この値をFalseのままにしてください。 - max_prompt_length (
int、任意、デフォルトは512) — プロンプトの最大長です。これを超える長いプロンプトは、左側から切り詰められます。 - shuffle_dataset (
bool、任意、デフォルトはTrue) — 学習データセットをシャッフルするかどうか。
生成を制御するパラメータ
- num_generations (
int、任意、デフォルトは8) — サンプリングする世代数。実効バッチサイズ (num_processes per_device_batch_size gradient_accumulation_steps) は、この値で割り切れる必要があります。 - num_generations_eval (
int, 任意) — 評価時にサンプリングする生成回数です。評価時に生成回数を減らすことで計算量を節約できます。Noneの場合、num_generationsの値が使用されます。 - max_completion_length (
int、任意、デフォルトは256) — 生成される補完の最大長。 - temperature (
float、任意、デフォルトは1.0) — サンプリング用の温度です。温度が高いほど、補完はランダムになります。 - top_p (
float、任意、デフォルトは1.0) — 考慮する上位トークンの累積確率を制御する浮動小数点数です。(0, 1] の範囲で指定する必要があります。すべてのトークンを考慮するには 1.0 を設定してください。 - top_k (
int、任意、デフォルトは0) — トップkフィルタリングのために保持する、確率の高い語彙トークンの数。0の場合、トップkフィルタリングは無効になり、すべてのトークンが対象となります。 - min_p (
float, 任意) — トークンの最小確率です。最も確率の高いトークンの確率でスケーリングされます。0.0から1.0の間の値である必要があります。一般的な値は0.01から0.2の範囲です。 - repetition_penalty (
float、任意、デフォルト値は1.0) — プロンプトとこれまでに生成されたテキストにトークンが出現しているかどうかに基づいて、新しいトークンをペナルティする浮動小数点数です。 値が 1.0 より大きい場合、モデルは新しいトークンを使用するよう促され、値が 1.0 より小さい場合、モデルはトークンを繰り返すよう促されます。 - cache_implementation (
str, 任意) — use_vllm が False に設定されている場合、より高速な生成のためのキャッシュメソッドの実装。 - generation_kwargs (
dict[str, Any], 省略可) — 補完のサンプリング時に、GenerationConfig(transformers を使用する場合)またはSamplingParams(vLLM を使用する場合)に渡す追加のキーワード引数です。suppress_tokensやnum_beamsなどを設定することで、生成の動作をさらにカスタマイズできます。他の生成パラメータ(min_pやtop_pなど)と競合するキーが含まれている場合、それらが上書きされます。 - chat_template_kwargs (
dict[str, Any], 省略可) — 補完を生成する際にapply_chat_template関数に渡す追加のキーワード引数。 - ds3_gather_for_generation (
bool、任意、デフォルトはTrue) — この設定は DeepSpeed ZeRO-3 に適用されます。有効にすると、生成のためにポリシーモデルの重みが集約され、生成速度が向上します。ただし、このオプションを無効にすると、1 つの GPU の VRAM 容量を超えるモデルのトレーニングが可能になりますが、その代わりとして生成速度は低下します。このオプションを無効にすると、vLLM による生成と互換性がありません。
vLLM による生成加速を制御するパラメータ
- use_vllm (
bool、省略可、デフォルトはFalse) — 補完の生成に vLLM を使用するかどうかを指定します。Trueに設定すると、デフォルトの model.generate() の代わりに、vLLM を生成に使用します。vllmのインストールが必要です。 - use_teacher_server (
bool、省略可、デフォルトはFalse) — ローカルでの教師モデルのフォワードではなく、実行中の vLLM 生成サーバーから教師の logprobs を計算します。これはteacher_model_kind='live'かつuse_vllm=Trueかつvllm_mode='server'の場合のみサポートされ、distillation_modeが {‘sampled_token’, ‘topk_logits’} のいずれかである必要があります(サーバーは教師の top-k logprobs を返すだけで、完全な語彙は返しません。topk_logitsは教師自身の top-k サポート上で蒸留を行います)。 - vllm_mode (
str, 省略可、デフォルトは"colocate") —use_vllmがTrueに設定されている場合の vLLM 統合で使用するモードです。'server'または'colocate'のいずれかである必要があります。'server': トレーナーが生成リクエストを別の vLLM サーバーに送信します。 vLLM サーバーが実行されていることを確認してください (vllm serveで起動)。'colocate': vLLM が同じプロセス内で実行され、 トレーニング用の GPU を共有します。これにより別のサーバーの必要性はなくなります が、トレーニングとの間でリソースの競合が発生する可能性があります。 - vllm_model_impl (
str、任意、デフォルトは"vllm") — vLLM に使用するモデル実装です。transformersまたはvllmのいずれかである必要があります。transformers: モデル実装にtransformersバックエンドを使用します。vllm: モデル実装にvllmライブラリを使用します。 - vllm_enable_sleep_mode (
bool、任意、デフォルトはFalse) — オプティマイザーステップ中に重み/キャッシュをオフロードするために、vLLM のスリープモードを有効にします。GPU メモリ使用率を低く保ちますが、エンジンの復帰時にホストとデバイス間の転送遅延が発生します。 - vllm_server_base_url (
str, 省略可) — vLLM サーバーのベース URL (例: ‘http://localhost:8000’)。指定された場合、vllm_server_hostおよびvllm_server_portは無視されます。 - vllm_server_host (
str、任意、デフォルトは"0.0.0.0") — 接続する vLLM サーバーのホストです。vllm_server_base_url が指定されている場合は無視されます。 - vllm_server_port (
int, 任意, デフォルトは8000) — 接続する vLLM サーバーのポートです。vllm_server_base_url が指定されている場合は無視されます。 - vllm_group_port (
int, 任意、デフォルトは51216) — 重み更新グループ用のポート番号です。vLLM サーバーとの通信に使用されます。ポートが占有されていない限り、変更する必要はありません。 - vllm_server_timeout (
float, 省略可能、デフォルト値は240.0) — vLLM サーバーの起動を待機する合計タイムアウト時間(秒)です。タイムアウト後にサーバーが起動していない場合、ConnectionErrorが発生します。 - vllm_tensor_parallel_size (
int、任意、デフォルトは1) — vLLM のテンソル並列サイズを制御します。この設定は、vllm_modeが'colocate'に設定されている場合にのみ適用されます。vllm_mode='server'を使用している場合は、--vllm_tensor_parallel_sizeフラグを指定して vLLM サーバーを起動する際に、このパラメータを別途渡す必要があります。 - vllm_gpu_memory_utilization (
float、任意、デフォルト値は0.3) — vLLM の GPU メモリ使用率を制御します。この設定は、vllm_modeが'colocate'に設定されている場合にのみ適用されます。vllm_mode='server'を使用している場合は、--vllm_gpu_memory_utilizationフラグを指定して vLLM サーバーを起動する際に、このパラメータを別途渡す必要があります。 - vllm_max_model_length (
int, 省略可) — vLLM のコンテキストウィンドウです。データセット内の最大プロンプト長にmax_completion_lengthを加えた値以上を設定してください。省略した場合、モデルの設定から推論されます。
学習を制御するパラメータ
- num_iterations (
int、任意、デフォルトは1) — バッチあたりの反復回数(アルゴリズムでは μ と表記されます)。 - generation_batch_size (
int, 省略可) — 生成に使用するバッチサイズ。Noneの場合、実効的な学習バッチサイズ、すなわちper_device_train_batch_size * num_processes * steps_per_generationがデフォルトとして使用されます。 - steps_per_generation (
int, 任意) — 1回の生成あたりのステップ数。Noneの場合、gradient_accumulation_stepsがデフォルト値として使用されます。
experimental.sdft.SDFTTrainer用の設定クラスです。
SDFTTrainer
クラス trl.experimental.sdft.SDFTTrainer
< source >( model: typing.Union[str, transformers.modeling_utils.PreTrainedModel, torch.nn.Module]args: trl.experimental.sdft.sdft_config.SDFTConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config: PeftConfig | None = None )
明示的な教師プロンプトを用いた、SDFTスタイルのオンポリシー自己蒸留のためのTrainer。
train
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
パラメータ
- resume_from_checkpoint (
strまたはbool、省略可) —strの場合、以前のTrainerインスタンスによって保存されたチェックポイントのローカルパスを指定します。boolでTrueの場合、以前のTrainerインスタンスによって args.output_dir に保存された最後のチェックポイントを読み込みます。指定がある場合、ここで読み込まれたモデル/オプティマイザ/スケジューラの状態からトレーニングを再開します。 - trial (
optuna.Trialまたはdict[str, Any]、省略可) — ハイパーパラメータ探索のための試行またはハイパーパラメータの辞書。 - ignore_keys_for_eval (
list[str]、省略可) — モデルの出力が辞書である場合、学習中の評価で予測を収集する際に無視すべきキーのリストです。
戻り値
~trainer_utils.TrainOutput
グローバルステップ数、トレーニング損失、およびメトリクスを含むオブジェクト。
メインの学習エントリポイント。
モデルを保存するため、from_pretrained()を使用して再読み込みできます。
メインプロセスからのみ保存します。
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
パラメータ
- commit_message (
str、任意、デフォルトは"End of training") — プッシュ時にコミットするメッセージ。 - blocking (
bool、省略可能、デフォルトはTrue) —git pushが完了した後にのみ関数が返すかどうか。 - token (
str、任意、デフォルトはNone) — Trainer の元の引数を上書きするための書き込み権限を持つトークン。 - revision (
str, 省略可) — コミット元の git リビジョンです。“main” ブランチのヘッドがデフォルトです。 - private (
bool、省略可) — リポジトリ作成時にプライベートにするかどうか。デフォルトはargs.hub_private_repoです。リポジトリが既に存在する場合は、この引数は無効です。 - kwargs (
dict[str, Any]、省略可) —~Trainer.create_model_cardに渡される追加のキーワード引数。
self.args.hub_model_id のリポジトリに、self.model と self.processing_class を 🤗 model hub にアップロードします。