Transformers documentation
Reformer
Эта модель была опубликована в HF papers 13.01.2020 и добавлена в Hugging Face Transformers 16.11.2020.
Reformer
Обзор
Модель Reformer была предложена в статье Reformer: The Efficient Transformer Никитой Китеевым, Лукашем Кайзером и Анселем Левскаей.
Аннотация из статьи следующая:
Крупные модели Transformer регулярно демонстрируют наилучшие результаты по ряду задач, однако обучение таких моделей может быть prohibitively costly, особенно на длинных последовательностях. Мы предлагаем две техники для повышения эффективности Transformers. Во-первых, мы заменяем attention на основе скалярного произведения на attention, использующую locality-sensitive hashing, что изменяет её сложность с O(L^2) до O(Llog(L)), где L — длина последовательности. Кроме того, мы используем обратимые residual-слои вместо стандартных residual-соединений, что позволяет хранить активации лишь один раз в процессе обучения, а не N раз, где N — количество слоёв. Полученная модель, Reformer, показывает результаты, сопоставимые с моделями Transformer, при этом значительно более эффективно используя память и значительно быстрее обучаясь на длинных последовательностях.
Эта модель была предоставлена пользователем patrickvonplaten. Код авторов можно найти здесь.
Советы по использованию
- Reformer не работает с torch.nn.DataParallel из-за ошибки в PyTorch, см. issue #36035.
- Используйте кодирование осевой позиции (см. ниже для получения подробностей). Это механизм, позволяющий избежать создания огромной матрицы позиционного кодирования (когда длина последовательности очень велика) путем факторизации на более мелкие матрицы.
- Замените традиционное внимание на внимание на основе LSH (local-sensitive hashing) (подробнее см. ниже). Это техника, позволяющая избежать вычисления полного произведения query-key в слоях внимания.
- Чтобы избежать хранения промежуточных результатов каждого слоя, используйте обратимые слои трансформера, чтобы получить их во время обратного прохода (вычитание остатков из входа следующего слоя позволяет восстановить их) или пересчитывайте их для результатов внутри данного слоя (менее эффективно, чем хранение, но экономит память).
- Выполняйте операции feedforward по частям, а не на всей выборке.
Позиционные кодировки по осям
Осевые позиционные кодирования впервые были реализованы в библиотеке trax от авторов статьи о данной модели. В моделях, обрабатывающих очень длинные входные последовательности, традиционные кодирования позиционных идентификаторов хранят вектор встраиваний размера для каждой позиции $i, \ldots, n_s$, где config.hidden_size равно равно config.max_embedding_size. Это означает, что при длине последовательности и config.hidden_size равном матрица позиционных кодирований будет иметь вид:
который сам по себе содержит более 500 млн параметров. Осевые позиционные кодировки факторизуют в две матрицы:
и
при:
Следовательно, выполняется следующее:
Интуитивно это означает, что вектор позиционного эмбеддинга теперь представляет собой композицию двух факторизованных векторов эмбеддингов: $x^1{k, l} + x^2{l, k}$, где размерность config.max_embedding_size разлагается на $k \text{ и } l$. Такая конструкция гарантирует, что каждый вектор позиционного эмбеддинга уникален.
Используя приведённый выше пример, осевое позиционное кодирование с может значительно сократить количество параметров с 500 000 000 до параметров, что означает снижение потребления памяти на 85%.
На практике параметр config.axial_pos_embds_dim задаётся кортежем сумма элементов которого должна быть равна config.hidden_size а config.axial_pos_shape задаётся кортежем произведение элементов которого должно быть равно config.max_embedding_size, который в процессе обучения должен совпадать с длиной последовательности входных input_ids.
LSH Self Attention
In Locality sensitive hashing (LSH) self attention the key and query projection weights are tied. Therefore, the key
query embedding vectors are also tied. LSH self attention uses the locality sensitive hashing mechanism proposed in Practical and Optimal LSH for Angular Distance to assign each of the tied key
query embedding vectors to one of config.num_buckets possible buckets. The premise is that the more “similar”
key query embedding vectors (in terms of cosine similarity) are to each other, the more likely they are assigned to
the same bucket.
Точность механизма LSH можно повысить, увеличив config.num_hashes или непосредственно аргумент num_hashes функции forward, чтобы выход LSH self attention лучше аппроксимировал выход «обычного» полного self attention. Затем бакеты сортируются и разбиваются на чанки векторов эмбеддингов query и key, каждый из которых имеет длину config.lsh_chunk_length. Для каждого чанка векторы эмбеддингов query обращаются к своим векторам key (которые связаны с собой) и к векторам эмбеддингов key из config.lsh_num_chunks_before предыдущих соседних чанков и config.lsh_num_chunks_after последующих соседних чанков.
Для получения дополнительной информации см. оригинальную статью или эту отличную статью в блоге.
Обратите внимание, что config.num_buckets также можно разложить на список $(n{\text{buckets}}^1,
n{\text{buckets}}^2)$. Таким образом, векторы встраиваний query и key назначаются не одному из $(1,\ldots,
n{\text{buckets}})$, а одному из $(1-1,\ldots, n{\text{buckets}}^1-1, \ldots,
1-n{\text{buckets}}^2, \ldots, n{\text{buckets}}^1-n_{\text{buckets}}^2)$. Это критически важно для очень длинных последовательностей,
чтобы сэкономить память.
При обучении модели с нуля рекомендуется оставить config.num_buckets=None, чтобы в зависимости от длины последовательности значение num_buckets рассчитывалось на лету. Это значение затем автоматически сохраняется в конфигурации и должно использоваться при инференсе.
Благодаря использованию LSH self attention сложность по памяти и времени операции матричного умножения query-key можно снизить с до $\mathcal{O}(n_s \times \log(n_s))$, что обычно является узким местом по памяти и времени в трансформерной модели, где — длина последовательности.
Локальное само-внимание
Локальное само-внимание по сути представляет собой «обычный» слой само-внимания с проекциями ключей, запросов и значений, но он разбит на блоки так, что в каждом блоке длины config.local_chunk_length векторы запросов обращаются только к векторам ключей в своём блоке, а также к векторам ключей в config.local_num_chunks_before предыдущих соседних блоках и config.local_num_chunks_after последующих соседних блоках.
Благодаря использованию локального self-attention память и временная сложность операции матричного умножения query-key снижаются с до $\mathcal{O}(n_s \times \log(n_s))$, что обычно является узким местом по памяти и времени в трансформерной модели, где — длина последовательности.
Обучение
В процессе обучения необходимо убедиться, что длина последовательности установлена в значение, кратное наименьшему общему кратному config.lsh_chunk_length и config.local_chunk_length, а параметры Axial Positional Encodings настроены корректно, как описано выше. Reformer обладает высокой эффективностью использования памяти, поэтому модель можно легко обучать на последовательностях длиной до 64000 токенов.
Для обучения модель ReformerModelWithLMHead следует использовать следующим образом:
input_ids = tokenizer.encode("This is a sentence from the training data", return_tensors="pt").to(model.device)
loss = model(input_ids, labels=input_ids)[0]Ресурсы
- Руководство по задаче классификации текста
- Руководство по задаче вопрос-ответ
- Руководство по задаче каузального языкового моделирования
- Руководство по задаче маскированного языкового моделирования
ReformerConfig
класс transformers.ReformerConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneattention_head_size: int = 64attn_layers: list[str] | tuple[str, ...] = ('local', 'lsh', 'local', 'lsh', 'local', 'lsh')axial_norm_std: float = 1.0axial_pos_embds: bool = Trueaxial_pos_shape: list[int] | tuple[int, ...] = (64, 64)axial_pos_embds_dim: list[int] | tuple[int, ...] = (64, 192)chunk_size_lm_head: int = 0eos_token_id: int | list[int] | None = 2feed_forward_size: int = 512hash_seed: int | None = Nonehidden_act: str = 'relu'hidden_dropout_prob: float | int = 0.05hidden_size: int = 256initializer_range: float = 0.02is_decoder: bool = Falselayer_norm_eps: float = 1e-12local_num_chunks_before: int = 1local_num_chunks_after: int = 0local_attention_probs_dropout_prob: float | int = 0.05local_attn_chunk_length: int = 64lsh_attn_chunk_length: int | None = 64lsh_attention_probs_dropout_prob: float | None = 0.0lsh_num_chunks_before: int | None = 1lsh_num_chunks_after: int | None = 0max_position_embeddings: int = 4096num_attention_heads: int = 12num_buckets: int | list[int] | None = Nonenum_hashes: int = 1vocab_size: int = 320tie_word_embeddings: bool = Falseuse_cache: bool = Trueclassifier_dropout: float | int | None = Nonebos_token_id: int | None = Nonepad_token_id: int | None = 0 )
Параметры
- attention_head_size (
int, необязательный, по умолчанию 64) — Размерность проецированных векторов ключа, запроса и значения - attn_layers (
list[str], необязательный, по умолчанию["local", "lsh", "local", "lsh", "local", "lsh"]) — Список типов слоев внимания в порядке возрастания. Можно выбрать между слоем LSHSelfAttention ("lsh") и слоем LocalSelfAttention ("local"). Подробнее о слое LSHSelfAttention см. LSH Self Attention. Подробнее о слое LocalSelfAttention см. Local Self Attention. - axial_norm_std (
float, необязательный, по умолчанию 1.0) — Стандартное отклонение normal_initializer для инициализации весовых матриц осевых позиционных кодировок. - axial_pos_embds (
bool, необязательный, по умолчаниюTrue) — Использовать ли осевые позиционные эмбеддинги. Подробнее о том, как работают осевые позиционные эмбеддинги, см. Axial Position Encodings. - axial_pos_shape (
list[int], необязательный, по умолчанию[64, 64]) — Размерности позиций для осевых позиционных кодировок. Во время обучения произведение размерностей позиций должно быть равно длине последовательности. Подробнее о том, как работают осевые позиционные эмбеддинги, см. Axial Position Encodings. - axial_pos_embds_dim (
list[int], необязательный, по умолчанию[64, 192]) — Размерности встраиваний для осевых позиционных кодировок. Сумма размерностей встраиваний должна быть равна скрытому размеру. Подробнее о том, как работают осевые позиционные встраивания, см. Осевые позиционные кодировки. - chunk_size_lm_head (
int, необязательный, по умолчанию 0) — Размер блока для финального слоя прямой передачи языковой модели. Размер блока 0 означает, что слой прямой передачи не разбивается на блоки. Размер блока n означает, что слой прямой передачи обрабатывает n < sequence_length эмбеддингов за один раз. Подробнее о разбиении слоя прямой передачи на блоки см. в разделе Как работает разбиение слоя прямой передачи на блоки?. - eos_token_id (
Union[int, list[int]], необязательный, по умолчанию2) — Идентификатор токена, используемого для обозначения конца потока в словаре. - feed_forward_size (
int, необязательный, по умолчанию 512) — Размерность слоя feed_forward в блоке остаточного внимания. - hash_seed (
int, необязательный) — Значение seed, которое можно использовать, чтобы сделать локальное чувствительное хеширование вLSHSelfAttentionдетерминированным. Это поле следует задавать только для целей тестирования. Для оценки и обученияhash_seedследует оставить равнымNone, чтобы обеспечить полностью случайные вращения в схеме локального чувствительного хеширования. - hidden_act (
str, необязательный, по умолчаниюrelu) — Нелинейная функция активации (функция или строка) в декодере. Например,"gelu","relu","silu"и т. д. - hidden_dropout_prob (
Union[float, int], необязательный, по умолчанию0.05) — Вероятность dropout для всех полносвязных слоёв в блоках эмбеддингов, энкодера и пулера. - hidden_size (
int, необязательный, по умолчанию256) — Размерность скрытых представлений. - initializer_range (
float, необязательный, по умолчанию0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов. - is_decoder (
bool, необязательный, по умолчаниюFalse) — Указывает, используется ли модель в качестве декодера. ЕслиFalse, модель используется как энкодер. - layer_norm_eps (
float, необязательный, по умолчанию1e-12) — Значение epsilon, используемое слоями нормализации. - local_num_chunks_before (
int, необязательный, по умолчанию 1) — Количество предыдущих соседних чанков, на которые обращает внимание слойLocalSelfAttentionв отношении самого себя. - local_num_chunks_after (
int, необязательный, по умолчанию 0) — Количество последующих соседних чанков, на которые обращает внимание слойLocalSelfAttentionв дополнение к самому себе. - local_attention_probs_dropout_prob (
float, необязательный, по умолчанию 0.1) — Коэффициент dropout для вероятностей внимания вLocalSelfAttention. - local_attn_chunk_length (
int, необязательный, по умолчанию 64) — Длина каждого фрагмента в слоях локального внимания. - lsh_attn_chunk_length (
int, необязательный, по умолчанию 64) — Длина фрагмента, который обращается к самому себе вLSHSelfAttention. Разбиение на фрагменты снижает сложность по памяти с длина последовательности x длина последовательности (самовнимание) до длина фрагмента x длина фрагмента x длина последовательности / длина фрагмента (самовнимание с разбиением на фрагменты). - lsh_attention_probs_dropout_prob (
float, необязательный, по умолчанию 0.1) — Коэффициент dropout для вероятностей внимания вLSHSelfAttention. - lsh_num_chunks_before (
int, необязательный, по умолчанию 1) — Количество предыдущих соседних чанков, на которые обращает внимание слойLSHSelfAttentionв отношении самого себя. - lsh_num_chunks_after (
int, необязательный, по умолчанию 0) — Количество последующих соседних чанков, на которые обращает внимание слойLSHSelfAttentionв отношении самого себя. - max_position_embeddings (
int, необязательный, по умолчанию4096) — Максимальная длина последовательности, с которой может использоваться эта модель. - num_attention_heads (
int, необязательный, по умолчанию12) — Количество головок внимания в каждом слое внимания декодера Transformer. - num_buckets (
intorlist[int], необязательный) — Количество бакетов, в которые векторы ключей запросов могут быть «размещены» с помощью схемы локально-чувствительного хеширования. Каждый вектор ключа запроса хешируется в значение из диапазона1, ..., num_buckets. Количество бакетов также можно разложить на список множителей для улучшения сложности по памяти. В этом случае каждый вектор ключа запроса хешируется в значение из диапазона1-1, 1-2, ..., num_buckets[0]-1, ..., num_buckets[0]-num_buckets[1], еслиnum_bucketsразложено на два множителя. Количество бакетов (или произведение множителей) должно приблизительно равняться длине последовательности / lsh_chunk_length. Еслиnum_bucketsне задано, подходящее значение вычисляется на лету. - num_hashes (
int, необязательный, по умолчанию 1) — Количество раундов хеширования (например, количество случайных поворотов) в схеме Local Sensitive Hashing. Чем вышеnum_hashes, тем точнее становитсяLSHSelfAttention, но тем больше памяти и времени требует процесс хеширования. - vocab_size (
int, необязательный, по умолчанию320) — Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены вinput_ids. - tie_word_embeddings (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли связывать веса эмбеддингов согласно маппингуtied_weights_keysмодели. - use_cache (
bool, необязательный, по умолчаниюTrue) — Указывает, должен ли модель возвращать последние ключи/значения внимания (не используется во всех моделях). Актуально только еслиconfig.is_decoder=Trueили если модель является генеративной моделью только с декодером. - classifier_dropout (
Union[float, int], необязательный) — Коэффициент dropout для классификатора. - bos_token_id (
int, необязательный) — Идентификатор токена, используемого для обозначения начала потока в словаре. - pad_token_id (
int, необязательный, по умолчанию0) — Идентификатор токена, используемого для дополнения (padding) в словаре.
Это класс конфигурации для хранения настроек модели ReformerModel. Он используется для создания модели Reformer в соответствии с указанными аргументами, определяющими архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации google/reformer-crime-and-punishment
Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.
Примеры:
>>> from transformers import ReformerConfig, ReformerModel
>>> # Initializing a Reformer configuration
>>> configuration = ReformerConfig()
>>> # Initializing a Reformer model (with random weights)
>>> model = ReformerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configReformerTokenizer
класс transformers.ReformerTokenizer
< source >( vocab: str | dict[str, int] | None = Nonemerges: str | list[str] | None = Noneeos_token: str = '</s>'unk_token: str = '<unk>'_spm_precompiled_charsmap: str | None = Noneadditional_special_tokens: list | None = None**kwargs )
Параметры
- vocab_file (
str) — файл SentencePiece (обычно имеет расширение .spm), содержащий словарь, необходимый для создания токенизатора. - eos_token (
str, необязательный, по умолчанию"</s>") — Токен конца последовательности. При построении последовательности с использованием специальных токенов этот токен не используется для обозначения конца последовательности. Вместо него используется sep_token.При построении последовательности с использованием специальных токенов для обозначения конца последовательности не используется этот токен. Используется токен
sep_token. - unk_token (
str, необязательный, по умолчанию"<unk>") — Токен неизвестного слова. Токен, отсутствующий в словаре, не может быть преобразован в ID, поэтому вместо него используется этот токен. - pad_token (
str, необязательный, по умолчанию"<pad>") — Токен, используемый для выравнивания, например, при пакетной обработке последовательностей разной длины. - additional_special_tokens (
list[str], необязательный) — Дополнительные специальные токены, используемые токенизатором. - vocab (
strилиdict[str, int], необязательный) — Пользовательский словарь. Если не указан, словарь загружается изvocab_file. - merges (
strилиlist[str], необязательный) — Список пользовательских слияний. Если не указан, слияния загружаются изvocab_file.
Создайте токенизатор Reformer (на базе библиотеки tokenizers от HuggingFace). Основан на BPE.
Этот токенизатор наследуется от TokenizersBackend, который содержит большинство основных методов. За дополнительной информацией об этих методах следует обращаться к этому суперклассу.
ReformerModel
класс transformers.ReformerModel
< source >( config: ReformerConfig )
Параметры
- config (ReformerConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Модель Reformer без дополнительных слоёв, выводящая необработанные скрытые состояния.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonenum_hashes: int | None = Nonepast_buckets_states: transformers.models.reformer.modeling_reformer.ReformerDynamicCache | None = Noneuse_cache: bool | None = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → ReformerModelOutput or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length)) — Индексы токенов входной последовательности в словаре. Во время обучения sequence_length для input_ids должна быть кратна соответствующим длинам чанков модели (lsh, local или обеим). Во время оценки индексы автоматически дополняются до кратного значения длины чанка.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- position_ids (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона[0, config.n_positions - 1]. - inputs_embeds (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексыinput_idsпреобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. - num_hashes (
int, необязательный) — Количество раундов хеширования, выполняемых при формировании бакетов. Установка этого аргумента переопределяет значение по умолчанию, заданное вconfig.num_hashes.Для получения дополнительной информации см.
num_hashesв ReformerConfig. - past_buckets_states (
ReformerDynamicCache, необязательный) — Списокtuple(torch.LongTensor, torch.Tensorдлинойconfig.n_layers, где первый элемент — предыдущие buckets формы(batch_size, num_heads, num_hashes, sequence_length)) , а второй — предыдущие hidden_states формы(batch_size, sequence_length, hidden_size)).Содержит предварительно вычисленные скрытые состояния и бакеты (актуально только для LSH Self-Attention). Может использоваться для ускорения последовательного декодирования.
- use_cache (
bool, необязательный) — Если установлено вTrue, возвращаются состояния ключей и значенийpast_key_values, которые можно использовать для ускорения декодирования (см.past_key_values). - output_hidden_states (
bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описанииhidden_statesсреди возвращаемых тензоров. - output_attentions (
bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описанииattentionsв разделе возвращаемых тензоров. - return_dict (
bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.
Возвращает
ReformerModelOutput или tuple(torch.Tensor)
ReformerModelOutput или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (ReformerConfig) и входных данных.
Метод forward модели ReformerModel переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
last_hidden_state (
torch.Tensorформы(batch_size, num_predict, hidden_size)) — Последовательность скрытых состояний на последнем слое модели.num_predictсоответствуетtarget_mapping.shape[1]. Еслиtarget_mappingравноNone, тоnum_predictсоответствуетsequence_length.past_buckets_states (
list[tuple(torch.LongTensor, torch.Tensor)], необязательный, возвращается при передачеuse_cache=Trueили когдаconfig.use_cache=True) — списокtuple(torch.LongTensor, torch.Tensorдлиныconfig.n_layers, где первый элемент — предыдущие buckets формы(batch_size, num_heads, num_hashes, sequence_length), а второй — предыдущие hidden_states формы(batch_size, sequence_length, hidden_size)).Содержит предварительно вычисленные бакеты и скрытые состояния, которые можно использовать (см. вход
past_buckets_states) для ускорения последовательного декодирования.hidden_states (
tuple[torch.Tensor], необязательный, возвращается при передачеoutput_hidden_states=Trueили когдаconfig.output_hidden_states=True) — Кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple[torch.Tensor], необязательный, возвращается при передачеoutput_attentions=Trueили когдаconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
ReformerModelWithLMHead
класс transformers.ReformerModelWithLMHead
< source >( config: ReformerConfig )
Параметры
- config (ReformerConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Модель Reformer с головкой language modeling наверху.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonenum_hashes: int | None = Nonepast_buckets_states: list[tuple[torch.Tensor]] | None = Noneuse_cache: bool | None = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = Nonelabels: typing.Optional[torch.Tensor] = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs ) → CausalLMOutput or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length)) — Индексы токенов входной последовательности в словаре. Во время обучения sequence_length для input_ids должна быть кратна соответствующим длинам чанков модели (lsh, local или обеим). Во время оценки индексы автоматически дополняются до кратного значения длины чанка.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- position_ids (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона[0, config.n_positions - 1]. - attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- inputs_embeds (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексыinput_idsпреобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. - num_hashes (
int, необязательный) — Количество раундов хеширования, выполняемых при формировании бакетов. Установка этого аргумента переопределяет значение по умолчанию, заданное вconfig.num_hashes.Для получения дополнительной информации см.
num_hashesв ReformerConfig. - past_buckets_states (
list[tuple(torch.LongTensor, torch.Tensor)], необязательный) — Списокtuple(torch.LongTensor, torch.Tensorдлинойconfig.n_layers, где первый элемент — предыдущие buckets размером(batch_size, num_heads, num_hashes, sequence_length)) , а второй — предыдущие hidden_states размером(batch_size, sequence_length, hidden_size)).Содержит предварительно вычисленные скрытые состояния и бакеты (актуально только для LSH Self-Attention). Может использоваться для ускорения последовательного декодирования.
- use_cache (
bool, необязательный) — Если установлено вTrue, возвращаются состояния ключей и значенийpast_key_values, которые можно использовать для ускорения декодирования (см.past_key_values). - output_hidden_states (
bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описанииhidden_statesсреди возвращаемых тензоров. - output_attentions (
bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описанииattentionsв разделе возвращаемых тензоров. - return_dict (
bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа. - labels (
torch.LongTensorформы(batch_size,), необязательный) — Метки для вычисления функции потерь классификации/регрессии последовательности. Индексы должны находиться в диапазоне[-100, 0, ..., config.vocab_size - 1]. Все метки, установленные в-100, игнорируются (маскируются); потери вычисляются только для меток в диапазоне[0, ..., config.vocab_size] - logits_to_keep (
Union[int, torch.Tensor], необязательный, по умолчанию0) — Если передано значение типаint, вычисляет logits для последнихlogits_to_keepтокенов. Если указано0, logits вычисляются для всехinput_ids(особый случай). Для генерации нужны logits только последнего токена, и вычисление их только для этого токена позволяет сэкономить память, что становится весьма значимым для длинных последовательностей или большого размера словаря. Если передано значение типаtorch.Tensor, оно должно быть одномерным и соответствовать индексам, которые нужно сохранить в измерении длины последовательности. Это полезно при использовании упакованного формата тензоров (один размер для batch и длины последовательности).
Возвращает
CausalLMOutput или tuple(torch.Tensor)
Объект CausalLMOutput или кортеж
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (ReformerConfig) и входных данных.
Метод forward модели ReformerModelWithLMHead переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
loss (
torch.Tensorформы(1,), необязательный, возвращается, если заданlabels) — Потери языковой модели (для предсказания следующего токена).logits (
torch.Tensorформы(batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).hidden_states (
tuple(torch.Tensor), optional, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
Пример:
>>> import torch
>>> from transformers import AutoTokenizer, ReformerModelWithLMHead
>>> tokenizer = AutoTokenizer.from_pretrained("google/reformer-crime-and-punishment")
>>> model = ReformerModelWithLMHead.from_pretrained("google/reformer-crime-and-punishment")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs, labels=inputs["input_ids"])
>>> loss = outputs.loss
>>> logits = outputs.logitsReformerForMaskedLM
класс transformers.ReformerForMaskedLM
< source >( config: ReformerConfig )
Параметры
- config (ReformerConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Модель Reformer с головкой language modeling наверху.”
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonenum_hashes: int | None = Nonelabels: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → MaskedLMOutput or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length)) — Индексы токенов входной последовательности в словаре. Во время обучения sequence_length для input_ids должна быть кратна соответствующим длинам чанков модели (lsh, local или обеим). Во время оценки индексы автоматически дополняются до кратного значения длины чанка.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- position_ids (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона[0, config.n_positions - 1]. - attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- inputs_embeds (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексыinput_idsпреобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. - num_hashes (
int, необязательный) — Количество раундов хеширования, выполняемых при формировании бакетов. Установка этого аргумента переопределяет значение по умолчанию, заданное вconfig.num_hashes.Для получения дополнительной информации см.
num_hashesв ReformerConfig. - labels (
torch.LongTensorформы(batch_size, sequence_length), необязательный) — Метки для вычисления потерь masked language modeling. Индексы должны находиться в диапазоне[-100, 0, ..., config.vocab_size](см.input_idsв docstring). Токены с индексом-100игнорируются (маскируются), потери вычисляются только для токенов с меткамиВ этом примере используется фиктивный контрольный пункт, так как для задачи маскированного языкового моделирования с архитектурой Reformer не существует доступной предобученной модели.
- output_hidden_states (
bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описанииhidden_statesсреди возвращаемых тензоров. - output_attentions (
bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описанииattentionsв разделе возвращаемых тензоров. - return_dict (
bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.
Возвращает
MaskedLMOutput или tuple(torch.Tensor)
Объект MaskedLMOutput или кортеж
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (ReformerConfig) и входных данных.
Метод forward класса ReformerForMaskedLM переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
loss (
torch.Tensorформы(1,), необязательный, возвращается, если переданlabels) — Потери маскированного языкового моделирования (MLM).logits (
torch.Tensorформы(batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).hidden_states (
tuple(torch.Tensor), optional, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
Пример:
>>> import torch
>>> from transformers import AutoTokenizer, ReformerForMaskedLM
>>> tokenizer = AutoTokenizer.from_pretrained("hf-internal-testing/tiny-random-reformer")
>>> model = ReformerForMaskedLM.from_pretrained("hf-internal-testing/tiny-random-reformer")
>>> # add mask_token
>>> tokenizer.add_special_tokens({"mask_token": "[MASK]"})
>>> inputs = tokenizer("The capital of France is [MASK].", return_tensors="pt")
>>> # resize model's embedding matrix
>>> model.resize_token_embeddings(new_num_tokens=model.config.vocab_size + 1)
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # retrieve index of [MASK]
>>> mask_token_index = (inputs.input_ids == tokenizer.mask_token_id)[0].nonzero(as_tuple=True)[0]
>>> predicted_token_id = logits[0, mask_token_index].argmax(axis=-1)
>>> predicted_token = tokenizer.decode(predicted_token_id)>>> labels = tokenizer("The capital of France is Paris.", return_tensors="pt")["input_ids"]
>>> # mask labels of non-[MASK] tokens
>>> labels = torch.where(
... inputs.input_ids == tokenizer.mask_token_id, labels[:, : inputs["input_ids"].shape[-1]], -100
... )
>>> outputs = model(**inputs, labels=labels)
>>> loss = round(outputs.loss.item(), 2)ReformerForSequenceClassification
класс transformers.ReformerForSequenceClassification
< source >( config: ReformerConfig )
Параметры
- config (ReformerConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Модель Reformer с головой для классификации/регрессии последовательности (линейный слой поверх агрегированного вывода), например, для задач GLUE.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonenum_hashes: int | None = Nonelabels: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → SequenceClassifierOutput or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length)) — Индексы токенов входной последовательности в словаре. Во время обучения sequence_length для input_ids должна быть кратна соответствующим длинам чанков модели (lsh, local или обеим). Во время оценки индексы автоматически дополняются до кратного значения длины чанка.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- position_ids (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона[0, config.n_positions - 1]. - attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- inputs_embeds (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексыinput_idsпреобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. - num_hashes (
int, необязательный) — Количество раундов хеширования, выполняемых при формировании бакетов. Установка этого аргумента переопределяет значение по умолчанию, заданное вconfig.num_hashes.Для получения дополнительной информации см.
num_hashesв ReformerConfig. - labels (
torch.LongTensorформы(batch_size,), необязательный) — Метки для вычисления функции потерь классификации/регрессии последовательности. Индексы должны находиться в диапазоне[0, ..., config.num_labels - 1]. Еслиconfig.num_labels == 1, вычисляется функция потерь регрессии (среднеквадратичная ошибка), еслиconfig.num_labels > 1, вычисляется функция потерь классификации (кросс-энтропия). - output_hidden_states (
bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описанииhidden_statesсреди возвращаемых тензоров. - output_attentions (
bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описанииattentionsв разделе возвращаемых тензоров. - return_dict (
bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.
Возвращает
SequenceClassifierOutput или tuple(torch.Tensor)
Объект SequenceClassifierOutput или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (ReformerConfig) и входных данных.
Метод forward класса ReformerForSequenceClassification переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
loss (
torch.Tensorформы(1,), необязательный, возвращается, если заданlabels) — Потери классификации (или регрессии, если config.num_labels==1).logits (
torch.Tensorформы(batch_size, config.num_labels)) — Оценки для классификации (или регрессии, если config.num_labels==1) до применения SoftMax.hidden_states (
tuple(torch.Tensor), optional, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
Пример классификации с одной меткой:
>>> import torch
>>> from transformers import AutoTokenizer, ReformerForSequenceClassification
>>> tokenizer = AutoTokenizer.from_pretrained("google/reformer-crime-and-punishment")
>>> model = ReformerForSequenceClassification.from_pretrained("google/reformer-crime-and-punishment")
>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> predicted_class_id = logits.argmax().item()
>>> label = model.config.id2label[predicted_class_id]>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = ReformerForSequenceClassification.from_pretrained(
... "google/reformer-crime-and-punishment", num_labels=num_labels
... )
>>> labels = torch.tensor(1)
>>> loss = model(**inputs, labels=labels).lossReformerForQuestionAnswering
класс transformers.ReformerForQuestionAnswering
< source >( config: ReformerConfig )
Параметры
- config (ReformerConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.
Трансформер Reformer с головой для классификации пропусков, расположенной сверху, для задач извлекающего ответа на вопросы, таких как SQuAD (линейный слой поверх выходных скрытых состояний для вычисления span start logits и span end logits).
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonenum_hashes: int | None = Nonestart_positions: typing.Optional[torch.Tensor] = Noneend_positions: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → QuestionAnsweringModelOutput or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length)) — Индексы токенов входной последовательности в словаре. Во время обучения sequence_length для input_ids должна быть кратна соответствующим длинам чанков модели (lsh, local или обеим). Во время оценки индексы автоматически дополняются до кратного значения длины чанка.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- position_ids (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона[0, config.n_positions - 1]. - attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- inputs_embeds (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексыinput_idsпреобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. - num_hashes (
int, необязательный) — Количество раундов хеширования, выполняемых при формировании бакетов. Установка этого аргумента переопределяет значение по умолчанию, заданное вconfig.num_hashes.Для получения дополнительной информации см.
num_hashesв ReformerConfig. - start_positions (
torch.Tensorформы(batch_size,), необязательный) — Метки для позиции (индекса) начала размеченного фрагмента, используемые для вычисления функции потерь классификации токенов. Позиции ограничиваются длиной последовательности (sequence_length). Позиции, выходящие за пределы последовательности, не учитываются при вычислении функции потерь. - end_positions (
torch.Tensorформы(batch_size,), необязательный) — Метки для позиции (индекса) конца размеченного фрагмента, используемые для вычисления функции потерь классификации токенов. Позиции ограничиваются длиной последовательности (sequence_length). Позиции, выходящие за пределы последовательности, не учитываются при вычислении функции потерь. - output_hidden_states (
bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описанииhidden_statesсреди возвращаемых тензоров. - output_attentions (
bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описанииattentionsв разделе возвращаемых тензоров. - return_dict (
bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.
Возвращает
QuestionAnsweringModelOutput или tuple(torch.Tensor)
Объект QuestionAnsweringModelOutput или кортеж
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (ReformerConfig) и входных данных.
Метод forward класса ReformerForQuestionAnswering переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
loss (
torch.Tensorформы(1,), необязательный, возвращается, если заданlabels) — Суммарная функция потерь для извлечения пролёгов представляет собой сумму кросс-энтропии для начальных и конечных позиций.start_logits (
torch.Tensorформы(batch_size, sequence_length)) — Оценки начала спана (до SoftMax).end_logits (
torch.Tensorформы(batch_size, sequence_length)) — Оценки конца пролета (до SoftMax).hidden_states (
tuple(torch.Tensor), optional, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
Пример:
>>> from transformers import AutoTokenizer, ReformerForQuestionAnswering
>>> import torch
>>> tokenizer = AutoTokenizer.from_pretrained("google/reformer-crime-and-punishment")
>>> model = ReformerForQuestionAnswering.from_pretrained("google/reformer-crime-and-punishment")
>>> question, text = "Who was Jim Henson?", "Jim Henson was a nice puppet"
>>> inputs = tokenizer(question, text, return_tensors="pt")
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> answer_start_index = outputs.start_logits.argmax()
>>> answer_end_index = outputs.end_logits.argmax()
>>> predict_answer_tokens = inputs.input_ids[0, answer_start_index : answer_end_index + 1]
>>> tokenizer.decode(predict_answer_tokens, skip_special_tokens=True)
...
>>> # target is "nice puppet"
>>> target_start_index = torch.tensor([14])
>>> target_end_index = torch.tensor([15])
>>> outputs = model(**inputs, start_positions=target_start_index, end_positions=target_end_index)
>>> loss = outputs.loss
>>> round(loss.item(), 2)
...