PeAudioEncoder의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.

이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신 Module 인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.

• last_hidden_state (torch.Tensor, shape (batch_size, sequence_length, hidden_size)) — 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.

• pooler_output (torch.Tensor, shape (batch_size, hidden_size)) — 보조 사전 학습 작업을 위해 사용되는 레이어들을 통해 추가 처리된 시퀀스의 첫 번째 토큰(분류 토큰)의 마지막 레이어 hidden-state입니다. 예를 들어 BERT 계열 모델의 경우, 선형 레이어와 tanh 활성화 함수를 통해 처리된 후의 분류 토큰을 반환합니다. 선형 레이어의 가중치는 사전 학습 동안 다음 문장 예측(분류) 목적 함수를 통해 학습됩니다.

• hidden_states (tuple(torch.Tensor), 선택 사항, output_hidden_states=True가 전달되거나 config.output_hidden_states=True인 경우 반환됨) — torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 모양은 (batch_size, sequence_length, hidden_size)입니다.

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.

• attentions (tuple(torch.Tensor), 선택 사항, output_attentions=True가 전달되었거나 config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된 torch.Tensor의 튜플로, 모양은 (batch_size, num_heads, sequence_length, sequence_length)입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치.

PeAudioModel의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.

이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신 Module 인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.

• loss (torch.Tensor, shape (1,), 선택 사항) — 오디오와 텍스트 표현 사이에 계산된 대조적 손실(contrastive loss).
• logits_audio_text (torch.Tensor, shape (batch_size, batch_size), 선택 사항) — 오디오 임베딩과 텍스트 임베딩 간의 유사도 logits. PeAudioFrameLevelModel은 대신 shape (batch_size, batch_size, sequence_length)의 프레임별 logits를 반환합니다.
• text_audio_embeds (torch.Tensor, shape (batch_size, hidden_size), 선택 사항) — 오디오-텍스트 공간으로 투영된 텍스트 임베딩.
• audio_embeds (torch.Tensor, shape (batch_size, hidden_size), 선택 사항) — 오디오-텍스트 공간으로 투영된 오디오 임베딩. PeAudioFrameLevelModel은 대신 shape (batch_size, sequence_length, hidden_size)의 프레임별 임베딩을 반환합니다.
• text_outputs (BaseModelOutputWithPooling, 선택 사항) — 텍스트 인코더의 모델 출력으로, 마지막 hidden state와 pooled output을 포함합니다.
• audio_outputs (BaseModelOutputWithPooling, 선택 사항) — 오디오 인코더의 모델 출력으로, 마지막 숨겨진 상태와 풀링된 출력을 포함합니다.

PeAudioFrameLevelModel의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.

이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신 Module 인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.

• loss (torch.Tensor, shape (1,), 선택 사항) — 오디오와 텍스트 표현 사이에 계산된 대조적 손실.
• logits_audio_text (torch.Tensor, shape (batch_size, batch_size), 선택 사항) — 오디오 임베딩과 텍스트 임베딩 간의 유사도 logits. PeAudioFrameLevelModel은 대신 shape (batch_size, batch_size, sequence_length)의 프레임별 logits를 반환합니다.
• text_audio_embeds (torch.Tensor, shape (batch_size, hidden_size), 선택 사항) — 오디오-텍스트 공간으로 투영된 텍스트 임베딩.
• audio_embeds (torch.Tensor, shape (batch_size, hidden_size), 선택 사항) — 오디오-텍스트 공간으로 투영된 오디오 임베딩. PeAudioFrameLevelModel은 대신 shape (batch_size, sequence_length, hidden_size)의 프레임별 임베딩을 반환합니다.
• text_outputs (BaseModelOutputWithPooling, 선택 사항) — 텍스트 인코더의 모델 출력으로, 마지막 hidden state와 pooled output을 포함합니다.
• audio_outputs (BaseModelOutputWithPooling, 선택 사항) — 오디오 인코더의 모델 출력으로, 마지막 숨겨진 상태와 풀링된 출력을 포함합니다.