Tham số

• images (`) -- Image to preprocess. Expects a single or batch of images with pixel values ranging from 0 to 255. If passing in images with pixel values between 0 and 1, set do_rescale=False`.
• do_convert_rgb (bool, kwargs, optional) — Có nên chuyển đổi ảnh sang RGB hay không.
• do_resize (bool, kwargs, optional) — Có nên thay đổi kích thước ảnh hay không.
• size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Mô tả các kích thước đầu vào tối đa của mô hình.
• default_to_square (bool, kwargs, tuỳ chọn) — Có mặc định thành ảnh vuông khi thay đổi kích thước hay không, nếu size là một số nguyên.
• crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Kích thước của ảnh đầu ra sau khi áp dụng center_crop.
• resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Bộ lọc lấy mẫu lại (resampling filter) được sử dụng khi thay đổi kích thước ảnh. Giá trị này có thể là một trong các hằng số liệt kê (enum) của PILImageResampling. Chỉ có hiệu lực khi do_resize được đặt thành True.
• do_rescale (bool, kwargs, optional) — Có nên điều chỉnh lại tỷ lệ ảnh hay không.
• rescale_factor (float, kwargs, optional) — Hệ số rescale để rescale ảnh nếu do_rescale được đặt thành True.
• do_normalize (bool, kwargs, optional) — Có nên chuẩn hóa ảnh hay không.
• image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Giá trị trung bình của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếu do_normalize được đặt thành True.
• image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Độ lệch chuẩn của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếu do_normalize được đặt thành True.
• do_pad (bool, kwargs, optional) — Có nên chèn padding cho ảnh hay không. Padding được thực hiện đến kích thước lớn nhất trong batch hoặc đến một kích thước vuông cố định cho mỗi ảnh. Chiến lược padding cụ thể phụ thuộc vào model.
• pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Kích thước ở dạng {"height": int, "width" int} để đệm cho các hình ảnh. Phải lớn hơn kích thước bất kỳ hình ảnh nào được cung cấp để tiền xử lý. Nếu không cung cấp pad_size, các hình ảnh sẽ được đệm đến chiều cao và chiều rộng lớn nhất trong lô. Chỉ được áp dụng khi do_pad=True.
• do_center_crop (bool, kwargs, optional) — Có nên cắt ảnh ở vị trí trung tâm hay không.
• data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Chỉ hỗ trợ ChannelDimension.FIRST. Được thêm vào để tương thích với các bộ xử lý chậm.
• input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, tùy chọn) — Định dạng chiều kênh cho ảnh đầu vào. Nếu không được đặt, định dạng chiều kênh sẽ được suy ra từ ảnh đầu vào. Có thể là một trong các giá trị:
  • "channels_first" hoặc ChannelDimension.FIRST: ảnh ở định dạng (num_channels, height, width).
  • "channels_last" hoặc ChannelDimension.LAST: ảnh ở định dạng (height, width, num_channels).
  • "none" hoặc ChannelDimension.NONE: ảnh ở định dạng (chiều cao, chiều rộng).
• device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Thiết bị để xử lý các video. Nếu không được đặt, thiết bị sẽ được suy ra từ các video đầu vào.
• return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Trả về các tensor được xếp chồng nếu được đặt thành 'pt', ngược lại trả về một danh sách các tensor.
• disable_grouping (bool, kwargs, tuỳ chọn) — Có nên vô hiệu hóa việc nhóm các hình ảnh theo kích thước để xử lý chúng riêng lẻ thay vì theo lô hay không. Nếu là None, giá trị sẽ được đặt thành True nếu các hình ảnh nằm trên CPU, và False trong các trường hợp khác. Lựa chọn này dựa trên các quan sát thực nghiệm, như được mô tả chi tiết tại đây: https://github.com/huggingface/transformers/pull/38157
• image_seq_length (int, kwargs, optional) — Số lượng token hình ảnh sẽ được sử dụng cho mỗi hình ảnh trong đầu vào. Được thêm vào để đảm bảo tương thích ngược, nhưng trong các mô hình tương lai, giá trị này nên được đặt như một thuộc tính của bộ xử lý.
• patch_size (int, kwargs, optional, mặc định là 16) — Độ dài cạnh, tính bằng pixel, của một patch trong vision-tower.
• downsample_ratio (float, kwargs, optional, mặc định là 0.5) — Tỷ lệ giảm mẫu không gian pixel-shuffle được áp dụng bởi mô hình; mỗi cạnh của lưới patch là một bội số của nghịch đảo của nó.
• min_num_patches (int, kwargs, tùy chọn, mặc định là 1024) — Số lượng tối thiểu các patch_size mà một hình ảnh được phóng to hoặc thu nhỏ về.
• max_num_patches (int, kwargs, tuỳ chọn, mặc định là 13312) — Số lượng tối đa các patch_size mà một hình ảnh được phóng to/thu nhỏ; 0 để tắt giới hạn này.
• max_model_len (int, kwargs, tuỳ chọn, mặc định là 16384) — Chiều dài ngữ cảnh của mô hình ngôn ngữ, đóng vai trò là giới hạn cho ngân sách patch của các hình ảnh trong một lần gọi.

Tham số

• input_ids (torch.LongTensor có dạng (batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.

  Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

  ID đầu vào là gì?

• pixel_values (torch.Tensor có hình dạng (total_patches, num_channels * patch_size**2), tùy chọn) — Các patch đã được làm phẳng của tất cả các hình ảnh, được nối lại với nhau, như được trả về bởi bộ xử lý hình ảnh.
• image_grid_hw (torch.LongTensor có hình dạng (num_images, 2), tùy chọn) — Lưới patch (height, width) của từng hình ảnh trong pixel_values.
• pixel_values_videos (torch.Tensor có hình dạng (batch_size, num_frames, num_channels, frame_size, frame_size), tùy chọn) — Các tensor tương ứng với video đầu vào. Giá trị pixel cho video có thể được lấy bằng cách sử dụng NemotronH_Omni_Reasoning_V3VideoProcessor. Xem NemotronH_Omni_Reasoning_V3VideoProcessor.call() để biết chi tiết (NemotronH_Omni_Reasoning_V3Processor sử dụng NemotronH_Omni_Reasoning_V3VideoProcessor để xử lý video).
• input_features (torch.Tensor có hình dạng (batch_size, num_frames, num_mel_bins), tùy chọn) — Các đặc trưng Mel do bộ xử lý tạo ra, được mã hóa và phân tán lên các token giữ chỗ của âm thanh.
• input_features_mask (torch.Tensor có hình dạng (batch_size, num_frames), tùy chọn) — Mặt nạ đánh dấu các khung mel thực của mỗi clip đã đệm.
• attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
  • 1 cho các token không bị che,
  • 0 cho các token bị che.

  Mặt nạ chú ý là gì?

• position_ids (torch.LongTensor có hình dạng (batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng [0, config.n_positions - 1].

  ID vị trí là gì?

• past_key_values (~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm past_key_values được trả về bởi mô hình ở một giai đoạn giải mã trước đó, khi use_cache=True hoặc config.use_cache=True.

  Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.

  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.

  Nếu past_key_values được sử dụng, người dùng được kỳ vọng chỉ nhập input_ids chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng (batch_size, unprocessed_length) thay vì toàn bộ input_ids có hình dạng (batch_size, sequence_length).

• labels (torch.LongTensor có shape (batch_size, sequence_length), tùy chọn) — Nhãn để tính toán tổn thất mô hình hóa ngôn ngữ có che (masked language modeling loss). Chỉ số phải nằm trong [0, ..., config.vocab_size] hoặc -100 (xem docstring của input_ids). Các token có chỉ số được đặt thành -100 sẽ bị bỏ qua (che), tổn thất chỉ được tính cho các token có nhãn nằm trong [0, ..., config.vocab_size].
• inputs_embeds (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền input_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số input_ids thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.
• use_cache (bool, tùy chọn) — Nếu đặt thành True, các trạng thái key value của past_key_values sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem past_key_values).
• mm_encoder_outputs (dict[str, ~modeling_outputs.BaseModelOutputWithPooling], tùy chọn) — Dict trong đó các khóa là các chế độ (modality) được hỗ trợ và các giá trị là kết quả mã hóa cho chế độ đó. Mỗi kết quả mã hóa là một tuple gồm (pooler_output, tùy chọn: last_hidden_states, tùy chọn: hidden_states, tùy chọn: attentions) pooler_output có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) là một chuỗi các đặc trưng đa phương tiện của bộ mã hóa đã được hợp nhất vào các nhúng văn bản.

Tham số

• inputs (torch.Tensor có hình dạng thay đổi tùy theo chế độ, không bắt buộc) — Chuỗi được dùng làm prompt cho quá trình sinh hoặc làm đầu vào mô hình cho bộ mã hóa. Nếu None, phương thức sẽ khởi tạo nó với bos_token_id và kích thước batch là 1. Đối với các mô hình chỉ có bộ giải mã, inputs phải ở định dạng input_ids. Đối với các mô hình mã hóa-giải mã, inputs có thể đại diện cho bất kỳ input_ids, input_values, input_features, hoặc pixel_values.
• generation_config (GenerationConfig, optional) — Cấu hình sinh được sử dụng làm tham số cơ sở cho lệnh gọi sinh. **kwargs được truyền vào generate và khớp với các thuộc tính của generation_config sẽ ghi đè lên chúng. Nếu generation_config không được cung cấp, giá trị mặc định sẽ được sử dụng, với thứ tự ưu tiên nạp như sau: 1) từ tệp mô hình generation_config.json, nếu tệp này tồn tại; 2) từ cấu hình mô hình. Vui lòng lưu ý rằng các tham số không được chỉ định sẽ kế thừa các giá trị mặc định của GenerationConfig, và tài liệu của chúng nên được kiểm tra để tham số hóa quá trình sinh.
• logits_processor (LogitsProcessorList, tùy chọn) — Các logits processor tùy chỉnh bổ sung cho các logits processor mặc định được tạo từ các đối số và cấu hình sinh. Nếu một logit processor được truyền vào mà đã được tạo từ các đối số hoặc một cấu hình sinh, một lỗi sẽ được ném ra. Tính năng này dành cho người dùng nâng cao.
• stopping_criteria (StoppingCriteriaList, tùy chọn) — Tiêu chí dừng tùy chỉnh bổ sung cho tiêu chí dừng mặc định được xây dựng từ các đối số và cấu hình sinh. Nếu một tiêu chí dừng được truyền vào mà đã được tạo từ các đối số hoặc cấu hình sinh, một lỗi sẽ được ném ra. Nếu tiêu chí dừng của bạn phụ thuộc vào đầu vào scores, hãy đảm bảo bạn truyền return_dict_in_generate=True, output_scores=True vào generate. Tính năng này dành cho người dùng nâng cao.
• prefix_allowed_tokens_fn (Callable[[int, torch.Tensor], list[int]], tùy chọn) — Nếu được cung cấp, hàm này sẽ ràng buộc beam search chỉ sử dụng các token được phép ở mỗi bước. Nếu không được cung cấp, sẽ không áp dụng ràng buộc nào. Hàm này nhận 2 đối số: ID của batch batch_id và input_ids. Nó phải trả về một danh sách chứa các token được phép cho bước sinh tiếp theo, dựa trên ID của batch batch_id và các token đã được sinh trước đó inputs_ids. Đối số này hữu ích cho việc sinh có ràng buộc dựa trên tiền tố, như được mô tả trong Autoregressive Entity Retrieval.
• synced_gpus (bool, tùy chọn) — Có tiếp tục chạy vòng lặp while cho đến max_length hay không. Trừ khi được ghi đè, cờ này sẽ được đặt thành True nếu sử dụng FullyShardedDataParallel hoặc DeepSpeed ZeRO Stage 3 với nhiều GPU để tránh tình trạng deadlock nếu một GPU hoàn thành việc tạo ra trước các GPU khác. Ngược lại, mặc định là False.
• assistant_model (PreTrainedModel, tùy chọn) — Một mô hình trợ lý có thể được sử dụng để tăng tốc quá trình sinh. Mô hình trợ lý phải có cùng bộ phân từ (tokenizer) chính xác. Việc tăng tốc đạt được khi dự đoán các token ứng viên bằng mô hình trợ lý nhanh hơn nhiều so với việc chạy sinh bằng mô hình mà bạn đang gọi generate từ. Do đó, mô hình trợ lý nên nhỏ hơn nhiều.
• streamer (BaseStreamer, tuỳ chọn) — Đối tượng Streamer sẽ được dùng để stream các chuỗi được tạo ra. Các token được tạo sẽ được truyền qua streamer.put(token_ids) và streamer chịu trách nhiệm cho mọi xử lý tiếp theo.
• negative_prompt_ids (torch.LongTensor có shape (batch_size, sequence_length), tùy chọn) — Prompt âm cần thiết cho một số bộ xử lý như CFG. Kích thước batch phải khớp với kích thước batch đầu vào. Đây là tính năng thử nghiệm, có thể bị thay đổi API gây lỗi trong các phiên bản tương lai.
• negative_prompt_attention_mask (torch.LongTensor có hình dạng (batch_size, sequence_length), tùy chọn) — Attention_mask cho negative_prompt_ids.
• custom_generate (str hoặc Callable, tùy chọn) — Một trong các lựa chọn sau:
  • str (tên kho Hugging Face Hub): chạy hàm generate tùy chỉnh được định nghĩa tại custom_generate/generate.py trong kho đó thay vì phương thức generate tiêu chuẩn. Kho này thay thế hoàn toàn logic tạo ra, và kiểu trả về có thể khác.
  • str (đường dẫn kho cục bộ): giống như trên nhưng từ một đường dẫn cục bộ. Các thư mục cục bộ cũng yêu cầu trust_remote_code=True vì custom_generate/generate.py cục bộ sẽ được thực thi.
  • Callable: generate sẽ thực hiện các bước chuẩn bị đầu vào thông thường, sau đó gọi callable được cung cấp để chạy vòng lặp giải mã. Để biết thêm thông tin, xem tài liệu.
• kwargs (dict[str, Any], tùy chọn) — Tham số hóa ad hoc cho generation_config và/hoặc các kwargs cụ thể của model bổ sung sẽ được chuyển tiếp đến hàm forward của model. Nếu model là model encoder-decoder, các kwargs cụ thể của encoder không nên có tiền tố và các kwargs cụ thể của decoder nên có tiền tố decoder_.