LaWAM

lawam là bộ thích ứng LeRobot cho LaWAM, một mô hình hành động thế giới tiềm ẩn cho các chính sách robot nhận thức động lực học. Nó kết hợp bộ khung Qwen3-VL, một mô hình hành động/thế giới tiềm ẩn và đầu hành động khớp dòng, đồng thời cung cấp các giao diện chính sách, huấn luyện và đánh giá chuẩn của LeRobot.

Tài nguyên:

Cài đặt

Cài đặt LeRobot với phần mở rộng LaWAM:

pip install -e ".[lawam]"

Cài đặt các phụ thuộc của benchmark LIBERO và cố định MuJoCo ở phiên bản 3.3.2 khi tái tạo đánh giá LIBERO của LaWAM đã phát hành:

pip install -e ".[lawam,libero]" "mujoco==3.3.2"

Tỷ lệ thành công của benchmark LIBERO nhạy cảm với phiên bản trình mô phỏng MuJoCo. Các bản phát hành MuJoCo mới hơn có thể làm giảm đáng kể tỷ lệ thành công LIBERO được đo, kể cả đối với các chính sách ngoài LaWAM. Đây là vấn đề tương thích của môi trường đánh giá chứ không phải vấn đề của bộ thích ứng LaWAM. Hãy sử dụng mujoco==3.3.2 để tái tạo chính xác các kết quả LIBERO và kết quả trong bài báo đã công bố của LaWAM.

Checkpoint của LaWAM sử dụng định dạng model.safetensors gốc của LeRobot. Trạng thái đầy đủ của LAM, bộ thích ứng VLM và flow-head được khôi phục thông qua policy.path; các tệp .pt gốc của LaWAM không được nạp bởi bộ thích ứng. Kiến trúc LAM và DINOv3 được biểu diễn trực tiếp bởi LaWAMConfig và không yêu cầu tải xuống checkpoint riêng biệt.

Giữ policy.base_vlm được đặt thành ID mô hình Hub di động. Các cài đặt cache tiêu chuẩn của Hugging Face, chẳng hạn như HF_HOME, kiểm soát vị trí lưu trữ các tệp Qwen cục bộ mà không cần thêm các đường dẫn cụ thể cho từng máy vào cấu hình policy hoặc processor.

Fine-Tuning

Tinh chỉnh từ chính sách LaWAM được huấn luyện trước bản gốc:

lerobot-train \
  --policy.path=jialei02/lawam-pretrain-lerobot \
  --dataset.repo_id=jialei02/libero_merged_no_noops_20hz \
  --dataset.image_transforms.enable=false \
  --rename_map='{"observation.images.wrist_image":"observation.images.image2"}' \
  --policy.action_horizon=8 \
  --policy.n_action_steps=8 \
  --policy.clip_normalized_actions=true \
  --policy.pre_snap_gripper_action=true \
  --policy.binarize_gripper_action=true \
  --policy.repo_id=your_org/lawam_sft

Adapter sử dụng thống kê từ bộ dữ liệu LeRobot để chuẩn hóa hành động và trạng thái trước khi xây dựng các lô huấn luyện LaWAM. Hành động tư thế sử dụng chuẩn hóa min-max, trong khi công thức LIBERO cố định kênh kẹp về các giá trị nhị phân 0/1 để khớp với hợp đồng huấn luyện LaWAM gốc. Điều này ánh xạ cả hai quy ước bộ dữ liệu -1/+1 và 0/1 sang cùng các mục tiêu mô hình. Điểm kiểm tra được huấn luyện trước giữ nguyên các giá trị huấn luyện trước là action_horizon=24 và n_action_steps=24; công thức SFT của LIBERO ghi đè cả hai thành 8 trong khi giữ nguyên chunk_size=50 làm độ dài chuỗi Flow đã đệm. Huấn luyện sử dụng FPS hiện tại của bộ dữ liệu cho mã hóa thời gian tự nhiên của LaWAM, và bộ xử lý lưu tần số đó làm phương án dự phòng cho đánh giá. policy.num_video_frames kiểm soát cửa sổ khung quan sát.

Các công thức tiền huấn luyện LaWAM và SFT LIBERO đã phát hành không sử dụng tăng cường hình ảnh ngẫu nhiên. Bộ xử lý chính sách chỉ áp dụng phép resize tất định và chuẩn hóa ImageNet bắt buộc bởi các bộ khung Qwen và LAM. Các phép biến đổi hình ảnh ở cấp độ tập dữ liệu của LeRobot vẫn khả dụng cho các công thức huấn luyện được thiết kế riêng.

Các checkpoint LaWAM được phát hành sử dụng không gian hành động/trạng thái đệm 32 chiều bên trong. Giữ nguyên policy.flow_action_dim=32 và policy.flow_state_dim=32 trừ khi bạn đã huấn luyện một checkpoint với các chiều flow khác nhau.

Đánh giá

Đánh giá checkpoint SFT LIBERO gốc thông qua trình đánh giá tiêu chuẩn:

lerobot-eval \
  --policy.path=jialei02/lawam-libero-sft-lerobot \
  --env.type=libero \
  --env.task=libero_object \
  --eval.n_episodes=10

Kho lưu trữ Hub bao gồm cấu hình chính sách và các pipeline tiền xử lý và hậu xử lý hoàn chỉnh, bao gồm cả các tensor chuẩn hóa và xử lý kẹp LIBERO.

Để chạy đánh giá benchmark LIBERO có thể tái lập với checkpoint LIBERO SFT đã phát hành, hãy đánh giá tất cả các bộ và ID tác vụ trong một lần gọi duy nhất:

lerobot-eval \
  --policy.path=jialei02/lawam-libero-sft-lerobot \
  --policy.device=cuda \
  --env.type=libero \
  --env.task=libero_spatial,libero_object,libero_goal,libero_10 \
  --env.task_ids='[0,1,2,3,4,5,6,7,8,9]' \
  --eval.n_episodes=50 \
  --output_dir=outputs/lawam_libero

Báo cáo tỷ lệ thành công trên tất cả 10 tác vụ trong mỗi bộ. Sử dụng ít nhất 50 tập (episodes) cho mỗi tác vụ khi báo cáo các con số chuẩn (benchmark).

Kết quả tham chiếu cho checkpoint LIBERO SFT đã phát hành với 50 episode cho mỗi task. Các con số này được tạo ra bằng MuJoCo 3.3.2. Để kiểm tra môi trường, task 5 của libero_spatial đã cải thiện từ 18/50 thành công với MuJoCo 3.8.1 lên 47/50 thành công với MuJoCo 3.3.2.

Chọn camera

Checkpoint của LaWAM lưu trữ vai trò của camera chính và camera cổ tay một cách tường minh thay vì suy luận ngữ nghĩa từ các tên như image2. Khi xây dựng một chính sách LaWAM đa camera mới, hãy cấu hình cả hai vai trò:

--policy.primary_image_features='["observation.images.front"]' \
--policy.wrist_image_features='["observation.images.wrist"]'

policy.lam_image_feature chọn camera chính mà các khung hình theo thời gian của nó được mô hình hành động tiềm ẩn sử dụng. Mặc định là camera chính được cấu hình đầu tiên và được ghi rõ ràng khi cấu hình policy được lưu.

Các trường thời gian chạy

Các trường chính sách đặc thù của LaWAM phổ biến:

Trích dẫn

@misc{chen2026lawam,
  title = {LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies},
  author = {Chen, Jialei and Wang, Kai and Chen, Kang and Chen, Shuaihang and Gao, Feng and Tang, Wenhao and Li, Zhiyuan and Liu, Weilin and Yao, Zhuyu and Li, Boxun and Xu, Yuanbo and Yu, Chao},
  journal = {arXiv preprint arXiv:2606.15768},
  year = {2026},
  archiveprefix = {arXiv},
  primaryclass = {cs.RO},
}