You need to agree to share your Hugging Face information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Log in or Sign Up to review the conditions and access this model content.

LeIsaac SO-101 PickOrange

这组策略用于在 LeIsaac 仿真中控制 SO-101,将三颗橙子放入盘中并让机械臂归位。各类策略均使用前视与腕部 RGB。成功须同时满足三颗橙子入盘和机械臂归位。

策略 训练方式 权重目录
ACT 使用 100 条经过动作轨迹独立回放检验的 GR00T 演示进行行为克隆 ACT
ACT 残差策略 冻结 ACT-2,用 SAC 学习关节动作修正 Residual-1 至 Residual-4
VLA 冻结 GR00T N1.5 PickOrange 任务策略,使用 SAC 训练外置残差 Actor VLA

相关资源见 PickOrange 数据集、LeIsaac 任务接入说明和 GR00T N1.5 PickOrange 上游任务权重。

ACT 行为克隆

ACT-1 每次预测 30 个关节目标,覆盖未来 1 秒。ACT-2 每次预测 15 个关节目标,覆盖未来 0.5 秒。两个模型均使用 ResNet-18、前视与腕部 640×480 RGB 和六维关节位置。训练动作标签以 30 Hz 从 60 Hz 演示中每隔一步取样。推理时每两个 60 Hz 物理步重新预测一次,采用系数 0.001 的时间聚合,并将聚合后的目标保持两步。

模型编号 Checkpoint 固定集完成 60 秒内成功 120 秒内成功
ACT-1 10k 50/50 18/50(36.0%) 18/50(36.0%)
ACT-1 40k 50/50 18/50(36.0%) 18/50(36.0%)
ACT-2 65k 50/50 21/50(42.0%) 21/50(42.0%)
ACT-2 80k 50/50 21/50(42.0%) 21/50(42.0%)
ACT-2 100k 50/50 22/50(44.0%) 23/50(46.0%)
ACT-2 120k 50/50 26/50(52.0%) 26/50(52.0%)

表中为固定 50 场的原测成绩,ACT 评测均开启时间聚合。ACT-2 80k 在一个仿真进程中运行四个独立场景,100k 与 120k 采用单场景仿真。

每个目录含 model.safetensors、config.json、normalization.json 和 execution.json。根目录默认加载 ACT-1 40k。用 LeRobot 的 PreTrainedConfig.from_pretrained 读取配置并构造 ACTPolicy,再加载状态字典。按 front、wrist 顺序提供 RGB 图像,先将像素缩放到 [0, 1],再按 execution.json 的均值和标准差归一化。本体状态使用 (q-qmu)/qstd,输出使用 a*astd+amu 还原到校准关节控制坐标。每场开始时调用 policy.reset(),部署时用 policy.select_action() 执行时间聚合。

Residual

模型编号 Checkpoint 对应 ACT 模型 60 秒内成功 120 秒内成功
Residual-1 24k ACT-2 80k 7/19(36.8%) 7/19(36.8%)
Residual-2 24k ACT-2 80k 12/23(52.2%) 12/23(52.2%)
Residual-3 24k ACT-2 80k 8/19(42.1%) 8/19(42.1%)
Residual-3 26k ACT-2 80k 11/23(47.8%) 11/23(47.8%)
Residual-4 100k ACT-2 100k 22/50(44.0%) 22/50(44.0%)

每项成绩列出成功场数和已完成场数。Residual-1 至 Residual-3 展示各检查点已记录的最佳一轮。

Residual-1 至 Residual-3 部署说明 · Residual-4 部署说明

VLA

VLA-1 和 VLA-2 均以 GR00T N1.5 PickOrange 任务模型为基座。

模型编号 Checkpoint 固定集完成 60 秒内成功 120 秒内成功 扩展评测(60 秒 / 120 秒)
VLA-1 12k 50/50 33/50(66.0%) 33/50(66.0%) 76/143(53.1%) / 79/143(55.2%)
VLA-2 12k 50/50 31/50(62.0%) 33/50(66.0%) 113/184(61.4%) / 121/184(65.8%)
VLA-2 32k 50/50 34/50(68.0%) 34/50(68.0%) 123/200(61.5%) / 127/200(63.5%)

VLA 按固定 50 场的 120 秒成功率筛选,表中三份权重均严格超过 60%。扩展评测包含固定集的前 50 场。两份 12k 的扩展评测分别在 143 场和 184 场结束,32k 完成全部 200 场。所有成绩使用仿真时间。

每个 VLA 检查点目录含 residual_actor.safetensors 和 config.json。运行时一并加载上游任务权重,由 GR00T 生成原始动作块,再调用本仓库的残差推理代码。VLA 加载与输入说明

Downloads last month
8
Safetensors
Model size
51.6M params
Tensor type
F32
·
Video Preview
loading

Dataset used to train Nole326/LeIsaac-SO101-PickOrange