LeIsaac SO-101 PickOrange
这组策略用于在 LeIsaac 仿真中控制 SO-101,将三颗橙子放入盘中并让机械臂归位。各类策略均使用前视与腕部 RGB。成功须同时满足三颗橙子入盘和机械臂归位。
| 策略 | 训练方式 | 权重目录 |
|---|---|---|
| ACT | 使用 100 条经过动作轨迹独立回放检验的 GR00T 演示进行行为克隆 | ACT |
| ACT 残差策略 | 冻结 ACT-2,用 SAC 学习关节动作修正 | Residual-1 至 Residual-4 |
| VLA | 冻结 GR00T N1.5 PickOrange 任务策略,使用 SAC 训练外置残差 Actor | VLA |
相关资源见 PickOrange 数据集、LeIsaac 任务接入说明和 GR00T N1.5 PickOrange 上游任务权重。
ACT 行为克隆
ACT-1 每次预测 30 个关节目标,覆盖未来 1 秒。ACT-2 每次预测 15 个关节目标,覆盖未来 0.5 秒。两个模型均使用 ResNet-18、前视与腕部 640×480 RGB 和六维关节位置。训练动作标签以 30 Hz 从 60 Hz 演示中每隔一步取样。推理时每两个 60 Hz 物理步重新预测一次,采用系数 0.001 的时间聚合,并将聚合后的目标保持两步。
| 模型编号 | Checkpoint | 固定集完成 | 60 秒内成功 | 120 秒内成功 |
|---|---|---|---|---|
| ACT-1 | 10k | 50/50 | 18/50(36.0%) | 18/50(36.0%) |
| ACT-1 | 40k | 50/50 | 18/50(36.0%) | 18/50(36.0%) |
| ACT-2 | 65k | 50/50 | 21/50(42.0%) | 21/50(42.0%) |
| ACT-2 | 80k | 50/50 | 21/50(42.0%) | 21/50(42.0%) |
| ACT-2 | 100k | 50/50 | 22/50(44.0%) | 23/50(46.0%) |
| ACT-2 | 120k | 50/50 | 26/50(52.0%) | 26/50(52.0%) |
表中为固定 50 场的原测成绩,ACT 评测均开启时间聚合。ACT-2 80k 在一个仿真进程中运行四个独立场景,100k 与 120k 采用单场景仿真。
每个目录含 model.safetensors、config.json、normalization.json 和 execution.json。根目录默认加载 ACT-1 40k。用 LeRobot 的 PreTrainedConfig.from_pretrained 读取配置并构造 ACTPolicy,再加载状态字典。按 front、wrist 顺序提供 RGB 图像,先将像素缩放到 [0, 1],再按 execution.json 的均值和标准差归一化。本体状态使用 (q-qmu)/qstd,输出使用 a*astd+amu 还原到校准关节控制坐标。每场开始时调用 policy.reset(),部署时用 policy.select_action() 执行时间聚合。
Residual
| 模型编号 | Checkpoint | 对应 ACT 模型 | 60 秒内成功 | 120 秒内成功 |
|---|---|---|---|---|
| Residual-1 | 24k | ACT-2 80k | 7/19(36.8%) | 7/19(36.8%) |
| Residual-2 | 24k | ACT-2 80k | 12/23(52.2%) | 12/23(52.2%) |
| Residual-3 | 24k | ACT-2 80k | 8/19(42.1%) | 8/19(42.1%) |
| Residual-3 | 26k | ACT-2 80k | 11/23(47.8%) | 11/23(47.8%) |
| Residual-4 | 100k | ACT-2 100k | 22/50(44.0%) | 22/50(44.0%) |
每项成绩列出成功场数和已完成场数。Residual-1 至 Residual-3 展示各检查点已记录的最佳一轮。
Residual-1 至 Residual-3 部署说明 · Residual-4 部署说明
VLA
VLA-1 和 VLA-2 均以 GR00T N1.5 PickOrange 任务模型为基座。
| 模型编号 | Checkpoint | 固定集完成 | 60 秒内成功 | 120 秒内成功 | 扩展评测(60 秒 / 120 秒) |
|---|---|---|---|---|---|
| VLA-1 | 12k | 50/50 | 33/50(66.0%) | 33/50(66.0%) | 76/143(53.1%) / 79/143(55.2%) |
| VLA-2 | 12k | 50/50 | 31/50(62.0%) | 33/50(66.0%) | 113/184(61.4%) / 121/184(65.8%) |
| VLA-2 | 32k | 50/50 | 34/50(68.0%) | 34/50(68.0%) | 123/200(61.5%) / 127/200(63.5%) |
VLA 按固定 50 场的 120 秒成功率筛选,表中三份权重均严格超过 60%。扩展评测包含固定集的前 50 场。两份 12k 的扩展评测分别在 143 场和 184 场结束,32k 完成全部 200 场。所有成绩使用仿真时间。
每个 VLA 检查点目录含 residual_actor.safetensors 和 config.json。运行时一并加载上游任务权重,由 GR00T 生成原始动作块,再调用本仓库的残差推理代码。VLA 加载与输入说明
- Downloads last month
- 8