LeRobot documentation
Cámaras y sensores de terceros
Cámaras y sensores de terceros
El ecosistema de LeRobot se extiende mucho más allá de las cámaras admitidas de forma nativa (OpenCV, Intel RealSense, ZMQ, Reachy 2). Gracias a la arquitectura de complementos de LeRobot, la comunidad ha creado integraciones de cámaras y sensores listas para usar, que van desde cámaras de profundidad hasta sensores táctiles basados en visión. Esta página presenta integraciones de cámaras y sensores mantenidas por la comunidad que puedes utilizar para teleoperación, recopilación de datos y despliegue de políticas.
Estos proyectos son desarrollados y mantenidos por terceros. Consulte cada repositorio para obtener instrucciones de instalación, requisitos de hardware y soporte.
Los plugins de reemplazo se detectan automáticamente por nombre de paquete: LeRobot importa cualquier paquete instalado con el prefijo lerobot_camera_. Una vez instalado, haga referencia al type de cámara que registra el plugin (consulte su README, ya que puede diferir del nombre del paquete) directamente desde cualquier comando de LeRobot:
pip install lerobot_camera_<name>
lerobot-record \
--robot.type=so101_follower \
--robot.port=/dev/ttyACM0 \
--robot.id=my_follower_arm \
--robot.cameras="{ front: {type: <name>, width: 640, height: 480, fps: 30} }" \
--teleop.type=so101_leader \
--teleop.port=/dev/ttyACM1 \
--teleop.id=my_leader_arm \
--dataset.repo_id=${HF_USER}/my-dataset \
--dataset.single_task="Describe your task here" \
--dataset.num_episodes=5Sensores táctiles
| Proyecto | Descripción |
|---|---|
| lerobot-camera-xense | Plugin para sensores táctiles basados en visión de Xense, que expone imágenes rectificadas/diferenciales, profundidad y marcadores 2D. |
| lerobot_camera_paxini | Plugin para los sensores táctiles multidimensionales Paxini PX-6AX GEN3 (fuerza de 3 ejes por taxel, 9-239 taxeles), que representa el arreglo de taxeles como imágenes de vectores de fuerza o mapas de calor. |
Cámaras de profundidad
| Proyecto | Descripción |
|---|---|
| lerobot_camera_berxel | Plugin para la cámara de profundidad Berxel, parte de la suite de controladores más amplia HEXFELLOW. |
| lerobot_camera_zed | Plugin oficial para las cámaras ZED de Stereolabs (ZED 2/2i/Mini, la familia ZED X y ZED X One), con profundidad métrica, marcas de tiempo de hardware y grabación SVO. |
| lerobot_camera_oak | Plugin para las cámaras Luxonis OAK y OAK4 a través de USB o PoE (DepthAI v3), con mapas de profundidad y nubes de puntos opcionales. |
Cámaras en red
| Proyecto | Descripción |
|---|---|
| lerobot_camera_zmq | Plugin de streaming de fotogramas de Stereolabs ZED y cámara USB desde una Raspberry Pi a través de la red. |
Cámaras virtuales
| Proyecto | Descripción |
|---|---|
| lerobot_camera_dummy | Plugin que simula una cámara para grabar sin hardware. ¡Útil para depurar! |
Contribuir
¿Construiste tu propia integración de cámara o sensor para LeRobot? Empácalo como un plugin instalable lerobot_camera_<name> y el CLI de LeRobot lo detectará automáticamente: consulta la guía Bring Your Own Hardware y la referencia Cameras para comenzar y luego comparte tu proyecto con la comunidad.