LeRobot documentation
Caméras et capteurs tiers
Caméras et capteurs tiers
L’écosystème LeRobot s’étend bien au-delà des camérases prises en charge nativement (OpenCV, Intel RealSense, ZMQ, Reachy 2). Grâce à l’architecture de plugins de LeRobot, la communauté a développé des intégrations de caméras et de capteurs prêtes à l’emploi — des caméras de profondeur aux capteurs tactiles basés sur la vision. Cette page présente les intégrations de caméras et de capteurs maintenues par la communauté que vous pouvez utiliser pour la téléopération, la collecte de données et le déploiement de politiques.
Ces projets sont développés et maintenus par des tiers. Veuillez consulter chaque dépôt pour les instructions d'installation, les exigences matérielles et le support.
Les plugins « drop-in » sont détectés automatiquement par nom de package : LeRobot importe tout package installé préfixé par lerobot_camera_. Une fois installé, référencez le type de caméra enregistré par le plugin (voir son README — il peut différer du nom du package) directement depuis n’importe quelle commande LeRobot :
pip install lerobot_camera_<name>
lerobot-record \
--robot.type=so101_follower \
--robot.port=/dev/ttyACM0 \
--robot.id=my_follower_arm \
--robot.cameras="{ front: {type: <name>, width: 640, height: 480, fps: 30} }" \
--teleop.type=so101_leader \
--teleop.port=/dev/ttyACM1 \
--teleop.id=my_leader_arm \
--dataset.repo_id=${HF_USER}/my-dataset \
--dataset.single_task="Describe your task here" \
--dataset.num_episodes=5Capteurs tactiles
| Projet | Description |
|---|---|
| lerobot-camera-xense | Plugin pour les capteurs tactiles basés sur la vision Xense, exposant des images rectifiées/différence, la profondeur et des marqueurs 2D. |
| lerobot_camera_paxini | Plugin pour les capteurs tactiles multidimensionnels Paxini PX-6AX GEN3 (force 3 axes par taxel, 9 à 239 taxels), permettant d’afficher le tableau de taxels sous forme d’images de vecteurs de force ou de cartes de chaleur. |
Caméras de profondeur
| Projet | Description |
|---|---|
| lerobot_camera_berxel | Plugin pour la caméra de profondeur Berxel, faisant partie de la suite de pilotes HEXFELLOW plus large. |
| lerobot_camera_zed | Plugin officiel pour les caméras Stereolabs ZED (ZED 2/2i/Mini, la famille ZED X et ZED X One), avec profondeur métrique, horodatage matériel et enregistrement SVO. |
| lerobot_camera_oak | Plugin pour les caméras Luxonis OAK et OAK4 via USB ou PoE (DepthAI v3), avec cartes de profondeur et nuages de points optionnels. |
Caméras réseau
| Projet | Description |
|---|---|
| lerobot_camera_zmq | Plugin de streaming des images de la caméra Stereolabs ZED et de la caméra USB depuis un Raspberry Pi via le réseau. |
Caméras virtuelles
| Projet | Description |
|---|---|
| lerobot_camera_dummy | Plugin simulant une caméra pour l'enregistrement sans matériel. Utile pour le débogage ! |
Contribuer
Vous avez développé votre propre intégration de caméra ou de capteur pour LeRobot ? Emballez-la sous forme de plugin installable lerobot_camera_<name> et elle sera automatiquement détectée par le CLI LeRobot — consultez le guide Bring Your Own Hardware et la référence Cameras pour commencer, puis partagez votre projet avec la communauté !