LeRobot documentation
LeRobot
LeRobot
Machine learning de pointe pour la robotique en conditions réelles
🤗 LeRobot fournit une interface Python native, indépendante du matériel, pour contrôler des robots réels - des bras abordables comme le SO-ARM101 jusqu'aux humanoïdes complets. Il inclut également les outils pour enregistrer, stocker et partager les jeux de données qu'ils génèrent. Chaque jeu de données utilise le format standardisé LeRobotDataset (vidéo synchronisée + données d'action/état) et peut être diffusé directement depuis le Hugging Face Hub.
🤗 Sur la base de ces données, LeRobot met en œuvre des politiques de pointe - allant des modèles légers d'apprentissage par imitation comme ACT aux grands modèles vision-langage-action comme π₀ et SmolVLA - tous entraînables, partageables et déployables avec le même petit nombre de commandes CLI.
L'objectif : abaisser la barrière d'entrée en robotique, afin que chacun puisse contribuer à, et bénéficier de, des jeux de données partagés et de modèles pré-entraînés.
Fonctionnement
Téléopérer → Enregistrer → Entraîner → Déployer
- Téléopérer - contrôler le robot vous-même (avec un bras maître, un clavier ou un téléphone) afin qu'il puisse apprendre de vos mouvements.
- Enregistrement - chaque démonstration est enregistrée sous forme de jeu de données : vidéo de caméra synchronisée et actions effectuées.
- Entraînement - une politique (le réseau de neurones qui contrôlera le robot) apprend à imiter vos démonstrations.
- Déploiement - exécutez la politique entraînée sur le robot et observez-le accomplir la tâche de manière autonome.
Commencer
Nouveau ici ? Découvrez à quoi ressemble un jeu de données LeRobot avant d’installer quoi que ce soit :
Ouvrez lerobot/svla_so101_pickplace dans le LeRobot Dataset Visualizer pour consulter ses enregistrements caméra à côté de l'état et des actions du robot, image par image, sans rien installer. Il fonctionne avec n'importe quel jeu de données LeRobot sur le Hub, y compris les vôtres. Voir comment l'utiliser.
Prêt à essayer vous-même ? Installez LeRobot, puis choisissez votre voie :
LeRobot prend en charge une large gamme de bras robotiques et de robots mobiles. Les choix populaires :
- SO-101 - notre bras phare, à faible coût
- LeKiwi - une base mobile avec un bras sur le dessus
- Koch v1.1 - un favori de la communauté depuis longtemps
- ou trouvez le vôtre sous Robots dans la barre latérale
Une fois assemblé et calibré, enregistrez un jeu de données et entraînez votre première politique avec le tutoriel sur l'apprentissage par imitation - ou passez directement par LeLab, une interface graphique dans le navigateur pour le même flux de travail.
Vous pouvez toujours entraîner et évaluer des politiques sans posséder de robot :
- explorer n'importe quel jeu de données dans le Dataset Visualizer
- entraîner sur un jeu de données LeRobot existant du Hub
- évaluer en simulation, par rapport à des benchmarks comme LIBERO ou Meta-World
- essayez les notebooks Colab gratuits - rien à installer
Commencez par le guide de contribution, puis ajoutez une nouvelle politique ou apportez votre propre matériel.
Explorer la documentation
Toutes les commandes du CLI LeRobot, prêtes à être copiées-collées.
Quelle politique convient à votre GPU et combien de temps prend l'entraînement.
Chargez, diffusez et visualisez des jeux de données robotiques depuis le Hub.
Une interface graphique dans le navigateur pour calibrer, enregistrer et entraîner - aucune CLI requise.
Commencez par ACT, notre première politique recommandée - ou parcourez SmolVLA, π₀ et d'autres dans la barre latérale.
Entraînez et évaluez sur des benchmarks simulés comme LIBERO avant de toucher au matériel réel.
Problèmes courants
Vous rencontrez des problèmes ? Voici quelques-uns des plus fréquents :
- Images floues ou inutilisables de la caméra - l'éclairage compte plus que la résolution. Consultez Placement de la caméra et éclairage.
- Erreurs de compilation ou d’installation (
cmake,ffmpeg, CUDA) - consultez la section Dépannage du guide d’installation. - Vous ne savez pas quelle politique correspond à votre GPU - consultez le Guide du calcul et du matériel.
- Vous êtes toujours bloqué ? Posez votre question sur Discord - la communauté (et l'équipe LeRobot) est là pour vous aider.