LeRobot documentation
Kamera & Sensor Pihak Ketiga
Kamera & Sensor Pihak Ketiga
Ekosistem LeRobot meluas jauh melampaui kamera yang didukung secara native (OpenCV, Intel RealSense, ZMQ, Reachy 2). Berkat arsitektur plugin LeRobot, komunitas telah membangun integrasi kamera dan sensor drop-in — mulai dari kamera kedalaman hingga sensor taktil berbasis visi. Halaman ini menampilkan integrasi kamera dan sensor yang dipelihara komunitas yang dapat Anda gunakan untuk teleoperation, pengumpulan data, dan deployment kebijakan.
Proyek-proyek ini dikembangkan dan dipelihara oleh pihak ketiga. Silakan merujuk ke masing-masing repositori untuk instruksi instalasi, persyaratan perangkat keras, dan dukungan.
Plugin drop-in dideteksi secara otomatis berdasarkan nama paket: LeRobot mengimpor paket terinstal apa pun yang berawalan lerobot_camera_. Setelah terinstal, sebutkan type kamera yang didaftarkan oleh plugin tersebut (lihat README-nya — mungkin berbeda dari nama paket) langsung dari perintah LeRobot mana pun:
pip install lerobot_camera_<name>
lerobot-record \
--robot.type=so101_follower \
--robot.port=/dev/ttyACM0 \
--robot.id=my_follower_arm \
--robot.cameras="{ front: {type: <name>, width: 640, height: 480, fps: 30} }" \
--teleop.type=so101_leader \
--teleop.port=/dev/ttyACM1 \
--teleop.id=my_leader_arm \
--dataset.repo_id=${HF_USER}/my-dataset \
--dataset.single_task="Describe your task here" \
--dataset.num_episodes=5Sensor Taktil
| Proyek | Deskripsi |
|---|---|
| lerobot-camera-xense | Plugin untuk sensor taktil berbasis visi Xense, yang menampilkan gambar hasil koreksi/beda, kedalaman, dan penanda 2D. |
| lerobot_camera_paxini | Plugin untuk sensor taktil multidimensi Paxini PX-6AX GEN3 (gaya 3-sumbu per taxel, 9-239 taxel), yang merender array taxel sebagai gambar vektor gaya atau heatmap. |
Kamera Kedalaman
| Proyek | Deskripsi |
|---|---|
| lerobot_camera_berxel | Plugin untuk kamera kedalaman Berxel, bagian dari suite driver HEXFELLOW yang lebih luas. |
| lerobot_camera_zed | Plugin resmi untuk kamera Stereolabs ZED (ZED 2/2i/Mini, keluarga ZED X, dan ZED X One), dengan kedalaman metrik, timestamp perangkat keras, dan perekaman SVO. |
| lerobot_camera_oak | Plugin untuk kamera Luxonis OAK dan OAK4 melalui USB atau PoE (DepthAI v3), dengan peta kedalaman dan awan titik opsional. |
Kamera Berjaringan
| Proyek | Deskripsi |
|---|---|
| lerobot_camera_zmq | Plugin streaming frame kamera Stereolabs ZED dan USB dari Raspberry Pi melalui jaringan. |
Kamera Virtual
| Proyek | Deskripsi |
|---|---|
| lerobot_camera_dummy | Plugin yang mensimulasikan kamera untuk merekam tanpa perangkat keras. Berguna untuk debugging! |
Kontribusi
Sudah membuat integrasi kamera atau sensor LeRobot Anda sendiri? Kemas sebagai plugin yang dapat diinstal lerobot_camera_<name> dan itu akan otomatis ditemukan oleh CLI LeRobot — lihat panduan Bring Your Own Hardware dan referensi Cameras untuk memulai, lalu bagikan proyek Anda dengan komunitas!