Камеры

LeRobot предлагает несколько вариантов записи видео:

Сведения о совместимости с OpenCVCamera приведены в разделе Обзор ввода-вывода видео с OpenCV.

Найдите свою камеру

Каждая камера требует уникального идентификатора для инициализации, что позволяет различать несколько подключенных устройств.

OpenCVCamera и RealSenseCamera поддерживают автоматическое обнаружение устройств. Выполните команду ниже, чтобы получить список доступных устройств и их идентификаторов. Обратите внимание, что эти идентификаторы могут измениться после перезагрузки компьютера или повторного подключения камеры, в зависимости от вашей операционной системы.

lerobot-find-cameras opencv # or realsense for Intel Realsense cameras

Если подключено две камеры, вывод будет примерно таким:

--- Detected Cameras ---
Camera #0:
  Name: OpenCV Camera @ 0
  Type: OpenCV
  Id: 0
  Backend api: AVFOUNDATION
  Default stream profile:
    Format: 16.0
    Width: 1920
    Height: 1080
    Fps: 15.0
--------------------
(more cameras ...)

При использовании камер Intel RealSense в macOS может возникать ошибка: Error finding RealSense cameras: failed to set power state. Чтобы её устранить, выполните ту же команду с правами sudo. Обратите внимание, что использование камер RealSense в macOS нестабильно.

ZMQCamera и Reachy2Camera не поддерживают автоматическое обнаружение. Их необходимо настроить вручную, указав сетевой адрес и порт или параметры SDK робота.

Расположение камеры и освещение

Изображения с камеры — это то, на основе чего обучается ваша политика, поэтому правильная настройка камеры важнее высокого разрешения:

• Освещайте сцену равномерно. Используйте рассеянный, стабильный свет и избегайте прямого солнечного света, сильных бликов и движущихся теней. Различия в освещении между записью и эксплуатацией могут привести к сбою политики.
• Закрепите камеры. Установите их жёстко и не перемещайте между сессиями записи, а также между записью и развёртыванием.
• Определите задачу. Объект, захват и цель должны быть видны как минимум в одной камере. Хороший тест: смогли бы вы выполнить задачу, глядя только на изображения с камер?
• Держите разрешение умеренным. 640×480 при 30 кадрах в секунду достаточно для большинства задач и позволяет ускорить запись и обучение.

Использование камер

Режимы доступа к кадрам

Все классы камер реализуют три режима доступа для захвата кадров:

Примеры использования

Приведённые ниже примеры показывают, как использовать API камеры для настройки и захвата кадров с различных типов камер.

• Блокирующая и неблокирующая захват кадров с камерой на базе OpenCV
• Захват цвета и глубины с помощью камеры Intel RealSense

Некорректное отключение камер может привести к утечкам ресурсов. Используйте протокол менеджера контекста для обеспечения автоматической очистки:

Скопировано

with OpenCVCamera(config) as camera:
    ...

Вы также можете вызывать connect() и disconnect() вручную, но для последнего всегда используйте блок finally.

from lerobot.cameras.opencv import OpenCVCamera, OpenCVCameraConfig
from lerobot.cameras import ColorMode, Cv2Rotation

# Construct an `OpenCVCameraConfig` with your desired FPS, resolution, color mode, and rotation.
config = OpenCVCameraConfig(
    index_or_path=0,
    fps=15,
    width=1920,
    height=1080,
    color_mode=ColorMode.RGB,
    rotation=Cv2Rotation.NO_ROTATION
)

# Instantiate and connect an `OpenCVCamera`, performing a warm-up read (default).
with OpenCVCamera(config) as camera:

    # Read a frame synchronously — blocks until hardware delivers a new frame
    frame = camera.read()
    print(f"read() call returned frame with shape:", frame.shape)

    # Read a frame asynchronously with a timeout — returns the latest unconsumed frame or waits up to timeout_ms for a new one
    try:
        for i in range(10):
            frame = camera.async_read(timeout_ms=200)
            print(f"async_read call returned frame {i} with shape:", frame.shape)
    except TimeoutError as e:
        print(f"No frame received within timeout: {e}")

    # Instantly return a frame - returns the most recent frame captured by the camera
    try:
        initial_frame = camera.read_latest(max_age_ms=1000)
        for i in range(10):
            frame = camera.read_latest(max_age_ms=1000)
            print(f"read_latest call returned frame {i} with shape:", frame.shape)
            print(f"Was a new frame received by the camera? {not (initial_frame == frame).any()}")
    except TimeoutError as e:
        print(f"Frame too old: {e}")

from lerobot.cameras.realsense import RealSenseCamera, RealSenseCameraConfig
from lerobot.cameras import ColorMode, Cv2Rotation

# Create a `RealSenseCameraConfig` specifying your camera’s serial number and enabling depth.
config = RealSenseCameraConfig(
    serial_number_or_name="233522074606",
    fps=15,
    width=640,
    height=480,
    color_mode=ColorMode.RGB,
    use_depth=True,
    # Optional fixed color controls. Omit them to leave the current sensor settings unchanged.
    exposure=120,
    gain=64,
    white_balance=4600,
    rotation=Cv2Rotation.NO_ROTATION
)

# Instantiate and connect a `RealSenseCamera` with warm-up read (default).
camera = RealSenseCamera(config)
camera.connect()

# Capture a color frame via `read()` and a depth map via `read_depth()`.
try:
    color_frame = camera.read()
    depth_map = camera.read_depth()
    print("Color frame shape:", color_frame.shape)
    print("Depth map shape:", depth_map.shape)
finally:
    camera.disconnect()

Работа с глубиной

Камеры Intel RealSense и Reachy 2 могут захватывать цветные и глубинные данные синхронно. Вызов read() возвращает кадр color в формате (H, W, 3) uint8. Вызов read_depth() возвращает карту глубины в формате (H, W, 1) uint16, где значение каждого пикселя представляет расстояние от датчика, выраженное в миллиметрах. Значение пикселя 0 обычно означает «измерение недоступно» (вне диапазона, перекрыто или низкая уверенность).

Во время записи контрольный цикл неблокирующе считывает самые свежие кадры из буфера с помощью read_latest() (цвет) и read_latest_depth() (глубина), добавляя карту глубины как соседний признак (например, front_depth рядом с front).

Сведения о том, как потоки глубины хранятся и кодируются при записи набора данных, приведены в разделе Depth streams руководства по кодированию видео.

Используйте камеру вашего телефона

sudo apt install v4l2loopback-dkms v4l-utils

Если всё настроено правильно, ваш телефон будет отображаться как стандартная камера OpenCV и сможет использоваться с OpenCVCamera.