Подробное объяснение интерфейса сигнала синхронизации бинокулярной камеры: достижение точного выравнивания экспозиции левого и правого изображений

В таких приложениях, как 3D-восприятие глубины, SLAM для роботов, навигация мобильных AGV, аэрофотосъёмка с беспилотных летательных аппаратов и промышленный онлайн-контроль, бинокулярные камеры используют disparity левого и правого видов для вычисления 3D-информации. Если между временем начала экспозиции левого и правого сенсоров изображения существует разница во времени, объект будет иметь позиционное отклонение на изображении, что вызывает искажение при вычислении параллакса. В условиях высокоскоростного движения эта ошибка будет дополнительно усилена.

Для достижения точного выравнивания бинокулярных изображений управление синхронизацией в основном осуществляется через интерфейсы синхронизирующих сигналов. Различные интерфейсы синхронизации имеют значительные различия в точности синхронизации, способах подключения, дальности передачи и помехоустойчивости. Разумный выбор схемы интерфейса синхронизации является ключом к обеспечению стабильного и надежного вывода данных бинокулярной глубины. В данной статье систематически упорядочены обычно используемые типы интерфейсов синхронизирующих сигналов для бинокулярных камер, проанализированы принципы и границы инженерного применения различных схем.

Этот тип сигнала напрямую подключён к датчику изображения, что является основой для достижения ведуще-ведомой синхронизации внутри модуля. Обычно он выводится через FPC-кабели и служит базовым сигналом для аппаратной синхронизации бинокулярной системы.

FSYNC и FSIN являются ключевыми сигналами для аппаратной синхронизации бинокулярной системы, где FSIN выступает в качестве входа запуска, а FSYNC — в качестве выхода кадровой синхронизации, инициируя экспозицию сенсора на основе управления фронтом импульса. В проекте обычно используется архитектура «ведущий-ведомый»: основная камера выдает импульсы FSYNC, а дополнительная камера подключается к FSIN для приема сигналов запуска, обеспечивая синхронную экспозицию левого и правого сенсоров с точностью синхронизации до микросекунд. Уровни сигналов обычно составляют 1,8 В и 3,3 В, что является предпочтительной схемой синхронизации для бинокулярных модулей с глобальным затвором.

Отличительная особенность: FSYNC напрямую управляет запуском экспозиции, имеет более высокий приоритет, чем VSYNC, и является ключевым сигналом для высокоточного получения данных о глубине.

VSYNC обозначает начальную позицию кадра изображения и выдаёт импульс один раз за кадр. Может использоваться для выравнивания временных меток кадров изображения, а также поддерживает внешний вывод опорных сигналов синхронизации. Однако VSYNC лишь обозначает начало вывода данных кадра и не может напрямую управлять временем экспозиции. Он в основном используется для вспомогательной калибровки синхронизации и не применяется в качестве основного сигнала синхронизации экспозиции бинокулярной системы.

HSYNC — это сигнал синхронизации данных пикселей одной строки, используемый для внутреннего анализа синхронизации потоков данных изображения и обычно не применяемый для синхронизации экспозиции между бинокулярными камерами.

Датчик выдает эффективный уровень на этапе экспозиции, в основном используется для синхронизации внешней лазерной подсветки и импульсных светодиодных источников света. Он также может использоваться в качестве опорного сигнала состояния синхронизации и широко применяется в бинокулярных решениях со структурированным светом.

Реализация импульсных сигналов TTL на основе GPIO общего назначения, разделенных на синхронный вход Sync-IN и синхронный выход Sync-OUT. Главный контроллер выдает триггерные импульсы для синхронного управления левой и правой камерами, поддерживая объединение в сеть нескольких комплектов бинокулярных модулей. Промышленная версия может быть дополнена оптронной развязкой, поддерживает широкий диапазон входного напряжения 0-24 В и повышает помехоустойчивость в сложных условиях эксплуатации на объекте.

Серийное производство бинокулярных модулей приведёт к стандартизации синхронных сигналов на разъёмах для упрощения интеграции всего устройства. Разные разъёмы подходят для разных сценариев применения.

Основной выбор для промышленных бинокулярных систем, мобильных роботов и сценариев AGV. Интеграция контактов SYNC IN, SYNC OUT, питание GND. Отличные экранирующие свойства, устойчивость к вибрации, подходит для жёсткой синхронной проводки на стороне устройства.

Промышленный Ethernet-интерфейс с двойным целевым назначением, объединяющий вход/выход триггера и питание, обычно используется для цехового контроля и бинокулярных устройств визуальных измерений.

Решение для бинокулярной передачи на большие расстояния: канал AUX передает независимые сигналы синхронизации, поддерживает звездообразную и цепочечную топологию сети из нескольких камер, подходит для сценариев установки с длинными жгутами проводов.

Встроенный часто используемый интерфейс бинокуляра, независимый вывод SYNC IN, SYNC OUT, GND, удобство подключения и отладки, подходит для разработки прототипов и быстрой проверки.

Решение со встроенным модулем MIPI CSI напрямую извлекает сигналы синхронизации FSYNC и GPIO с контактов ленточного кабеля; компактный размер подходит для роботов, дронов и миниатюрных бинокулярных устройств IPC.

В сценариях передачи на большие расстояния микросхемы SerDes могут встраивать синхронизирующие сигналы в линии передачи данных изображения, сокращая количество внешних жгутов проводов.

Канал передачи SerDes может передавать синхронные тактовые сигналы, сохраняя при этом независимые выводы для запуска сигналов FSYNC, что обеспечивает баланс между передачей на большие расстояния и надёжностью синхронизации.

Канал MIPI CSI-2 отвечает только за передачу данных пиксельного изображения, а для запуска экспозиции по-прежнему требуется отдельная аппаратная линия FSYNC/GPIO; новое поколение схем дальней передачи MIPI поддерживает передачу на большие расстояния и оснащено механизмом синхронизации по времени.

Важное напоминание: встроенная синхронизация относится к методу передачи синхронизации. Если требуется выравнивание экспозиции на уровне микросекунд, всё ещё необходимы аппаратные триггерные импульсы.

Сетевая портовая бинокулярная камера может использовать точный протокол времени PTP, полагаясь на сетевые кабели для достижения выравнивания временных меток нескольких камер.

Преимущества: Не требуется установка дополнительных линий сигнала синхронизации, что упрощает развертывание сетей с несколькими камерами;

Недостаток: Достигается только выравнивание временных меток, а не аппаратная синхронизация запуска экспозиции, точность синхронизации составляет десятки микросекунд. В сценах с высокоскоростным движением возможны ошибки глубины, поэтому решение больше подходит для статических сцен обнаружения. Высокоскоростной SLAM и 3D-измерение движущихся объектов не рекомендуются.

1. Бинокулярный модуль с роллинг-затвором, в большинстве сценариев не требует аппаратной синхронизации FSYNC, полагаясь на выравнивание по программным временным меткам; **При использовании бинокулярной системы с глобальным затвором для высокоточного измерения глубины необходимо применять аппаратную импульсную синхронизацию FSYNC.

2. Проектирование проводки: для маршрутизации синхронных сигналов требуется общая земля; при передаче по длинным линиям предпочтение отдаётся дифференциальным сигналам или триггеру с оптронной развязкой для снижения синхронного дрожания, вызванного электромагнитными помехами.

3. Выбор уровня: уровень кристалла датчика в основном составляет 1,8 В, а GPIO модуля обычно использует 3,3 В; промышленная изолированная версия поддерживает широкий диапазон входного напряжения 0-24 В.

Единого универсального решения для интерфейса синхронизации бинокулярных камер не существует, и выбор требует комплексной оценки с учётом сценария применения. В сценариях статического обнаружения можно использовать сетевую синхронизацию времени PTP; для высокоточных сценариев, таких как роботы, беспилотные летательные аппараты и высокоскоростные 3D-измерения, предпочтительна аппаратная импульсная синхронизация FSYNC. С учётом дальности передачи, условий вибрации и затрат на прокладку кабелей всего устройства, в сочетании с адаптированным физическим интерфейсом, это позволяет максимально повысить стабильность и минимизировать погрешность выходных данных бинокулярной глубины, в полной мере используя преимущества бинокулярного зрения в области 3D-восприятия.