Углубленный анализ бинокулярной камеры Yinglongxin 2UK2 с широким динамическим диапазоном

Проще говоря, она состоит из двух камер, обычно расположенных на расстоянии половины расстояния между человеческими глазами, имитируя человеческое зрение. Путем одновременного захвата изображений с двух разных перспектив и использования алгоритмов для их слияния в одно изображение с информацией о глубине и цвете достигается более реалистичный 3D-визуальный эффект.

В таких областях, как машинное зрение, интеллектуальное распознавание и пространственное восприятие, бинокулярные камеры, благодаря своей способности имитировать стереоскопическое изображение, подобно человеческим глазам, стали основными устройствами для получения 3D-пространственной информации. Модуль бинокулярной камеры Yinglongxin Intelligent 2UK2 с широким динамическим диапазоном объединяет в себе высококачественное изображение с разрешением 2 мегапикселя, широкий динамический диапазон 90 дБ, трехосевой гироскоп, два кремниевых микрофона и другие функции. Благодаря аппаратному взаимодействию и оптимизации алгоритмов он обеспечивает высокоточное восприятие и стабильный вывод в сложных сценариях. В этой статье мы систематически разберем этот модуль с двух точек зрения: его принцип работы и технические особенности.

2UK2 использует пассивную бинокулярную технологию. Его основная логика имитирует механизм бинокулярного параллактического измерения расстояния у человека, одновременно получая изображения сцены через двойные камеры и вычисляя пространственную глубину. Его аппаратная основа состоит из двух 2-мегапиксельных датчиков с фиксированным горизонтальным расстоянием (базовым расстоянием). Две камеры одновременно захватывают одну и ту же сцену с разных точек зрения, генерируя два изображения с разрешением 1920×1080 (левый и правый каналы), которые затем горизонтально сшиваются для вывода составного видеопотока 3840×1080@30FPS.

Суть расчета глубины заключается в расчете параллакса и триангуляции: Система использует алгоритм сопоставления признаков для определения пиксельных положений соответствующих объектов на левом и правом изображениях, вычисляя разницу между ними — смещение пикселей одного и того же объекта на левом и правом изображениях. Используя известные параметры, такие как расстояние между осями двух камер и фокусное расстояние объектива, система применяет формулы триангуляции для обратного определения 3D-координат объекта. Разница обратно пропорциональна расстоянию; чем меньше расстояние, тем больше разница. В сочетании с высоким разрешением 2 мегапикселя достигается точность определения глубины на миллиметровом уровне. Между тем, частота кадров 30 FPS обеспечивает обновление информации о глубине в реальном времени, удовлетворяя потребности восприятия в динамических сценах.

Технология широкого динамического диапазона (WDR) предназначена для решения проблемы искажения изображения в сценах с сильным и слабым освещением. Динамический диапазон 90 дБ означает, что камера может распознавать соотношение освещенности 3162:1 между самой яркой и самой темной областями (дБ = 20log(самая яркая освещенность/самая темная освещенность), что значительно превосходит диапазон нормального человеческого зрения. 2UK20 использует технологию слияния многокадровой экспозиции на уровне сенсора, относящуюся к категории истинного широкого динамического диапазона, которая отличается от программной интерполяционной оптимизации традиционного цифрового широкого динамического диапазона.

Его рабочий процесс выглядит следующим образом: датчик быстро получает два (или более) кадра изображений с разной выдержкой для одной и той же сцены. Один кадр использует короткую выдержку для захвата деталей в ярких областях, избегая переэкспонирования; другой кадр использует длинную выдержку для восстановления информации в темных областях, компенсируя недоэкспонирование. С помощью алгоритма слияния на уровне пикселей чипа DSP извлекается эффективная информация пикселей из двух кадров, удаляются искаженные пиксели в переэкспонированных и недоэкспонированных областях, и, наконец, синтезируется изображение с четкими деталями как в ярких, так и в темных областях, адаптируемое к сложным условиям освещения, таким как контровой свет, прямой сильный свет и чередующиеся тени.

Встроенный в модуль трехосевой гироскоп (IMU) способен с высокой частотой получать данные об угловой скорости и линейном ускорении устройства, что значительно превосходит частоту кадров визуального восприятия. Его основная функция заключается в компенсации недостатков бинокулярного зрения в динамичных сценах. Системы бинокулярного зрения склонны к таким проблемам, как сбои в сопоставлении характерных точек и пробелы в расчете глубины при быстром движении, столкновении с отсутствием текстур в сцене или временной окклюзии. Гироскоп может выдавать данные об изменении положения устройства в реальном времени, обеспечивая совместную компенсацию "зрение + инерция".

Благодаря алгоритмам слияния данных, данные о положении гироскопа могут предсказывать смещение следующего кадра, помогая бинокулярной системе быстро фиксировать опорные точки и корректировать ошибки изображения, вызванные размытием в движении. Одновременно, при кратковременной потере визуальной информации, данные гироскопа поддерживают оценку положения устройства, избегая прерываний в расчете глубины. Эта архитектура слияния создает комплементарное преимущество: "визуальная калибровка инерционного дрейфа и инерционная компенсация визуальных слепых зон", повышая стабильность восприятия в динамических сценах.

Встроенные двойные кремниевые микрофоны имеют массивную компоновку, используя технологию формирования луча для достижения направленного захвата звука и шумоподавления. Два микрофона одновременно получают звуковые сигналы, а алгоритмы рассчитывают разницу фаз и времени между двумя сигналами для точного определения направления источника звука. Одновременно выполняется фазовое подавление окружающего шума — подавление шума из нецелевых направлений (такого как шум воздушного потока и фоновый шум) путем инверсии и наложения сигналов, одновременно усиливая целевой источник звука.

Захват аудио и визуальное изображение формируют синхронизированный аудиовизуальный поток данных. Аппаратная калибровка времени обеспечивает точное выравнивание звуковых и визуальных кадров, предоставляя фундаментальную поддержку для аудиовизуального слияния (такого как чтение по губам, локализация источника звука и синхронизация изображений), избегая проблем с задержкой синхронизации традиционных отдельных аудиовизуальных устройств.

Модуль оснащен двумя КМОП-сенсорами с разрешением 2 мегапикселя, каждый из которых выдает изображение с разрешением 1920×1080. Горизонтальное сшивание создает сверхширокое изображение 3840×1080 с плотностью пикселей, достаточной для захвата деталей мелких объектов. Сенсоры используют размер матрицы 1/2,9 дюйма с размером пикселя 2,8 мкм. В сочетании с оптимизированной фоточувствительной схемой соотношение сигнал/шум достигает 38 дБ в условиях низкой освещенности, сохраняя четкость изображения и уменьшая шумовые помехи даже в условиях недостаточного освещения.

Стабильная частота кадров 30FPS полностью удовлетворяет потребности типичных динамичных сцен. Технология синхронизации кадров на аппаратном уровне обеспечивает контроль временной ошибки захвата двойной камеры в пределах микросекунд, избегая отклонений в расчетах параллакса, вызванных асинхронностью кадров, что обеспечивает фундаментальную гарантию точности измерения глубины. Она также поддерживает вывод в безпотерьном формате RAW, сохраняя больше деталей изображения и оставляя место для оптимизации алгоритмов на серверной стороне.

Широкий динамический диапазон в 90 дБ находится на среднем уровне для промышленных применений. Используя собственную технологию мультиэкспозиции датчика, он обеспечивает более высокую точность изображения и сохранение деталей по сравнению с цифровым широким динамическим диапазоном (dWDR), без излишнего повышения резкости или искажения цветов. В условиях сильного освещения и контрового света, таких как системы контроля доступа, наружного наблюдения и бортовые системы технического зрения, он может четко отображать как черты лица, так и фоновую среду, избегая проблем традиционных камер, таких как "пересвеченные яркие участки и недоэкспонированные темные участки".

Глубокое сотрудничество между алгоритмом широкого динамического диапазона и датчиком позволяет автоматически регулировать экспозицию, динамически настраивая комбинацию продолжительности экспозиции в зависимости от интенсивности света сцены. Он адаптируется к широкому спектру условий освещения, от прямого солнечного света (например, полуденное солнце) до условий низкой освещенности (например, ночное время в помещении), стабильно выдавая четкие изображения без ручного вмешательства.

Внедрение трехосевого гироскопа позволяет модулю воспринимать положение в пространстве, обеспечивая мониторинг движения устройства по тангажу, крену и рысканию в реальном времени с частотой дискретизации до килогерц. В динамических приложениях, таких как мобильные роботы, портативные устройства и автомобильные системы, он эффективно компенсирует размытие изображения, вызванное вибрацией устройства, помогая бинокулярным системам отслеживать движущиеся цели и точно измерять расстояние.

Эта гибридная архитектура использует четырехуровневый механизм обработки: уровень датчиков — уровень предварительной обработки — уровень слияния — уровень оптимизации. Данные гироскопа используются для калибровки визуальных данных в реальном времени, корректируя ошибки движения при расчете параллакса. Это гарантирует, что затухание точности измерения глубины контролируется в пределах 5% даже в условиях быстрого движения или вибрации, что значительно превосходит возможности чисто бинокулярных систем машинного зрения.

Модуль поставляется со стандартным широкоугольным объективом 90°, отвечающим требованиям охвата поля зрения для большинства общих сценариев. Он также предлагает богатый выбор дополнительных объективов, охватывающих различные углы поля зрения и уровни контроля искажений, адаптируясь к разнообразным сценариям применения. Объективы серии без искажений (45°, 60°, 89°, 100°) используют оптическую конструкцию с низким уровнем искажений, при этом коэффициент искажений строго контролируется в пределах 0,5%, что обеспечивает максимальное сохранение геометрической целостности изображения. Это делает их подходящими для сценариев, чувствительных к искажениям изображения, таких как измерения машинного зрения и высокоточное распознавание лиц. Объектив 120° с минимальными искажениями минимизирует искажения при сохранении широкого поля зрения, балансируя охват сцены и точность изображения, что делает его подходящим для панорамного восприятия в средних и больших помещениях, таких как выставочные залы и конференц-залы. Широкоугольный объектив 165° обеспечивает захват крупномасштабных сцен, адаптируясь к потребностям наружного наблюдения и охвата больших площадок. Глобальный объектив 220° использует оптическую структуру "рыбий глаз", обеспечивая панорамный захват практически без слепых зон. В сочетании с алгоритмами сшивания на основе ИИ он может охватывать все поле зрения в замкнутых пространствах, подходя для сценариев VR, мониторинга небольших серверных комнат и других специальных сценариев.

Все объективы используют стандартный интерфейс M12, что обеспечивает удобство установки и снятия, а также высокую совместимость. Они также поддерживают дополнительные узкополосные фильтры, такие как инфракрасные фильтры 850 нм, расширяя возможности инфракрасной съемки и адаптируясь к условиям низкой освещенности, например, для распознавания лиц в ночное время. Благодаря унифицированной схеме оптической калибровки, независимо от используемого объектива, поддерживается низкий уровень искажений менее 0,5%, что эффективно снижает влияние геометрических искажений изображения на расчет бинокулярного параллакса и измерение глубины. Это обеспечивает постоянную точность восприятия при различных конфигурациях объективов, предоставляя стабильную основу изображения для оптимизации алгоритмов на стороне сервера.

Встроенные двойные кремниевые микрофоны используют промышленное решение шумоподавления, улучшая шумоподавление более чем на 40% по сравнению с записью с одним микрофоном. Это обеспечивает более 95% точности распознавания человеческого голоса даже в шумных условиях до 60 дБ (например, в мастерских и общественных местах). Технология динамической регулировки усиления автоматически адаптируется к источникам звука различной громкости, избегая нечеткой записи тихой речи и искажений от громкой речи.

Аудио-видео синхронизация использует аппаратную калибровку времени с задержкой, контролируемой в пределах 10 мс. Это обеспечивает локализацию источника звука и привязку изображения — после определения положения источника звука по разнице фаз звука, она связывается с бинокулярным зрением для фокусировки на целевой области, что подходит для сценариев, требующих совместного аудио-видео анализа, таких как интеллектуальный мониторинг и взаимодействие человека с компьютером.

Модуль Yinglongxin 2UK2 с широким динамическим диапазоном, высокоточным восприятием глубины и функциями аудиовизуального взаимодействия широко применим в различных областях, таких как системы контроля доступа и учета рабочего времени, интеллектуальные роботы, машинное зрение транспортных средств и системы видеонаблюдения. В сценариях контроля доступа сочетание широкого динамического диапазона и инфракрасных линз позволяет решать проблемы распознавания лиц при контровом освещении и в ночное время; в области мобильных роботов гироскоп и бинокулярное слияние повышают точность навигации и обхода препятствий; в автомобильных сценариях сверхширокое изображение и динамическая компенсация позволяют реализовать такие функции, как распознавание линий разметки и измерение расстояния до препятствий.

Основная ценность этого модуля заключается в преодолении ограничений приложений однофункциональных устройств визуального или аудио восприятия через интеграцию аппаратных функций и совместную оптимизацию алгоритмов. С его комплексными возможностями "высокое разрешение изображения + точное измерение расстояния + стабильное положение + четкий прием звука" он удовлетворяет потребности в интеллектуальном восприятии в сложных сценариях, предоставляя высоконадежное базовое решение для восприятия терминальных устройств.