Tiefgehende Analyse der Yinglongxin 2UK2 Binokularkamera mit großem Dynamikbereich

Vereinfacht ausgedrückt besteht sie aus zwei Kameras, die typischerweise im Abstand der Hälfte des Abstands zwischen menschlichen Augen angeordnet sind und das menschliche Sehen simulieren. Durch die gleichzeitige Aufnahme von Bildern aus zwei verschiedenen Perspektiven und die Verwendung von Algorithmen zur Verschmelzung dieser Bilder zu einem einzigen Bild mit Tiefen- und Farbinformationen wird ein realistischerer 3D-visueller Effekt erzielt.

In Bereichen wie maschinelles Sehen, intelligente Erkennung und räumliche Wahrnehmung sind Binokular-Kameras mit ihrer Fähigkeit, Stereo-Bilder wie menschliche Augen zu simulieren, zu Kernkomponenten für die Erfassung von 3D-Rauminformationen geworden. Das Yinglongxin Intelligent 2UK2 Weitbereichs-Binokular-Kameramodul integriert 2-Megapixel-HD-Bildgebung, 90dB Weitbereichsdynamik, ein Drei-Achsen-Gyroskop, Dual-Silizium-Mikrofone und weitere Funktionen. Durch Hardware-Kollaboration und Algorithmus-Optimierung erzielt es eine hochpräzise Wahrnehmung und stabile Ausgabe in komplexen Szenarien. Dieser Artikel wird dieses Modul systematisch aus zwei Aspekten zerlegen: seinem Arbeitsprinzip und seinen technischen Merkmalen.

Der 2UK2 verwendet passive binokulare Visionstechnologie. Seine Kernlogik simuliert den menschlichen binokularen Parallaxen-Entfernungsmechanismus, indem er gleichzeitig Szenenbilder über zwei Kameras erfasst und räumliche Tiefeninformationen berechnet. Seine Hardware-Grundlage besteht aus zwei 2-Megapixel-Sensoren mit einem festen horizontalen Abstand (Basislinienabstand). Die beiden Kameras erfassen gleichzeitig dieselbe Szene aus unterschiedlichen Perspektiven und erzeugen zwei Bilder mit einer Auflösung von 1920×1080 (linker und rechter Kanal), die dann horizontal zusammengefügt werden, um einen zusammengesetzten Videostream von 3840×1080@30FPS auszugeben.

Der Kern der Tiefenberechnung liegt in der Parallaxenberechnung und Triangulation: Das System verwendet einen Algorithmus zur Merkmalserkennung, um die Pixelpositionen entsprechender Objekte in den linken und rechten Bildern zu lokalisieren und die Disparität zwischen ihnen zu berechnen – den Pixelversatz desselben Objekts in den linken und rechten Bildern. In Kombination mit bekannten Parametern wie dem Basislinienabstand der Dualkamera und der Brennweite des Objektivs verwendet das System Triangulationsformeln, um die 3D-Koordinaten des Objekts umgekehrt abzuleiten. Die Disparität ist umgekehrt proportional zur Entfernung; je geringer die Entfernung, desto größer die Disparität. In Kombination mit der hochauflösenden Auflösung von 2 Megapixeln kann eine Tiefenpositionierungsgenauigkeit im Millimeterbereich erreicht werden. Gleichzeitig sorgt die Bildrate von 30 Bildern pro Sekunde für Echtzeit-Updates der Tiefeninformationen und erfüllt damit die Wahrnehmungsanforderungen in dynamischen Szenen.

Die Wide Dynamic Range (WDR)-Technologie zielt darauf ab, das Problem der Bildverzerrung in Szenen mit sowohl starkem als auch schwachem Licht zu lösen. Ein Dynamikbereich von 90 dB bedeutet, dass die Kamera ein Beleuchtungsverhältnis von 3162:1 zwischen den hellsten und dunkelsten Bereichen erkennen kann (dB = 20log(hellste Beleuchtung/dunkelste Beleuchtung), was weit über den Bereich des normalen menschlichen Sehvermögens hinausgeht. Der 2UK20 verwendet eine Sensor-basierte Multi-Frame-Belichtungsfusions-Technologie, die zur Kategorie des echten Wide Dynamic Range gehört und sich von der Software-Interpolationsoptimierung des traditionellen digitalen Wide Dynamic Range unterscheidet.

Sein Workflow sieht wie folgt aus: Der Sensor erfasst schnell zwei (oder mehr) Bilder mit unterschiedlichen Belichtungszeiten für dieselbe Szene. Ein Bild verwendet eine kurze Belichtung, um Details in hellen Bereichen zu erfassen und Überbelichtung zu vermeiden; das andere Bild verwendet eine lange Belichtung, um Informationen in dunklen Bereichen wiederherzustellen und Unterbelichtung auszugleichen. Durch den pixelbasierten Fusionsalgorithmus des DSP-Chips werden die effektiven Pixelinformationen aus den beiden Bildern extrahiert und verzerrte Pixel in über- und unterbelichteten Bereichen entfernt, wodurch schließlich ein Bild mit klaren Details in hellen und dunklen Bereichen synthetisiert wird, das für komplexe Lichtverhältnisse wie Gegenlicht, direktes starkes Licht und verschattete Bereiche geeignet ist.

Das integrierte Drei-Achsen-Gyroskop (IMU) des Moduls kann die Winkelgeschwindigkeit und die lineare Beschleunigung des Geräts mit hoher Frequenz erfassen, weit über der Bildrate der visuellen Erfassung. Seine Kernfunktion ist die Kompensation der Nachteile des binokularen Sehens in dynamischen Szenen. Binokulare Sehsysteme neigen zu Problemen wie fehlerhaftem Feature-Point-Matching und Lücken bei der Tiefenberechnung bei schnellen Bewegungen, wenn sie auf fehlende Texturen in der Szene stoßen oder vorübergehende Verdeckungen auftreten. Das Gyroskop kann Echtzeitdaten über die Lagewechsel des Geräts ausgeben und so eine kollaborative Kompensation von "Vision + Inertia" erreichen.

Durch Datenfusionsalgorithmen kann die Lageregelungsdaten des Gyroskops die Positionsverschiebung des nächsten Frames vorhersagen und so das binokulare System beim schnellen Erfassen von Merkmalspunkten unterstützen und Bewegungsunschärfe-bedingte Bildfehler korrigieren. Gleichzeitig, wenn visuelle Informationen kurzzeitig verloren gehen, erhalten die Gyroskopdaten die Schätzung der Gerätepose aufrecht und vermeiden Unterbrechungen bei der Tiefenberechnung. Diese Fusionsarchitektur bildet einen komplementären Vorteil von "visueller Kalibrierung des Trägheitsdrifts und Trägheitskompensation von visuellen Blindstellen", wodurch die Wahrnehmungsstabilität in dynamischen Szenen verbessert wird.

Die integrierten Dual-Siliziummikrofone verwenden ein Array-Layout und setzen auf Beamforming-Technologie, um gerichtete Schallaufnahme und Geräuschunterdrückung zu erzielen. Die beiden Mikrofone erfassen gleichzeitig Audiosignale, und Algorithmen berechnen die Phasen- und Zeitunterschiede zwischen den beiden Signalen, um die Richtung der Schallquelle genau zu lokalisieren. Gleichzeitig wird eine Phasenlöschung für Umgebungsgeräusche durchgeführt – Geräusche aus nicht-zielgerichteten Richtungen (wie Luftstromgeräusche und Hintergrundgeräusche) werden durch Signalumkehrung und Überlagerung unterdrückt, während die Zielschallquelle verstärkt wird.

Audioerfassung und visuelle Bildgebung bilden einen synchronisierten Audio-visuellen Datenstrom. Die Kalibrierung der Timing-Hardware auf Hardwareebene gewährleistet eine präzise Ausrichtung von Ton- und Bildframes und bietet grundlegende Unterstützung für die audio-visuelle Fusionsanalyse (wie Lippenlesen, Schallquellenlokalisierung und Bildsynchronisation), wodurch die Synchronisationsverzögerungsprobleme herkömmlicher separater audio-visueller Geräte vermieden werden.

Das Modul ist mit zwei 2-Megapixel-CMOS-Sensoren ausgestattet, die pro Kanal Bilder mit einer Auflösung von 1920×1080 ausgeben. Durch horizontale Zusammenfügung entsteht ein ultraweites Bild mit 3840×1080 Pixeln, dessen Pixeldichte ausreicht, um Details kleiner Ziele zu erfassen. Die Sensoren verwenden eine Sensorgröße von 1/2,9 Zoll mit einer Pixelgröße von 2,8 µm. In Kombination mit optimierter lichtempfindlicher Schaltung erreicht das Signal-Rausch-Verhältnis unter schlechten Lichtverhältnissen 38 dB, wodurch die Bildklarheit erhalten bleibt und Rauschstörungen auch in Umgebungen mit wenig Licht reduziert werden.

Eine stabile Bildrate von 30 FPS deckt die Anforderungen typischer dynamischer Szenen vollständig ab. Die Hardware-Level-Frame-Synchronisationstechnologie stellt sicher, dass der Timing-Fehler der Dual-Kamera-Aufnahme innerhalb von Mikrosekunden gesteuert wird, wodurch Parallaxenberechnungsabweichungen durch Frame-Asynchronität vermieden werden und eine grundlegende Garantie für die Genauigkeit der Tiefenmessung gegeben ist. Sie unterstützt auch die verlustfreie RAW-Format-Ausgabe, wodurch mehr Bilddetails erhalten bleiben und Raum für die Optimierung von Backend-Algorithmen geschaffen wird.

Der weite Dynamikbereich von 90 dB liegt im mittleren Bereich für industrielle Anwendungen. Durch die native Multi-Frame-Belichtungstechnologie des Sensors bietet er eine höhere Bildtreue und Detailgenauigkeit im Vergleich zu digitalem Wide Dynamic Range (dWDR), ohne Über-Schärfung oder Farbverzerrungen. In Szenarien mit starkem Licht und Gegenlicht, wie z. B. bei der Zugangskontrolle, der Außenüberwachung und in Fahrzeugkamerasystemen, kann er sowohl Gesichtsmerkmale als auch die Hintergrundumgebung klar darstellen und vermeidet die Schwachstellen herkömmlicher Kameras wie "überbelichtete helle Bereiche und unterbelichtete dunkle Bereiche".

Die tiefe Zusammenarbeit zwischen dem Algorithmus mit großem Dynamikbereich und dem Sensor ermöglicht eine automatische Belichtungsanpassung, die die Belichtungsdauer dynamisch an die Lichtintensität der Szene anpasst. Sie passt sich an eine Vielzahl von Lichtverhältnissen an, von direkter Sonneneinstrahlung (wie Mittagssonne) bis hin zu Umgebungen mit wenig Licht (wie Innenräume bei Nacht), und liefert stabil klare Bilder ohne manuelles Eingreifen.

Die Einführung eines Drei-Achsen-Gyroskops ermöglicht es dem Modul, die Bewegungshaltung wahrzunehmen und die Nick-, Roll- und Gierbewegungen des Geräts in Echtzeit zu überwachen, wobei Abtastfrequenzen im Kilohertz-Bereich erreicht werden. In dynamischen Anwendungen wie mobilen Robotern, Handgeräten und fahrzeugmontierten Szenarien wirkt es effektiv dem durch Gerätezittern verursachten Bildunschärfe entgegen und unterstützt binokulare Systeme bei der Verfolgung bewegter Ziele und der genauen Abstandsmessung.

Diese Fusionsarchitektur verwendet einen vierstufigen Verarbeitungsmechanismus: Sensorebene – Vorverarbeitungsebene – Fusionsebene – Optimierungsebene. Gyroskopdaten werden zur Echtzeitkalibrierung visueller Daten verwendet, wodurch Bewegungsfehler bei Parallaxenberechnungen korrigiert werden. Dies stellt sicher, dass die Dämpfung der Tiefenmessgenauigkeit auch in schnell bewegten oder vibrierenden Umgebungen innerhalb von 5 % kontrolliert wird, was reine binokulare Vision-Systeme deutlich übertrifft.

Das Modul wird mit einem standardmäßigen 90°-Weitwinkelobjektiv geliefert, das die Anforderungen an die Sichtfeldabdeckung für die meisten allgemeinen Szenarien erfüllt. Es bietet auch eine reiche Auswahl an optionalen Objektiven, die verschiedene Sichtfeldwinkel und Verzerrungskontrollstufen abdecken und sich an verschiedene Anwendungsszenarien anpassen. Die verzerrungsfreien Objektive der Serie (45°, 60°, 89°, 100°) verwenden ein optisches Design mit geringer Verzerrung, wobei die Verzerrungsraten streng auf unter 0,5 % kontrolliert werden, um die Erhaltung der geometrischen Bildintegrität zu maximieren. Dies macht sie für Szenarien geeignet, die empfindlich auf Bildverzerrungen reagieren, wie z. B. maschinelle Sichtmessungen und hochpräzise Gesichtserkennung. Das 120°-Objektiv mit Mikro-Verzerrung minimiert die Verzerrung bei gleichzeitiger Beibehaltung eines weiten Sichtfelds und gleicht die Szenenabdeckung und Bildgenauigkeit aus, wodurch es sich für die Panoramaerfassung in mittleren bis großen Räumen wie Ausstellungs- und Konferenzräumen eignet. Das 165°-Weitwinkelobjektiv ermöglicht die Erfassung großflächiger Szenen und passt sich an die Anforderungen der Außenüberwachung und der Abdeckung großer Veranstaltungsorte an. Das 220°-Globalobjektiv verwendet eine Fischaugen-Optikstruktur, die eine Panoramaerfassung nahezu ohne tote Winkel ermöglicht. In Kombination mit KI-Stitching-Algorithmen kann es das gesamte Sichtfeld in geschlossenen Räumen abdecken und eignet sich für VR-Szenarien, die Überwachung kleiner Serverräume und andere spezielle Szenarien.

Alle Objektive verwenden die M12-Standard-Schnittstelle, was eine bequeme Installation und Demontage sowie eine starke Kompatibilität bietet. Sie unterstützen auch optionale Schmalbandfilter wie 850-nm-Infrarotfilter, erweitern die Infrarot-Bildgebungsfähigkeiten und passen sich an Szenarien mit schlechten Lichtverhältnissen wie die nächtliche Gesichtserkennung an. Dank eines einheitlichen optischen Kalibrierungsschemas kann unabhängig vom verwendeten Objektiv ein geringes Verzerrungsniveau von weniger als 0,5 % aufrechterhalten werden, wodurch die Auswirkungen der geometrischen Bildverzerrung auf die binokulare Parallaxenberechnung und Tiefenmessung effektiv reduziert werden. Dies gewährleistet eine konsistente Wahrnehmungsgenauigkeit über verschiedene Objektivkonfigurationen hinweg und bietet eine stabile Bildgrundlage für die Optimierung von Backend-Algorithmen.

Die integrierten Dual-Silizium-Mikrofone verwenden eine industrielle Rauschunterdr{\"u\"}sungsl{\"o\"}sung, die die Rauschunterdr{\"u\"}ckung im Vergleich zur Aufnahme mit einem einzelnen Mikrofon um {\"u\"}ber 40% verbessert. Dies erreicht eine Genauigkeit von {\"u\"}ber 95% bei der Erkennung menschlicher Stimmen selbst in lauten Umgebungen von 60 dB (wie z.B. Werkst{\"a\"}tten und {\"o\"}ffentlichen Pl{\"a\"}tzen). Die dynamische Verst{\"a\"}rkungsanpassungstechnologie passt sich automatisch an Schallquellen unterschiedlicher Lautst{\"a\"}rken an und vermeidet so eine unklare Aufnahme von leiser Sprache und Verzerrungen bei lauter Sprache.

Die Audio-Video-Synchronisation nutzt Hardware-Timing-Kalibrierung mit einer Latenz von unter 10 ms. Dies ermöglicht die Lokalisierung von Schallquellen und die Verknüpfung von Bildern – nach der Ermittlung der Schallquellenposition durch Schallphasendifferenz wird diese mit binokularem Sehen verknüpft, um sich auf den Zielbereich zu konzentrieren. Dies eignet sich für Szenarien, die eine kollaborative Audio-Video-Analyse erfordern, wie z. B. intelligente Überwachung und Mensch-Computer-Interaktion.

Das Yinglongxin 2UK2-Modul mit seinem großen Dynamikbereich, seiner hochpräzisen Tiefenwahrnehmung und seinen audiovisuellen Kollaborationsfunktionen ist breit einsetzbar in verschiedenen Bereichen wie Zutrittskontroll- und Zeiterfassungssystemen, intelligenten Robotern, Fahrzeugvision und Sicherheitsüberwachung. In Zutrittskontrollszenarien kann die Kombination aus großem Dynamikbereich und Infrarotobjektiven die Herausforderungen der Gesichtserkennung bei Gegenlicht und in der Nacht lösen; im Bereich mobiler Roboter können Gyroskop und binokulare Fusion die Genauigkeit der Navigation und Hindernisvermeidung verbessern; in Fahrzeugszenarien können Ultra-Weitwinkel-Bildgebung und dynamische Kompensation Funktionen wie Fahrspurerkennung und Abstandsmessung zu Hindernissen realisieren.

Der Kernwert dieses Moduls liegt darin, die Anwendungsgrenzen von einzelnen Seh- oder Audiogeräten durch die Integration von Hardwarefunktionen und die kollaborative Optimierung von Algorithmen zu überwinden. Mit seinen umfassenden Fähigkeiten "Hochauflösende Bildgebung + präzise Entfernungsmessung + stabile Haltung + klare Tonaufnahme" erfüllt es die intelligenten Wahrnehmungsanforderungen in komplexen Szenarien und bietet eine hochzuverlässige zugrunde liegende Wahrnehmungslösung für Endgeräte.