Analisi approfondita della telecamera binoculare ad ampia gamma dinamica Yinglongxin 2UK2

In parole povere, è composta da due telecamere, tipicamente distanziate a metà della distanza tra gli occhi umani, simulando la visione umana. Catturando simultaneamente immagini da due prospettive diverse e utilizzando algoritmi per fonderle in un'unica immagine con informazioni di profondità e colore, si ottiene un effetto visivo 3D più realistico.

Nei campi quali la visione artificiale, il riconoscimento intelligente e la percezione spaziale, le telecamere binoculari, con la loro capacità di simulare l'imaging stereoscopico come gli occhi umani, sono diventate dispositivi fondamentali per l'acquisizione di informazioni spaziali 3D. Il modulo telecamera binoculare Yinglongxin Intelligent 2UK2 ad ampia gamma dinamica integra imaging ad alta definizione da 2 megapixel, ampia gamma dinamica di 90 dB, un giroscopio a tre assi, doppi microfoni in silicio e altre funzioni. Attraverso la collaborazione hardware e l'ottimizzazione degli algoritmi, raggiunge una percezione ad alta precisione e un output stabile in scenari complessi. Questo articolo analizzerà sistematicamente questo modulo da due aspetti: il suo principio di funzionamento e le sue caratteristiche tecniche.

Il 2UK2 impiega la tecnologia passiva di visione binoculare. La sua logica di base simula il meccanismo umano di misurazione della distanza tramite parallasse binoculare, acquisendo contemporaneamente immagini della scena attraverso doppie telecamere e calcolando informazioni sulla profondità spaziale. La sua base hardware è costituita da due sensori da 2 megapixel con una spaziatura orizzontale fissa (distanza di base). Le due telecamere catturano simultaneamente la stessa scena da prospettive diverse, generando due immagini con risoluzione 1920×1080 (canali sinistro e destro), che vengono poi unite orizzontalmente per produrre un flusso video composito di 3840×1080@30FPS.

Il nucleo del calcolo della profondità risiede nel calcolo della parallasse e nella triangolazione: il sistema utilizza un algoritmo di corrispondenza dei punti caratteristici per localizzare le posizioni dei pixel degli oggetti corrispondenti nelle immagini sinistra e destra, calcolando la disparità tra di essi, ovvero lo spostamento dei pixel dello stesso oggetto nelle immagini sinistra e destra. Combinando parametri noti come la distanza di base della doppia fotocamera e la lunghezza focale dell'obiettivo, il sistema utilizza formule di triangolazione per dedurre inversamente le coordinate 3D dell'oggetto. La disparità è inversamente proporzionale alla distanza; più la distanza è ravvicinata, maggiore è la disparità. Combinata con la risoluzione ad alta definizione di 2 megapixel, è possibile ottenere un'accuratezza di posizionamento della profondità a livello di millimetro. Nel frattempo, la frequenza dei fotogrammi di 30 FPS garantisce aggiornamenti in tempo reale delle informazioni sulla profondità, soddisfacendo le esigenze di percezione in scene dinamiche.

La tecnologia Wide Dynamic Range (WDR) mira a risolvere il problema della distorsione dell'immagine in scene con sia luce forte che bassa. Un intervallo dinamico di 90dB significa che la fotocamera può riconoscere un rapporto di illuminazione di 3162:1 tra le aree più luminose e quelle più scure (dB = 20log(illuminazione più luminosa/illuminazione più scura)), superando di gran lunga l'intervallo della normale visione umana. Il 2UK20 utilizza la tecnologia di fusione di esposizione multi-frame a livello di sensore, appartenente alla categoria del vero wide dynamic range, che si differenzia dall'ottimizzazione per interpolazione software del tradizionale wide dynamic range digitale.

Il suo flusso di lavoro è il seguente: Il sensore acquisisce rapidamente due (o più) fotogrammi di immagini con tempi di esposizione diversi per la stessa scena. Un fotogramma utilizza un'esposizione breve per catturare i dettagli nelle aree luminose, evitando la sovraesposizione; l'altro fotogramma utilizza un'esposizione lunga per ripristinare le informazioni nelle aree scure, compensando la sottoesposizione. Attraverso l'algoritmo di fusione a livello di pixel del chip DSP, vengono estratte le informazioni sui pixel efficaci nei due fotogrammi e vengono rimossi i pixel distorti nelle aree sovraesposte e sottoesposte, sintetizzando infine un'immagine con dettagli chiari sia nelle aree luminose che in quelle scure, adattabile a ambienti di illuminazione complessi come retroilluminazione, luce forte diretta e ombre incrociate.

Il giroscopio a tre assi integrato nel modulo (IMU) può acquisire la velocità angolare e i dati di accelerazione lineare del dispositivo ad alta frequenza, superando di gran lunga il frame rate visivo. La sua funzione principale è compensare le carenze della visione binoculare in scene dinamiche. I sistemi di visione binoculare sono inclini a problemi come fallimenti nella corrispondenza dei punti caratteristici e lacune nel calcolo della profondità quando si muovono rapidamente, incontrano texture di scena mancanti o subiscono occlusioni temporanee. Il giroscopio può emettere dati in tempo reale sulla variazione dell'assetto del dispositivo, ottenendo una compensazione collaborativa di "visione + inerzia".

Attraverso algoritmi di fusione dati, i dati di assetto del giroscopio possono prevedere lo spostamento posizionale del frame successivo, assistendo il sistema binoculare nel blocco rapido dei punti di interesse e nella correzione degli errori di imaging causati dal motion blur. Contemporaneamente, quando le informazioni visive vengono perse brevemente, i dati del giroscopio mantengono la stima della posa del dispositivo, evitando interruzioni nel calcolo della profondità. Questa architettura di fusione forma un vantaggio complementare di "calibrazione visiva della deriva inerziale e compensazione inerziale dei punti ciechi visivi", migliorando la stabilità della percezione in scene dinamiche.

I microfoni stereo integrati adottano un layout a matrice, basandosi sulla tecnologia beamforming per ottenere un'acquisizione direzionale del suono e la riduzione del rumore. I due microfoni acquisiscono simultaneamente i segnali sonori e gli algoritmi calcolano le differenze di fase e di tempo tra i due segnali per localizzare con precisione la direzione della sorgente sonora. Contemporaneamente, viene eseguita la cancellazione di fase sul rumore ambientale, sopprimendo il rumore da direzioni non target (come il rumore del flusso d'aria e il rumore di fondo) attraverso l'inversione e la sovrapposizione del segnale, mentre si potenzia la sorgente sonora target.

L'acquisizione audio e l'imaging visivo formano un flusso di dati audio-visivi sincronizzato. La calibrazione temporale a livello hardware garantisce un allineamento preciso dei frame audio e immagine, fornendo un supporto fondamentale per l'analisi di fusione audio-visiva (come la lettura labiale, la localizzazione della sorgente sonora e la sincronizzazione delle immagini), evitando i problemi di ritardo di sincronizzazione dei tradizionali dispositivi audio-visivi separati.

Il modulo è dotato di due sensori CMOS da 2 megapixel, che producono immagini con risoluzione 1920×1080 per canale. Lo stitching orizzontale crea un'immagine ultra-ampia di 3840×1080, con una densità di pixel sufficiente per catturare i dettagli di piccoli bersagli. I sensori utilizzano una dimensione di sensore da 1/2,9 pollici con una dimensione dei pixel di 2,8 µm. In combinazione con un circuito fotosensibile ottimizzato, il rapporto segnale-rumore raggiunge i 38 dB in condizioni di scarsa illuminazione, mantenendo la chiarezza dell'immagine e riducendo le interferenze di rumore anche in ambienti poco illuminati.

Un frame rate stabile di 30 FPS copre pienamente le esigenze delle tipiche scene dinamiche. La tecnologia di sincronizzazione dei frame a livello hardware garantisce che l'errore di temporizzazione dell'acquisizione a doppia fotocamera sia controllato entro i microsecondi, evitando deviazioni nel calcolo della parallasse causate da asincronia dei frame, fornendo una garanzia fondamentale per l'accuratezza della misurazione della profondità. Supporta inoltre l'uscita in formato RAW senza perdita di dati, preservando maggiori dettagli dell'immagine e riservando spazio per l'ottimizzazione degli algoritmi di backend.

La gamma dinamica ampia di 90 dB è a un livello intermedio per applicazioni industriali. Utilizzando la tecnologia nativa di esposizione multi-frame del sensore, offre una maggiore fedeltà dell'immagine e una migliore conservazione dei dettagli rispetto alla gamma dinamica ampia digitale (dWDR), senza sovra-nitidezza o distorsione del colore. In scenari di forte luce e controluce, come il controllo accessi, il monitoraggio esterno e i sistemi di visione montati su veicoli, può presentare chiaramente sia le caratteristiche del viso che l'ambiente di sfondo, evitando i punti dolenti delle telecamere tradizionali come "aree luminose sovraesposte e aree scure sottoesposte".

La profonda collaborazione tra l'algoritmo ad ampio intervallo dinamico e il sensore consente la regolazione automatica dell'esposizione, modificando dinamicamente la combinazione della durata dell'esposizione in base all'intensità luminosa della scena. Si adatta a un'ampia gamma di condizioni di illuminazione, dalla luce solare diretta (come il sole di mezzogiorno) agli ambienti con scarsa illuminazione (come gli interni notturni), producendo immagini nitide in modo stabile senza intervento manuale.

L'introduzione di un giroscopio a tre assi consente al modulo di percepire la postura del movimento, permettendo il monitoraggio in tempo reale del movimento di beccheggio, rollio e imbardata del dispositivo, con frequenze di campionamento che raggiungono il livello dei kilohertz. In applicazioni dinamiche come robot mobili, dispositivi portatili e scenari montati su veicoli, contrasta efficacemente il offuscamento delle immagini causato dal tremolio del dispositivo, assistendo i sistemi binoculare nel raggiungere il tracciamento di obiettivi in movimento e la misurazione accurata della distanza.

Questa architettura di fusione impiega un meccanismo di elaborazione a quattro livelli: livello sensore - livello di pre-elaborazione - livello di fusione - livello di ottimizzazione. I dati del giroscopio vengono utilizzati per calibrare i dati visivi in tempo reale, correggendo gli errori di movimento nei calcoli di parallasse. Questo garantisce che l'attenuazione dell'accuratezza della misurazione della profondità sia controllata entro il 5% anche in ambienti in rapido movimento o vibranti, superando significativamente i sistemi di visione binoculare puri.

Il modulo è dotato di un obiettivo grandangolare predefinito da 90°, che soddisfa i requisiti di copertura del campo visivo della maggior parte degli scenari generali. Offre inoltre una ricca selezione di obiettivi opzionali, che coprono diversi angoli di campo visivo e livelli di controllo della distorsione, adattandosi a diversi scenari applicativi. Gli obiettivi della serie senza distorsione (45°, 60°, 89°, 100°) impiegano un design ottico a bassa distorsione, con tassi di distorsione rigorosamente controllati entro lo 0,5%, massimizzando la conservazione dell'integrità geometrica dell'immagine. Ciò li rende adatti a scenari sensibili alla distorsione dell'immagine, come la misurazione della visione artificiale e il riconoscimento facciale ad alta precisione. L'obiettivo da 120° a micro-distorsione minimizza la distorsione mantenendo un ampio campo visivo, bilanciando la copertura della scena e l'accuratezza dell'imaging, rendendolo adatto alla percezione panoramica in spazi medi e grandi come sale espositive e sale conferenze. L'obiettivo grandangolare da 165° consente l'acquisizione di scene su larga scala, adattandosi alle esigenze di monitoraggio esterno e copertura di grandi sedi. L'obiettivo globale da 220° utilizza una struttura ottica fisheye, ottenendo un'acquisizione panoramica quasi senza punti ciechi. Combinato con algoritmi di stitching AI, può coprire l'intero campo visivo in spazi chiusi, adatto a scenari VR, monitoraggio di piccole sale server e altri scenari speciali.

Tutti gli obiettivi utilizzano l'interfaccia standard M12, offrendo un'installazione e uno smontaggio convenienti e una forte compatibilità. Supportano anche filtri a banda stretta opzionali come i filtri infrarossi da 850 nm, espandendo le capacità di imaging a infrarossi e adattandosi a scenari con scarsa illuminazione come il riconoscimento facciale notturno. Grazie a uno schema di calibrazione ottica unificato, indipendentemente dall'obiettivo utilizzato, è possibile mantenere un basso livello di distorsione inferiore allo 0,5%, riducendo efficacemente l'impatto della distorsione geometrica dell'immagine sul calcolo della parallasse binoculare e sulla misurazione della profondità. Ciò garantisce un'accuratezza di percezione costante tra diverse configurazioni di obiettivi, fornendo una base di immagine stabile per l'ottimizzazione degli algoritmi di backend.

I microfoni a doppio silicio integrati utilizzano una soluzione di riduzione del rumore di grado industriale, migliorando la riduzione del rumore di oltre il 40% rispetto alla registrazione con un singolo microfono. Questo raggiunge oltre il 95% di accuratezza nel riconoscimento della voce umana anche in ambienti rumorosi di 60 dB (come officine e luoghi pubblici). La tecnologia di regolazione dinamica del guadagno si adatta automaticamente a fonti sonore di diversi volumi, evitando registrazioni poco chiare di discorsi soft e distorsioni da discorsi forti.

La sincronizzazione audio-video utilizza la calibrazione temporale hardware, con una latenza controllata entro 10 ms. Ciò consente la localizzazione della sorgente sonora e il collegamento delle immagini: dopo aver individuato la posizione della sorgente sonora tramite la differenza di fase sonora, si collega con la visione binoculare per focalizzarsi sull'area target, adatto a scenari che richiedono analisi audio-video collaborative, come il monitoraggio intelligente e l'interazione uomo-computer.

Il modulo Yinglongxin 2UK2, con la sua ampia gamma dinamica, percezione della profondità ad alta precisione e funzionalità di collaborazione audio-visiva, è ampiamente adattabile a vari settori come sistemi di controllo accessi e presenze, robot intelligenti, visione veicolare e monitoraggio della sicurezza. Negli scenari di controllo accessi, la combinazione di ampia gamma dinamica e lenti a infrarossi può risolvere le sfide del riconoscimento facciale in controluce e di notte; nel campo dei robot mobili, la fusione giroscopio e binoculare può migliorare l'accuratezza della navigazione e dell'evitamento degli ostacoli; negli scenari veicolari, l'imaging ultra-ampio e la compensazione dinamica possono realizzare funzioni come il riconoscimento delle linee di corsia e la misurazione della distanza degli ostacoli.

Il valore fondamentale di questo modulo risiede nel superare le limitazioni applicative dei dispositivi a visione o audio singola attraverso l'integrazione delle funzioni hardware e l'ottimizzazione collaborativa degli algoritmi. Con le sue capacità complete di "imaging ad alta definizione + misurazione precisa della distanza + atteggiamento stabile + ricezione del suono chiara," soddisfa le esigenze di percezione intelligente in scenari complessi, fornendo una soluzione di percezione sottostante altamente affidabile per i dispositivi terminali.