Guida alla selezione dei sensori di visione 3D

Guida alla selezione dei sensori di visione 3D

Per aiutare gli utenti a prendere decisioni consapevoli nella scelta tra le varie soluzioni hardware per la visione 3D, abbiamo redatto questo documento di riferimento, che fornisce un'analisi generale dei principi, dei vantaggi, degli svantaggi e degli scenari applicativi dei quattro principali sensori di visione 3D: Stereo Vision , Structured Light , iToF e dToF.

Disclaimer: Le descrizioni delle diverse tecnologie contenute in questo documento si basano sui loro principi fondamentali e sulle caratteristiche prestazionali generali, e non rappresentano il prodotto di un produttore specifico. Diversi produttori di fotocamere possono ottimizzare i propri prodotti utilizzando chip differenti, miglioramenti algoritmici o approcci ibridi, il che potrebbe comportare prestazioni diverse dalle descrizioni generali qui fornite. Commenti e correzioni sono sempre benvenuti.

I. Visione stereoscopica (passiva e attiva)

Tecnologia della telecamera 3D Stereo Vision

Una tecnologia di misurazione della distanza passiva che imita il principio di disparità dell'occhio umano. Si divide in stereo passiva e stereo attiva.

Principio di funzionamento

Ricostruzione della profondità basata sulla triangolazione

La ricostruzione stereoscopica della profondità utilizza la triangolazione per calcolare la distanza tra l'oggetto da misurare e la telecamera. Quando due telecamere osservano lo stesso oggetto, la differenza di posizione dell'oggetto nelle due immagini è chiamata disparità . Più l'oggetto è vicino alla telecamera, maggiore è la disparità; più è lontano, minore è la disparità.

Data la nota relazione di posizione relativa (ad esempio, la distanza tra le due telecamere), la distanza può essere calcolata utilizzando principi simili a quelli dei triangoli.

Confronto tra stereo passivo e stereo attivo

Aspetto Stereo passivo Stereo attivo
Principio Si basa esclusivamente sulla texture naturale derivante dalla luce ambientale; calcola la disparità tramite la corrispondenza delle immagini. Aggiunge un proiettore laser a infrarossi (matrice di punti/speckle/linea) per proiettare attivamente la texture, migliorando la corrispondenza nelle aree a bassa texture.
Vantaggi Basso costo, basso consumo energetico, nessuna interferenza luminosa attiva, più dispositivi possono funzionare contemporaneamente Utilizzabile in scene con scarsa illuminazione o prive di texture; prestazioni più stabili rispetto allo stereo passivo.
Svantaggi Praticamente inutilizzabile su superfici poco ruvide (pareti bianche) o in condizioni di scarsa illuminazione. Quando più dispositivi lavorano insieme, i modelli di proiezione interferiscono tra loro, causando errori di corrispondenza; il modello viene facilmente sovrastato dalla forte luce solare esterna, con conseguente degrado delle prestazioni di profondità.
Rappresentanti tipici Serie Stereolabs ZED, Senseno Serie RealSense D400, serie Luxonis OAK, serie Orbbec Gemini
La stereoscopia attiva è una versione migliorata della stereoscopia passiva. La luce di riempimento a infrarossi risolve i problemi legati alla scarsa illuminazione e alla scarsa definizione dei dettagli. Tuttavia, non migliora in modo sostanziale aspetti come la precisione a lungo raggio o le forti interferenze luminose. La stereoscopia attiva soffre ancora del degrado della precisione inversamente proporzionale al quadrato della distanza, intrinseco ai metodi di triangolazione. Inoltre, quando più dispositivi stereo attivi operano simultaneamente, i pattern proiettati interferiscono tra loro, causando errori di corrispondenza.

II. Luce strutturata

Rilevamento 3D a luce strutturata

Una tecnica di triangolazione attiva che proietta attivamente uno schema codificato e calcola direttamente la profondità attraverso la deformazione dello schema.

Principio di funzionamento

Triangolazione attiva con modelli codificati

La luce strutturata è una tecnica di misurazione a triangolazione attiva, appartenente alla stessa categoria più ampia della visione stereoscopica attiva.

Il metodo di funzionamento è il seguente: un proiettore laser a infrarossi proietta un pattern di luce strutturata contenente informazioni codificate (come strisce, griglie o matrici di punti pseudo-casuali) sull'oggetto osservato. Questi pattern si deformano (ad esempio, le strisce si piegano, i punti si spostano) in base alla geometria e alla distanza dell'oggetto. Una telecamera a infrarossi cattura questi pattern deformati e il sistema decodifica il grado di deformazione per calcolare direttamente le informazioni di profondità per ciascun pixel.

Differenza fondamentale rispetto allo stereo attivo

Aspetto Stereo attivo Luce strutturata
Calcolo della profondità Calcola la disparità confrontando i punti corrispondenti nelle immagini di sinistra e di destra, basandosi sulla corrispondenza tra le immagini. Ottiene direttamente la profondità decodificando la deformazione del pattern; ogni punto caratteristico proiettato ha la propria "etichetta di identità" e non si basa sulla corrispondenza stereo.

Vantaggi principali

  • Una sorgente luminosa attiva aggiunge texture: Risolve i problemi tipici della stereoscopia passiva in scene con scarsa texture e illuminazione.
  • Precisione estremamente elevata a distanza ravvicinata: Può raggiungere una precisione sub-millimetrica (ad esempio, il modulo Face ID di Apple).
  • Non è necessario l'allineamento stereo: Ogni punto caratteristico proiettato contiene informazioni codificate, fornendo un percorso computazionale più diretto.

Limitazioni tecniche

  • Gamma di misurazione limitata: La distanza operativa ottimale è in genere compresa tra 0.3 e 3 metri; la precisione a lungo raggio si degrada con il quadrato della distanza.
  • Interferenza multi-percorso: In scene complesse, i riflessi multipli possono causare errori nel calcolo della profondità.
  • Interferenze da dispositivi simili: Quando più dispositivi a luce strutturata funzionano simultaneamente, i loro schemi di proiezione interferiscono tra loro, rendendo impossibile la decodifica.
  • Interferenza della luce solare: In presenza di forte luce esterna, il disegno proiettato viene facilmente sovrastato dalla luce ambientale, limitandone il funzionamento.

Rappresentanti tipici

Modulo Face ID Apple per il mercato consumer , serie Orbbec Astra (utilizzato principalmente per il riconoscimento facciale a distanza ravvicinata, la modellazione 3D, ecc.)

Serie Industrial Photoneo MotionCam-3D , serie Mech-Mind Mech-Eye, prodotti Zivid

III. iToF (Tempo di volo indiretto)

Sensore iToF (Indirect Time-of-Flight)

Una tecnica di misurazione della distanza che calcola indirettamente il tempo di volo attraverso la differenza di fase.

Principio di funzionamento

Misurazione della distanza basata sulla fase

iToF (Time-of-Flight indiretto) raccoglie i valori di energia in diverse finestre temporali, analizza la proporzione tra questi valori e misura indirettamente la differenza di tempo tra i segnali trasmessi e ricevuti. Si divide principalmente in due metodi di modulazione:

CW-iToF (onda continua): utilizza la modulazione a onda sinusoidale. Lo sfasamento tra le onde sinusoidali ricevute e trasmesse è proporzionale alla distanza dell'oggetto. La precisione è limitata dal rumore casuale e dal rumore di quantizzazione. Per migliorare la precisione, si utilizza in genere un campionamento ad alta potenza e a breve tempo di integrazione, combinato con un'elevata frequenza di modulazione.

PL-iToF (Modulazione a impulsi): Emette impulsi luminosi con informazioni su ampiezza e tempo. Utilizza tecniche di doppio campionamento per migliorare la precisione. Il calcolo è più semplice e ha un carico computazionale inferiore, ma la precisione è inferiore rispetto al CW-iToF ed è più sensibile al rumore di fondo.

Vantaggi principali

  • Catena industriale dei semiconduttori matura.
  • Buone prestazioni in tempo reale.

Limitazioni tecniche

  • Pixel volanti: Ai bordi degli oggetti, un singolo pixel riceve simultaneamente luce riflessa sia dal primo piano che dallo sfondo, con conseguenti valori di profondità errati e la generazione di "punti non validi fluttuanti nell'aria".
  • Interferenza multi-percorso (MPI): Nelle scene reali, le complesse riflessioni diffuse o speculari causano la riflessione multipla della luce prima che raggiunga il sensore, portando a misurazioni sistematicamente sovrastimate. Questo è stato il principale ostacolo tecnico che ha afflitto la tecnologia iToF per molti anni.
  • Elevata sensibilità agli oggetti neri: Gli oggetti neri assorbono fortemente la luce e riflettono segnali deboli, causando un brusco calo del rapporto segnale/rumore. I dati di profondità possono facilmente presentare lacune o diventare non validi, rendendo difficile il rilevamento stabile di bersagli di colore scuro.
  • Grave interferenza tra più dispositivi: Quando più dispositivi iToF operano simultaneamente nella stessa area, i loro segnali modulati interferiscono tra loro, causando errori su larga scala o la completa perdita dei dati di profondità, limitando l'impiego in scenari con cluster densi.

Rappresentanti tipici

Produttori di chip iToF: Sony, Infineon, PMD.

Produttori di moduli: Lucid Helios2 series, SICK Visionary-T Mini, MRDVS M series , telecamere IFM 3D.

IV. dToF (Time-of-Flight diretto)

dToF (Direct Time-of-Flight LiDAR)

La tecnica di misurazione della distanza più avanzata, che misura direttamente il tempo di andata e ritorno dei fotoni.

Principio di funzionamento

Rilevamento di singoli fotoni con TCSPC

La tecnologia dToF (Direct Time-of-Flight) misura direttamente la differenza di tempo tra l'emissione e la ricezione di un impulso luminoso. A causa dei limiti di sicurezza dei laser e delle restrizioni di potenza dei prodotti di consumo, l'energia dell'impulso emesso dalle telecamere ToF è limitata. Quando la luce ritorna al ricevitore, la densità di energia si è ridotta di oltre un trilione di volte. La luce ambientale agisce come rumore, interferendo gravemente con il rilevamento del segnale.

Pertanto, la dToF richiede fotorivelatori estremamente sensibili: i diodi a valanga a singolo fotone (SPAD) . Quando uno SPAD è in funzione, viene polarizzato con un'elevata tensione inversa. Quando un fotone viene assorbito e convertito in un elettrone libero, il forte campo elettrico interno accelera questo elettrone, che collide generando più portatori di carica, creando un effetto valanga geometricamente amplificato, che produce un impulso di corrente elevato e consente il rilevamento di singoli fotoni.

Il dToF utilizza il metodo di conteggio di singoli fotoni correlati nel tempo (TCSPC) per raggiungere una precisione temporale a livello di picosecondi. Il sistema ripete l'emissione e il rilevamento dello stesso segnale pulsato da migliaia a centinaia di migliaia di volte, ottiene un istogramma di distribuzione statistica da ogni rilevamento, ricostruisce la curva dell'energia dell'impulso luminoso nel tempo e ricava così il tempo di volo preciso.

Vantaggi principali

  • Precisione della distanza: Nell'intervallo operativo normale, l'errore non aumenta in modo significativo con l'aumentare della distanza, mantenendo una precisione a livello centimetrico a distanze medio-lunghe.
  • Soppressione delle interferenze multi-percorso: Misura direttamente il tempo di arrivo della prima onda, risultando molto meno influenzato dalle riflessioni multi-percorso rispetto all'iToF.
  • Basso consumo energetico ed elevata efficienza: Un singolo impulso completa la misurazione della distanza, con un carico computazionale estremamente ridotto e una latenza minima.
  • Adattabilità alla luce ambientale: Utilizza la tecnologia di time-gating combinata con filtri a banda stretta e sorgenti luminose nel vicino infrarosso (lunghezza d'onda tipica 940 nm), consentendo un'efficace acquisizione di dati di profondità in condizioni di elevata luce ambientale fino a 100 Lux.
  • Compatibile con la collaborazione tra più dispositivi: La temporizzazione degli impulsi di diversi dispositivi può essere sfalsata (ad esempio, utilizzando la divisione di tempo o la codifica di impulsi), supportando nativamente il funzionamento simultaneo di più dispositivi.
  • Prestazioni in tempo reale: Non sono necessari complessi algoritmi di corrispondenza; i dati di profondità possono essere trasmessi direttamente, con frame rate tipici di 10-20 fps.

Sfide tecniche (in graduale miglioramento)

  • Tasso di conteggio del buio (DCR) dello SPAD: Prestazioni migliorate rispetto alle soluzioni precedenti grazie a processi di impilamento 3D e all'ottimizzazione del circuito di spegnimento.
  • Efficienza di rilevamento dei fotoni (PDE): L'applicazione della tecnologia BSI (illuminazione posteriore) ha migliorato la fotosensibilità.
  • Integrazione su chip: Grazie ai progressi nei nodi di processo avanzati, gli array SPAD, i TDC (convertitori tempo-digitale) e gli algoritmi di istogramma possono ora essere integrati su chip.
  • Risoluzione spaziale relativamente bassa: A causa delle dimensioni fisiche dei dispositivi SPAD e della complessità dei circuiti di conteggio di back-end (TDC), la risoluzione è generalmente inferiore a quella dell'iToF.

Rappresentanti tipici

LiDAR Apple per dispositivi consumer/mobili (serie iPad Pro/iPhone Pro).

Robot industriali RoboSense E1/E1R , serie MRDVS S.

Condividere a: