Guide för val av 3D-visionssensorer

Guide för val av 3D-visionssensorer

För att hjälpa användare att fatta välgrundade beslut när de väljer mellan olika hårdvarulösningar för 3D-vision har vi sammanställt detta dokument som referens. Det ger en allmän analys av principerna, fördelarna, nackdelarna och tillämpningsscenarierna för de fyra vanliga 3D-visionssensorerna: Stereo Vision , Structured Light , iToF och dToF.

Varning: Beskrivningarna av olika tekniker i detta dokument är baserade på deras underliggande principer och allmänna prestandaegenskaper och representerar inte någon specifik tillverkares produkt. Olika kameratillverkare kan optimera sina produkter med hjälp av olika chip, algoritmförbättringar eller hybridmetoder, vilket kan resultera i prestanda som skiljer sig från de allmänna beskrivningarna som tillhandahålls här. Feedback och korrigeringar är alltid välkomna.

I. Stereobild (passiv och aktiv)

Stereo Vision 3D-kamerateknik

En passiv avståndsmätningsteknik som efterliknar det mänskliga ögats disparitetsprincip. Den är uppdelad i passiv stereo och aktiv stereo.

arbets~~POS=TRUNC

Trianguleringsbaserad djuprekonstruktion

Stereodjuprekonstruktion använder triangulering för att beräkna avståndet från det mätta objektet till kameran. När två kameror observerar samma objekt kallas objektets positionsskillnad i de två bilderna för disparitet . Ju närmare objektet är kameran, desto större är dispariteten; ju längre bort, desto mindre är dispariteten.

Givet det kända relativa positionsförhållandet (t.ex. avståndet mellan de två kamerorna) kan avståndet beräknas med hjälp av liknande triangelprinciper.

Jämförelse av passiv stereo och aktiv stereo

Aspect Passiv stereo Aktiv stereo
Princip Förlitar sig enbart på naturlig textur från omgivande ljus; beräknar skillnader genom bildmatchning Lägger till en infraröd laserprojektor (punktmatris/fläckig/linje) för att aktivt projicera textur, vilket förbättrar matchningen i områden med låg textur
Fördelar Låg kostnad, låg strömförbrukning, ingen aktiv ljusstörning, flera enheter kan arbeta samtidigt Användbar i svagt ljus eller texturlösa scener; stabilare prestanda än passiv stereo
Nackdelar I princip oanvändbar på ytor med låg textur (vita väggar) eller i svagt ljus Projektionsmönster stör varandra när flera enheter arbetar tillsammans, vilket orsakar matchningsfel; mönstret överväldigas lätt av starkt solljus utomhus, vilket försämrar djupprestanda.
Typiska representanter Stereolabs ZED-serien, Senseno RealSense D400-serien, Luxonis OAK-serien, Orbbec Gemini-serien
Aktiv stereo är en förbättrad version av passiv stereo. Det infraröda fyllnadsljuset löser problemområdena med svagt ljus och låg textur. Det förbättrar dock inte i grunden problem som noggrannhet på långa avstånd eller stark ljusinterferens. Aktiv stereo lider fortfarande av den inversa kvadratiska försämringen av noggrannheten som är inneboende i trianguleringsmetoder. Dessutom, när flera aktiva stereoenheter arbetar samtidigt, stör projicerade mönster varandra, vilket leder till matchningsfel.

II. Strukturerat ljus

Strukturerad ljus 3D-avkänning

En aktiv trianguleringsteknik som aktivt projicerar ett kodat mönster och direkt löser djup genom mönsterdeformation.

arbets~~POS=TRUNC

Aktiv triangulering med kodade mönster

Strukturerat ljus är en mätteknik för aktiv triangulering som tillhör samma bredare kategori som aktiv stereoseende.

Arbetsmetoden är följande: en infraröd laserprojektor kastar ett strukturerat ljusmönster som innehåller kodad information (såsom ränder, rutnät eller pseudoslumpmässiga punktmatriser) på det objekt som observeras. Dessa mönster deformeras (t.ex. ränder böjs, punkter förskjuts) beroende på objektets geometri och avstånd. En infraröd kamera fångar dessa deformerade mönster, och systemet avkodar deformationsgraden för att direkt beräkna djupinformationen för varje pixel.

Kärnskillnad från aktiv stereo

Aspect Aktiv stereo Strukturerat ljus
Djupberäkning Beräknar skillnad genom att matcha motsvarande punkter i vänster och höger bild, baserat på korrespondensen mellan bilderna. Erhåller direkt djup genom att avkoda mönsterdeformation; varje projicerad funktionspunkt bär sin egen "identitetstagg" och är inte beroende av stereomatchning.

kärn Fördelar

  • Aktiv ljuskälla ger textur: Löser problem med passiv stereo i scener med låg textur och svagt ljus.
  • Extremt hög precision på nära håll: Kan uppnå submillimeternoggrannhet (t.ex. Apple Face ID-modul).
  • Ingen stereomatchning behövs: Varje projicerad funktionspunkt bär kodad information, vilket ger en mer direkt beräkningsväg.

Tekniska begränsningar

  • Begränsat mätområde: Optimalt driftsavstånd är vanligtvis 0.3–3 meter; noggrannheten på långa avstånd försämras med kvadraten på avståndet.
  • Flervägsinterferens: Multipla reflektioner i komplexa scener kan orsaka djupberäkningsfel.
  • Störningar från liknande enheter: När flera strukturerade ljusenheter arbetar samtidigt stör deras projicerade mönster varandra, vilket gör avkodning omöjlig.
  • Solljusstörningar: I starkt utomhusljus överväldigas det projicerade mönstret lätt av omgivande ljus, vilket begränsar funktionen.

Typiska representanter

Konsument Apple Face ID-modul , Orbbec Astra-serien (används främst för ansiktsigenkänning på nära håll, 3D-modellering etc.)

Industrial Photoneo MotionCam-3D-serien , Mech-Mind Mech-Eye-serien, Zivid-produkter

III. iToF (Indirekt flygtid)

iToF indirekt flygtidssensor

En avståndsmätningsteknik som indirekt beräknar flygtid genom fasskillnad.

arbets~~POS=TRUNC

Fasbaserad avståndsmätning

iToF (indirekt Time-of-Flight) samlar in energivärden vid olika tidsfönster, analyserar proportionen mellan dessa värden och mäter indirekt tidsskillnaden mellan de sända och mottagna signalerna. Den är huvudsakligen uppdelad i två moduleringsmetoder:

CW-iToF (kontinuerlig våg): Använder sinusvågsmodulering. Fasförskjutningen mellan de mottagna och sända sinusvågorna är proportionell mot objektets avstånd. Noggrannheten begränsas av slumpmässigt brus och kvantiseringsbrus. För att förbättra noggrannheten används vanligtvis högpresterande sampling med kort integrationstid i kombination med hög moduleringsfrekvens.

PL-iToF (Pulsmodulering): Avger ljuspulser med amplitud- och tidsinformation. Använder dubbelsamplingstekniker för att förbättra noggrannheten. Beräkningen är enklare och har lägre beräkningsbelastning, men noggrannheten är svagare än CW-iToF, och den är mer känslig för bakgrundsbrus.

kärn Fördelar

  • Mogen chipindustrikedja.
  • Bra prestanda i realtid.

Tekniska begränsningar

  • Flygande pixlar: Vid objektkanterna tar en enda pixel samtidigt emot reflekterat ljus från både förgrunden och bakgrunden, vilket resulterar i felaktiga djupvärden och genererar "flytande ogiltiga punkter i luften".
  • Flervägsinterferens (MPI): I verkliga scener orsakar komplexa diffusa eller spekulära reflektioner att ljus reflekteras flera gånger innan det når sensorn, vilket leder till systematiskt överskattade mätningar. Detta har varit det största tekniska hindret som plågat iToF på många år.
  • Hög känslighet för svarta föremål: Svarta objekt absorberar ljus starkt och reflekterar signaler svagt, vilket orsakar en kraftig minskning av signal-brusförhållandet. Djupdata bildar lätt hål eller blir ogiltiga, vilket gör det svårt att stabilt detektera mörkfärgade mål.
  • Allvarlig störning från flera enheter: När flera iToF-enheter arbetar samtidigt i samma område stör deras modulerade signaler varandra, vilket orsakar storskaliga fel eller fullständigt fel på djupdata, vilket begränsar implementeringen i scenarier med täta kluster.

Typiska representanter

Tillverkare av iToF-chip: Sony, Infineon, PMD.

Modultillverkare: Lucid Helios2-serien, SICK Visionary-T Mini, MRDVS M-serien , IFM 3D-kameror.

IV. dToF (Direct Time-of-Flight)

dToF Direkt flygtid LiDAR

Den ultimata avståndstagningstekniken som direkt mäter fotoners tur-retur-tid.

arbets~~POS=TRUNC

Enkelfotondetektion med TCSPC

dToF-tekniken (direct Time-of-Flight) mäter direkt tidsskillnaden mellan att sända ut och ta emot en ljuspuls. På grund av säkerhetsbegränsningar för lasern och begränsningar i konsumentprodukters strömförbrukning är pulsenergin som sänds ut av ToF-kameror begränsad. När ljuset återvänder till mottagaren har energitätheten minskat med mer än en biljon gånger. Omgivande ljus fungerar som brus och stör signaldetekteringen kraftigt.

Därför kräver dToF extremt känsliga fotodetektorer: enkelfotonlavindioder (SPAD) . När en SPAD är i drift är den förspänd med en hög backspänning. När en foton absorberas och omvandlas till en fri elektron accelererar det starka interna elektriska fältet denna elektron, som kolliderar för att generera fler bärvågor, vilket skapar en geometriskt förstärkt lavineffekt, varigenom en stor strömpuls avges och enfotondetektering uppnås.

dToF använder metoden Time-Correlated Single-Photon Counting (TCSPC) för att uppnå tidsprecision på pikosekundernivå. Systemet upprepar emissionsdetekteringen av samma pulssignal tusentals till hundratusentals gånger, erhåller ett statistiskt fördelningshistogram från varje detektering, rekonstruerar kurvan för ljuspulsenergi över tid och härleder därmed den exakta flygtiden.

kärn Fördelar

  • Avståndsnoggrannhet: Inom det normala driftsområdet förstärks inte felet signifikant med ökande avstånd, vilket bibehåller centimeternoggrannhet på medellånga till långa avstånd.
  • Flervägsstörningsdämpning: Mäter direkt ankomsttiden för den första vågen, vilket gör den mycket mindre påverkad av flervägsreflektioner än iToF.
  • Låg strömförbrukning och hög effektivitet: En enda puls slutför avståndsmätningen, med extremt låg beräkningsbelastning och lägre latens.
  • Anpassningsförmåga till omgivande ljus: Använder tidsgrindsteknik i kombination med smalbandsfilter och nära-infraröda ljuskällor (typisk våglängd 940 nm), vilket möjliggör effektiv djupdatainsamling under starka omgivningsljusförhållanden upp till 100 kLux.
  • Samarbete med flera enheter är enkelt: Pulstidsbestämningen för olika enheter kan förskjutas (t.ex. med hjälp av tidsdelning eller pulskodning), vilket nativt stöder samtidig drift av flera enheter.
  • Realtidsprestanda: Inget behov av komplexa matchningsalgoritmer; djupdata kan matas ut direkt, med typiska bildhastigheter på 10–20 fps.

Tekniska utmaningar (gradvis förbättring)

  • SPAD Mörkerräkningshastighet (DCR): Förbättrad jämfört med tidiga lösningar genom 3D-stackningsprocesser och optimering av kylkretsar.
  • Fotondetekteringseffektivitet (PDE): Tillämpningen av BSI-teknik (baksidesbelysning) har förbättrat ljuskänsligheten.
  • Integrering på chip: Med framsteg inom avancerade processnoder kan nu SPAD-matriser, TDC:er (Time-to-Digital Converters) och histogramalgoritmer integreras på chipet.
  • Relativt låg spatial upplösning: Begränsad av SPAD:ernas fysiska storlek och komplexiteten hos backend-räknande kretsar (TDC):er är upplösningen generellt lägre än iToF.

Typiska representanter

Konsument/Mobil Apple LiDAR (iPad Pro/iPhone Pro-serien).

Industriell RoboSense E1/E1R , MRDVS S-serien.

Dela till: