Auswahlleitfaden für 3D-Vision-Sensoren

Auswahlleitfaden für 3D-Vision-Sensoren

Um Anwendern die Auswahl aus verschiedenen 3D-Vision-Hardwarelösungen zu erleichtern, haben wir dieses Dokument als Referenz zusammengestellt. Es bietet eine allgemeine Analyse der Prinzipien, Vorteile, Nachteile und Anwendungsszenarien der vier wichtigsten 3D-Vision-Sensoren: Stereo Vision , Structured Light , iToF und dToF.

Haftungsausschluss: Die Beschreibungen der verschiedenen Technologien in diesem Dokument basieren auf ihren zugrunde liegenden Prinzipien und allgemeinen Leistungsmerkmalen und stellen kein spezifisches Produkt eines bestimmten Herstellers dar. Unterschiedliche Kamerahersteller optimieren ihre Produkte möglicherweise durch den Einsatz verschiedener Chips, Algorithmusverbesserungen oder Hybridansätze, was zu einer von den hier gegebenen allgemeinen Beschreibungen abweichenden Leistung führen kann. Feedback und Korrekturen sind jederzeit willkommen.

I. Stereosehen (passiv und aktiv)

Stereovision 3D-Kameratechnologie

Eine passive Entfernungsmesstechnologie, die das Disparitätsprinzip des menschlichen Auges nachahmt. Sie wird in passives Stereo und aktives Stereo unterteilt.

Funktionsprinzip

Tiefenrekonstruktion auf Basis von Triangulation

Die Stereotiefenrekonstruktion nutzt Triangulation, um die Entfernung zwischen dem zu messenden Objekt und der Kamera zu berechnen. Wenn zwei Kameras dasselbe Objekt erfassen, wird die Positionsdifferenz des Objekts in den beiden Bildern als Disparität bezeichnet . Je näher das Objekt an der Kamera ist, desto größer ist die Disparität; je weiter entfernt, desto kleiner ist sie.

Ausgehend von der bekannten relativen Positionsbeziehung (z. B. dem Abstand zwischen den beiden Kameras) kann die Entfernung mithilfe der Prinzipien ähnlicher Dreiecke berechnet werden.

Vergleich von passivem und aktivem Stereo

Aspekt Passives Stereo Aktives Stereo
Prinzip Nutzt ausschließlich die natürliche Textur des Umgebungslichts; berechnet die Disparität durch Bildabgleich Fügt einen Infrarot-Laserprojektor (Punktmatrix/Speckle/Linie) hinzu, um aktiv Textur zu projizieren und so die Anpassung in Bereichen mit geringer Textur zu verbessern.
Vorteile Kostengünstig, geringer Stromverbrauch, keine aktiven Lichtstörungen, mehrere Geräte können gleichzeitig betrieben werden Geeignet für Szenen mit wenig Licht oder ohne Textur; stabilere Leistung als passives Stereo.
Nachteile Im Grunde unbrauchbar auf Oberflächen mit geringer Struktur (weiße Wände) oder bei schwachen Lichtverhältnissen. Bei der gleichzeitigen Verwendung mehrerer Geräte stören sich die Projektionsmuster gegenseitig, was zu Übereinstimmungsfehlern führt; starkes Sonnenlicht im Freien überstrahlt das Muster leicht, wodurch die Tiefenleistung beeinträchtigt wird.
Typische Vertreter Stereolabs ZED-Serie, Senseno RealSense D400-Serie, Luxonis OAK-Serie, Orbbec Gemini-Serie
Aktives Stereo ist eine Weiterentwicklung des passiven Stereos. Das Infrarot-Fülllicht behebt die Probleme bei schlechten Lichtverhältnissen und geringer Textur. Allerdings werden dadurch Probleme wie die Genauigkeit auf große Entfernungen oder starke Lichtinterferenzen nicht grundlegend verbessert. Auch aktives Stereo leidet weiterhin unter der für Triangulationsverfahren typischen, quadratisch abnehmenden Genauigkeit. Darüber hinaus kommt es bei gleichzeitigem Betrieb mehrerer aktiver Stereogeräte zu Interferenzen der projizierten Muster, was zu Zuordnungsfehlern führt.

II. Strukturiertes Licht

Strukturierte Licht-3D-Sensorik

Eine aktive Triangulationstechnik, die aktiv ein codiertes Muster projiziert und die Tiefe direkt durch Musterverformung ermittelt.

Funktionsprinzip

Aktive Triangulation mit kodierten Mustern

Strukturiertes Licht ist eine aktive Triangulationsmesstechnik, die zur selben breiteren Kategorie wie das aktive Stereosehen gehört.

Das Verfahren funktioniert wie folgt: Ein Infrarot-Laserprojektor projiziert ein strukturiertes Lichtmuster mit codierten Informationen (z. B. Streifen, Gitter oder pseudozufällige Punktmuster) auf das zu beobachtende Objekt. Diese Muster verformen sich (z. B. biegen sich Streifen, Punkte verschieben sich) entsprechend der Geometrie und Entfernung des Objekts. Eine Infrarotkamera erfasst diese verformten Muster, und das System dekodiert den Grad der Verformung, um die Tiefeninformation für jedes Pixel direkt zu berechnen.

Hauptunterschied zu aktivem Stereo

Aspekt Aktives Stereo Strukturiertes Licht
Tiefenberechnung Berechnet die Disparität durch Abgleich korrespondierender Punkte im linken und rechten Bild, basierend auf der Korrespondenz zwischen den Bildern. Die Tiefe wird direkt durch Dekodierung der Musterverformung ermittelt; jeder projizierte Merkmalspunkt trägt sein eigenes „Identitäts-Tag“ und ist nicht auf Stereo-Matching angewiesen.

Core Vorteile

  • Eine aktive Lichtquelle erzeugt Textur: Löst die Schwachstellen passiver Stereowiedergabe in Szenen mit geringer Textur und schwachem Licht.
  • Extrem hohe Treffsicherheit auf kurze Distanz: Kann eine Genauigkeit im Submillimeterbereich erreichen (z. B. Apple Face ID-Modul).
  • Stereoanpassung nicht erforderlich: Jeder projizierte Merkmalspunkt enthält codierte Informationen und ermöglicht so einen direkteren Berechnungsweg.

Technische Einschränkungen

  • Begrenzter Messbereich: Der optimale Betriebsabstand beträgt typischerweise 0.3-3 Meter; die Genauigkeit auf große Entfernungen nimmt mit dem Quadrat der Entfernung ab.
  • Mehrwegeinterferenzen: Mehrfache Spiegelungen in komplexen Szenen können zu Fehlern bei der Tiefenberechnung führen.
  • Störungen durch ähnliche Geräte: Wenn mehrere Strukturlichtgeräte gleichzeitig in Betrieb sind, stören sich ihre projizierten Muster gegenseitig, sodass eine Entschlüsselung unmöglich wird.
  • Sonnenlichtinterferenzen: Bei starkem Außenlicht wird das projizierte Muster leicht vom Umgebungslicht überstrahlt, was die Funktionsfähigkeit einschränkt.

Typische Vertreter

Apple Face ID-Modul für Endverbraucher , Orbbec Astra-Serie (hauptsächlich verwendet für Gesichtserkennung im Nahbereich, 3D-Modellierung usw.)

Industrielle Photoneo MotionCam-3D-Serie , Mech-Mind Mech-Eye-Serie, Zivid-Produkte

III. iToF (Indirekte Flugzeitmessung)

iToF Indirekter Laufzeitsensor

Eine Entfernungsmessmethode, die die Flugzeit indirekt über die Phasendifferenz berechnet.

Funktionsprinzip

Phasenbasierte Distanzmessung

iToF (indirekte Laufzeitmessung) erfasst Energiewerte in verschiedenen Zeitfenstern, analysiert deren Verhältnis zueinander und misst indirekt die Zeitdifferenz zwischen gesendetem und empfangenem Signal. Es wird hauptsächlich in zwei Modulationsverfahren unterteilt:

CW-iToF (Continuous Wave): Nutzt Sinuswellenmodulation. Die Phasenverschiebung zwischen den empfangenen und gesendeten Sinuswellen ist proportional zur Entfernung des Objekts. Die Genauigkeit wird durch Rauschen und Quantisierungsrauschen begrenzt. Zur Verbesserung der Genauigkeit wird typischerweise eine Abtastung mit hoher Leistung und kurzer Integrationszeit in Kombination mit einer hohen Modulationsfrequenz eingesetzt.

PL-iToF (Pulsmodulation): Sendet Lichtimpulse mit Amplituden- und Zeitinformationen aus. Nutzt Dual-Sampling-Verfahren zur Verbesserung der Genauigkeit. Die Berechnung ist einfacher und rechenintensiver, jedoch ist die Genauigkeit geringer als bei CW-iToF und die Empfindlichkeit gegenüber Hintergrundrauschen höher.

Core Vorteile

  • Ausgereifte Wertschöpfungskette der Chipindustrie.
  • Gute Echtzeitleistung.

Technische Einschränkungen

  • Fliegende Pixel: An den Objektkanten empfängt ein einzelnes Pixel gleichzeitig reflektiertes Licht sowohl vom Vordergrund als auch vom Hintergrund, was zu falschen Tiefenwerten führt und „ungültige schwebende Punkte in der Luft“ erzeugt.
  • Mehrwegeinterferenz (MPI): In realen Szenarien führen komplexe diffuse oder spiegelnde Reflexionen dazu, dass Licht mehrfach reflektiert wird, bevor es den Sensor erreicht, was systematisch zu überschätzten Messwerten führt. Dies stellt seit vielen Jahren das größte technische Hindernis für iToF dar.
  • Hohe Empfindlichkeit gegenüber schwarzen Objekten: Schwarze Objekte absorbieren Licht stark und reflektieren nur schwach, was zu einem starken Abfall des Signal-Rausch-Verhältnisses führt. Tiefendaten weisen leicht Lücken auf oder werden ungültig, wodurch die zuverlässige Erkennung dunkler Objekte erschwert wird.
  • Schwere Störungen durch mehrere Geräte: Wenn mehrere iToF-Geräte gleichzeitig im selben Bereich arbeiten, stören sich ihre modulierten Signale gegenseitig, was zu großflächigen Fehlern oder einem vollständigen Ausfall der Tiefendaten führt und den Einsatz in dichten Cluster-Szenarien einschränkt.

Typische Vertreter

iToF-Chiphersteller: Sony, Infineon, PMD.

Modulhersteller: Lucid Helios2-Serie, SICK Visionary-T Mini, MRDVS M-Serie , IFM 3D-Kameras.

IV. dToF (Direkte Flugzeitmessung)

dToF Direktes Time-of-Flight-LiDAR

Die ultimative Entfernungsmesstechnik, die die Umlaufzeit von Photonen direkt misst.

Funktionsprinzip

Einzelphotonendetektion mit TCSPC

Die dToF-Technologie (direkte Laufzeitmessung) misst direkt die Zeitdifferenz zwischen Aussendung und Empfang eines Lichtimpulses. Aufgrund von Lasersicherheitsbestimmungen und Leistungsbeschränkungen in Verbraucherprodukten ist die von ToF-Kameras ausgesendete Impulsenergie begrenzt. Bis das Licht zum Empfänger zurückkehrt, hat sich die Energiedichte um mehr als eine Billion Mal verringert. Umgebungslicht wirkt als Rauschen und stört die Signalerkennung erheblich.

Daher benötigt dToF extrem empfindliche Photodetektoren: Einzelphotonen-Lawinendioden (SPADs) . Im Betrieb wird eine SPAD mit einer hohen Sperrspannung beaufschlagt. Wird ein Photon absorbiert und in ein freies Elektron umgewandelt, beschleunigt das starke interne elektrische Feld dieses Elektron. Die Kollisionen mit anderen Elektronen erzeugen weitere Ladungsträger und führen zu einem geometrisch verstärkten Lawineneffekt. Dadurch wird ein großer Stromimpuls erzeugt und die Einzelphotonendetektion ermöglicht.

dToF nutzt die Methode der zeitkorrelierten Einzelphotonenzählung (TCSPC), um eine Zeitgenauigkeit im Pikosekundenbereich zu erreichen. Das System wiederholt die Emission und Detektion desselben Pulssignals tausend- bis hunderttausendmal, erstellt aus jeder Messung ein statistisches Verteilungshistogramm, rekonstruiert den Verlauf der Lichtpulsenergie über die Zeit und ermittelt so die präzise Flugzeit.

Core Vorteile

  • Entfernungsgenauigkeit: Innerhalb des normalen Betriebsbereichs verstärkt sich der Fehler mit zunehmender Entfernung nicht wesentlich, sodass die Genauigkeit im Zentimeterbereich auch auf mittlere bis große Entfernungen erhalten bleibt.
  • Unterdrückung von Mehrwegeinterferenzen: Misst direkt die Ankunftszeit der ersten Welle und ist daher viel weniger anfällig für Mehrwegeausbreitung als iToF.
  • Geringer Stromverbrauch und hohe Effizienz: Ein einziger Impuls genügt für die Entfernungsmessung, bei extrem geringem Rechenaufwand und minimaler Latenz.
  • Anpassungsfähigkeit an Umgebungslicht: Nutzt eine Zeitgating-Technologie in Kombination mit Schmalbandfiltern und Nahinfrarot-Lichtquellen (typische Wellenlänge 940 nm), wodurch eine effektive Tiefendatenerfassung auch bei hohen Umgebungslichtverhältnissen von bis zu 100 kLux ermöglicht wird.
  • geräteübergreifende Zusammenarbeit möglich: Die Impulszeiten verschiedener Geräte können gestaffelt werden (z. B. durch Zeitmultiplexverfahren oder Impulscodierung), wodurch der gleichzeitige Betrieb mehrerer Geräte nativ unterstützt wird.
  • Echtzeitleistung: Komplexe Matching-Algorithmen sind nicht erforderlich; Tiefendaten können direkt ausgegeben werden, typischerweise mit Bildraten von 10-20 fps.

Technische Herausforderungen (die sich allmählich verbessern)

  • SPAD-Dunkelzählrate (DCR): Verbesserungen gegenüber früheren Lösungen durch 3D-Stapelprozesse und Optimierung des Abschreckkreislaufs.
  • Photonendetektionseffizienz (PDE): Durch den Einsatz der BSI-Technologie (Backside Illumination) wurde die Lichtempfindlichkeit verbessert.
  • On-Chip-Integration: Dank Fortschritten bei fortschrittlichen Prozessknoten können SPAD-Arrays, TDCs (Zeit-Digital-Wandler) und Histogrammalgorithmen jetzt auf einem Chip integriert werden.
  • Relativ geringe räumliche Auflösung: Die Auflösung ist aufgrund der physikalischen Größe der SPADs und der Komplexität der nachgelagerten Zählschaltungen (TDCs) im Allgemeinen geringer als bei iToF.

Typische Vertreter

Apple LiDAR für Endverbraucher/Mobilgeräte (iPad Pro/iPhone Pro-Serie).

Industrielle RoboSense E1/E1R , MRDVS S-Serie.

Teilen mit: