3D-Kameras
2015 gründete Konstantin Nerian Vision, einen Hersteller von Hochgeschwindigkeits-3D-Kameras. In den folgenden Jahren leitete er die Entwicklung von vier Produktgenerationen, die Stereo-Vision mit ultraschneller FPGA-basierter Bildverarbeitung kombinierten, um Echtzeit-3D-Tiefenmessungen zu liefern. Als Gründer und leitender Entwickler war er direkt für das FPGA-Design, die Elektronikentwicklung und einen wesentlichen Teil des Software-Stacks verantwortlich.
Die Kameras von Nerian wurden in mehr als 35 Ländern eingesetzt und lieferten zuverlässige und präzise 3D-Messungen für eine Vielzahl von Bildverarbeitungsanwendungen. Im Jahr 2022 wurde das Unternehmen von einem bedeutenden Akteur der Bildverarbeitungsbranche übernommen und in dessen bestehendes Portfolio integriert. Alle Kameras basierten auf Zynq UltraScale+ MPSoCs und nutzten die Kombination aus programmierbarer Logik und eingebetteter Verarbeitung für eine schnelle 3D-Bildgebung mit geringer Latenz.
Ruby 3D-Kamera
Die Ruby-Kamera war die letzte Generation der Produktreihe von Nerian und vereint die besten Eigenschaften von Stereo-Vision und strukturiertem Licht. Sie verfügt über:
- Drei Bildsensoren: zwei Monochrom-Sensoren für die Tiefenwahrnehmung und einen Farbsensor
- Infrarot-Musterprojektor: verbessert die Tiefenwahrnehmung, ohne den Farbsensor zu beeinträchtigen
- Messbereich von 33 cm mit einem Sichtfeld von 62
- Trägheitssensor und Laser-Musterprojektor
- Sensorformat: Monochrom und Farbe
- Maximale Auflösung: 1,5 MP
- Maximale Disparität: 256 Pixel
- Maximale Bildrate: 60 fps
Durch die Integration von Stereo-Vision und strukturiertem Licht liefert Ruby flexible, schnelle 3D-Messungen, die für schwierige Lichtverhältnisse und große Messentfernungen geeignet sind und auch auf strukturlosen Oberflächen präzise Ergebnisse liefern.
Technische Innovationen
Die 3D-Kameras der Nerian Vision-Familie waren eine treibende Kraft bei der Verbesserung der Echtzeit-3D-Sensortechnologie. Die Produktreihe umfasste drei Stereo-Vision-Lösungen – Ruby, Scarlet und SceneScan –, die alle auf derselben von Konstantin Schauwecker entwickelten hardwarebeschleunigten Bildverarbeitungs-Pipeline basierten. Zu ihren wichtigsten Funktionen gehörten:
- Hardwarebeschleunigte Bildrektifizierung unter Verwendung von DMA und einem benutzerdefinierten Cache
- Vorverarbeitung der Eingangs-Bilddaten
- Eine hochgradig parallelisierte Stereo-Matching-Engine auf Basis des Semi-Global Matching (SGM)-Algorithmus
- Nachbearbeitung des berechneten 3D-Kostenvolumens und Reduzierung auf eine Disparitätskarte
- Erweiterte Disparitätskartenfilterung für verbesserte Genauigkeit
- Vollständige End-to-End-Verarbeitung innerhalb des FPGA, was eine deterministische Leistung mit geringer Latenz ermöglicht
Diese FPGA-basierte Verarbeitung wurde durch einen eingebetteten Linux-Software-Stack ergänzt, der für den Kontrollfluss, die Netzwerkkommunikation, die Konfiguration, die Kalibrierung und eine intuitive webbasierte Benutzeroberfläche zuständig war.
Die Sensoren von Nerian zeichneten sich auch durch ihre maßgeschneiderte Elektronik und ihr kompaktes mechanisches Design aus. Jedes Gerät vereinte erhebliche Rechenleistung und Hochleistungskomponenten in einem kleinen Formfaktor. Dieser Ansatz erreichte seinen Höhepunkt mit dem Ruby-Sensor, der einen leistungsstarken FPGA, drei Bildsensoren mit Optik und einen Lasermusterprojektor in einem Gehäuse mit den Maßen 130 × 92,5 × 34,5 mm und einem Gewicht von 450 g vereinte.
Der Scarlet-Sensor – entwickelt für extrem leistungsintensive Anwendungen – brachte Nerian den Inspect Award 2022 ein. Scarlet war in der Lage, beeindruckende 70 Millionen 3D-Punkte pro Sekunde zu verarbeiten und setzte damit neue Maßstäbe in der Echtzeit-Stereosicht.