Der Blätterkatalog benötigt Javascript.
Bitte aktivieren Sie Javascript in Ihren Browser-Einstellungen.
The Blätterkatalog requires Javascript.
Please activate Javascript in your browser settings.
Schwerpunkt|Automotive www markttechnik de Nr 44 2021 28 Bei der Datenfusion wird quasi von einem Punkt zum nächsten gegangen und die Tiefeninformation mit den jeweiligen RGB-Daten verknüpft Das Schöne dabei ist dass man bei der Fusion von Rohdaten ein Wissen darüber erzeugt wo jede Farbe lokalisiert ist und die Distanz zu diesen Farbpunkten ist bekannt Das ist auch bei der Fusion von Objektlisten wichtig Man muss wissen wo sich das Objekt befindet Aber es gibt entscheidende Unterschiede Die Kamera erkennt einen Fahrradfahrer auf der rechten Seite Bei der Fusion von Objektlisten geht es quasi darum dass überprüft wird ob das Radar oder Lidar in der Nähe der Kameradaten ebenfalls ein Objekt erkannt hat Liegen von beiden Sensoren die Objekte in den Objektlisten nah genug beieinander wird im Late-Fusion-Modell also bei der Fusion von Objektlisten davon ausgegangen die Informationen über die zwei Objekte miteinander verbunden Im Gegensatz dazu hat bei der Datenfusion von Rohdaten jeder Farbpunkt eine eigene Dis - tanzinformation und wenn sie nahe genug beieinander liegen werden sie als zusammenhängend weiterverarbeitet Wie gesagt Bei der Rohdatenfusion werden die RGBd-Daten und nicht die Objektlisten an die Objekterkennung weitergegeben Auch in Hinblick auf den Rechenaufwand ist die Datenfusion von Rohdaten nicht aufwändiger als die Datenfusion von Objektlisten Wenn sich beispielsweise der Bildausschnitt von zwei Kameras überlappt dann werden die Kameradaten aus diesem Bereich bei der Verarbeitung von Objektlisten in der Objekterkennung zweimal berechnet Denn wenn zwei Kameras dasselbe Objekt erkennen werden diese erst in der Objekterkennung auf Basis der Objektdaten als ein und dasselbe Objekt erkannt sprich einmal fand die Umsetzung in ein Objekt umsonst statt Ja aber hinsichtlich bestehender Redundanzanforderungen dürften zwei Kameras dennoch Vorteile haben Ja die Redundanz trägt ihren Teil in Hinblick auf die sicherheitskritischen Anforderungen der autonomen Lösung bei Zwei Kameras stellen sicher dass die Daten wie gewünscht erfasst werden können selbst wenn es auf einer Sensorebene zu Fehlern kommt Bei der Fusion von Rohdaten werden all diese Daten fusioniert bevor sie an die Einheit für die Objekterkennung weitergeleitet werden Daher muss die Redundanz nicht unbedingt zu einer höheren Rechenleistung bei der Objekterkennung führen Bei der Fusion auf Objektebene wiederum werden erst Objekte auf Basis der Sensordaten erzeugt bevor sie fusioniert werden Wenn also keine Abhilfe geschaffen würde würde die Redundanz in diesem Fall zu einem höheren Rechenaufwand führen Allerdings nutzt LeddarTech eine Upsampling-Technik das dürfte den Rechenaufwand wieder erhöhen Welcher Vorteil ist damit also verbunden? Sagen wir eine Kamera liefert Daten mit einer 4K-Auflösung über eine Szene Gleichzeitig liefert das Lidar über den ähnlichen Bereich 5000 Punkte Klar dass davon nicht alle überlappen aber sagen wir 1000 Punkte mit 1 Mio Pixel von der Kamera decken denselben Bereich ab Wir könnten jetzt einfach jeden der 1000 Lidar-Punkte mit einem Farbcode versehen allerdings leidet dann die Granularität sie läge in diesem Fall unterhalb der Kameraauflösung Also nutzen wir ein Upsampling um noch mehr Information aus den Sensordaten zu erhalten Dazu kommen noch Algorithmen die eine Korrektur in Hinblick auf Bewegung des eigenen Fahrzeugs und des Objekts durchführen All das wird bei der Datenfusion berücksichtigt sodass wir ein hochauflösendes RGBd-Datenmodell erhalten das dann der Objekterkennungseinheit übergeben wird Der entscheidende Vorteil Mit diesem Ansatz spielen Falsch-Positivund Falsch-Negativ-Daten keine Rolle mehr Das ist bei einer getrennten Erstellung von einzelnen Objektdaten und der Fusionierung auf Objektlistenebene nicht möglich Können Sie hierzu ein Beispiel geben? Ja klar Ist ein Auto auf die Straße gemalt gibt die Kamera in ihrer Objektliste ein Objekt an vollkommen unabhängig davon dass es nur auf die Straße gemalt ist Das heißt aber dass die Objekterkennung auf Basis von Objektlisten nicht weiß ob es sich dabei um ein Falsch-Positiv handelt Wenn die Objekterkennung mit Rohdaten arbeitet erhält sie RGBd-Daten und würde dann die Kameradaten zu dem gemalten Bild ignorieren weil sie nicht mit Tiefenoder Distanzinformationen verknüpft sind Gibt es noch weitere Vorteile der Fusionierung von Rohdaten? Ja Ist ein Fahrzeug beispielsweise in einem städtischen Umfeld unterwegs gibt es viele Reflexionen Zum Beispiel taucht in der Heckscheibe eines Autos das Spiegelbild eines anderen Fahrzeugs auf Auch hier bietet die Fusion von Rohdaten Vorteile denn auch in diesem Fall würde den Kameradaten die Distanzinformationen fehlen was die Objekterkennung sofort erkennt Das gilt auch für andere Situationen mit denen die Kamera typischerweise Probleme hat Dazu gehören zum Beispiel Nachtfahrten In diesem Fall empfängt die Kamera viele Rauschsignale Aber In dem Moment in dem die Datenerkennung RGBd-Daten verarbeitet kann sie immer noch feststellen ob ein Objekt vorhanden ist auch wenn das eigentliche Kamerasignal verrauscht ist Dasselbe gilt natürlich bei Regen oder Schnee Das heißt Auch in diesen Fällen sind die Kameradaten trotz des Rauschens noch sehr hilfreich wenn sie mit anderen Modalitäten fusioniert werden Eine letzte Frage Was passiert wenn der Lidar-Sensor einen Fehler macht? Hilft hier die Fusion von Rohdaten ebenfalls? Nehmen wir an dass zwei Objekte weit entfernt vom Sensor aber nahe beieinander liegen dann kann es passieren dass das Radar die beiden Objekte als ein einziges ansieht Wenn diese Rohdaten des Radars dann mit den Texturinformationen der Kamera fusioniert werden erkennt der Algorithmus dass es sich um zwei Objekte handeln muss und unterscheidet sie In diesem Fall trägt das Upsampling auch dazu bei das Verständnis der Umgebung besser zu rekonstruieren – ein Bonus obendrein Probleme können auch auftreten wenn zwei Objekte sehr nah am Sensor liegen In diesem Fall sind einige Tiefensensoren nicht in der Lage ein genaues Bild des Objekts zu erzeugen Die Fusion der Rohdaten adressiert diesen Fall und löst das Problem mithilfe der Kameradaten Das Interview führte Iris Stroh „ Auch in Hinblick auf den Rechenaufwand ist die Datenfusion von Rohdaten nicht aufwändiger als die Datenfusion von Objektlisten “