Technologie hilft selbstfahrenden Autos, aus eigenen Erinnerungen zu lernen | Nachrichten

By | June 22, 2022
Spread the love

Ein autonomes Fahrzeug ist in der Lage, durch die Straßen der Stadt und andere weniger belebte Umgebungen zu navigieren, indem es Fußgänger, andere Fahrzeuge und potenzielle Hindernisse durch künstliche Intelligenz erkennt. Dies wird mit Hilfe künstlicher neuronaler Netze erreicht, die darauf trainiert sind, die Umgebung des Autos zu „sehen“, und das menschliche visuelle Wahrnehmungssystem nachahmen.

Aber im Gegensatz zu Menschen haben Autos, die künstliche neuronale Netze verwenden, keine Erinnerung an die Vergangenheit und sehen die Welt ständig zum ersten Mal – egal, wie oft sie eine bestimmte Straße zuvor gefahren sind. Besonders problematisch ist dies bei widrigen Wetterbedingungen, wenn sich das Auto nicht sicher auf seine Sensoren verlassen kann.

Forscher des Cornell Ann S. Bowers College of Computing and Information Science und des College of Engineering haben drei gleichzeitige Forschungsarbeiten mit dem Ziel erstellt, diese Einschränkung zu überwinden, indem sie das Auto mit der Fähigkeit ausstatten, „Erinnerungen“ an frühere Erfahrungen zu erstellen und diese zu nutzen beim zukünftigen Surfen.

Der Doktorand Yurong You ist Hauptautor von „HINDSIGHT is 20/20: Leveraging Past Traversals to Aid 3D Perception“, das Sie virtuell im April auf der ICLR 2022, der International Conference on Learning Representations, vorgestellt haben. „Lernende Repräsentationen“ beinhalten Deep Learning, eine Art maschinelles Lernen.

„Die grundlegende Frage lautet: Können wir aus wiederholten Durchquerungen lernen?“ sagte leitender Autor Kilian Weinberger, Professor für Informatik an der Cornell Bowers CIS. „Zum Beispiel kann ein Auto einen seltsam geformten Baum für einen Fußgänger halten, wenn sein Laserscanner ihn zum ersten Mal aus der Ferne wahrnimmt, aber sobald er nah genug ist, wird die Objektkategorie klar. Wenn man also auch bei Nebel oder Schnee ein zweites Mal an genau demselben Baum vorbeifährt, hofft man, dass das Auto nun gelernt hat, ihn richtig zu erkennen.“

„Eigentlich fährt man eine Strecke selten zum ersten Mal“, sagt Co-Autorin Katie Luo, Doktorandin in der Forschungsgruppe. „Entweder Sie selbst oder jemand anderes hat es in letzter Zeit schon einmal gefahren, daher scheint es nur natürlich, diese Erfahrungen zu sammeln und zu nutzen.“

Unter der Leitung des Doktoranden Carlos Diaz-Ruiz stellte die Gruppe einen Datensatz zusammen, indem sie ein mit LiDAR-Sensoren (Light Detection and Ranging) ausgestattetes Auto wiederholt entlang einer 15 Kilometer langen Schleife in und um Ithaka fuhr, 40 Mal über einen Zeitraum von 18 Monaten. Die Durchquerungen erfassen unterschiedliche Umgebungen (Autobahn, Stadt, Campus), Wetterbedingungen (sonnig, regnerisch, verschneit) und Tageszeiten.

Dieser resultierende Datensatz – den die Gruppe als Ithaca365 bezeichnet und der Gegenstand einer der beiden anderen Veröffentlichungen ist – umfasst mehr als 600.000 Szenen.

„Es stellt bewusst eine der größten Herausforderungen bei selbstfahrenden Autos dar: schlechte Wetterbedingungen“, sagte Diaz-Ruiz, Co-Autor des Ithaca365-Papiers. „Wenn die Straße schneebedeckt ist, können sich Menschen auf Erinnerungen verlassen, aber ohne Erinnerungen ist ein neuronales Netzwerk stark benachteiligt.“

HINDSIGHT ist ein Ansatz, der neuronale Netze verwendet, um Deskriptoren von Objekten zu berechnen, während das Auto an ihnen vorbeifährt. Anschließend komprimiert es diese Beschreibungen, die die Gruppe als SQuaSH-Merkmale (Spatial-Quantized Sparse History) bezeichnet hat, und speichert sie auf einer virtuellen Karte, ähnlich einem „Speicher“, der in einem menschlichen Gehirn gespeichert ist.

Wenn das selbstfahrende Auto das nächste Mal denselben Ort durchquert, kann es die lokale SQuaSH-Datenbank jedes LiDAR-Punkts entlang der Route abfragen und sich daran „erinnern“, was es beim letzten Mal gelernt hat. Die Datenbank wird kontinuierlich aktualisiert und von allen Fahrzeugen gemeinsam genutzt, wodurch die für die Erkennung verfügbaren Informationen angereichert werden.

„Diese Informationen können jedem LiDAR-basierten 3D-Objektdetektor als Funktionen hinzugefügt werden.“ Du sagtest. „Sowohl der Detektor als auch die SQuaSH-Darstellung können gemeinsam trainiert werden, ohne zusätzliche Überwachung oder menschliche Annotation, was zeit- und arbeitsintensiv ist.“

Während HINDSIGHT noch davon ausgeht, dass das künstliche neuronale Netz bereits auf das Erkennen von Objekten trainiert ist und es um die Fähigkeit zum Erstellen von Erinnerungen erweitert, geht MODEST (Mobile Object Detection with Ephemerality and Self-Training) – das Thema der dritten Veröffentlichung – noch weiter.

Hier lassen die Autoren das Auto die gesamte Wahrnehmungspipeline von Grund auf neu lernen. Anfangs war das künstliche neuronale Netz im Fahrzeug noch nie irgendwelchen Objekten oder Straßen ausgesetzt. Durch mehrfaches Durchqueren derselben Route kann er lernen, welche Teile der Umgebung stationär und welche bewegliche Objekte sind. Langsam lernt es selbst, was andere Verkehrsteilnehmer ausmacht und was getrost ignoriert werden kann.

Der Algorithmus kann diese Objekte dann zuverlässig erkennen – auch auf Straßen, die nicht Teil der anfänglichen wiederholten Überquerung waren.

Die Forscher hoffen, dass beide Ansätze die Entwicklungskosten autonomer Fahrzeuge (die derzeit noch stark auf kostspielige, von Menschen kommentierte Daten angewiesen sind) drastisch senken und solche Fahrzeuge effizienter machen könnten, indem sie lernen, an den Orten zu navigieren, an denen sie am häufigsten verwendet werden.

Sowohl Ithaca365 als auch MODEST werden auf der Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2022) vorgestellt, die vom 19. bis 24. Juni in New Orleans stattfindet.

Weitere Mitwirkende sind Mark Campbell, John A. Mellowes ’60 Professor für Maschinenbau an der Sibley School of Mechanical and Aerospace Engineering, die Assistenzprofessoren Bharath Hariharan und Wen Sun von der Computerwissenschaft bei Bowers CIS; Ausbildung des Postdoktoranden Wei-Lun Chao, jetzt Assistenzprofessor für Informatik und Ingenieurwesen an der Ohio State; und Doktoranden Cheng Perng Phoo, Xiangyu Chen und Junan Chen.

Die Forschung für alle drei Papiere wurde durch Zuschüsse der National Science Foundation unterstützt; das Büro für Marineforschung; und der Semiconductor Research Corporation.

Anmerkung des Herausgebers: Dieser Artikel wurde ursprünglich im Cornell Chronicle veröffentlicht.

.

Leave a Reply

Your email address will not be published.