GeoSmartChange – Automatisierte Erkennung und Bewertung von Fahrbahnmarkierungen aus einem Digitalen Zwilling
Projektdauer: 11/2019 - 03/2022
Gefördert durch: Ministerium für Wirtschaft, Innovation, Digitalisierung und Energie des Landes NRW (MWIDE)
In Kooperation mit: Institut für Innovationsforschung und -management (ifi), Kreis Recklinghausen, Stadt Bottrop
Ansprechpartner: Alexander Roß
Ziel dieses vom Ministerium für Wirtschaft, Innovation, Digitalisierung und Energie des Landes NRW geförderten Projekts war die prototypische Erhebung und Implementierung eines digitalen Zwillings in der Emscher Lipper Region. Neben der Erstellung eines Implementierungsleitfadens und der Eruierung rechtlicher Aspekte sollten automatisiert Objekte aus dem digitalen Zwilling mit Methoden der KI extrahiert werden, um Verwaltungsverfahren nachhaltig zu optimieren.
Projektpartner waren die Westfälische Hochschule, der Kreis Recklinghausen sowie die Städte Bottrop und Gelsenkirchen.
Hauptergebnisse des Forschunsgteams waren hierbei u.a. ein Prototyp zur automatisierten Generierung von Zustandskarten von Fahrbahnmarkierungen für das Erhaltungsmanagement von Innerortsstraßen sowie eine Software zur automatisierten Ergänzung von 3D-Stadtmodellen. Dabei wurden selbstlernende Algorithmen zur Extraktion von Objekten aus den georeferenzierten Bild- und LiDAR-Daten des digitalen Zwillings implementiert und getestet. Für das Training dieser Modelle wurden in Zusammenarbeit mit dem Tiefbauamt Bottrop Trainingsdatensätze angefertigt.
adois – Automatisierte Erkennung von versiegelten Flächen aus Fernerkundungsdaten
Projektdauer: 01/2022 – 12/2022
Auftragsforschung: Kreis Recklinghausen
Ansprechpartner: Marius Maryniak
https://github.com/geospaitial-lab/adois
Dieses vom Kreis Recklinghausen beauftragte Forschungsprojekt hatte zum Inhalt, Versiegelungsflächen der kreiseigenen Liegenschaften automatisiert mit Methoden der KI zu erkennen und zu klassifizieren. Als Datengrundlage zum Trainieren und Testen der neuronalen Netze sollten unterschiedliche Daten, etwa Luftbildaufnahmen, Satellitenbilder, kommunale Bestandsdaten sowie In-Situ-Daten untersucht werden.
Die automatisierte Erkennung der Versiegelungsflächen ist ein Baustein des Projekts Cop4Kom, mit dem man das Ziel verfolgt, eine Vielzahl klimarelevanter Informationen über das Gebiet der Kreisstädte zu erheben, zusammenzuführen und integral auszuwerten. Damit soll ermöglicht werden, Bereiche hinsichtlich ihrer klimaökologischen Beschaffenheit genauer und detaillierter zu beurteilen. Diese Erkenntnisse sollen wiederum als Grundlage für Handlungskonzepte und Anpassungsmaßnahmen dienen.
Auftraggeber und Projektpartner dieses Projektes ist der Kreis Recklinghausen. Weitere Projektpartner waren der Emschergenossenschaft Lippeverband (EGLV), der Regionalverband Ruhr (RVR) sowie die Stadt Bottrop, die im Rahmen von Workshops und Jour Fixes wichtige Impuls- und Informationsgeber waren. Besonders die vom EGLV bereitgestellten manuell erfassten und kontinuierlich gepflegten Versiegelungsdaten haben als Grundlage zum Anlernen der KI maßgeblich zum Erfolg des Projekts beigetragen.
abs( ) – Automatisierte Erkennung und Bewertung von Fahrbahnzuständen aus einem Digitalen Zwilling
Projektdauer: 11/2022 – 01/2024
Auftragsforschung: Kreis Recklinghausen, Städte Bocholt, Bottrop, Dorsten, Gelsenkirchen, Haltern am See, Herten, Marl, Recklinghausen
Ansprechpartner: Marius Maryniak
https://github.com/geospaitial-lab/abs
Das Forschungsteam für Künstliche Intelligenz und kommunale Geoinformationen hat im Auftrag der Städte Bocholt, Bottrop, Dorsten, Gelsenkirchen, Haltern, Herten, Marl, Recklinghausen sowie des Kreises Recklinghausen eine Software zur vollautomatisierten Erkennung der Fahrbahnzustände entwickelt. Die Software nutzt dabei die Datenbasis sogenannter Urbaner Digitaler Zwillinge, die durch die digitale Erfassung von Straßen über entsprechende Befahrungen zunehmend regelmäßig in den Kommunen erstellt werden. Es werden dabei georeferenzierte Bild- und LiDAR-Daten erfasst und verwendet. Damit lassen sich nun aktuelle Straßenzustandskarten per Knopfdruck erstellen. Die Software erkennt Schadenobjekte, führt Simulationen von Ebenheitsmessungen durch und aggregiert diese Informationen in Zustandsklassen von beliebigen Fahrbahnabschnitten. Grundlage der Erkennung und Klassifizierung ist die Richtlinie E EMI 2012 / AP 9 K (Empfehlungen für das Erhaltungsmanagement von Innerortsstraßen).
Für die Software wurden spezielle KI-Modelle auf Basis Tiefer Konvolutionaler Neuronaler Netze (CNN) auf eigens angefertigten Trainingsdatensätzen trainiert, validiert und sukzessive optimiert. Ebenso wurde ein spezielles Verfahren zur Simulation der Ebenheitsmessungen entwickelt. Die Fahrbahnzustände können auf beliebig vorgegebene Straßenabschnitte aggregiert werden.
EasyDigiTwin – Aufbau eines niederschwelligen Mobile-Mapping-Verfahrens auf Basis von Neural Radiance Fields/ Gaussian Splatting
Projektdauer: 03/2023 - 08/2024
Gefördert durch: Bundesministerium für Digitales und Verkehr (BMDV, mFUND)
In Kooperation mit: SWD Dormagen mbH
Ansprechpartner: Alexander Roß, Christian Kuhlmann
Ziel des vom Bundesministerium für Digitales und Verkehr geförderten und von dem Forschungsteam für Künstliche Intelligenz und kommunale Geoinformationen in Kooperation mit der Stadtmarketing- und Wirtschaftsförderungsgesellschaft Dormagen mbH durchgeführten Projektes ist die Definition eines weitgehend automatisierten und kosteneffizienten Mobile-Mapping-Verfahrens zur Erstellung eines georeferenzierten urbanen digitalen Zwillings. Digitale Zwillinge existieren in verschiedensten Formen. Anders als digitale Zwillinge für industrielle Anwendung, welche relevante Prozesse modellieren und zu deren Simulation genutzt werden, stellen urbane digitale Zwillinge ein aktuelles Abbild der Stadt dar, welches als Planungsinstrument genutzt wird. Der angestrebte digitale Zwilling bildet die Stadt mit einer Reihe von Szenen ab, welche in neuronalen Netzen codiert sind. Diese lassen sich anschließend verwenden, um eine fotorealistische Visualisierung zu erzeugen, Messungen innerhalb des digitalen Zwillings durchzuführen und bieten eine umfangreiche Datengrundlage für eine Reihe von Anwendungsfällen. Das Verfahren wird in der Stadt Dormagen erprobt und die Projektergebnisse zur Nachnutzung durch andere Kommunen in einem Handlungsleitfaden bereitgestellt. In diesem Handlungsleitfaden werden auch die Anwendungsfälle des Verfahrens aufgeführt, deren Umsetzung skizziert und Implikationen abgeleitet. Außerdem sollen die Kosten für ein Mobile-Mapping-System auf ca. ein Fünftel bisheriger Kosten reduziert werden. Der erhöhte Automatisierungsgrad des neuen Verfahrens soll zudem den Personalaufwand und die Komplexität des Verarbeitungsprozesses im Vergleich zu bestehenden Verfahren reduzieren. Die Anwendung und Eignung des Verfahrens im urbanen Raum auf kommunalen Fahrzeugen wird durch die Mitarbeitenden der Stadt Dormagen geprüft und bestätigt.
Stand des Projektes:
EasyDigiTwin - Rendering Befahrung Dormagen
08/2023: Mobile Mapping Hardware zusammengestellt und installiert.
Für das Mobile-Mapping-System wurde ein Rahmen mit 13 Kameras und einem GNSS aufgebaut. Letztes bestimmt und speichert die Aufnahmeposition und löst die Kameras aus. Ferner laufen auf einem Embedded PC die Bilddaten zusammen. Auf dem aus Aluminiumprofilen bestehende Rahmen ist eine Vorrichtung zur Montage auf einem speziellen Dachgepäckträger montiert.
10/2023: Mobile Mapping System fertiggestellt und erste erfolgreiche Befahrung in Gelsenkirchen
Die Software zur Speicherung der Bilder der 13 Kameras der Mobile-Mapping-Hardware ist fertiggestellt und wurde integrativ im Labor getestet. Anschließend wurde das Mobile-Mapping-System erstmalig auf einem Pkw installiert und eine erste Testbefahrung erfolgreich auf dem Gelände der WH durchgeführt. Erste Versuche der Nachbearbeitung waren nicht erfolgreich, da Anwendungsfehler mit der Software des GNSS dies verhinderten.
11/2023: Data Pipeline für Befahrungsdaten für erste Test mit den Befahrungsdaten bereitgestellt
Nach Behebung des Anwendungsproblems mit der Software des GNSS konnten alle Daten erfolgreich auf die Server heruntergeladen und nachverarbeitet werden. Die Nachverarbeitung liefert anhand der Rohdaten und SAPOS-Korrekturdaten die korrigierten Aufnahmepositionen, die einen wichtigen Bestandteil des anschließenden Modells darstellen.
Diese Daten wurden mithilfe der Data Pipeline in die zum Training des NeRF benötigte Datenstruktur überführt. Anschließend erfolgte ein erstes Training in mehreren Iterationen.
12/2023: Strecke zur Testbefahrung in Gelsenkirchen definiert und Referenzpunkte von ÖbVI eingemessen
Nach der ersten Befahrung wurde zur Ermittlung der Genauigkeit der ermittelten Tiefenkarten eine Testtrecke von ca. 500 m an der Westfälischen Hochschule definiert. Sie führt an verschiedenen Gebäudeteilen der Hochschule entlang, besitzt unterschiedliche Steckensteigungen und verfügt über 30 Referenzpunkten, die der Genauigkeitsprüfung (absolut und relativ) des Systems dienen sollen. Die Referenzpunkte sind Karten aus PVC, die an Laternen, Gebäudefassaden oder Fenstern montiert (Kabelbinder bzw. Kleber) sind. Nach Anbringung wurde ein öffentlich bestellter Vermessungsingenieur über die SWD mit der Einmessung beauftragt.
02/2024: Erste Befahrung auf Teststrecke und erste Auswertungen
Es wurde eine Befahrung mit dem Mobile-Mapping-System auf der definierten Teststrecke durchgeführt und verarbeitet. Ergebnis war eine trainierte Szenenfunktion auf Basis von NeRF. Die Ergebnisse lassen sich wie folgt zusammenfassen: Das Rendering in bestimmten Bereichen der Teststrecke war erfolgreich, wies aber mitunter in verschiedenen Bereichen eine größere Anzahl von Fehlerartefakten auf. Ferner ließen sich die Referenzpunkte nicht lokalisieren. Außerdem wurde bei der Auswertung deutlich, dass das Rendering des NeRF-Modells relativ inperformant ist.
03/2024: Einbeziehung neuer wissenschaftlicher Verfahren (Gaussian Splatting) in den Auswertungsprozess
Zur Verbesserung der Performanz wurde mit Gaussian Splatting ein neues Verfahren anstelle der NeRF-Modelle ausprobiert. Hierzu wurde das implementierte Renderingsystem auf das neue Verfahren hin angepasst und getestet.
06/2024: Erste Befahrung auf Teststrecke in Dormagen
Nach verschiedenen Befahrungen in Gelsenkirchen und einer eingehenden Verifikation des Mobile-Mapping-Prozesses wurde eine Befahrungsserie in Dormagen durchgeführt. Es wurden zwei Stecken in der Dormagener Innenstadt und einem nahegelegenen Vorort definiert und befahren. Anschließend wurden die Daten verarbeitet und entsprechen Szenenfunktionen auf Basis des Gaussian Splatting generiert.
08/2024: Demonstration des Gaussian Splattings anhand eines Film-Sequenz
Von verschiedenen Szenen wurden Filmsequenzen zur Illustration des ortsunabhängigen Renderings erstellt. Hierzu wurde das eigenentwickelte Renderingsystem derart erweitert, dass eine beliebige Sequenz von Punkten im Raum mit den zugehörigen Blickrichtungen vorgebbar ist und das Rendering entlang dieser Sequenz generiert wird. Siehe o.a. Filmsequenz.
