Sicherheitsargumentation befähigendes AI Engineering
über den gesamten Lebenszyklus einer KI-Funktion.
Safe AI Engineering schafft die Grundlagen für einen im Markt allgemein akzeptierten, praxistauglichen Sicherheitsnachweis von KI, um die Führung beim sicheren autonomen Fahren weltweit zu erhalten.
Sicherheitsargumentation befähigendes AI Engineering
über den gesamten Lebenszyklus einer
KI-Funktion.
Safe AI Engineering schafft die Grundlagen für einen im Markt allgemein akzeptierten, praxistauglichen Sicherheitsnachweis von KI, um die Führung beim sicheren autonomen Fahren weltweit zu erhalten.
Projektbeschreibung: Safe AI Engineering
Im Rahmen der Roadmap der VDA-Leitinitiative, gemeinsame Standards zu schaffen und automatisiertes Fahren ganzheitlich voranzutreiben, entstand aus den Clustern der Pegasus- und KI-Familie das Projekt Safe AI Engineering, das auf der ersten KI-Familiengeneration aufbaut und aus den Strängen des Familien-Projekts KI-Absicherung hervorgegangen ist.
Zielsetzung von Safe AI Engineering ist es eine Methodik zu entwickeln, die die Erstellung einer Sicherheitsargumentation von KI-Funktionen für das autonome Fahren über den gesamten Lebenszyklus ermöglicht. Diese umfasst die Schritte Planung, Entwicklung, Testen, Deployment, Monitoring und Einbettung im Gesamtsystem. Der Fokus liegt darauf über die systematische Orchestrierung eine Verzahnung der unterschiedlichen Elemente einer solchen Sicherheitsargumentation über den gesamten KI-Lifecycle-Prozess zu betrachten, um dadurch zu demonstrieren, wie KI-Funktionen dauerhaft und zuverlässig abgesichert werden können.
Ein weiterer Aspekt ist die Integration bestehender Prüfmethoden und Normen (ISO 26262, SOTIF, ISO/PAS 8800), um einen Stand der Technik entsprechenden, und vor allem praxistauglichen Sicherheitsnachweis aus den Bausteinen des Projektes erstellen zu können. Das Projekt schließt so die Lücke zwischen Verifikation & Validierung (V&V) und Sicherheitsnachweisen für KI.
Motivation
Die Notwendigkeit zur Absicherung von KI-Funktionen wächst mit der Integration von KI in sicherheitskritische Systeme, insbesondere im automatisierten Fahren. Zur Inbetriebnahme von sicheren autonomen Fahrzeugen wird ein Sicherheitsnachweis benötigt, der die korrekte Funktion aber auch kontinuierliches Betriebsmonitoring ermöglicht. Die Bausteine diese Nachweises entstehen aus der AI Engineering Methodik. Diese wird in Safe AI Engineering gemeinsam mit Fahrzeugherstellern, Zulieferern, IT-Unternehmen, Technologieanbietern und Wissenschaftspartnern entlang der gesamten Wertschöpfungskette der Automobilindustrie entwickelt – insbesondere durch den Einsatz realer und synthetischer Fahrdaten.
Vorgehen
Ein zentrales Ziel des Projekts ist es die Methodik an einer konkreten KI-Perzeptionsfunktion zur Fußgängererkennung auszuarbeiten. Dafür wird das Projekt drei iterative Stufen der Funktionsevolution durchlaufen, die jeweils einen Use Case mit steigender Komplexität beinhalten. Die KI-Funktion zur Fußgängererkennung wird über die Use Cases weiterentwickelt und getestet.
Use Case 1:
Ein stehendes Fahrzeug und ein stehender Fußgänger in unterschiedlichen Posen an einer Kreuzung.
Use Case 2:
Ein stehendes Fahrzeug und ein Fußgänger in Bewegung an einer Kreuzung.
Use Case 3:
Zwei stehende Fahrzeuge und mehrere sich bewegende Fußgänger an einer Kreuzung, wobei ein Fußgänger teilweise verdeckt sein kann.
Jeder dieser Use Cases stellt eine neue Herausforderung dar und erfordert die kontinuierliche Verbesserung und Absicherung der KI-Funktion. Die Verzahnung der Bausteinerstellung für die unterschiedlichen Bereiche eines Sicherheitsnachweises ergeben letztlich die Safe AI Engineering Methode als übergeordnetes Ziel des Projekts.
Kerninnovationen des Projekts
Safe AI Engineering entwickelt neue Ansätze für die sichere Nutzung von KI im automatisierten Fahren, mit Schwerpunkten auf:
Sicherheit und KI-Integration
Verknüpfung von Sicherheitsanforderungen und KI-Engineering.
Datenbasis und Qualitätssicherung
Methoden für die Normalisierung von hochwertigen Trainings- und Validierungsdaten, einschließlich synthetischer Daten.
KI-Bewertung und Sicherheitsstandards
Bewertung von Qualitätsmetriken gemäß ISO 26262, ISO/PAS 8800 und SOTIF.
Erklärbare und robuste KI
Transparente Methodik zur Absicherung einer Perzeptionsfunktion.
Monitoring und kontinuierliche Verbesserung
Modellüberprüfung durch evidenzbasierte offline- und online-Überwachung.
Praxisnahe Demonstration
Testen der Technologien in realistischen Demonstratoren.
Impact
Das Projekt Safe AI Engineering leistet einen wichtigen Beitrag zur sicheren Integration von KI im Fahrzeug und könnte langfristig einen Standard für die Absicherung KI-basierter Funktionen im automatisierten Fahren etablieren. Dabei kann die entwickelte Methodik einen Beitrag zur behördlichen Zulassung leisten, um so eine vereinheitlichte Anwendbarkeit zu gewährleisten.
Safe AI Engineering stärkt die Innovationskraft der Branche und fördert die Weiterentwicklung neuer Technologien. Das Projekt trägt maßgeblich zur Integration von KI-Komponenten in automatisierte Fahrzeuge bei und erzielt Fortschritte in Sensorik, Aktorsystemen, Robustheit, Ausfallsicherheit sowie Datenfusion und -verarbeitung. Damit wird die Grundlage für die Skalierung automatisierter Mobilitätslösungen geschaffen.
Fahrzeughersteller und -zulieferer profitieren von einer erprobten Methodik zur Absicherung ihrer KI-Systeme, während Behörden auf Transparenz und Nachvollziehbarkeit setzen, um die öffentliche Sicherheit zu gewährleisten. Endnutzer erhalten ein Fahrzeug, in dem KI sicher und zuverlässig arbeitet – eine behördliche Genehmigung von KI könnte künftig die Absicherung dieser Systeme sicherstellen.
Das Projekt greift auf bestehende Fahrzeuge, Daten und Hardware von den Projektpartnern zurück, die bereits in vorherigen Forschungsprojekten erprobt wurden.
Ausblick
Safe AI Engineering ist ein zukunftsweisendes Projekt, das nicht nur die Sicherheit von KI im Fahrzeug gewährleistet, sondern auch einen Standard für die gesamte Branche setzen könnte. Es ist ein wichtiger Schritt hin zu einer sicheren und zuverlässigen Integration von KI in automatisierte Fahrzeuge, die sowohl für die Hersteller als auch für Behörden und Endnutzer von großer Bedeutung ist und somit zur Etablierung eines allgemeines Sicherheitsgefühls in Bezug auf automatisierte und autonome Mobilitätssysteme beitragen kann.
Zahlen und Fakten
Projektbudget
34,5 Mio. €
Koordinatoren
Dr. Ulrich Wurstbauer
Luxoft GmbH
Prof. Dr. Frank Köster
DLR
Konsortium
24 Partner
Automobilhersteller, Zulieferer, Technologieprovider, Forschungsinstitutionen, externe Partner
Fördervolumen
17,2 Mio. €
Dauer
36 Monate
März 2025 – Februar 2028
Projektkonsortium





















