3.2 Qualitätsmanagement-Konzept 
Zi Fraunhofer ZZ Fraunhofer 
CML 160 
E.R.1 Erfassung der Anwendungsgrenzen und Unsicherheiten 
Ein robustes Modell setzt voraus, dass es mit fehlerhaften, verrauschten, unbekannten und feindlichen Einga- 
bedaten umgehen kann [23]. In [BE werden zur Erfassung der Anwendungsgrenzen und Unsicherheiten unter- 
schiedliche Methoden vorgestellt. Allgemein anwendbar ist die systematische Schwachstellensuche oder die Fol- 
genuntersuchung von erwartbaren Störungen z.B. durch Sensorrauschen und Verzerrung oder Verfremdung von 
Eingabedaten. Letzteres kann auftreten, wenn z.B. das Kamerasystem widrigen Wetterverhältnissen ausgesetzt ist. 
E.N.1 Beschreibung des Modellverhaltens 
Zur Nachvollziehbarkeit für die Entwickler, Anwender und Prüfer ist es notwendig, das Modellverhalten zu 
dokumentieren. Dies sollte nach den in Maßnahmen KN-1 formulierten Methoden erfolgen. 
E.N.2 Beschreibung der verwendeten Datensätze 
Eine Beschreibung der verwendeten Datensätze nützt hauptsächlich Entwicklern, welche ein vortrainiertes Mo- 
dell reproduzieren oder nachtrainieren wollen und dabei offensichtlich nicht auf bereits verwendete Datensätze 
zurückgreifen können. Mögliche Methoden zur Beschreibung der verwendeten Datensätze werden in [ZI] vorge- 
stellt. 
3.2.3 Inbetriebnahme 
1 
ai Oab 
Ja i 
Begutachtung des Modellverhaltens unter Realbedingungen 
Archivierung des Vorgänger-Modells 
En 
=. 
KU 
re FA ash 
Versionierung der Entwicklunagsdatensätze und des Modells 
Abbildung 5: Maßnahmen in der Phase Inbetriebnahme. 
1L.R.1 Begutachtung des Modellverhaltens unter Realbedingungen 
Bei der Inbetriebnahme wird das Modell das erste Mal den Realbedingungen ausgesetzt. Dies bedeutet zum 
einen, dass es in der vorgesehen Systemarchitektur integriert ist und dass das System der realen Umgebung aus- 
gesetzt ist. Im Zuge dessen, erhält das Modell Eingabedaten, die in der Anwendungsdomäne liegen, sich aber 
m Detail von den Daten aus der Entwicklung unterscheiden. Das Modell muss entsprechend darin begutachtet 
werden, ob das beschriebene Modellverhalten (s. Maßnahme EN.) wiedergegeben wird und die Erfolgskriteri- 
en (s. Maßnahme K:E3) erreicht werden. Dies kann anhand Szenarien erfolgen, wie sie bestenfalls bereits in den 
Testszenarien definiert und geprüft worden sind. Als Realszenarien können die Testszenarien nachgespielt werden. 
Darüber hinaus ist es denkbar eine systematische Schwachstellensuche [BY] durchzuführen. 
1L.R.2 Archivierung eines Vorgänger-Modells 
Sofern es sich mit dem vorliegenden Modell um eine Aktualisierung und nicht eine Erstbetriebnahme durchge- 
führt wird, ist es sinnvoll, das lauffähige Vorgängermodell zu archivieren. Diese kann als Rückfall-Option dienen, 
sofern sich unerwartet technische Probleme beim aktuellen Modell ergeben sollten. 
1.N.1 Versionierung und Archivierung der Entwicklungsdatensätze, des Modells und der Systemkonfi- 
guration 
Sowohl der Datensatz zur Entwicklung des Modells, das Modell selbst und eine Spezifikation der Systemkonfi- 
guration müssen zur Inbetriebnahme versioniert und archiviert werden. 
Zurückverfolgbare verwendete Trainings-, Test-, und Validierungsdaten sind insb. für das Nachtrainieren er- 
‘orderlich [E7, E3, FA. Eine Versionierung muss auf stringentem Wege erfolgen, was wiederum klare Kriterien 
voraussetzt. Die Kriterien sollten verschiedene Änderungen in den Datensätzen (z.B. hinsichtlich Format, Struktur, 
Metadaten, Augmentierung, Bereinigung oder Zusammenführen mit anderen Datensätzen) berücksichtigen [FA]. 
Das Modell selbst kann über die Speicherung von Modellarchitektur und -parametern, z.B. Gewichtungen bei 
einem Neuronalem Netzwerk [BY], versioniert werden. Darüber hinaus sollte bei mit Daten trainierten Modellen