3.2 Qualitätsmanagement-Konzept 
Zi Fraunhofer ZZ Fraunhofer 
CML 160 
3.2.1 Konzeptionierung 
Formalisierung der Anwendungsdomäne 
Charakterisierung von relevanten Datensätzen 
Definition von Performanz-Metriken und Erfolgskriterien 
4 
Definition von Testszenarien 
Auswahl der Hardware 
Auswirkungen bei technischem Versagen 
Anal 
Methoden zur Erklärbarkeit des Modeliverhaltens 
Abbildung 3: Maßnahmen in der Phase Konzeptualisierung. 
K.F.1 Formalisierung der Anwendungsdomäne 
Die Formalisierung der Anwendungsdomäne wird als erste notwendige Maßnahme betrachtet. Aus ihr lassen 
sich sowohl Anforderungen an Datensätze und Modelle ableiten. Die Formalisierung wird in [Z3] behandelt. Das 
Systemverhalten sollte sich anhand der Formalisierung der Anwendungsdomäne in zumindest die folgenden vier 
Unterdomänen abgrenzen können [BI]: 
1. Input-Domäne: Menge an Input, mit welchen das Modell umgehen kann. 
2. Betriebsmäßige Domäne: Menge an Input, welches für das Modell im Betrieb erwartet wird. 
3. Fehlfunktionale Domäne: Menge an Input, welches das Modell im Falle von Fehlfunktionen innerhalb im 
gesamten software- und hardware-seitigen System erwarten kann. 
4. Feindliche£ Domäne: Menge an Input, welches das Modell bei feindlichen Störungen erwarten kann. 
Ferner wird mit der Berücksichtigung der Anwendungsdomäne die Brücke zu MASS geschlagen, da hier das 
Operational Envelope eine wichtige Rolle spielt [9]. Das Operational Envelope wird - vereinfacht formuliert - durch 
die Erweiterung der Anwendungsdomäne um den Anteil menschlicher operativer Steuerung gebildet. 
K.F.2 Charakterisierung von relevanten Datensätzen 
Die zur Entwicklung herangezogenen Datensätze müssen sowohl im Umfang als auch in Qualität [BY, BI] ge- 
gebenen Anforderungen entsprechen. In der Phase der Konzeption wird zunächst der inhaltliche Umfang der not- 
wendigen Datensätze charakterisiert. Aus der formalisierten Anwendungsdomäne (s. Maßnahme K.ED) der Kl- 
Anwendung lässt sich schließen, welche Daten für die Bedienung welcher Unterdomänen notwendig sind. Die 
heranzuziehenden Datensätze sollten insbesondere die Input-Domäne und die Betriebsmäßige Domäne bedienen. 
K.F.3 Definition von Performanz-Metriken und Erfolgskriterien 
Die Definition von Metriken zur Messung der Performanz, sowie zu erreichende Erfolgskriterien dienen als 
Messung der Zielerreichung eines Modells [Z3]. Je nach vorliegender Problemstellung eignen sich verschiedene Me- 
iriken zur Messung der Performanz eines Modells. In [B7, EX] werden Metriken für ML-Modelle i.A. behandelt. In 
der vorliegenden Studie handelt es sich bei der Problemstellung um ein Klassifikationsproblem. Mögliche Metriken, 
die sich hierfür im Speziellen eignen, werden in [E89] behandelt. Performanz-Metriken im Kontext von Objekter- 
kennung und semantischer Segmentierung, welche auch in dieser Studie herangezogen worden sind, werden in 
Kapitel A. vorgestellt. 
2 Aus dem Enalischen von “adversarial” im Kontext von “adversarial attacks” abgeleitet