3.2 Qualitätsmanagement-Konzept
Zi Fraunhofer ZZ Fraunhofer
CML 160
K.F.4 Definition von Testszenarien
Zur späteren Untersuchung der Performanz eines Modells kann im Vorfeld eine Menge an Testszenarien definiert
werden. Die Szenarien können gemäß Eingabe, Verarbeitung und Ausgabe (EVA)-Prinzip aus korrespondierenden
Eingabe-Ausgabe-Paaren bestehen [BI]. Hierbei sollten bewusst Testszenarien definiert werden, die nicht nur in-
nerhalb, sondern auch außerhalb oder entlang der Grenze der Anwendungsdomäne liegen, um das Modell auf
Robustheit zu untersuchen (s. Kapitel BE.Z.D). Mögliche Herangehensweise zur Beschreibung und Generierung von
Szenarien werden in [23] vorgestellt.
K.F.5 Auswahl der Hardware
Die Auswahl der Hardware sollte für die Entwicklungsphase das Training des Modells auf einem hinreichend
leistungsstarken Rechner berücksichtigen. Das Testen des Modells sollte auf einem weiteren System erfolgen, wel-
ches wie vorliegend oder vergleichbar im Betrieb zum Einsatz kommt. Als System wird in diesem Fall nicht nur der
Rechner an sich, sondern auch das Kamerasystem und andere für die Funktionalität & Performanz entscheidende
Systemkomponenten betrachtet.
Unter den gesichteten Dokumenten wird die Notwendigkeit von Hardware-Anforderungen nur in [B3] und [B3]
vage erwähnt, nicht aber inhaltlich bearbeitet. Eine Zusammenfassung möglicher Hardware zum Training von Mo-
dellen im Bereich Computer Vision wird in [FF] behandelt. Die Hardware zum Testen des Modells ist aufgrund von
individuellen Anwendungen spezifisch zu betrachten und kann an dieser Stelle nicht verallgemeinert behandelt
werden.
K.R.1 Auswirkungen und Strategien bei technischem Versagen
Technisches Versagen kann unterschiedliche Ursachen haben. Betrachtet man das Modell aus der Perspektive
des EVA-Prinzips, so kann es bereits zur Verarbeitung ungeeignete Eingabedaten erhalten, oder die Verarbeitung
schlägt fehl und es erfolgt eine fehlerhafte Ausgabe. Welche Eingabedaten geeignet sind und welche nicht, lässt
sich der formalisierten Anwendungsdomäne (s. Maßnahme K.E) entnehmen. Die korrekte Verarbeitung wieder-
Jm lässt sich mit den definierten Performanz-Metriken ermitteln (s. Maßnahme K:E3). Die Auswirkungen die aus
dem technischem Versagen sollten vorab eingeschätzt werden, um mögliche Strategien zu entwickeln. Mögliche
Herangehensweisen werden in [BY] beschrieben.
K.N.1 Methoden zur Erklärbarkeit des Modellverhaltens
Die Erklärbarkeit des Modellverhaltens ist für Entwickler, Anwender und Prüfer entscheidend. Ein möglicher und
insbesondere modell-agnostischer Ansatz der Erklärbarkeit wird in [Z3] vorgestellt. Dieser basiert grundlegend auf
dem EVA-Prinzip, also dem Abgleich zwischen der zu erwarteten Ausgabe bei gegebener Eingabe. Je nach Bedarf
und Möglichkeiten kann das Modellverhalten unter zusätzlichem Aufwand spezifischer untersucht werden. Mögli-
che Ansätze werden in [BT] vorgestellt. Hierbei muss grundlegend zwischen intrinsich-interpretierbaren White-Box-
Modellen und nicht intrinsisch-interpretierbaren Black-Box-Modellen unterschieden werden. Bei der Klassifizierung
und Segmentierung von Bildinhalten handelt kommen in der Regel Black-Box-Modelle zum Einsatz, also jene, die
nicht intrinsisch-interpretierbar sind.
11,
