einer solchen Datenbank kann durch Hersteller von KlI-Systemen als Referenz zur 
-ormalisierung der Anwendungsdomäne genutzt werden. 
Durch die Aufteilung des bildgestützten Peilungssensors in zwei Komponenten 
müssen ebenfalls zwei Anwendungsdomänen definiert werden. 
Die Anwendungsdomäne der Schiffserkennungskomponente zeichnet sich 
hauptsächlich durch die technischen Betriebsvoraussetzungen aus und ist durch 
diese bereits zu einem Großteil definiert. 
Die Anwendungsdomäne der Peilungskomponente ergibt sich durch die 
Abhängigkeit von der Schiffserkennungskomponente und ihren Ausgabedaten. 
Somit muss die Anwendungsdomäne alle Domänengrenzen der Ausgabedaten, 
welche durch die Schiffserkennungskomponente bereitgestellt werden, 
berücksichtigen. 
V4 | Definition der Prüfmetriken und Erfolgskriterien 
Ausgehend von einer erfolgreichen Prüfung der Anwendungsdomäne muss der Prüfer 
die definierten Prüfmetriken der Kl-Komponente bewerten und mit Blick auf die 
geplante Funktion der Kl-Komponente prüfen. Prüfmetriken beschreiben in diesem 
Kontext direkt messbare oder indirekt bestimmbare Größen, die zur Bewertung der 
Ausgaben einer Kl-Komponente genutzt werden und die Ergebnisse quantifizierbar 
und vergleichbar machen. 
Die Prüfmetrik muss eine Bewertung der Ausgabewerte einer KIl-Komponente 
ıinsichtlich der Güte der Ausgabewerte ermöglichen. Dabei muss die vorliegende 
>unktionalität der Kl-Komponente und damit die Form der entsprechenden 
Ausgabewerte berücksichtigt werden. Bei den Ausgabewerten kann es sich im 
einfachsten Fall um quantitative Werte (z.B. indiskrete Zahlenbereiche, kategoriale 
Zielwerte oder zweiwertige Logikaussagen) oder solche mit qualitativer Ausprägung 
(z.B. navigatorische Handlungsempfehlungen) handeln. Quantitative Prüfmetriken 
<önnen z.B. mithilfe verschiedener Methoden wie einer Wahrheitsmatrix oder dem 
euklidischen Distanzmaß für die Ähnlichkeit zwischen zwei Zahlen bestimmt werden. 
Der Hersteller muss bei der Definition der Prüfmetriken zudem Erfolgskriterien für die 
>unktion der Kl-Komponente im Entwicklungsprozess festlegen. Die Definition der 
Zrfolgskriterien steht mit der Anwendungsdomäne in Verbindung und gibt dem Prüfer 
Verhaltensgrenzen, die von der KI-Komponente eingehalten werden müssen. 
“olgende Anforderung müssen bei der Definition der Erfolgskriterien erfüllt werden: 
Die Prüfmetriken geben dem Prüfer die Möglichkeit unter Betrachtung der 
Ein- und Ausgabewerte bewerten zu können, ob die KIl-Komponente so 
‘gut) funktioniert, wie es vom Hersteller erwartet wird. 
Sofern bereits Standards oder Normen zu Prüfmetriken und Erfolgskriterien 
‘ür vergleichbare Kl-Komponenten bestehen, dürfen die vom Hersteller 
genannten Erfolgskriterien gleich kritisch oder kritischer sein. 
zs wird empfohlen, dass der Prüfer im Verbund mit anderen Prüfeinrichtungen 
nternationale Standards oder Normen zu geeigneten Prüfmetriken und Erfolgskriterien 
für Kl-Komponenten erstellt. Dies kann den Aufwand für Hersteller und Prüfer 
‚eduzieren. Der Hersteller könnte so auf bestehende Standards oder Normen 
zurückgreifen und der Prüfer könnte skalierbare Prüfprozesse einführen. 
Fraunhofer SI. 
‚/erifAl 
Bundesamt für Seeschifffahrt und Hydrographie 
A