Die Prüfmetriken und zugehörige Erfolgskriterien teilen sich beim
Anwendungsbeispiel auf beide Kl-Komponenten auf.
Die Schiffserkennungskomponente sollte mittels einer Prüfmetrik bewertbar sein,
die den Anteil richtig und fehlerhaft klassifizierter Schiffe wiedergibt. Dies kann
z.B. über eine Wahrheitsmatrix, wie in Tabelle 4 dargestellt, und daraus
ableitbaren Größen erfolgen (Navlani et al., 2021).
Tabelle 4: Beispielhafte Wahrheitsmatrix als Grundlage für Prüfmetrik im Anwendungsbeispiel.
Schiff
vorhanden:
In
Schiff
vorhanden:
NEIN
Schiff
erkannt:
JA
Schiff
erkannt:
NEIN
Richtig Falsch
positiv: negativ:
980 4
Falsch
positiv:
Richtig
negativ:
265
Die Prüfmetriken für die Peilungskomponente definieren sich aus der Genauigkeit
der geschätzten Peilung durch die Bildauswertung und einer Referenz aus AIS-
oder Radardaten. Die benötigte Genauigkeit sollte in Abgleich mit Vorgaben des
Herstellers geprüft werden oder anderweitig festgelegt werden. Sollte der
Hersteller im Falle des Beispiels keine Kriterien vorgegeben haben, wie hoch die
Genauigkeit aus seiner Sicht sein muss, sollte ein sinnvoller Wert angenommen
werden. In diesem Fall macht es Sinn die Genauigkeit dadurch zu definieren das
eine Überprüfung mit einem anderen Gerät zur Peilungsermittlung eine Peilung
mit hoher Übereinstimmung zurückgibt.
Fraunhofer Ch.L
erif Al
Bundesamt für Seeschifffahrt und Hydrographie