Präzision und Spezifität
Die Trefferquote allein reicht nicht aus, um ein KI-Modell zu bewerten. Zwei weitere Kriterien sind wichtig: Präzision und Spezifität.
Die vier Möglichkeiten
Ein Klassifikator kann für jeden Testdatenpunkt zwei Entscheidungen treffen: „positiv" oder „negativ". Jede Entscheidung kann richtig oder falsch sein.
| echt positiv | echt negativ | |
|---|---|---|
| vorhersage positiv | Richtig-Positiv (TP) | Falsch-Positiv (FP) |
| vorhersage negativ | Falsch-Negativ (FN) | Richtig-Negativ (TN) |
Präzision: Von allen Punkten, die das Modell als „positiv" eingestuft hat, wie viele waren wirklich positiv?
Spezifität: Von allen Punkten, die wirklich negativ sind, wie viele hat das Modell korrekt als „negativ" eingestuft?
Ein Beispiel: Spam-Filter
100 E-Mails: 20 sind Spam, 80 sind keine. Der Filter markiert 15 als Spam, davon sind 12 wirklich Spam und 3 sind keine.
| echt Spam | echt kein Spam | |
|---|---|---|
| markiert als Spam | 12 (TP) | 3 (FP) |
| markiert als kein Spam | 8 (FN) | 77 (TN) |
- Präzision = 12 / (12 + 3) = 12 / 15 = 80 %
- Spezifität = 77 / (77 + 3) = 77 / 80 = 96,25 %
- Präzision fragt: „Wenn der Filter Spam sagt, hat er recht?" Hohe Präzision = wenige Falsch-Positive (keine echten Mails im Spam-Ordner).
- Spezifität fragt: „Von den echten Nicht-Spam-Mails, wie viele erkennt der Filter korrekt?" Hohe Spezifität = wenige echte Mails werden fälschlich als Spam markiert.
Ein medizinischer Test auf eine Krankheit hat folgende Ergebnisse:
| echt krank | echt gesund | |
|---|---|---|
| Test positiv | 90 (TP) | 10 (FP) |
| Test negativ | 10 (FN) | 990 (TN) |
a) Berechne die Präzision.
b) Berechne die Spezifität.
c) Welche Bedeutung hat eine niedrige Präzision in diesem medizinischen Kontext?
Tipp 1: Welche Zahlen brauche ich?
Beide Formeln stehen in der Definition weiter oben. Schreibe zuerst auf, welche der vier Zahlen aus der Tabelle TP, FP, FN und TN sind — danach ist es nur noch Einsetzen.
Tipp 2: zu c)
Lies die Formel als Frage: „Von allen, bei denen der Test positiv anschlägt — wie viele sind wirklich krank?" Wer landet in der Gruppe, die den Rest ausmacht, und was passiert mit diesen Menschen als Nächstes?
Der Schwellwert entscheidet mit
Ein Klassifikator sagt selten einfach „Spam" oder „kein Spam". Meist gibt er eine Bewertung zwischen 0 und 1 aus, und erst ein Schwellwert macht daraus eine Entscheidung. Jede Änderung dieses Werts verschiebt alle vier Felder der Tabelle auf einmal.
Jeder Punkt unten ist eine E-Mail: oben die echten Spam-Mails, unten die echten Nicht-Spam-Mails. Grün heißt richtig entschieden, rot heißt falsch.
a) Schiebe den Schwellwert ganz nach links auf 0. Wie lauten Präzision und Spezifität? Was tut der Filter dann eigentlich?
b) Schiebe ihn auf 0,8. Die Präzision steigt auf 100 %. Wäre dieser Filter gut? Schau dazu auf die Zeile Sensitivität.
c) Ein Krankenhaus testet auf eine ansteckende Krankheit. Ist dort eine hohe Präzision oder eine hohe Sensitivität wichtiger? Begründe.
Tipp zu a)
Bei Schwellwert 0 ist jede Bewertung größer oder gleich 0. Schau nach, in welchen zwei Feldern der Tabelle danach überhaupt noch Zahlen stehen.
Kennzahlen nachrechnen
Trage hier die vier Zahlen aus einer Tabelle ein, um deine eigene Rechnung zu prüfen. Voreingestellt ist das Spam-Beispiel von oben.