Kai ist die Methodik-Stimme: was bedeutet Precision/Recall/F1 in eurer HR-KI? Wie messt ihr Drift in einem Predictive-Maintenance-Modell? Wann ist ein Adverse-Impact-Befund statistisch belastbar, wann Stichprobenfehler? Übersetzt zwischen ML-Engineers, Compliance und Geschäftsführung.
„Eine Genauigkeit von 92 % klingt nach vier Quartalen — bis du merkst, dass eure Klasse-1-Quote 5 % ist und der Trivial-Klassifikator ‚alles negativ’ schon 95 % hätte.” — Kai-KB · 02-warum-accuracy-luegt.md
Kai ordnet ML-Methodik für Praktiker:innen ohne PhD ein. Vier typische Anlässe:
Imbalance, Cost-Sensitive, Multi-Class, Ranking. Kai erklärt, warum Accuracy bei medizinischer Klassifikation lügt, warum F1 bei Spam-Filter sinnvoll ist und warum PR-AUC bei Bias-Befund relevanter ist als ROC-AUC.
„HR-Screening-Modell mit 5 % Annahme-Quote — welche Kennzahl?”Kai rechnet Konfidenzintervalle, prüft Sample-Größe, ordnet AIR + EOD + KS-Test zueinander ein und sagt: belastbar oder noch nicht. Cross-Sell zu Bea, wenn der Heartbeat-Workflow gebraucht wird.
„AIR 0.78 nach 200 Bewerber:innen — schon Befund?”Kai erklärt Data-Drift vs. Concept-Drift, schlägt KS-Test / PSI / JS-Divergenz vor und gibt Schwellwerte (PSI > 0.25 = Re-Train-Trigger). Cross-Sell zu Vestigia für die Audit-Trail-Doku des Re-Trainings.
„Predictive-Maintenance-Modell drei Jahre alt — wie messe ich, ob es veraltet ist?”Aus der Metrik wird eine Business-Aussage: von 100 vorhergesagten positiven Fällen sind 80 richtig, von allen tatsächlich Positiven erkennen wir 85 %. Kein Zahlenbrei.
„Vorstand will Modell-Performance — wie sage ich das ohne Statistik-Lecture?”Pro Aufgabentyp die Default-Wahl + die Falle.
| Aufgabe | Default-Metrik | Falle |
|---|---|---|
| Binary, balanced | F1, Accuracy | nur okay solange Klassen-Quote ≈ 50/50 |
| Binary, imbalanced | PR-AUC, MCC | ROC-AUC verschönert bei sehr seltener Positiv-Klasse |
| Multi-Class | Macro-F1 | Weighted-F1 versteckt schwache Minderheits-Klassen |
| Ranking / Empfehlung | NDCG, MAP@K | Accuracy auf Top-1 bewertet die ganze Liste nicht |
| Regression | MAE, RMSE | R² lügt bei nicht-linearen Mustern |
| Kalibrierung | Brier-Score, Reliability-Diagram | hohe Accuracy + schlechte Kalibrierung = Entscheidungs-Risiko |
| Bias / Fairness | AIR, EOD, Demographic-Parity-Difference | nur ein Maß zeigen verzerrt — drei zusammen geben Bild |
Kai-Zielgruppen — vom Engineer bis zur Geschäftsführung:
Sparringspartner für Metriken-Wahl, Drift-Schwellen, Bias-Tests. Spart Sekundärliteratur-Recherche bei jeder Modell-Review.
Übersetzt ML-Kennzahlen in Konformitätsbewertungs-Begriffe (AI-Act Art. 15 Robustheit / Genauigkeit). Übergabe zu Vestigia für Tech-Doku-Trail.
GF-taugliche Übersetzung: was bedeutet F1 / Recall / Drift für eure Geschäftsentscheidung? Risiko, ROI, Re-Train-Cost.
Kai arbeitet in drei Schichten — Engineer, Compliance, Business:
Konkrete Formeln, Konfidenzintervalle, statistische Tests (KS, χ², Mann-Whitney). Kai schreibt keine Skripte, aber strukturiert die Test-Strategie.
Aus F1 0.83 wird Art-15-Genauigkeit-erfüllt für Use-Case X, Restrisiko Y. Kai zeigt, was in die Tech-Doku Anhang IV gehört.
GF-taugliche Sätze: was kostet ein False-Positive, was ein False-Negative, was ein 5-%-Drift im Quartal.
Was du Kai über interne Modell-Daten, Bewertungs-Pipelines oder Bias-Befunde erzählst, verlässt unser Rechenzentrum nicht. Eigene Instanz: Kennzahlen-Protokolle, Bias-Reports, Drift-Notizen wandern in deine LXC, nicht in Multi-Tenant-Pools.
Die drei Tools, an die Kai im Alltag übergibt.
Kai lässt sich mit eurem Test-Set-Logbuch, euren Drift-Notizen und eurer Modell-Versions-Historie beladen — Kennzahlen-Reviews greifen dann auf eure Lage zu.