AI Act Konformitätsdokumentation
Verordnung (EU) 2024/1689 über harmonisierte Vorschriften für Künstliche Intelligenz (KI-Verordnung / AI Act)
Anbieter: fmhconsulting · Qognio — Finn Malte Hinrichsen Gärtnerstraße 105, 20253 Hamburg Stand: April 2026 Version: 1.0
Inhaltsverzeichnis
- EU AI Act — Überblick und Zeitplan
- Risikoklassifizierung der Qognio-Systeme
- Anforderungsmatrix Art. 9–17 AI Act
- Risikomanagement-System (Art. 9)
- Technische Dokumentation (Art. 11, Anhang IV)
- Logging und Nachvollziehbarkeit (Art. 12)
- Transparenzpflichten (Art. 13)
- Menschliche Aufsicht (Art. 14)
- Genauigkeit, Robustheit und Cybersicherheit (Art. 15)
- Konformitätsbewertung und EU-Konformitätserklärung
- Post-Market Monitoring Plan
- Handlungsplan bis August 2026
1. EU AI Act — Überblick und Zeitplan
1.1 Gegenstand und Ziel
Die Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 (im Folgenden „AI Act” oder „KI-Verordnung”) legt harmonisierte Vorschriften für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen in der Europäischen Union fest. Ziel ist es, ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und Grundrechte zu gewährleisten und gleichzeitig Innovation zu fördern.
Die Verordnung wurde am 12. Juli 2024 im Amtsblatt der Europäischen Union veröffentlicht und ist am 1. August 2024 in Kraft getreten.
1.2 Stufenweises Inkrafttreten
| Datum | Inhalt | Relevanz für Qognio |
|---|---|---|
| 01.08.2024 | Inkrafttreten der Verordnung | Beginn der Übergangsfristen |
| 02.02.2025 | Verbote (Art. 5) gelten | Keine Auswirkung — Qognio betreibt keine verbotenen Praktiken |
| 02.08.2025 | Pflichten für KI-Modelle mit allgemeinem Verwendungszweck (GPAI, Kapitel V) | Qognio setzt ein GPAI-Modell (Qwen 3.5) ein, ist aber Deployer, nicht Provider des Basismodells. Transparenzpflichten für GPAI-Provider greifen |
| 02.08.2026 | Hochrisiko-Pflichten (Art. 6–51) gelten | KRITISCH: Qognio fällt als Hochrisiko-KI-System unter Anhang III Nr. 4. Alle Anforderungen der Art. 9–17 müssen umgesetzt sein |
| 02.08.2027 | Hochrisiko-KI in Produkten (Anhang I) — CE-Kennzeichnung | Nicht direkt relevant (Qognio ist kein physisches Produkt) |
1.3 Begriffsbestimmungen (Art. 3)
| Begriff | Definition | Qognio-Bezug |
|---|---|---|
| KI-System (Art. 3 Nr. 1) | Maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie arbeiten kann, das nach seiner Einführung Anpassungsfähigkeit zeigen kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugt werden, die physische oder virtuelle Umgebungen beeinflussen können | Qognio ist ein KI-System: Es nutzt ein LLM (Qwen 3.5, 122B Parameter), arbeitet autonom bei der Beantwortung von Anfragen und erzeugt Inhalte und Empfehlungen |
| Anbieter (Art. 3 Nr. 3) | Natürliche oder juristische Person, die ein KI-System entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Marke in Verkehr bringt oder in Betrieb nimmt | fmhconsulting · Qognio ist Anbieter: Die Plattform wird unter der Marke „Qognio” in Verkehr gebracht |
| Betreiber (Art. 3 Nr. 4) | Natürliche oder juristische Person, die ein KI-System in eigener Verantwortung verwendet | Kunden von Qognio (Personalabteilungen, HR-Dienstleister) sind Betreiber |
| Hochrisiko-KI-System (Art. 6) | KI-System, das in eine der in Anhang III genannten Kategorien fällt | Qognio fällt unter Anhang III Nr. 4 (s. Abschnitt 2) |
2. Risikoklassifizierung der Qognio-Systeme
2.1 Einordnung als Hochrisiko-KI-System
Qognio ist ein KI-gestützter Assistent für den Bereich Personalwesen / Human Resources (HR). Die Plattform unterstützt Kunden bei:
- Vorauswahl und Analyse von Bewerbungsunterlagen
- Beantwortung von Mitarbeiteranfragen zu HR-Themen
- Unterstützung bei der Erstellung von Arbeitszeugnissen und Stellenausschreibungen
- Automatisierung administrativer HR-Prozesse
- Informationsaufbereitung für Personalentscheidungen
Diese Einsatzzwecke fallen unter Anhang III Nr. 4 der KI-Verordnung:
„KI-Systeme, die bestimmungsgemäß für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere für die Schaltung gezielter Stellenanzeigen, die Analyse oder Filterung von Bewerbungen und die Bewertung von Bewerbern.”
Ferner:
„KI-Systeme, die bestimmungsgemäß für Entscheidungen verwendet werden sollen, die die Bedingungen von Arbeitsverhältnissen, Beförderungsentscheidungen oder Kündigungsentscheidungen beeinflussen oder die Zuweisung von Aufgaben auf der Grundlage des individuellen Verhaltens oder persönlicher Merkmale oder Eigenschaften betreffen.”
2.2 Begründung der Hochrisiko-Einstufung
| Kriterium | Bewertung |
|---|---|
| Anhang III Nr. 4 lit. a — Einstellung und Auswahl | ✅ Qognio kann zur Unterstützung bei der Sichtung und Analyse von Bewerbungen eingesetzt werden |
| Anhang III Nr. 4 lit. b — Entscheidungen über Arbeitsverhältnisse | ✅ Qognio kann Informationen aufbereiten, die in Personalentscheidungen einfließen |
| Art. 6 Abs. 3 — Ausnahme „keine erhebliche Gefahr” | ❌ Ausnahme greift NICHT: Das System unterstützt Verfahren, die erheblichen Einfluss auf die berufliche Zukunft natürlicher Personen haben können (Bewerbung, Beschäftigung, Beförderung) |
| Art. 6 Abs. 3 lit. a — Enge Verfahrensaufgabe | ❌ Nicht einschlägig: Qognio führt keine rein prozedurale Aufgabe aus (z. B. Sortieren nach Datum), sondern generiert inhaltliche Bewertungen |
| Art. 6 Abs. 3 lit. b — Verbesserung menschlicher Tätigkeit | Teilweise zutreffend, aber nicht hinreichend für eine Rückstufung: Die KI-Ausgaben können die menschliche Entscheidung wesentlich beeinflussen (Automation Bias) |
Ergebnis: Qognio ist als Hochrisiko-KI-System nach Art. 6 Abs. 2 i. V. m. Anhang III Nr. 4 AI Act einzustufen.
2.3 Rollen nach AI Act
| Rolle | Akteur | Pflichten |
|---|---|---|
| Anbieter (Provider) | fmhconsulting · Qognio | Alle Pflichten der Art. 9–17, 16, 72 (Registrierung), Konformitätsbewertung, EU-Konformitätserklärung, CE-Kennzeichnung, Post-Market Monitoring |
| Betreiber (Deployer) | Kunden (Personalabteilungen) | Art. 26 — Betriebspflichten: Menschliche Aufsicht, Information betroffener Personen, Einhaltung der Gebrauchsanweisung, Datenschutz-Folgenabschätzung |
| GPAI-Modell-Anbieter | Alibaba Cloud (Qwen) | Kapitel V, Art. 53 — Transparenzpflichten, technische Dokumentation des Basismodells |
2.4 Abgrenzung: Rolle bezüglich des Basismodells
Qognio ist nicht der Anbieter des zugrunde liegenden KI-Modells (Qwen 3.5, 122B Parameter). Qognio setzt dieses Modell als Open-Source-Basismodell auf eigener Infrastruktur ein (Self-Hosted). Die Pflichten des Kapitels V (GPAI-Modelle) treffen den Anbieter des Modells (Alibaba Cloud / Qwen-Team), nicht Qognio.
Qognio ist jedoch Anbieter eines Hochrisiko-KI-Systems, das dieses Basismodell integriert. Damit treffen Qognio die vollen Anbieterpflichten gemäß Art. 16 ff. AI Act für das Gesamtsystem.
3. Anforderungsmatrix Art. 9–17 AI Act
| Artikel | Anforderung | Qognio-Umsetzung | Status |
|---|---|---|---|
| Art. 9 | Risikomanagement-System | Kontinuierliches Risikomanagement mit iterativer Bewertung (Abschnitt 4) | 🟡 In Umsetzung |
| Art. 10 | Daten und Daten-Governance | Self-Hosted LLM, kein Training mit Kundendaten, Mandantentrennung | ✅ Implementiert |
| Art. 11 | Technische Dokumentation | Dokumentation gemäß Anhang IV (Abschnitt 5) | 🟡 In Umsetzung |
| Art. 12 | Aufzeichnungspflichten (Logging) | Vollständiges Audit-Logging aller Konversationen (Abschnitt 6) | ✅ Implementiert |
| Art. 13 | Transparenz und Bereitstellung von Informationen | Kennzeichnung als KI, Gebrauchsanweisung (Abschnitt 7) | 🟡 In Umsetzung |
| Art. 14 | Menschliche Aufsicht | Human-in-the-Loop-Konzept, Eskalationsprozesse (Abschnitt 8) | ✅ Implementiert |
| Art. 15 | Genauigkeit, Robustheit, Cybersicherheit | Qualitätssicherung, Penetration Tests, Monitoring (Abschnitt 9) | 🟡 In Umsetzung |
| Art. 16 | Pflichten des Anbieters | Gesamtverantwortung, Qualitätsmanagementsystem | 🟡 In Umsetzung |
| Art. 17 | Qualitätsmanagementsystem | Dokumentiertes QMS mit Prozessen und Verfahren | 🟡 In Umsetzung |
4. Risikomanagement-System (Art. 9)
4.1 Grundsätze
Gemäß Art. 9 Abs. 1 AI Act wird für Qognio ein Risikomanagement-System eingerichtet, umgesetzt, dokumentiert und aufrechterhalten, das aus einem kontinuierlichen iterativen Prozess besteht, der während des gesamten Lebenszyklus des Hochrisiko-KI-Systems geplant und durchgeführt wird.
4.2 Risikoidentifikation und -analyse (Art. 9 Abs. 2)
Das Risikomanagement-System umfasst:
(a) Identifikation und Analyse bekannter und vernünftigerweise vorhersehbarer Risiken:
| Risiko-ID | Risiko | Betroffene Grundrechte | Schwere | Wahrscheinlichkeit | Risikostufe |
|---|---|---|---|---|---|
| RM-01 | Diskriminierende Ausgaben bei der Bewerberauswahl | Nichtdiskriminierung (Art. 21 GRCh) | Sehr hoch | Mittel | Hoch |
| RM-02 | Fehlerhafte Informationen für Personalentscheidungen | Recht auf wirksamen Rechtsbehelf (Art. 47 GRCh) | Hoch | Mittel | Mittel-Hoch |
| RM-03 | Automation Bias — unkritische Übernahme von KI-Empfehlungen | Menschenwürde (Art. 1 GRCh) | Hoch | Hoch | Hoch |
| RM-04 | Verletzung des Datenschutzes durch KI-Ausgaben | Schutz personenbezogener Daten (Art. 8 GRCh) | Hoch | Mittel | Mittel-Hoch |
| RM-05 | Mangelnde Erklärbarkeit von KI-Entscheidungsunterstützung | Recht auf gute Verwaltung (Art. 41 GRCh) | Mittel | Hoch | Mittel |
| RM-06 | Prompt Injection / Manipulation der KI-Ausgaben | Integrität des Systems | Hoch | Mittel | Mittel-Hoch |
(b) Abschätzung und Bewertung der Risiken bei bestimmungsgemäßer und vernünftigerweise vorhersehbarer Fehlanwendung:
| Fehlanwendungsszenario | Risiko | Gegenmaßnahme |
|---|---|---|
| KI wird als alleinige Entscheidungsinstanz bei Einstellungen verwendet | Diskriminierung, Verstoß gegen Art. 22 DSGVO | Vertragliche Pflicht zur menschlichen Aufsicht, technische Warnhinweise |
| Eingabe besonderer Kategorien personenbezogener Daten (Gesundheit, Religion) | Verletzung Art. 9 DSGVO | Input-Filterung, vertragliche Untersagung ohne gesonderte Vereinbarung |
| Nutzung für Leistungs- oder Verhaltensüberwachung von Beschäftigten | Verstoß gegen Betriebsverfassungsrecht, Persönlichkeitsrecht | Klare Zweckbeschränkung in der Gebrauchsanweisung, Nutzungsbedingungen |
| Versuch der Extraktion von Daten anderer Mandanten | Verlust der Vertraulichkeit | Strikte Mandantentrennung, Prompt-Injection-Schutz |
(c) Bewertung weiterer Risiken auf Basis von Post-Market-Monitoring-Daten:
Systematische Auswertung von: - Nutzerfeedback und Beschwerden - Analyse von Fehlerfällen und Edge Cases - Monitoring wissenschaftlicher Literatur zu LLM-Risiken - Austausch mit der KI-Sicherheits-Community
4.3 Risikominderungsmaßnahmen (Art. 9 Abs. 4)
| Risiko-ID | Maßnahme | Verantwortlich | Umsetzungsstatus |
|---|---|---|---|
| RM-01 | Output-Filterung auf diskriminierende Inhalte; Bias-Testing mit definierten Testsets; Verbot automatisierter Einzelentscheidungen | Qognio (Technik) | ✅ Filterung implementiert; 🟡 Bias-Testing in Vorbereitung |
| RM-02 | Kennzeichnung aller KI-Ausgaben als unverbindlich; Pflichthinweis auf menschliche Überprüfung; Quellenangaben wo möglich | Qognio (Technik) | ✅ Implementiert |
| RM-03 | Prominente Warnhinweise; Schulungsmaterial für Betreiber; keine „Entscheidungssprache” in KI-Ausgaben | Qognio (Produkt) | 🟡 In Umsetzung |
| RM-04 | Mandantentrennung, Kontextfenster-Bereinigung, keine Persistenz im Modell, Löschkonzept | Qognio (Technik) | ✅ Implementiert |
| RM-05 | Logging aller Interaktionen mit Nachvollziehbarkeit; Erklärungskomponenten in Benutzeroberfläche | Qognio (Produkt) | 🟡 In Umsetzung |
| RM-06 | Input-/Output-Filterung, System-Prompt-Schutz, Mandantentrennung auf Infrastrukturebene | Qognio (Technik) | ✅ Implementiert |
4.4 Restrisiko-Bewertung (Art. 9 Abs. 5)
Nach Umsetzung aller Maßnahmen wird das verbleibende Gesamtrisiko als akzeptabel bewertet. Die Kombination aus:
- Self-Hosted-Infrastruktur ohne Drittlandtransfer
- Kein Training mit Kundendaten
- Verpflichtende menschliche Aufsicht
- Strikte Mandantentrennung
- Umfassendes Logging und Monitoring
reduziert die identifizierten Risiken auf ein Niveau, das mit dem Zweck und dem Nutzen des Systems im Einklang steht.
4.5 Test- und Validierungsmaßnahmen (Art. 9 Abs. 6, 7)
| Testverfahren | Beschreibung | Frequenz |
|---|---|---|
| Bias-Testsets | Standardisierte Bewerbungsszenarien mit geschützten Merkmalen (Geschlecht, Alter, Herkunft, Behinderung) | Quartalsweise |
| Red Teaming | Gezielte Versuche, das System zu manipulieren (Prompt Injection, Jailbreak) | Halbjährlich |
| Funktionale Tests | Überprüfung der Ausgabequalität und -korrektheit in HR-Szenarien | Bei jedem Release |
| Regressionstests | Sicherstellung, dass Updates keine neuen Risiken einführen | Bei jedem Modellwechsel |
| Stresstest | Verhalten unter Überlast und bei ungewöhnlichen Eingaben | Quartalsweise |
5. Technische Dokumentation (Art. 11, Anhang IV)
5.1 Allgemeine Beschreibung des KI-Systems (Anhang IV Nr. 1)
(a) Bestimmungsgemäße Zweckbestimmung:
Qognio ist eine KI-gestützte Bot-Plattform für den Bereich Personalwesen (HR). Das System unterstützt Personalabteilungen bei der Bearbeitung von Anfragen, der Dokumentengenerierung und der Informationsaufbereitung. Das System trifft keine autonomen Personalentscheidungen — es ist ein Assistenz- und Entscheidungsunterstützungssystem.
(b) Anbieter:
fmhconsulting · Qognio — Finn Malte Hinrichsen, Gärtnerstraße 105, 20253 Hamburg
(c) Version des Systems:
Qognio Platform v1.0 (April 2026)
(d) Interaktion mit Hardware/Software:
| Komponente | Beschreibung |
|---|---|
| LLM-Engine | Qwen 3.5, 122B Parameter (Alibaba Cloud, Apache 2.0 Lizenz), Self-Hosted |
| Runtime | OpenClaw Bot-Framework, containerisiert (Docker) |
| Datenbank | PostgreSQL, mandantengetrennt |
| Infrastruktur | Dedizierte GPU-Server (8× NVIDIA GPU), Rechenzentrum Schleswig-Holstein |
| Netzwerk | Traefik v3 Reverse Proxy, WireGuard VPN, TLS 1.3 |
| Stromversorgung | Grünstrom-Bezug (Herkunftsnachweis-Register „HKN" beim Umweltbundesamt geführt). Aktueller Nachweis auf Anfrage: datenschutz@qognio.com. |
(e) Beschreibung der Elemente des KI-Systems und des Entwicklungsprozesses:
Das System besteht aus folgenden Kernkomponenten:
- Eingabe-Pipeline: Empfang und Validierung von Nutzereingaben über verschlüsselte Kanäle (HTTPS/TLS 1.3)
- Kontextmanagement: Mandantenspezifische Konversationshistorie und Wissensbasis
- Input-Filterung: Erkennung und Blockierung von Prompt-Injection-Versuchen und unzulässigen Eingaben
- LLM-Inferenz: Verarbeitung der Eingaben durch das Qwen 3.5 Modell auf dedizierter GPU-Hardware
- Output-Filterung: Überprüfung der KI-Ausgaben auf Diskriminierung, Vertraulichkeitsverletzungen und Qualität
- Ausgabe-Pipeline: Bereitstellung der Antwort an den Nutzer mit Transparenzhinweisen
- Logging-System: Unveränderliche Protokollierung aller Ein- und Ausgaben
5.2 Detaillierte Beschreibung der Systemelemente (Anhang IV Nr. 2–5)
(Nr. 2) Entwicklungsmethoden und -schritte:
- Agile Entwicklung (Scrum/Kanban)
- Kontinuierliche Integration und Bereitstellung (CI/CD)
- Code-Reviews und automatisierte Tests
- Kein Fine-Tuning oder Training des Basismodells mit Kundendaten
(Nr. 3) Informationen über die verwendeten Trainings-, Validierungs- und Testdaten:
Qognio führt kein eigenes Training des LLM durch. Das Basismodell (Qwen 3.5) wurde vom Modell-Anbieter (Alibaba Cloud) trainiert. Qognio nutzt das Modell ausschließlich zur Inferenz.
Validierungs- und Testdaten für das Gesamtsystem: - Synthetische HR-Testszenarien (keine echten Personendaten) - Standardisierte Bias-Testsets mit geschützten Merkmalen (AGG) - Red-Teaming-Szenarien für Prompt-Injection und Sicherheitstests
(Nr. 4) Bewertung der Leistung des Systems:
| Metrik | Beschreibung | Zielwert |
|---|---|---|
| Antwortrelevanz | Prozentsatz relevanter und korrekter Antworten auf HR-Anfragen | ≥ 90 % |
| Bias-Score | Abweichung in der Behandlung geschützter Gruppen (Gender Bias, Altersbias) | < 5 % Differenz |
| Prompt-Injection-Resistenz | Erfolgsrate der Abwehr manipulativer Eingaben | ≥ 95 % |
| Verfügbarkeit | Systemverfügbarkeit (Uptime) | ≥ 99,5 % |
| Antwortzeit | Median der Antwortlatenz | < 10 Sekunden |
(Nr. 5) Cybersicherheitsmaßnahmen:
Siehe TOMs (Anlage 1 zum AVV), insbesondere: - TLS 1.3, WireGuard VPN, LUKS Full-Disk Encryption - MFA für administrative Zugänge - fail2ban, Netzwerksegmentierung - Regelmäßige Sicherheits-Updates und Penetration Tests
5.3 Beschreibung des Monitoring-Systems (Anhang IV Nr. 6)
Siehe Abschnitt 11 (Post-Market Monitoring).
5.4 Gebrauchsanweisung (Anhang IV Nr. 7)
Siehe Abschnitt 7 (Transparenzpflichten).
6. Logging und Nachvollziehbarkeit (Art. 12)
6.1 Automatische Aufzeichnungsfunktionen
Gemäß Art. 12 AI Act verfügt Qognio über automatische Aufzeichnungsfunktionen (Logging), die folgende Ereignisse erfassen:
| Log-Kategorie | Erfasste Daten | Speicherdauer |
|---|---|---|
| Konversationslogs | Vollständiger Verlauf aller Eingaben (Prompts) und Ausgaben (Responses) des KI-Systems, mandantengetrennt | 90 Tage (anpassbar gemäß Löschkonzept) |
| Nutzungslogs | Zeitstempel, Nutzerkennung (pseudonymisiert), Session-ID, Kanal (Chat/API) | 180 Tage |
| Systemlogs | Modellversion, Konfigurationsänderungen, Fehlermeldungen, Performance-Metriken | 180 Tage |
| Administrative Logs | Zugriffe auf Kundendaten durch Administratoren, Konfigurationsänderungen | 365 Tage |
| Sicherheitslogs | Fehlgeschlagene Anmeldeversuche, blockierte Prompt-Injections, Anomalien | 365 Tage |
| Audit-Trail | Mandanten-Erstellung/-Löschung, Berechtigungsänderungen, Datenexporte | 365 Tage |
6.2 Rückverfolgbarkeit (Art. 12 Abs. 2, 3)
Die Logging-Funktionen ermöglichen:
- Rückverfolgung von Ereignissen: Jede KI-Ausgabe ist über die Session-ID und den Zeitstempel dem auslösenden Nutzer und der konkreten Eingabe zuordenbar
- Erkennung von Risikosituationen: Automatische Anomalieerkennung bei ungewöhnlichen Nutzungsmustern oder auffälligen KI-Ausgaben
- Post-Hoc-Analyse: Im Falle einer Beschwerde oder eines Vorfalls können die vollständigen Interaktionen rekonstruiert werden
6.3 Technische Implementierung
- Unveränderlichkeit: Logs werden in einem Append-only-Modus geschrieben und können nachträglich nicht verändert oder gelöscht werden (außer durch automatisierte Löschprozesse gemäß Löschkonzept)
- Mandantentrennung: Logs sind strikt mandantengetrennt und nur dem jeweiligen Auftraggeber und autorisierten Qognio-Administratoren zugänglich
- Verfügbarkeit: Logs können auf Anfrage des Betreibers oder der Aufsichtsbehörde bereitgestellt werden (Art. 12 Abs. 4)
- Datenschutz: Die Logging-Dauer berücksichtigt das Prinzip der Datenminimierung (Art. 5 Abs. 1 lit. c DSGVO) und ist im Löschkonzept (Dokument 04) festgelegt
7. Transparenzpflichten (Art. 13)
7.1 Transparenz gegenüber Betreibern (Art. 13 Abs. 1)
Qognio wird so konzipiert und entwickelt, dass die Betreiber (Kunden) den Betrieb des Systems interpretieren und es angemessen nutzen können. Zu diesem Zweck stellt Qognio folgende Informationen in einer Gebrauchsanweisung bereit:
(a) Identität und Kontaktdaten des Anbieters:
- fmhconsulting · Qognio
- Finn Malte Hinrichsen (Inhaber)
- Gärtnerstraße 105, 20253 Hamburg, Deutschland
- Telefon: +49 176 88499977
- E-Mail: info@qognio.com
- USt-IdNr.: DE281644997
(b) Merkmale, Fähigkeiten und Leistungsgrenzen des KI-Systems:
- Eingesetzte Basismodelle: Qwen 3.5 (122B, 122B-Thinking), Qwen 3 Coder, Qwen 3 VL, GPT-OSS 120B (Open-Weights, im Bunker), MiniMax M2.5, Granite 3.x Vision — vollständige Liste im Kundenportal unter /playground
- Sprachen: Primär Deutsch und Englisch; weitere Sprachen unterstützt, aber ohne Qualitätsgarantie
- Kontextlänge: Modellabhängig 32k bis 131k Tokens
- Beabsichtigte Verwendung: Unterstützung bei HR-/Compliance-/Support-Aufgaben (Kandidatenvorauswahl, FAQ-Beantwortung, Dokumentenrecherche, Helpdesk)
- Leistungsgrenzen:
- Das System trifft keine autonomen Entscheidungen im Sinne einer Einstellungsverweigerung oder eines Vertragsabschlusses. Jede Ausgabe ist Entscheidungsvorschlag, nicht Entscheidung
- Halluzinationsrisiko: Generative Modelle können sachlich falsche Antworten produzieren — Betreiber müssen Ausgaben vor arbeitsrechtlicher oder vertraglicher Nutzung verifizieren
- Bias-Risiko: Trotz Trainingsdaten-Filterung können residuale Verzerrungen (Geschlecht, Herkunft, Alter) nicht ausgeschlossen werden — Monitoring + Korrektur sind Aufgabe des Betreibers
- Keine Echtzeit-Faktenbasis: Modelle kennen nur ihren Trainings-Cutoff; aktuelle Ereignisse können nicht korrekt bewertet werden
- Hardware-Anforderungen beim Betreiber: Keine — Nutzung erfolgt ausschließlich über Browser oder API
(c) Änderungen am System und seiner Leistung:
Qognio informiert Betreiber über wesentliche Änderungen (neue Modellversionen, Policy-Updates, Sicherheits-Patches) mindestens 7 Tage vor Rollout per E-Mail und im Kundenportal. Sicherheits-Notfallpatches können ohne Vorankündigung erfolgen, werden aber unverzüglich nachdokumentiert.
(d) Menschliche Aufsichtsmaßnahmen:
Siehe Abschnitt 8 dieses Dokuments. Kernpflicht des Betreibers: Jede KI-Ausgabe, die in eine arbeits-, vertrags- oder verwaltungsrechtliche Entscheidung einfließt, muss durch eine natürliche Person final freigegeben werden (Human-in-the-Loop).
(e) Erforderliche Rechen- und Hardware-Ressourcen, erwartete Lebensdauer:
- Betriebsumgebung im eigenen Rechenzentrum Schleswig-Holstein, 24/7, redundant ausgelegt
- Erwartete Lebensdauer der aktuellen Modell-Generation: 12–24 Monate, danach Migration auf Nachfolgemodell mit Konformitätsneubewertung
- Kundenseitig: handelsüblicher Browser (Chrome/Firefox/Safari aktuelle Version) oder HTTPS-fähiger API-Client
(f) Mechanismen zur Sammlung und Pflege der Trainingsdaten:
Qognio trainiert keine eigenen Modelle. Basismodelle werden von Dritten bezogen: - Qwen-Familie: Alibaba Cloud (Apache-2.0 Lizenz), Trainingsmethodologie dokumentiert unter qwenlm.github.io - GPT-OSS: OpenAI (Apache-2.0), Training Card im Hugging-Face-Repository - Granite: IBM (Apache-2.0), Foundation Model Transparency Index Score verfügbar - MiniMax: MiniMax (Custom OSS License)
Qognio-seitige Anpassungen erfolgen ausschließlich durch Prompt-Engineering und RAG (Retrieval-Augmented Generation), nicht durch Weitertrainieren. Kundendaten werden nicht in Trainingsdaten eingeschleust.
(g) Mensch-Maschine-Schnittstelle:
- Web-UI (Kundenportal, Playground, Chat-Widget im Bot-Container)
- OpenAI-kompatible REST-API (
api.qognio.com,llm.qognio.com) - Optional Mattermost/Slack/Teams-Integration (wird vom Betreiber konfiguriert)
Alle Ausgaben werden klar als KI-generiert gekennzeichnet (z.B. Avatar „Qognio Bot”, Disclaimer-Zeile in Chat-Antworten).
(h) Einschränkungen zulässiger Nutzung (Prohibited Uses):
Gemäß Vertrag (AGB / AVV) ist die Nutzung von Qognio untersagt für: - Social Scoring natürlicher Personen (Art. 5 Abs. 1 lit. c AI Act) - Biometrische Echtzeit-Fernidentifikation in öffentlich zugänglichen Räumen (Art. 5 Abs. 1 lit. h) - Manipulative oder irreführende Techniken zur Verhaltensbeeinflussung (Art. 5 Abs. 1 lit. a) - Generierung von Inhalten, die auf Täuschung natürlicher Personen abzielen (z.B. Deepfakes ohne Kennzeichnung) - Waffenentwicklung, Kriegsverbrechen, Terrorismus
Bei Verstößen gegen diese Nutzungsbedingungen ist Qognio berechtigt, den Dienst unverzüglich zu kündigen (§ 11 AGB).
7.2 Kennzeichnungspflicht (Art. 50 Abs. 1)
Jede Interaktion mit dem Bot wird für den Endnutzer als KI-basiert erkennbar gemacht: - Erstmaliger Chat-Start: expliziter Hinweis „Sie chatten mit einer KI. Aussagen können fehlerhaft sein.” - Bot-Avatar und Bot-Name enthalten den Hinweis „KI” oder ein eindeutiges KI-Icon - In generierten E-Mails/PDFs: Fußzeile „Erstellt mit Unterstützung durch Qognio AI”
8. Menschliche Aufsicht (Art. 14)
8.1 Aufsichtskonzept
Qognio stellt sicher, dass das Hochrisiko-KI-System während der gesamten Einsatzdauer wirksam durch natürliche Personen beaufsichtigt werden kann (Art. 14 Abs. 1).
8.2 Maßnahmen zur Ermöglichung der menschlichen Aufsicht (Art. 14 Abs. 3, 4)
Technisch in das System eingebaut:
| Maßnahme | Umsetzung |
|---|---|
| Verständliche Darstellung der Ausgaben | Strukturierte Antworten mit Quellenangaben (bei RAG) und Konfidenz-Hinweis bei unklaren Fällen |
| Stop-Button | Admin-Oberfläche zur sofortigen Deaktivierung des Bots oder einzelner Kanäle („Kill Switch”) |
| Erklärbarkeit | Jede Antwort enthält auf Anfrage die verwendeten Quellen-Dokumente (RAG-Context) und das angefragte Modell |
| Override-Mechanismus | Betreiber können Antworten manuell korrigieren, bevor sie an Endnutzer gehen (Review-Queue verfügbar ab Tarif Business) |
| Audit-Log | Alle Nutzerinteraktionen werden mit Zeitstempel, Nutzer-ID, Eingabe, Ausgabe und Modellversion protokolliert (siehe Abschnitt 6) |
| Automation-Bias-Warnung | Bei identischer Bestätigung von >10 aufeinanderfolgenden KI-Vorschlägen durch denselben Sachbearbeiter: Hinweistext „Bitte prüfen Sie, ob Ihre Überprüfung weiterhin kritisch erfolgt” |
Durch Schulung und Dokumentation:
- Betreiber-Onboarding enthält verpflichtende Schulung zu Grenzen, Bias-Mustern und Aufsichtspflichten
- Quartalsweise „Reminder”-Session für alle mit Bot-Interaktion betrauten Mitarbeiter
- Referenzleitfaden „Umgang mit KI-Ausgaben im HR-Prozess” ist Bestandteil der Onboarding-Dokumente
8.3 Kompetenzanforderungen an Aufsichtspersonen (Art. 14 Abs. 4 lit. a)
Der Betreiber bestimmt mindestens eine AI-Act-Aufsichtsperson pro Tenant, die: - Grundkenntnisse der Funktionsweise generativer KI besitzt (Qognio stellt 4h-Schulung bereit) - Bias- und Halluzinationsmuster erkennt - Befugt ist, den Dienst zu pausieren oder Ausgaben zu overruling - Dokumentationspflichten nach DSGVO und AI Act kennt
8.4 Vier-Augen-Prinzip für kritische Entscheidungen
Für rechtlich bindende Entscheidungen, die auf KI-Ausgaben beruhen (z.B. Ablehnung eines Bewerbers, Disziplinarmaßnahme, Vertragskündigung), gilt im Qognio-Kontext das Vier-Augen-Prinzip: Die KI-Ausgabe wird als Vorschlag dokumentiert, die finale Entscheidung trifft eine natürliche Person, und eine zweite Person (z.B. Teamlead, Compliance) muss die menschliche Entscheidung gegenzeichnen.
9. Genauigkeit, Robustheit und Cybersicherheit (Art. 15)
9.1 Genauigkeitsziele
Qognio dokumentiert die erwartete Genauigkeit der eingesetzten Modelle für die relevanten HR-Use-Cases:
| Aufgabentyp | Metrik | Zielwert | Messverfahren |
|---|---|---|---|
| FAQ-Beantwortung (interne Richtlinien) | Top-1-Trefferquote | ≥ 90 % | Monatliches Kundentest-Sample, n=100 |
| Kandidatenvorauswahl (Vor-Filter) | Precision / Recall | ≥ 85 % / ≥ 80 % | Quartalsweiser Audit durch Kunden-HR |
| Compliance-Recherche | Sachliche Korrektheit (Expertenreview) | ≥ 95 % | Quartalsweises externes Legal-Review-Sample |
| Dokumenten-Zusammenfassung | ROUGE-L-Score vs. Referenz | ≥ 0,70 | Automatisiert, kontinuierlich |
Abweichungen > 10 % vom Zielwert triggern einen Model-Review-Prozess (Retraining-Prompt, RAG-Index-Update oder Modellwechsel).
9.2 Robustheit (Art. 15 Abs. 3)
- Redundanz im Inferenz-Cluster: Ausfall einer GPU-Node verursacht maximal 30 Sekunden Latenz-Spitze, automatisches Failover auf zweite Node
- Graceful Degradation: Bei Überlast wird auf kleineres, schnelleres Modell (Qwen 3 Coder statt 3.5-122B) umgestellt, Endnutzer erhält Hinweis
- Feedback-Loop: Integrierte „Daumen hoch/runter”-Funktion für Endnutzer, monatliche Auswertung fließt in Prompt-Engineering ein
9.3 Bias und Fairness
- Input-Filter: Eingaben mit geschützten Merkmalen (Geschlecht, Alter, Herkunft) werden vor Modellaufruf optional maskiert (konfigurierbar im HR-Kontext)
- Output-Scanning: Automatische Prüfung generierter Texte auf stereotype Sprache, Warnhinweis an Reviewer bei Treffer
- Demografische Ausgewogenheit: Kundenaudits auf Verteilungsasymmetrien in Vorschlagsraten; bei signifikanten Abweichungen (>15 %) Eskalation an Betreiber
9.4 Cybersicherheit (Art. 15 Abs. 5)
Siehe Anlage TOMs (Dokument 02) für vollständige Maßnahmen. Relevante KI-spezifische Kontrollen:
- Prompt-Injection-Schutz: Mehrstufige Input-Sanitization; Erkennung bekannter Angriffsmuster (Sys-Prompt-Leak, Jailbreak) mit 99,5 %+ Erkennungsrate
- Model-Extraction-Schutz: Rate-Limits pro Virtual Key (gemäß Tarif), Anomalie-Detection bei systematischen Extraktionsmustern
- Data-Poisoning-Schutz: Da Qognio keine Eigenmodelle trainiert und RAG-Indizes mandantengetrennt aufbaut, ist das Angriffsszenario stark reduziert
- Model-Weight-Integrity: Modellgewichte werden gegen Upstream-Hashes verifiziert, signierte Deployments
- Adversarial-Input-Robustheit: Sicherheitsbewertung nach OWASP LLM Top 10 quartalsweise
9.5 Logging von Genauigkeits-Abweichungen
Vorfälle, bei denen ein System hinter dem dokumentierten Genauigkeitsziel zurückbleibt, werden im Audit-Log als „Performance-Anomalie” eingetragen und sind bis zur Behebung nachverfolgbar.
10. Konformitätsbewertung und Registrierung (Art. 16, 43, 47, 49)
10.1 Bewertungsverfahren
Qognio wählt für das Hochrisiko-System Anhang III Nr. 4 (HR) das Konformitätsbewertungsverfahren nach Anhang VI (interne Kontrolle) gemäß Art. 43 Abs. 1 lit. a AI Act. Eine Einschaltung einer Notifizierten Stelle ist für diesen Anwendungsbereich nicht verpflichtend, sofern harmonisierte Normen angewendet werden (Stand April 2026 stehen harmonisierte Normen für Anhang III Nr. 4 in Entwicklung).
10.2 Qualitätsmanagementsystem (Art. 17)
Qognio unterhält ein dokumentiertes Qualitätsmanagementsystem (QMS), das Folgendes abdeckt:
- Konzept zur Einhaltung der Rechtsvorschriften (dieses Dokument)
- Techniken zur Entwurfsverifizierung: Review-Pflicht für alle Prompt-Template-Änderungen durch zweite Person
- Prüf- und Validierungsverfahren: Quartalsweise Genauigkeitsmessungen gemäß Abschnitt 9.1
- Technische Spezifikationen: Git-versionierte Konfiguration aller Deployment-Artefakte
- Systeme und Verfahren für Datenmanagement: Siehe Anlagen VVT (Dokument 07) und Löschkonzept (Dokument 04)
- Risikomanagementsystem: Siehe Abschnitt 3 dieses Dokuments und DSFA (Dokument 05)
- Post-Market-Monitoring-System: Siehe Abschnitt 11
- Verfahren für die Meldung schwerwiegender Vorfälle (Art. 73): Siehe Incident-Response-Plan (Dokument 06) und Abschnitt 11.2 unten
- Kommunikation mit zuständigen Behörden: Zentraler Kontaktpunkt fmhconsulting, AI-Act-Beauftragter = Inhaber (Finn Malte Hinrichsen)
- Aufzeichnungs- und Berichtspflichten: Technische Dokumentation (Art. 11) gemäß Anhang IV vollständig dokumentiert
- Ressourcenmanagement: Personelle und technische Kapazitäten zur Aufrechterhaltung des QMS (siehe SLA, Dokument 13)
- Rahmen der Rechenschaftspflicht: Benannte Verantwortliche je Pflicht, nachgehalten im internen Compliance-Register
10.3 Technische Dokumentation (Art. 11 + Anhang IV)
Die vollständige technische Dokumentation gemäß Anhang IV wird als „Technical File” geführt und enthält:
- Allgemeine Beschreibung des KI-Systems (Zweck, Marktakteure, Schnittstellen, Hardware-/Software-Umgebung)
- Detaillierte Beschreibung der Elemente des KI-Systems und des Entwicklungsprozesses
- Informationen zur Überwachung, zum Betrieb und zur Kontrolle des KI-Systems
- Beschreibung der Angemessenheit der Leistungsmetriken
- Detaillierte Beschreibung des Risikomanagementsystems nach Art. 9
- Änderungsprotokoll
- Liste der angewandten harmonisierten Normen (sobald verfügbar) oder Beschreibung der angewendeten Lösungen
- Eine Kopie der EU-Konformitätserklärung (siehe 10.4)
- Detaillierte Beschreibung des Post-Market-Monitoring-Systems (Abschnitt 11)
Die Technical File wird für 10 Jahre nach Inverkehrbringen aufbewahrt (Art. 18 AI Act).
10.4 EU-Konformitätserklärung (Art. 47)
Vor Inverkehrbringen erstellt Qognio eine EU-Konformitätserklärung (EU Declaration of Conformity), die Folgendes enthält:
- Name und Anschrift des Anbieters (fmhconsulting · Qognio, Finn Malte Hinrichsen)
- Angabe des KI-Systems (Produktname, Version, eindeutige Kennung)
- Hinweis, dass die Verantwortung für die Erstellung der Erklärung beim Anbieter liegt
- Erklärung, dass das KI-System den Anforderungen von Art. 16 und gegebenenfalls anderer einschlägiger Unionsrechtsvorschriften entspricht
- Verweise auf angewandte harmonisierte Normen
- Name und Funktion der unterzeichnenden Person, Ort und Datum
Die Konformitätserklärung wird den Betreibern vor Vertragsabschluss zugänglich gemacht und ist im Kundenportal herunterladbar.
10.5 CE-Kennzeichnung (Art. 48)
Da Qognio als reines Software-System (SaaS) bereitgestellt wird, erfolgt die CE-Kennzeichnung durch elektronische Kennzeichnung auf der Produktwebseite und in der technischen Dokumentation. Eine physische Kennzeichnung ist nicht anwendbar.
10.6 Registrierung in der EU-Datenbank (Art. 49, 71)
Vor Inverkehrbringen wird Qognio sich bzw. das Hochrisiko-KI-System in der EU-Datenbank für Hochrisiko-KI-Systeme (zentrale Datenbank der EU-Kommission) registrieren. Die Registrierung umfasst die in Anhang VIII genannten Informationen. Stand April 2026: Die Datenbank wird voraussichtlich zum 02.08.2026 in Betrieb genommen.
11. Beobachtung nach dem Inverkehrbringen (Art. 72, 73)
11.1 Post-Market-Monitoring-System (Art. 72)
Qognio hat ein dokumentiertes Post-Market-Monitoring-System etabliert, das Daten zur Leistung des KI-Systems systematisch und aktiv sammelt, dokumentiert und analysiert:
Datenquellen:
| Quelle | Inhalt | Frequenz |
|---|---|---|
| Audit-Log (Art. 12) | Alle Inputs/Outputs, Fehler, Modellaufrufe | Kontinuierlich |
| Performance-Telemetrie | Latenz, Durchsatz, Verfügbarkeit je Modell | Minütlich |
| Kundenfeedback | „Daumen hoch/runter” in Chat-UI, Support-Tickets | Laufend |
| Regressions-Tests | Monatlicher Test-Run gegen Golden-Sample-Set | Monatlich |
| Drift-Detection | Statistische Analyse der Input-/Output-Verteilungen vs. Referenzverteilung | Wöchentlich |
| Incident-Meldungen | Interne und Kunden-gemeldete Vorfälle | Laufend |
Auswertung:
- Wöchentliches automatisiertes Dashboard mit KPIs
- Monatlicher Qualitätsbericht (intern)
- Quartalsweiser Auditbericht für Kunden (auf Anfrage)
Korrekturmaßnahmen (Art. 20):
- Bei festgestellter Nichtkonformität: Anbieter ergreift unverzüglich notwendige Korrekturmaßnahmen (Rückruf, Rücknahme, Update)
- Information betroffener Betreiber innerhalb von 24 h (gemäß SLA Dokument 13 und IRP Dokument 06)
- Meldung an die zuständige Marktüberwachungsbehörde gemäß Art. 73
11.2 Meldung schwerwiegender Vorfälle (Art. 73)
Definition: Ein „schwerwiegender Vorfall” (Serious Incident) liegt vor, wenn das KI-System
- zum Tod oder einer schwerwiegenden gesundheitlichen Beeinträchtigung einer Person beiträgt
- eine schwerwiegende, irreversible Störung der Verwaltung oder des Betriebs einer kritischen Infrastruktur verursacht
- eine Verletzung der Grundrechte bewirkt, die im Unionsrecht verankert sind (z.B. Diskriminierung, Einstellungsausschluss ohne nachvollziehbaren Grund)
Meldefrist: Qognio meldet schwerwiegende Vorfälle der zuständigen Marktüberwachungsbehörde
- unverzüglich nach Kenntnis, spätestens innerhalb 15 Tagen ab Kenntnis
- innerhalb von 2 Tagen, wenn der Vorfall den Tod einer Person betrifft oder weitverbreitete schwerwiegende Beeinträchtigungen auslöst
- innerhalb von 10 Tagen bei kritischen Infrastrukturen
Verfahren:
Der Incident-Response-Plan (Dokument 06) wird in der Version ab Q2/2026 um einen AI-Act-spezifischen Annex erweitert, der die Meldekette, Templates und Zeitlimits operationalisiert.
11.3 Zusammenarbeit mit Behörden (Art. 74)
Qognio kooperiert vollumfänglich mit zuständigen Behörden der EU-Mitgliedstaaten, insbesondere:
- BNetzA als zuständige Marktüberwachungsbehörde in Deutschland (Stand April 2026 vorläufige Zuständigkeit)
- BfDI bei datenschutzrechtlichen Überschneidungen
- Bereitstellung der Technical File und des Post-Market-Monitoring-Berichts auf begründete Anfrage innerhalb von 5 Werktagen
12. Handlungsplan zur AI-Act-Konformität bis 02.08.2026
Zeitplan der offenen Umsetzungsschritte, gemäß AI Act Geltungsbeginn für Hochrisiko-KI-Systeme:
| Nr. | Maßnahme | Verantwortlich | Frist | Status (04/2026) |
|---|---|---|---|---|
| 1 | Risikomanagementsystem vollständig dokumentieren (Art. 9) — insb. iterativer Review-Prozess | Inhaber | 31.05.2026 | 🟡 in Umsetzung |
| 2 | Daten-Governance-Verfahren formalisieren (Art. 10) — Kriterien für RAG-Korpora, Repräsentativität | Inhaber | 31.05.2026 | 🟡 in Umsetzung |
| 3 | Technical File vollständig erstellen (Art. 11 + Anhang IV) | Inhaber | 30.06.2026 | 🟡 in Umsetzung |
| 4 | Logging-System auf vollständige Anhang-IV-Konformität bringen (Art. 12) | Inhaber | 30.06.2026 | 🟢 implementiert, Audit steht aus |
| 5 | Gebrauchsanweisung (Art. 13) für Betreiber fertigstellen und in Kundenportal einbetten | Inhaber | 31.05.2026 | 🟡 in Umsetzung (Abschnitt 7 dieses Doks = Basis) |
| 6 | Menschliche Aufsichts-Schulungsmaterial (Art. 14) publizieren | Inhaber | 30.06.2026 | 🟡 in Umsetzung |
| 7 | Genauigkeits-/Robustheits-/Cybersicherheits-Metriken (Art. 15) monatliche Berichte etablieren | Inhaber | 30.06.2026 | 🟡 in Umsetzung |
| 8 | Qualitätsmanagementsystem (Art. 17) formalisieren und intern auditieren | Inhaber | 15.07.2026 | 🟡 in Umsetzung |
| 9 | Interne Konformitätsbewertung nach Anhang VI durchführen | Inhaber | 25.07.2026 | 🔴 offen |
| 10 | EU-Konformitätserklärung (Art. 47) erstellen und im Kundenportal bereitstellen | Inhaber | 30.07.2026 | 🔴 offen |
| 11 | Registrierung in EU-Datenbank für Hochrisiko-KI-Systeme (Art. 49, 71) | Inhaber | 02.08.2026 | 🔴 offen (abhängig von Datenbank-Verfügbarkeit) |
| 12 | Post-Market-Monitoring-Bericht-Template (Art. 72) finalisieren und quartalsweise veröffentlichen | Inhaber | 02.08.2026 | 🟡 in Umsetzung |
| 13 | IRP-Annex „Schwerwiegende Vorfälle gemäß Art. 73 AI Act” ergänzen | Inhaber | 15.07.2026 | 🔴 offen |
Review-Rhythmus: Dieser Handlungsplan wird monatlich durch den Inhaber aktualisiert. Abweichungen werden im Audit-Log dokumentiert.
13. Freigabe
Stand: April 2026 Verantwortlicher nach AI Act: Finn Malte Hinrichsen, fmhconsulting · Qognio, Gärtnerstraße 105, 20253 Hamburg Nächste Überprüfung: spätestens 31.10.2026 (halbjährlich) und anlassbezogen bei Gesetzes- oder Produktänderungen
Dieses Dokument ist Teil der technischen Dokumentation gemäß Art. 11 AI Act i.V.m. Anhang IV und wird für mindestens 10 Jahre nach Inverkehrbringen aufbewahrt.