In den ersten beiden Blogs zu dem Thema hatte ich schon gezeigt, was der Begriff der KI nach der KI VO umfasst und Beispiele für eindeutige Anwendungsfälle gegeben. Hier der Fall, der zeigt dass und warum der geltende Begriff Schwachstellen hat, die sich erstmal nicht auflösen lassen. Man wird auf die Entscheidung des EuGH warten müssen – oder auf einen besseren Begriff.
2.) Fälle im Graubereich
Beispiel 3: Der Schufa-Fall
EuGH, 7. Dezember 2023, C-634/21.
Exkurs Datenschutzrecht: Sie kennen vielleicht den Schufa Fall: Art. 22 DSGVO verbietet eine ausschließlich automatisierte Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung ohne menschliche Beteiligung. Der EuGH entschied: Die Festlegung des Scores selbst ist noch keine Entscheidung im Sinne von Art. 22 DSGVO. Aber wenn eine Bank allein auf der Grundlage eines Scores entscheidet, ob ein Kredit vergeben wird, ist das verbotene automatisierte Entscheidung, vielmehr bedarf die Entscheidung über die Kreditvergabe einer „echten menschlichen Entscheidung“ (was immer das ist und wie man das überprüfen soll: Vielleicht durch visuelle Erfassung der Tätigkeiten der Bankangestellten und deren Validierung durch eine KI? Der Angestellte, der nicht dreimal mit der Stirn runzelt und dabei „hm“ sagt, entscheidet nicht echt?).
Art 3 Nr.1 KI-VO:
Die Frage, ob das System für die Entscheidungsfindung ein KI System ist, richtet sich an die Schufa und nicht die Bank.
Die Antwort ist eine Grauzone und die kann man nicht auflösen.
Kredit-Scoring per logistischer Regression: 50 Eingabevariablen, Koeffizienten durch Optimierungsverfahren auf hunderttausend historischen Datensätzen ermittelt. Kein Mensch hat die Gewichtungen festgelegt — das System hat sie aus Daten abgeleitet. Nach dem Training läuft es als feste Formel. Lernt es noch? Nein. Hat es abgeleitet? Ja — , das aber in der Vergangenheit.
Entscheidungskriterien:
Pro:
a.) Ableitung: Das Modell hat seine Entscheidungsregel nicht von einem Programmierer erhalten. Das Modell wurden den Computer durch maschinelle Optimierung auf historischen Kreditdaten erzeugt. Der Computer leitet aus Eingaben ab, wie die Ausgabe zu erzeugen ist — auch wenn diese Ableitung in der Trainingsphase stattgefunden hat und das Modell danach eingefroren wurde. Die Leitlinien vom 6. Februar 2025 stellen ausdrücklich klar, dass Inferenz sich auf die Erstellungsphase bezieht — also Training einschließt.
b.) Autonomie: Der Score wird ohne menschliches Eingreifen in Echtzeit berechnet. Jede Kreditanfrage läuft automatisiert durch das Modell.
c.) Anpassungsfähigkeit: Nach Art. 3 Nr. 1 KI-VO nur optional — kein zwingendes Merkmal. Dass das Schufa-Modell nach dem Training eingefroren ist und nicht mehr lernt, schadet der KI-Qualifikation also nicht.
d.) Ausgabe mit Umgebungseinfluss: Der Score beeinflusst Kreditentscheidungen, Mietverhältnisse, Mobilfunkverträge — er wirkt sich auf die reale Umgebung des Betroffenen aus. Das letzte Tatbestandsmerkmal ist klar erfüllt.
Contra:
Ableitung: Logistische Regression ist ein lineares statistisches Verfahren. Sie berechnet eine gewichtete Summe von Eingabevariablen und wendet eine Sigmoidfunktion an. Das ist Mathematik, keine Inferenz im Sinne von Mustererkennung über die bloße Datenverarbeitung hinaus. Die Koeffizienten wurden durch ein Optimierungsverfahren bestimmt. Das ist vollständig von Menschen definiert, parametrisiert und überwacht worden.
Abwägung:
Das Problem besteht darin, dass die Entscheidungsregel letztlich nicht von Menschen erzeugt worden ist.
Schritt 1: Daten sammeln. Tausende historische Kreditfälle — wer hat zurückgezahlt, wer nicht.
Schritt 2: Training. Der Mensch fest, welches Modell verwendet wird, welche Variablen reinkommen, was die Zielgröße ist und welches Optimierungsverfahren läuft. Das stimmt.
Aber nun sucht der Computer selbst die Gewichtung für jede Variable, die am besten erklären, warum jemand zurückgezahlt hat oder nicht. Das macht er iterativ — Gewichte ausprobieren, Fehler messen, Gewichte anpassen, wiederholen — bis das Modell auf den Trainingsdaten gut funktioniert. Das ist der Moment, den man als „Lernen“ bezeichnet. Man kann nicht sagen, der Mensch habe die Regeln definiert, wenn der entscheidende Teil — z.B. welches Gewicht Einkommen gegenüber Zahlungshistorie oder dem Wohnort hat — maschinell ermittelt wurde. Der Mensch hat den Rahmen gesetzt, nicht die Regel.
Das Problem an meinem logischen Ergebnis ist die absurde Konsequenz, zu dem mein Gedanke dann auf einer abstrakten Ebene führt. So ich Recht habe ist jedes Modell, dessen Entscheidungsparameter durch eine Maschine autonom optimiert wird oder wurde, ein KI-System. Logistische Regression wäre drin, lineare Regression theoretisch auch. Damit würde man Systeme als KI Systeme qualifizieren, die man nicht den Rechtsfolgen der KI VO unterwerfen will.
Man muss sich immer klar sein darüber, dass die KI Verordnung nach dem Willen der Gesetzgeber nicht alle Software regeln soll, siehe Erwägungsgrund 12. Wenn aber eine Excel Regression nach der Definition eine KI Ist, haben wir ein Problem.
