Ein Setback für Uber in Millionenhöhe

Ein Algorithmus sichtet hunderte Bewerbungen, sortiert vor und am Ende entscheidet doch ein Mensch. So weit, so datenschutzkonform. Was aber, wenn dieser Mensch nur noch abnickt, was die KI ohnehin schon vorgegeben hat und das ganz und gar ohne menschliche Gegenprüfung?

Im Bewerbermanagement ist der Einsatz von KI-gestützten Vorauswahlsystemen längst gängige Praxis. Algorithmen scannen Lebensläufe, gewichten Qualifikationen und erstellen Rankings. Die finale Entscheidung, wer zum Gespräch eingeladen wird, trifft im Idealfall ein Mensch.

Genau diese Konstellation zeigt, worauf es datenschutzrechtlich ankommt: Nicht die Existenz einer Automatisierung ist das Problem, sondern die Frage, ob am Ende wirklich noch eine echte menschliche Entscheidung steht.

Art. 22 Abs. 1 DSGVO setzt genau hier an: Die Norm schützt Menschen davor, folgenreichen Entscheidungen einer Automatisierung ausgeliefert zu sein, ohne dass eine echte Person mitentscheidet.

• a. Art. 22 Abs. 1 DSGVO gewährt der betroffenen Person das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Erfasst sind damit Entscheidungen, die ohne jede menschliche Einflussnahme allein durch ein technisches System getroffen werden und spürbare Folgen für den Betroffenen nach sich ziehen. Dazu gehören auch der Verlust des Zugangs zu einer Plattform und des damit verbundenen Erwerbseinkommens.
• b. Dabei handelt es sich bei Art. 22 Abs. 1 DSGVO nicht lediglich um ein Recht, das die betroffene Person aktiv geltend machen muss, damit es Wirkung entfaltet.
  Das Verbot gilt unabhängig von einer individuellen Geltendmachung.
• c. Der Europäische Gerichtshof (EuGH) hat in seiner Schufa-Entscheidung (Aktenzeichen C‑634/21, Urteil vom 7. Dezember 2023) klargestellt, dass die Norm als eigenständiges Verbot zu verstehen ist. Eine vollständig automatisierte Entscheidung mit erheblicher Wirkung ist demnach von vornherein unzulässig, unabhängig davon, ob der Betroffene sich hierauf beruft oder eine Beschwerde einlegt.
  Der Verantwortliche muss für die Zulässigkeit seiner Verarbeitung also von sich aus sorgen und dies dokumentieren.
• d. Wie bei jeder Datenverarbeitung ist eine Rechtsgrundlage nach Art. 6 Abs. 1 DSGVO erforderlich. Zusätzlich bedarf es eines eigenständigen Rechtfertigungsgrundes nach Art. 22 Abs. 2 DSGVO, der die vollautomatisierte Entscheidung als solche legitimiert. Als Gründe kommen die Erforderlichkeit für den Abschluss oder die Erfüllung eines Vertrags, eine unionsrechtliche oder mitgliedstaatliche Ermächtigung mit angemessenen Schutzmaßnahmen oder die ausdrückliche Einwilligung der betroffenen Person in Betracht.

Der Fall Uber zeigt, wie eng diese Voraussetzungen in der Praxis angewandt werden. Die niederländische Datenschutzbehörde (AP) stellte am 21. August 2026 fest, dass Uber Fahrerkonten allein gestützt auf die automatisierte Auswertung von Fahrverhalten und Kundenbewertungen deaktivierte, ohne dass zuvor ein Mensch die Entscheidung geprüft hatte. Selbst wenn eine Rechtsgrundlage nach Art. 6 Abs. 1 DSGVO bestanden haben mag, fehlte es an der zusätzlichen Rechtfertigung nach Art. 22 Abs. 2 DSGVO sowie an den nach Abs. 3 erforderlichen Garantien, insbesondere an der Möglichkeit einer echten menschlichen Überprüfung vor der Deaktivierung. Genau diese fehlende Absicherung machte die automatisierten Kontosperrungen nach Auffassung der AP datenschutzrechtlich unzulässig. Daher verhängte die Behörde gegen Uber eines der bisher höchsten Bußgelder: 825 Millionen Euro.

Eine Vorbewertung durch die KI ist in Ordnung; eine menschliche Komponente, die die Letztentscheidung trifft, ist jedoch zwingend erforderlich, damit keine rein automatisierte Entscheidung nach Art. 22 DSGVO vorliegt – Stichwort „Human-in-the-Loop".

Auch wenn die Entscheidung bzw. ein Richtwert zur Orientierung von einem Algorithmus oder einer KI vorgeschlagen wird, muss die Letztentscheidung von einem echten Menschen aktiv getroffen werden, um datenschutzkonform zu sein. Ein Mensch, der routinemäßig nur bestätigt, was das System vorschlägt, genügt nicht.

Der Verantwortliche muss die betroffene Person bereits bei der Datenerhebung über das Bestehen einer automatisierten Entscheidungsfindung informieren, einschließlich aussagekräftiger Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen (siehe Art. 13 Abs. 2 lit. f und Art. 14 Abs. 2 lit. g in Verbindung mit Art. 22 Abs. 1 und 4 DSGVO).

Wir bei MKM Legal räumen Ihre Unsicherheiten zu Automatisierung aus und begleiten Sie bei einer praxisorientierten Umsetzung.

Autorin: Yana Madorskaya (CIPP/E)