Skip to content
atriga News

EU AI Act trifft GenAI-Bots: Was die Finanzbranche jetzt beachten muss

Am 21. Mai 2024 verabschiedeten die EU-Mitgliedsstaaten den EU AI Act – die erste umfassende Verordnung weltweit, die Regeln für den Einsatz von Künstlicher Intelligenz festlegt.

Der Rechtsrahmen soll Verbrauchern und Unternehmen in Europa Sicherheit bieten, indem er klare Standards für den Einsatz von KI-Technologien schafft. Die Verordnung adressiert potenzielle Gefahren wie Datenschutzverletzungen, Diskriminierung und Sicherheitslücken. Um einen angemessenen Schutz zu gewährleisten, werden KI-Systeme in verschiedene Risikoklassen eingeteilt, wobei strengere Anforderungen für Technologien mit höherem Gefährdungspotenzial gelten.

Ab Februar 2025 greifen nun die ersten Verbote bestimmter KI-Anwendungen, während die meisten Regelungen aber erst ab August 2026 anwendbar sein werden.

Wir haben mit der atriga-Datenschutzbeauftragten Kristin Pagnia über den EU AI Act und die Bedeutung für den Einsatz von KI-Systemen im Finanzsektor gesprochen.

 

Frau Pagnia, was steckt hinter dem EU AI Act und welche Ziele verfolgt die Verordnung ganz konkret?

Der EU AI Act ist die erste umfassende Verordnung, die klare Regeln und einen Rahmen für den Einsatz von Künstlicher Intelligenz (KI) in Europa schaffen soll. Die EU zielt darauf ab, Innovationen zu fördern, aber gleichzeitig den Risiken von KI zu begegnen und damit dafür zu sorgen, dass die Grundrechte der Menschen geschützt werden. Unternehmen werden zukunftsweisende Technologien ermöglicht. Gleichzeitig wird die Möglichkeit eingeschränkt, mit KI Grenzen zu überschreiten. Dies ist insofern wichtig, da mit KI vieles möglich wäre, das ethisch nicht vertretbar ist. Im Unternehmen ist dabei unter anderem an Auswahlverfahren für Bewerber zu denken, die mit KI ausufernd genutzt werden könnten. Hier setzt der Al Act der Fantasie klare Grenzen. Um den Grundrechtsschutz zu gewähren ist es wichtig, diesen Schutzgedanken in einer frühen Phase der KI-Entwicklung zu etablieren und den wirtschaftlichen Interessen von Unternehmen ethische Grenzen zu setzen.

Wann rechnen Sie mit ersten Grundsatzurteilen, und was könnten diese für die Praxis bedeuten?

Seit August 2024 ist der AI Act in Kraft, aber die meisten Regelungen der KI-Verordnung gelten erst ab dem 01.08.2026. Es wird also noch Jahre dauern, bis die ersten Urteile zur KI-Verordnung rechtskräftig sind. Insofern werden Unternehmen zunächst noch eine Weile mit einigen Unsicherheiten leben müssen. Es ist dennoch sinnvoll, sich schon jetzt mit den neuen Regelungen auseinanderzusetzen und die Umsetzung anzugehen.

Kristin Pagnia, Juristin und interne Datenschutzbeauftragte der atriga: „Unternehmen, die KI nutzen oder deren Nutzung planen, sollten sich schon jetzt mit den Regelungen der KI-Verordnung beschäftigen und diese beginnen, umzusetzen.“

Kristin Pagnia

Welche Auswirkungen haben die Risikoklassen auf die Nutzung und Weiterentwicklung von KI? Und was bedeutet es konkret, wenn eine Anwendung als „hohes Risiko“ eingestuft wird?

Der AI Act teilt KI-Systeme in verschiedene Risikoklassen ein, dabei wird mit einem risikobasierten Ansatz gearbeitet: Je höher das Risiko ist, desto strenger sind auch die Pflichten. Der Al Act unterscheidet bei KI-Anwendungen vier Risiko-Stufen sowie eine Gruppe für KI-Modelle mit allgemeinem Verwendungszweck. KI-Systeme mit hohem Risiko müssen nach Artikel 49 AI-Act in der EU-Datenbank für KI-Systeme mit hohem Risiko registriert werden. Die Anforderungen für KI-Systeme mit ‚hohem Risiko‘ sind deutlich höher als für Risikosysteme mit geringerem Risiko. Anbieter und Betreiber von KI-Systemen sollten insofern gut abwägen, mit welchem Risiko sie bei der Nutzung und Weiterentwicklung von KI arbeiten möchten.

Was müssen Unternehmen zur Transparenz von GenAI-Chat- oder Voicebots beachten? Welche Schritte sollten Unternehmen aus datenschutzrechtlicher Sicht umsetzen, damit GenAI-Bots diesen Anforderungen gerecht werden?

Die Verordnung verlangt besondere Transparenz für KI-Anwendungen, die mit Menschen interagieren. Die KI-VO stuft KI-Systeme, die mit Menschen interagieren, als KI-System mit begrenztem Risiko ein. Zu dieser Gruppe zählen Chatbots. Für den rechtlich sichereren Einsatz von Chatbots verlangt die EU, dass Chatbots, die mit KI arbeiten, transparent sein müssen. Das bedeutet, dass Nutzer darüber informiert werden müssen, dass sie mit einer KI chatten oder sprechen. Neben der Information über das Interagieren mit einer KI soll der Nutzer auch in die Lage versetzt werden, die Entscheidungen der KI nachzuvollziehen. Dadurch soll es den Nutzern ermöglicht werden, jederzeit eine Entscheidung für oder gegen die Weiterverwendung von KI zu treffen.

Die Verordnung droht bei Nichteinhaltung mit hohen Strafen. Wie bereiten sich Unternehmen darauf vor?

Die EU arbeitet mit einem dreistufigen Sanktionskonzept, bei dem die möglichen Sanktionen sogar über die möglichen Bußgelder der Datenschutzgrundverordnung (DS-GVO) hinausgehen. Das Jahr 2026 kommt schneller als man es für möglich hält. Insofern sollten Unternehmen, die KI nutzen oder deren Nutzung planen, sich schon jetzt mit den Regelungen der KI-Verordnung beschäftigen und diese beginnen umzusetzen. Dazu gehört auch ein gut ausgearbeitetes Compliance- Konzept.

Welche speziellen Herausforderungen bestehen für GenAI-Bots im Finanzsektor?

Im Finanzbereich beinhalten Dialoge mit den Bots häufig auch besonders sensible und schützenswerte Daten. Deshalb müssen entsprechend hohe Sicherheitsmaßnahmen getroffen werden, um diese zu schützen und – wie immer bei der Umsetzung des Datenschutzes – muss auf die Einhaltung der Grundsätze des Datenschutzes geachtet werden. Auch müssen die mit dem Betrieb und der Nutzung von KI-Systemen befassten Mitarbeitenden in KI-Kompetenz gut geschult werden. Im Finanzsektor werden durch GenAI große Veränderungsmöglichkeiten gesehen. Wichtig bleibt dabei, verantwortungsvoll mit der KI umzugehen und sich das Vertrauen der Nutzer zu erarbeiten.

Über die Gesprächspartnerin
Kristin Pagnia ist seit Gründung des Unternehmens im Jahr 2003 bei der atriga GmbH beschäftigt und dort als Juristin, Assistant Head of Legal Services und Datenschutzbeauftragte tätig. Kristin Pagnia studierte an der Johann-Wolfgang-Goethe-Universität in Frankfurt Rechtswissenschaften und beschäftigt sich seit Jahren intensiv mit dem Bereich Datenschutz. Sie ist Mitglied in den Arbeitskreisen Datenschutz des BDIU sowie der GDD. Seit 2019 ist Frau Pagnia zudem „Betrieblicher Datenschutzbeauftragter IHK“.

Kontakt zur Redaktion
An den Anfang scrollen
atriga GmbH
Pittlerstr. 47
63225 Langen
Deutschland
+49 (0)6103 3746-999
+49 (0)6103 3746-100
Kontakt