KI-Agenten brauchen menschliche Aufsicht

20. März 2025 – Agentic AI bietet Unternehmen große Vorteile, muss aber von menschlichen Instanzen überwacht werden, um regulatorische Vorgaben und ethische Standards zu erfüllen. Pegasystems (www.pega.com/de) zeigt auf, wie Unternehmen einen robusten Governance-Rahmen für agentische KI etablieren.

Agentic AI verspricht Unternehmen erhebliche Effizienzgewinne. Sie zerlegt komplexe Aufgaben in kleinere, überschaubare Teilaufgaben, die sich einfacher lösen lassen. KI-Agenten, die bestimmte Rollen wahrnehmen oder auf bestimmte Tätigkeiten spezialisiert sind, führen diese Aufgaben dann automatisiert aus. Anschließend setzt ein übergeordneter Agent die Ergebnisse zusammen, um die Gesamtaufgabe zu lösen.

Damit ermöglicht agentische KI mehr und bessere Automatisierung. Sie birgt aber auch Risiken: Algorithmen könnten diskriminierende Entscheidungen treffen, die Entscheidungen von KI-Agenten sind unter Umständen nicht transparent nachvollziehbar oder es entstehen Sicherheitslücken. Unternehmen laufen Gefahr, gegen regulatorische Vorgaben und ethische Standards zu verstoßen.

Agentic AI benötigt einen Governance-Rahmen. Im Zentrum steht dabei die Überwachung durch Menschen, denn eine selbstgesteuerte Überwachung durch Agenten reicht nicht aus. Pegasystems zeigt auf, wie Unternehmen Schritt für Schritt eine robuste Governance für Agentic AI etablieren.

1. Governance-Richtlinien definieren. Zunächst klären Unternehmen die internen Verantwortlichkeiten für ihre KI-Systeme. Zudem legen sie Standards fest, die auf regulatorischen Anforderungen wie dem EU AI Act und der DSGVO basieren.

2. Risikoanalyse und -management implementieren. Im zweiten Schritt identifizieren sie Hochrisiko-Anwendungen. Außerdem führen sie kontinuierliche Monitorings für diskriminierende KI-Entscheidungen („Bias“), Sicherheit und Datenschutz ein.

3. Transparenz- und Erklärbarkeitsmaßnahmen umsetzen. Unternehmen wählen erklärbare KI-Modelle aus oder implementieren ergänzende Mechanismen für die Nachvollziehbarkeit von KI-Modellen in die Agentic AI. Zudem richten sie eine Dokumentation der KI-Entscheidungen für Audits und Regulierungsbehörden ein.

4. Human-in-the-Loop-Mechanismus etablieren. Im nächsten Schritt integrieren Organisationen menschliche Kontrolle in kritische Entscheidungsprozesse. Zusätzlich definieren sie klare Eingriffsmechanismen bei Fehlentscheidungen und legen die Verantwortung für finale Entscheidungen fest.

5. Kontinuierliche Überwachung und Anpassung. Die Governance-Richtlinien sollten regelmäßig evaluiert und aktualisiert werden. Dazu implementieren Unternehmen ein „AI Governance Board“ oder ähnliche Kontrollinstanzen.

6. Schulung und Sensibilisierung der Mitarbeitenden. In Trainingsprogrammen informieren Unternehmen ihre Entwickler und Entscheidungsträger zu ethischen und rechtlichen Anforderungen. Damit schaffen sie eine Governance-Kultur, in der die Verantwortung für Künstliche Intelligenz ernst genommen wird.

„Wenn Unternehmen beim Einsatz von agentischer KI für Transparenz, Fairness und Sicherheit sorgen, minimieren sie nicht nur Risiken. Sie verschaffen sich auch Wettbewerbsvorteile, weil sie das Vertrauen in ihre KI-Systeme stärken“, erklärt Florian Lauck-Wunderlich, Head of AI and Advanced Analytics Consulting EMEA bei Pegasystems. „Dabei verfolgen sie am besten einen strukturierten Governance-Ansatz mit klaren Verantwortlichkeiten, regelmäßigen Audits und menschlicher Kontrolle.“

Dieses Listicle und das Bild in höherer Auflösung können unter www.brandmacher.de/company/pegasystems abgerufen werden.