Transparenz statt richterlicher Black Box

In der Literatur herrscht weitgehend Einigkeit darüber, dass Künstliche Intelligenz (KI) den menschlichen Richter zwar unterstützen, nicht aber ersetzen darf. Ein Vorlagebeschluss des VGH Kassel gibt Anlass zu einer Konkretisierung dieser Formel.

Wie zunächst die F.A.Z. berichtete, ist dem VGH Kassel beim Einsatz einer KI zu Recherchezwecken mindestens ein Fehler unterlaufen. Das Gericht hatte sich in einem Berufungsverfahren mit der aufenthaltsrechtlichen Situation von Ukrainern in Georgien auseinanderzusetzen. Dazu zog es fünf Internetquellen heran, die es über den KI-Chatbot ChatGPT abgerufen hatte. Das ergab sich aus der Endung „source=chatgpt.com“ in den im Beschluss (24.6.​2026 – 3 A 2624/25, BeckRS 2026, 14569) angegebenen URLs. Die Wiedergabe der Internetquellen war zumindest in einem Fall fehlerhaft: Das Gericht gab an, dass das Aufenthaltsrecht ukrainischer Staatsangehöriger in Georgien mit einem Regierungsdekret vom 24.2.​2026 verlängert wurde. Die von ChatGPT genannte und von den Richtern des VGH Kassel übernommene Quelle stammt allerdings aus dem Jahr 2025.

Gegenüber der F.A.Z. führte der VGH Kassel aus, dass die Tatsachenfeststellung inhaltlich richtig und der Beschluss deshalb nicht korrekturbedürftig sei. Damit verkennt das Gericht, dass ein korrektes Ergebnis Mängel der Rechtsstaatlichkeit eines Verfahrens nicht heilt. Art. 92 Hs. 1 GG vertraut die rechtsprechende Gewalt den Richtern an. Richter im Sinne des Grundgesetzes kann nur ein Mensch sein. Auch eine hypothetisch perfekte KI überwindet diese verfassungsrechtliche Forderung nicht.

Das zulässige Maß des KI-Einsatzes

Entscheidend ist, ob die Richter KI in unzulässigem Maße eingesetzt haben. Dazu erklärte der VGH Kassel gegenüber der F.A.Z.: „Die Zitierweise gehört ebenso wie insgesamt das Abfassen von Entscheidungsgründen dem Bereich der richterlichen Unabhängigkeit an.“ Die Gerichtsverwaltung könne den Richtern den KI-Einsatz im Rahmen der Entscheidungsfindung also nicht untersagen. Das ist zwar korrekt, trifft aber nicht den Kern der hier in Frage stehenden Situation.

Auch im Rahmen der richterlichen Unabhängigkeit muss der Richter die Verantwortung für seine Entscheidung tragen. Aus der Rechtsprechung des BVerfG lässt sich eine Pflicht zur eigenverantwortlichen Entscheidung ableiten. Der Richter muss die Tat- und Rechtsfragen eines Falls daher aus eigener Überzeugung beantworten. Seine Überzeugung darf er nicht allein auf die Aussagen anderer Entitäten stützen, indem er diese ohne eigene Prüfung übernimmt.

Die Formulierung von Anforderungen an eine solche Prüfung verlangt eine Betrachtung des Einzelfalls. Maßnahmen der Entscheidungsvorbereitung können in unvorhergesehenem Maße Einfluss auf die richterliche Entscheidungsfindung entfalten. Daher liegt die unbefriedigende Antwort auf die Frage nach einer Abgrenzung von unzulässiger Ersetzung und zulässiger Unterstützung des menschlichen Richters durch KI in einer Angemessenheitsprüfung: Der Richter darf KI zu Recherchezwecken einsetzen. Erforderlich ist dann aber eine umfassende Prüfung des Einzelfalls, in die das Ergebnis des KI-Systems lediglich als angemessen berücksichtigter Parameter Eingang findet.

Faktoren der Angemessenheitsprüfung

Faktoren der Angemessenheitsprüfung können etwa die Komplexität der Tat- oder Rechtsfrage, der Automatisierungsgrad des eingesetzten KI-Systems oder dessen funktionale Nachvollziehbarkeit sein. Mit dem letztgenannten Aspekt ist keine Nachvollziehbarkeit im informationstechnischen Sinne gemeint, so dass auch der Verweis eines KI-Sprachsystems auf eine bestimmte Quelle ein die Nachvollziehbarkeit fördernder Faktor ist, sofern die Möglichkeit der Überprüfung vom Verwender tatsächlich genutzt wird.

Angesichts des Wiedergabefehlers ist zweifelhaft, dass die Richter des VGH Kassel das KI-generierte Ergebnis in hinreichendem Maße überprüft haben. Eine abschließende Beurteilung ist nach geltendem Recht allerdings nicht möglich. Der VGH Kassel macht geltend, dass weitere Quellen herangezogen wurden, um die Rechtslage ukrainischer Staatsangehöriger in Georgien umfassend zu klären. Tatsächlich ließe sich ein Mangel an inhaltlicher Überprüfung durch die Heranziehung weiterer, nicht KI-generierter oder ausreichend überprüfter Quellen heilen. Derzeit fehlt es allerdings an einem Auskunftsanspruch, der den Einfluss der KI auf die richterliche Entscheidung überprüfbar macht.

Dieser Text stammt aus Heft 35/2026 der NJW. Sie möchten die NJW kostenlos testen? Jetzt vier Wochen gratis testen inkl. Online-Modul NJWDirekt.