Der Harry-Potter-Demonstrator zeigt nicht, dass RAG scheitert

Die letzten Tage wurde ich mehrfach auf den kursierenden Harry-Potter-Demonstrator angesprochen. Meist als vermeintlicher Beweis dafür, dass RAG für Vertragsprüfungen, Due Diligence oder Dokumentenanalyse grundsätzlich nicht zuverlässig funktioniert.

Kurz zum Demonstrator:

In die Harry-Potter-Bücher wurden zwei erfundene Zaubersprüche eingeschleust: Fumbus und Driplo.

Diese Begriffe kommen im echten Harry-Potter-Kanon nicht vor. Anschließend wurde eine KI gebeten, alle Zaubersprüche aus den bereitgestellten Dokumenten zu extrahieren. Die KI lieferte eine überzeugende Liste bekannter Harry-Potter-Zauber, übersah aber genau diese künstlich eingefügten Begriffe.

Die naheliegende Interpretation ist erst einmal unangenehm.

Die KI hat möglicherweise nicht wirklich sauber den konkreten Text ausgewertet, sondern aus ihrem gelernten Harry-Potter-Wissen rekonstruiert. Sie hat also eine Antwort erzeugt, die plausibel aussieht, aber nicht vollständig aus dem bereitgestellten Dokument abgeleitet war.

Dazu kommt ein zweites Problem: Bei sehr langen Kontexten werden Informationen nicht immer gleich zuverlässig verarbeitet. Anfang und Ende eines Dokuments werden oft besser berücksichtigt als Inhalte in der Mitte. Dieses Phänomen wird häufig mit Begriffen wie Lost in the Middle oder Context Rot beschrieben.

Der Kontext verrottet natürlich nicht wirklich. Aber relevante Details können in langen Dokumenten untergehen.

Fumbus und Driplo hatten damit gleich doppelt schlechte Karten.

Erstens kannte die KI Harry Potter vermutlich schon sehr gut aus ihrem Training. Zweitens waren die neuen Begriffe irgendwo im langen Dokument versteckt und mussten aktiv gefunden werden.

Das ist ein gutes Warnsignal.

Aber es ist kein sauberer Beweis dafür, dass RAG grundsätzlich nicht funktioniert.

Der Demonstrator zeigt vor allem, dass naives RAG gefährlich überschätzt wird.

Es reicht nicht, ein langes PDF hochzuladen und dann zu fragen:

Finde alle Risiken.

Oder:

Liste alle relevanten Klauseln.

Oder in diesem Fall:

Finde alle Zaubersprüche.

Das ist kein belastbarer Prüfprozess. Das ist eher ein gut formulierter Wunsch.

Ein robuster Ansatz sieht anders aus.

Das Dokument muss vollständig segmentiert werden. Jedes einzelne Segment muss systematisch verarbeitet werden. Die Ergebnisse müssen strukturiert extrahiert werden. Jede Aussage muss auf eine konkrete Fundstelle zurückführbar sein. Und die extrahierten Informationen müssen gegen Referenzdaten, bekannte Listen oder definierte Prüfkriterien abgeglichen werden.

Auf Harry Potter übertragen hieße das:

Man fragt die KI nicht einfach, welche Zaubersprüche sie kennt. Man arbeitet jedes Buch, jedes Kapitel und jeden Abschnitt vollständig durch. Man extrahiert aus jedem Segment mögliche Zaubersprüche. Danach gleicht man diese Kandidaten gegen eine Referenzliste bekannter Harry-Potter-Zauber ab.

Alles, was nicht in der Referenzliste steht, wird sichtbar.

Genau dann würden Begriffe wie Fumbus und Driplo auffallen.

Dasselbe gilt bei Verträgen.

Naives RAG fragt:

Prüfe den Vertrag auf Risiken.

Ein robuster Prozess sagt:

Arbeite jede Klausel einzeln durch. Extrahiere Verpflichtungen, Fristen, Haftungsregelungen, Kündigungsrechte, Abweichungen vom Standard und unklare Formulierungen. Verweise bei jedem Punkt auf die konkrete Textstelle. Gleiche das Ergebnis gegen unsere Playbooks, Musterklauseln und Risikokriterien ab.

Das ist weniger spektakulär als ein einzelner Prompt.

Aber genau das ist der Unterschied zwischen einer Demo und einem produktiven Prüfprozess.

Mein Fazit ist deshalb:

Der Harry-Potter-Demonstrator zeigt nicht, dass RAG wertlos ist. Er zeigt, dass naives RAG gefährlich überschätzt wird.

Wer KI für Vertragsprüfung, Compliance oder Wissensarbeit produktiv einsetzen will, braucht keine besseren Zauberprompts.

Er braucht saubere Verarbeitungspipelines, vollständige Abdeckung aller Dokumentsegmente, Referenzdaten, Prüfregeln und Auditierbarkeit.