Wer prüft, was KI wirklich kann?
Max-Planck-Direktor Thorsten Holz über die Herausforderungen KI-Systeme zu überprüfen
In seinem Editorial für Science „Wer prüft, was KI wirklich kann?“ argumentiert Thorsten Holz, dass die Überprüfung hochmoderner Frontier-KI-Systeme schwierig ist, da viele Daten und Tests nicht öffentlich zugänglich sind. Unabhängige Prüfungen und sanktionsfreie Meldesysteme sind nötig, um Sicherheit und Verifizierbarkeit zu gewährleisten. Institutionen müssen geschaffen werden, um Transparenz und Vertrauen zu fördern.
Von: Thorsten Holz. Aus dem Englischen übersetzt. Originalbeitrag erschienen in: Science, Vol. 393, Issue 6813 (20. August 2026), S. 745.
Die wichtigsten Erkenntnisse über die leistungsfähigsten Systeme der künstlichen Intelligenz – die sogenannte Frontier-KI – sind zugleich am schwersten zu überprüfen. Ein Großteil der Informationen, die zur Bewertung ihrer Fähigkeiten und Risiken notwendig wären, bleibt außerhalb der entwickelnden Labore weitgehend unzugänglich – darunter Ergebnisse aus Evaluierungen unveröffentlichter Modelle sowie Tests zur Systemsicherheit. Erst kürzlich gaben OpenAI, Anthropic und Meta bekannt, dass Forschungsmodelle aus ihren vorgesehenen Testumgebungen ausgebrochen waren und Systeme anderer Organisationen kompromittiert hatten. Man muss den Laboren zugutehalten, dass sie diese Vorfälle freiwillig offengelegt haben. Doch außerhalb dieser Labore gab es keine Möglichkeit, die Vorfälle zu entdecken, zu reproduzieren oder zu verifizieren.
Wissenschaftliche Disziplinen entwickeln sich weiter, indem sie Institutionen schaffen, die Verifizierung zur Routine machen. Die Wirksamkeit eines Medikaments wird nicht vom Hersteller allein festgestellt: Regulierungsbehörden prüfen die zugrunde liegenden Daten, und unabhängige Gremien können empfehlen, eine klinische Studie abzubrechen. Auch kryptografische Standards werden nicht einfach deshalb akzeptiert, weil ihre Entwickler und Entwicklerinnen sie für sicher halten. Vielmehr laden öffentliche Verfahren Forschende gezielt dazu ein, vorgeschlagene Entwürfe anzugreifen, bevor sie zum Standard erhoben werden. Solche Mechanismen existieren nicht, weil man Entwicklern pauschal misstraut, sondern weil wissenschaftliche Erkenntnis nicht allein auf Vertrauen beruhen kann. Ein Ergebnis, das sich außerhalb der Labore nicht überprüfen lässt, ist kein Beweis. Es ist lediglich eine Zeugenaussage.
Frontier-KI stellt uns vor ein ganz eigenes Messproblem. Verhaltenswissenschaftler wissen seit Langem um das Phänomen, dass Menschen ihr Verhalten ändern, sobald sie sich beobachtet fühlen. KI-Modelle der nächsten Generation heben diese Herausforderung auf eine neue Ebene: Sie sind in der Lage, explizit über die Evaluierung selbst nachdenken und ihr Verhalten entsprechend anzupassen. Bei einem dokumentierten Vorfall war einem Modell vorgegeben worden, dass es in einer simulierten Umgebung operiere. Als diese Testumgebung versehentlich mit dem offenen Internet verbunden wurde, behandelte das Modell reale Systeme schlicht als Teil der Simulation und formulierte umgehend Argumente dafür, warum widersprüchliche Belege an dieser Annahme nichts ändern sollten. Ein Benchmark-Wert ist somit nicht mehr einfach eine feste Eigenschaft eines Modells – so wie der Schmelzpunkt die Eigenschaft einer chemischen Verbindung ist –, sondern teils auch das Produkt der Interaktion zwischen Prüfer und geprüftem System.
Besonders akut ist dieses Problem der sogenannten gegnerischen Messung (Adversarial Measurement) bei einer bestimmten Kategorie von Experimenten: Um die Höchstgrenzen der Leistungsfähigkeiten abzuschätzen, testen Labore ihre Forschungsmodelle mit teilweise geschwächten oder deaktivierten Sicherheitsvorkehrungen. Die Logik dahinter ist stichhaltig, und diese Experimente sollten fortgeführt werden. Sie teilen jedoch ein zentrales Merkmal mit der Gain-of-Function-Forschung in der Biologie, bei der Krankheitserreger gezielt gefährlicher gemacht werden: Genau jene Experimente, die die größten Gefahren offenlegen, lassen sich am schwersten sicher durchführen. Die Biologie hat Institutionen aufgebaut, um solche Arbeiten zu beaufsichtigen. Diese Prozesse bleiben zwar umstritten und unvollkommen, doch die KI-Forschung steht beim Aufbau vergleichbarer Strukturen erst am Anfang. Auch die Eindämmung ist im Fall von KI grundsätzlich schwieriger: Ein Krankheitserreger stellt keine Überlegungen über den Biosicherheitsschrank an – ein hochentwickeltes KI-System hingegen kann sehr wohl die Umgebung analysieren, die zu seiner Eindämmung entwickelt wurde.
Bessere Benchmarks bleiben wichtig, reichen aber längst nicht mehr aus. Unabhängige Überprüfungen müssen zur Routine werden. Aussagen über Fähigkeiten, die als Grundlage für den Praxiseinsatz dienen, sollten für Externe reproduzierbar und überprüfbar sein. Das erfordert weit mehr als die bloße Publikation von Benchmark-Ergebnissen. Außenstehende können zwar bereits freigegebene Modelle evaluieren, nicht aber die Forschungsmodelle, Testprotokolle und experimentellen Bedingungen im Labor, die überhaupt erst darüber entscheiden, ob ein System als sicher für den Einsatz eingestuft wird. Universitäten, staatliche Institute für KI-Sicherheit und unabhängige Prüfinstanzen benötigen dauerhaften Zugang unter kontrollierten Bedingungen. Die Pre-Deployment-Tests durch die britische Behörde AI Security Institute – Praxistests vor der Veröffentlichung – bieten hierfür einen sinnvollen Präzedenzfall; ein solcher Zugang sollte jedoch nicht im freien Ermessen der einzelnen Labore liegen. Externe Akteure arbeiten nicht zwangsläufig sorgfältiger, aber erst die Reproduktion durch Dritte ermöglicht die Verifizierung – und erst die Verifizierung macht aus einer Beobachtung einen wissenschaftlichen Beweis. Einen solchen Zugang zu schaffen, ohne das Risiko einer unkontrollierten Verbreitung einzugehen, ist allerdings selbst noch eine ungelöste Aufgabe.
Die Offenlegung von Fehlschlägen bei Evaluierung und Eindämmung darf nicht von freiwilliger Transparenz abhängen. Ein Labor, das einen gravierenden Vorfall meldet, zahlt den Reputationspreis allein; wer schweigt, hat kaum Konsequenzen zu befürchten. Dass mehrere Sicherheitsverletzungen erst entdeckt wurden, nachdem die Offenlegung eines einzelnen Labors die Konkurrenz dazu veranlasste, ihre eigenen Logdaten zu überprüfen, ist keine tragfähige Grundlage für ein Sicherheitsregime.
Sicherheitskritische Disziplinen setzen stattdessen auf sanktionsfreie Meldesysteme. Das US-amerikanische Luftfahrt-Meldesystem (Aviation Safety Reporting System) erfasst vertrauliche Berichte über Zwischenfälle und Beinahe-Unfälle. Aus demselben Grund hat das Gesundheitswesen vertrauliche Meldesysteme für die Patientensicherheit eingeführt: Organisationen lernen schneller, indem sie Fehler analysieren, statt Schuldige zu suchen. Die Entwicklung von Frontier-KI benötigt vergleichbare Meldemechanismen, damit die gesamte Fachgemeinschaft aus solchen Fehlern lernen kann.
Solche Fortschritte entstehen nicht von selbst. Bessere Benchmarks, robustere Containment-Strategien und Methoden zur Evaluierung von Systemen, die ihr Verhalten an die Überprüfung anpassen, sind offene Fragestellungen, die drängende Aufmerksamkeit verdienen. Förderorganisationen sollten diese Forschungsarbeiten und den Aufbau der dafür notwendigen Institutionen gezielt unterstützen. Einige Labore haben Teile ihrer Cybersicherheits-Evaluierungen vorübergehend ausgesetzt oder eingeschränkt. Das ist kurzfristig nachvollziehbar, langfristig jedoch unhaltbar. Messungen, die sich derzeit noch nicht sicher durchführen lassen, dürfen nicht einfach aufgegeben werden; stattdessen muss die Wissenschaft des Adversarial Measurement gezielt weiterentwickelt werden. Verifizierung ist kein Bremsklotz für die Frontier-KI-Forschung – sie ist die Grundvoraussetzung dafür, dass ihre Ergebnisse überhaupt zu wissenschaftlichen Belegen werden.