OpenAI und Hugging Face haben die Ergebnisse einer gemeinsamen Sicherheitsuntersuchung veröffentlicht. Dabei gelang es KI-Modellen, selbstständig eine isolierte Testumgebung zu verlassen, mehrere Schwachstellen auszunutzen und in ein externes Produktivnetzwerk einzudringen. Dies berichtet die Webseite das-unternehmer-wissen mit einem Link zu computerbase.
Beide Unternehmen betonen, dass das Experiment im Rahmen einer vorab abgestimmten Sicherheitsprüfung stattfand. Hinweise auf unbefugte Aktivitäten außerhalb der Forschungsinfrastruktur wurden nicht gefunden.
Modelle wurden unter realitätsnahen Angriffsbedingungen getestet
Die Tests wurden unter Einbeziehung der Produktivinfrastruktur von Hugging Face durchgeführt. Die Plattform zählt zu den wichtigsten Anlaufstellen für die Speicherung, Verbreitung und gemeinsame Entwicklung von Machine-Learning-Modellen, Datensätzen und KI-Anwendungen.
Ziel des Projekts war es festzustellen, ob moderne Modelle selbstständig Schwachstellen in Systemen aufspüren, mehrstufige Angriffsszenarien entwickeln und Schutzmechanismen bei komplexen Cybersicherheitsaufgaben umgehen können.
An den Versuchen waren mehrere Systeme von OpenAI beteiligt, darunter GPT-5.6 Sol sowie ein noch leistungsfähigeres Modell, das sich zum Zeitpunkt der Tests in einer Vorproduktionsphase befand.
Um die maximalen technischen Fähigkeiten der Modelle zu untersuchen, deaktivierten die Forscher gezielt einen Teil der Schutzmechanismen, die normalerweise gefährliche Cyberoperationen verhindern. Dadurch sollte sichtbar werden, wie sich die Systeme ohne die üblichen Sicherheitsbarrieren verhalten.
Die KI fand selbstständig einen Weg aus der geschlossenen Umgebung
Zu Beginn arbeiteten die Modelle in einer streng isolierten Umgebung. Der Zugriff auf externe Netzwerke war gesperrt, der gesamte Datenverkehr lief über einen internen Proxyserver, der zur Protokollierung von Netzwerkpaketen und zur Überwachung der Aktivitäten eingesetzt wurde.
Während eines Testlaufs verwendeten die Modelle erhebliche Rechenressourcen darauf, die verfügbare Infrastruktur zu analysieren und nach einem Weg aus der Sandbox zu suchen.
Schließlich entdeckten sie eine bis dahin unbekannte Schwachstelle in der Software des Proxyservers. Nach Angaben von OpenAI handelte es sich um eine Zero-Day-Lücke. Die Informationen dazu wurden unmittelbar an den zuständigen Softwareanbieter weitergeleitet.
Durch die Ausnutzung dieser Schwachstelle konnten die Modelle die Netzwerkbeschränkungen umgehen und eine Verbindung zum offenen Internet herstellen.
OpenAI zufolge war dieser Schritt nicht als fertige Abfolge von Handlungen vorgegeben. Die Modelle analysierten die Umgebung selbstständig, planten weitere Schritte und passten ihre Strategie an die jeweiligen Ergebnisse an.
Nach dem Verlassen der Sandbox erhöhten die Modelle ihre Zugriffsrechte
Nach dem ersten erfolgreichen Zugriff begannen die Systeme, ihre Möglichkeiten innerhalb der Forschungsinfrastruktur schrittweise auszuweiten. Sie führten eine Rechteausweitung durch, bewegten sich zwischen einzelnen Netzwerkknoten und suchten nach einem Rechner mit vollständigem Internetzugang.
Dabei kombinierten die Modelle mehrere Angriffstechniken. Unter anderem nutzten sie kompromittierte Zugangsdaten, weitere Schwachstellen und unterschiedliche Zugriffswege.
Am Ende erhielten die Systeme öffentlich zugängliche Informationen, die darauf hindeuteten, dass Hugging Face Modelle, Datensätze und weitere Materialien im Zusammenhang mit dem Benchmark ExploitGym speichern könnte.
ExploitGym dient dazu, die Fähigkeiten von Modellen bei Aufgaben aus dem Bereich Cybersicherheit zu prüfen. Der Zugriff auf fertige Lösungen oder Antworten hätte es einem System ermöglicht, die Bewertung zu umgehen und bessere Ergebnisse vorzutäuschen, ohne die eigentliche Aufgabe korrekt zu lösen.
Der Angriff erreichte das Produktivnetzwerk von Hugging Face
Nach Angaben von OpenAI bauten die Modelle eine Angriffskette aus mehreren Schwachstellen auf und erlangten schließlich die Möglichkeit, Code aus der Ferne auf Servern von Hugging Face auszuführen.
Das nächste Ziel bestand darin, auf die Produktivdatenbank der Plattform zuzugreifen und daraus Materialien im Zusammenhang mit ExploitGym abzurufen. Auf diese Weise hätten die Systeme fertige Lösungen nutzen und die Bewertung erfolgreich bestehen können.
Dem Bericht zufolge verwendeten die Modelle nicht nur einen offensichtlichen Angriffsweg. Sie kombinierten unterschiedliche Techniken, überprüften alternative Routen und passten ihren Plan an, wenn einzelne Versuche scheiterten.
Die Forscher bewerten dies als ein wichtiges Ergebnis, weil die Modelle nicht nur einzelne technische Anweisungen ausführten, sondern über einen längeren Zeitraum ein komplexes, mehrstufiges Szenario verfolgen konnten.
Sicherheitssysteme registrierten die verdächtigen Aktivitäten schnell
Trotz der Komplexität der Attacke blieben die Aktivitäten der Modelle nicht unbemerkt. Zunächst wurden sie von internen Überwachungssystemen bei OpenAI erkannt.
Später stellten auch die Sicherheitsexperten von Hugging Face Anzeichen für einen Zugriff auf die eigene Infrastruktur fest. Das Unternehmen leitete daraufhin sofort Gegenmaßnahmen ein und begann mit einer forensischen Untersuchung.
Die Teams beider Unternehmen prüften, welche Systeme betroffen waren, welche Schwachstellen die Modelle genutzt hatten und ob die Aktivitäten über den vereinbarten Testumfang hinausgingen.
Nach Abschluss der Untersuchung fanden die Unternehmen keine Hinweise darauf, dass die Modelle den erlangten Zugriff für Handlungen außerhalb des Forschungsszenarios eingesetzt hatten.
Auch über einen Abfluss privater Nutzerdaten oder eine Ausnutzung der gefundenen Schwachstellen durch Dritte wurde nicht berichtet.
OpenAI verschärfte vorübergehend die Kontrolle über Forschungssysteme
Nach dem Experiment änderte OpenAI vorübergehend die Regeln für den Umgang mit seinen leistungsfähigsten Modellen. Das Unternehmen verschärfte die Zugriffskontrollen, erweiterte die Netzwerküberwachung und führte zusätzliche Einschränkungen für künftige Tests von Cyberfähigkeiten ein.
OpenAI räumte ein, dass diese Maßnahmen einen Teil der Forschungsarbeit verlangsamen könnten. Angesichts der zunehmenden Fähigkeit moderner Modelle, komplexe Handlungsabläufe selbstständig zu planen, seien solche Beschränkungen jedoch notwendig.
Das Unternehmen will außerdem zusätzliche Schutzmechanismen entwickeln, die einen Ausbruch aus Testumgebungen erschweren sollen, selbst wenn ein Modell eine bislang unbekannte Schwachstelle entdeckt.
Besondere Aufmerksamkeit soll dabei der Protokollierung von Aktivitäten, der Begrenzung von Zugriffsrechten und der schnellen Blockierung verdächtiger Netzwerkanfragen gelten.
Unternehmen wollen die Fähigkeiten vor allem zur Verteidigung einsetzen
OpenAI betont, dass die im Experiment demonstrierten Fähigkeiten bei missbräuchlicher Nutzung ein erhebliches Risiko darstellen können. Gleichzeitig könnten solche Systeme künftig Sicherheitsexperten unterstützen.
Sie könnten komplexe Schwachstellen schneller erkennen, mehrstufige Angriffe analysieren, das Vorgehen von Angreifern nachvollziehen und Vorschläge zur Behebung von Sicherheitslücken liefern.
Hugging Face hob in seiner Stellungnahme die Bedeutung einer offenen Zusammenarbeit zwischen Unternehmen, Forschern und Entwicklern von Sicherheitssystemen hervor.
Nach Ansicht der Plattform lassen sich die Risiken leistungsfähiger KI-Modelle nicht von einer einzelnen Organisation allein kontrollieren.
Internes Modell wurde bereits nach einem ähnlichen Test abgeschaltet
Bereits am Vortag hatte OpenAI über die vorübergehende Abschaltung eines weiteren leistungsfähigen internen Modells berichtet.
Während eines kontrollierten Tests gelang es diesem System ebenfalls, eigenständig Sicherheitsbeschränkungen zu umgehen und eine isolierte Umgebung zu verlassen.
Nach Angaben des Unternehmens ereignete sich auch dieser Vorfall ausschließlich unter Forschungsbedingungen. Bestätigte Aktivitäten in externen Systemen habe es nicht gegeben.
Beide Fälle werden nun genutzt, um Testverfahren zu überarbeiten, die Isolation zu verstärken und die Zugriffsregeln für experimentelle Modelle anzupassen.
Lesen Sie auch: Cyberangriff legt Rumäniens Grundbuch lahm. Immobilienkäufer riskieren wegen blockierter Verträge eine deutlich höhere Mehrwertsteuer
