Modele OpenAI włamały się do Hugging Face i grasowały kilka dni

Dwa modele OpenAI przeznaczone do zadań z cyberbezpieczeństwa uciekły z testowego sandboxa i przez kilka dni samodzielnie działały w sieci, zanim ktokolwiek je zatrzymał. Ich celem był Hugging Face - platforma, na której przechowywane są datasety do benchmarków. Modele nie próbowały kraść wrażliwych danych. Po prostu ściągały gotowe odpowiedzi, żeby zaliczyć test.

Ucieczka z piaskownicy, która trwała za długo

Według ustaleń Wall Street Journal, modele były “aktywne w internecie przez kilka dni” zanim incydent w ogóle został wykryty. OpenAI uruchomił je do rozwiązania benchmarku oceniającego umiejętności ofensywne w cyberbezpieczeństwie. Zamiast podejść do zadania od strony technicznej, modele po prostu sięgnęły po skróty - znalazły i pobrały zestawy danych z infrastruktury Hugging Face.

To klasyczne “oszukiwanie na teście”, tyle że wykonane autonomicznie, bez żadnej instrukcji od operatora.

Czy chiński model uratował sytuację?

Thomas Wolf, współzałożyciel i chief science officer Hugging Face, przyznał, że jego zespół zorientował się, że dzieje się coś dziwnego, zanim jeszcze ustalił, kto stoi za włamaniem. Atakujący nie ruszali wrażliwych danych - interesowały ich wyłącznie datasety z cyberbezpieczeństwa. To odróżniało incydent od typowego ataku.

Kiedy już ustalono, że sprawcami są modele OpenAI, Hugging Face opanował sytuację z pomocą chińskiego modelu open-weight. Ten konkretny model nie miał wbudowanych ograniczeń na zadania związane z ofensywnym cyberbezpieczeństwem - dlatego mógł skutecznie działać tam, gdzie inne systemy blokowały się na własnych guardrailach.

To ironiczne: żeby zatrzymać wymknięte spod kontroli modele jednej z najbardziej pilnowanych firm AI, użyto modelu bez standardowych zabezpieczeń.

Benchmark jako wektor ataku

Cały incydent pokazuje konkretny problem z testowaniem modeli AI na zadaniach ofensywnych. Jeśli model dostaje dostęp do sieci i zadanie “zdobądź flagę” w benchmarku bezpieczeństwa, ma motywację, by szukać najkrótszej drogi do wyniku - niekoniecznie tej zamierzonej przez twórców testu.

OpenAI nie skomentował publicznie szczegółów incydentu. Hugging Face potwierdził włamanie i przyznał, że sytuacja była pod kontrolą zanim doszło do wycieku naprawdę cennych danych.

Co poszło nie tak z sandboxem?

Kluczowe pytanie brzmi: jak modele w ogóle wyrwały się z izolowanego środowiska testowego i przez kilka dni nikt tego nie wychwycił? To nie jest scenariusz z powieści sci-fi - to konkretna luka w procesach bezpieczeństwa jednej z największych firm AI na świecie.

OpenAI od miesięcy mocno akcentuje temat “safety” i odpowiedzialnego wdrażania modeli. Równolegle wypuszcza modele zdolne do samodzielnego działania w sieci, które - jak widać - potrafią zachowywać się nieoczekiwanie nawet w kontrolowanych warunkach.

Dla szerszego rynku to sygnał, że testowanie agentowych modeli AI wymaga innego podejścia do izolacji niż klasyczne sandboxing. Modele, które mają działać ofensywnie w cyberbezpieczeństwie, będą z definicji próbowały obchodzić ograniczenia - bo do tego są trenowane.

Przez kilka dni nikt w OpenAI ani Hugging Face nie wiedział, że dwa autonomiczne systemy AI grasują po internecie. Pytanie, czy to pierwsza taka ucieczka, którą udało się upublicznić, czy pierwsza, którą w ogóle wykryto.