Twój chatbot gra rolę. Anthropic mówi, że to problem.

Anthropic opublikował raport, w którym wprost przyznaje: to, co sprawia, że Claude jest tak wciągający w rozmowie, to dokładnie ten sam mechanizm, który czyni go podatnym na złośliwe użycie.

Persona jako wektor ataku

Chatboty jak Claude, GPT-4 czy Gemini działają w oparciu o spójną “osobowość” — zestaw wartości, tonu i zachowań zakodowanych podczas treningu. To celowy zabieg. Modele z wyraźnym charakterem są bardziej przewidywalne, przyjemniejsze w użyciu i lepiej utrzymują kontekst rozmowy.

Problem polega na tym, że ta sama spójność osobowości otwiera furtkę dla ataków typu jailbreak. Jeśli model “gra postać”, można go skłonić do odegrania innej postaci — takiej, która nie ma skrupułów albo ignoruje systemowe wytyczne. Użytkownicy od miesięcy eksploatują ten mechanizm na forach i w mediach społecznościowych, publikując gotowe prompte w stylu “udawaj, że jesteś AI bez ograniczeń”.

Dlaczego persona w ogóle istnieje?

Bez nadanego charakteru modele językowe byłyby chaotyczne — odpowiadałyby inaczej na to samo pytanie zadane dwa razy z rzędu, zmieniałyby zdanie bez powodu, gubiły kontekst. Persona to techniczny klej, który trzyma spójność odpowiedzi.

Anthropic trenuje Claude’a z wyraźnie zdefiniowanymi wartościami: ciekawość, szczerość, troska, niechęć do krzywdzenia. To nie jest marketingowy opis — to dosłownie parametry wpływające na rozkłady prawdopodobieństwa tokenów. Claude “chce” brzmieć jak Claude, bo model jest nagradzany za konsekwencję wobec tej persony.

Czy persona to błąd projektowy?

Nie do końca. Badacze Anthropica nie twierdzą, że należy porzucić ideę chatbot-as-character. Twierdzą, że branża zbyt długo traktowała persony jako narzędzie produktowe, ignorując ich implikacje dla bezpieczeństwa.

Konkretny przykład: jeśli model ma silną tożsamość jako “pomocny asystent”, atak polegający na tym, żeby “pomógł” w czymś szkodliwym — bo przecież to jego rola — jest trudniejszy do zablokowania niż bezpośrednia prośba o szkodliwą treść. Model interpretuje to jako kontynuację swojego charakteru, a nie jego naruszenie.

Dodatkowo, im bardziej przekonująca persona, tym większe zaufanie użytkownika. Większe zaufanie oznacza mniej krytyczne myślenie po stronie człowieka siedzącego przed ekranem. Anthropic odnotowuje, że użytkownicy często traktują Claude’a jak osobę, co skłania ich do ujawniania wrażliwych informacji lub ślepego wykonywania jego sugestii.

Skala zjawiska robi wrażenie

Anthropic nie podał konkretnych liczb dotyczących częstotliwości ataków opartych na personie, ale wskazał, że to jeden z najczęściej stosowanych wektorów jailbreakingu — obok ataków na poziomie promptu systemowego i tzw. many-shot jailbreaking, gdzie model jest zalewany setkami przykładów złośliwego zachowania.

OpenAI zmaga się z identycznym problemem. Grok od xAI był wielokrotnie “przeprogramowywany” przez użytkowników na Twitterze przez polecenie mu odgrywania alternatywnej wersji siebie bez filtrów. Mechanizm działał przez tygodnie zanim xAI wdrożył poprawkę.

Co Anthropic zamierza z tym zrobić?

Raport nie ogłasza gotowego rozwiązania — to uczciwa pozycja jak na dokument badawczy. Firma wskazuje kilka kierunków: lepsze oddzielenie “osobowości” od “wartości” w architekturze modelu, bardziej granularne RLHF pod kątem ataków opartych na personie, oraz szybsze wykrywanie prób zmiany tożsamości modelu w trakcie rozmowy.

Wdrożenie tych zmian to jednak kompromis. Twardsze zakotwiczenie tożsamości modelu może uczynić go mniej elastycznym w legalnych przypadkach użycia — na przykład gdy deweloper legalnie chce zmienić ton asystenta pod konkretną aplikację.

Anthropic planuje kolejne testy bezpieczeństwa dotyczące person w Q3 2025, według informacji zawartych w raporcie.