OpenAI Safety Fellowship: granty dla badaczy bezpieczeństwa

OpenAI uruchomiło Safety Fellowship — pilotażowy program stypendialny skierowany do niezależnych badaczy pracujących nad bezpieczeństwem i alignment modeli językowych.

Kto dostanie pieniądze i za co

Program finansuje projekty spoza struktur OpenAI. Chodzi o naukowców, którzy chcą badać, jak duże modele językowe zachowują się w nieprzewidzianych sytuacjach, jak zapewnić ich zgodność z ludzkimi wartościami i jak ograniczać ryzyko wynikające z ich działania. OpenAI nie opublikowało jeszcze pełnych warunków finansowania ani konkretnych kwot grantów — te szczegóły mają pojawić się w dokumentacji programu.

Fellowship ma też drugi cel: budować tzw. pipeline talentów. OpenAI chce, żeby uczestnicy programu stali się kolejnym pokoleniem ekspertów od AI safety — zarówno w sektorze akademickim, jak i przemysłowym.

Czy to szczere czy wizerunkowe?

OpenAI ma za sobą burzliwy rok pod kątem wiarygodności w temacie bezpieczeństwa. W maju 2024 roku rozwiązało swój zespół Superalignment odpowiedzialny za długoterminowe bezpieczeństwo AGI, a jego szefowie — Ilya Sutskever i Jan Leike — odeszli z firmy. Leike przy okazji publicznie napisał, że kultura firmy przedkłada produkty nad safety.

Safety Fellowship można czytać jako próbę odbudowania nadszarpniętego zaufania. Finansowanie zewnętrznych badaczy zamiast prowadzenia ich in-house to jednak strukturalnie inne podejście — i niekoniecznie gorsze. Niezależni naukowcy mogą publikować wyniki bez filtrowania przez PR firmy.

Problem w tym, że OpenAI nie podało żadnych konkretnych liczb: ile fellowshipów rocznie, jakie kwoty, na jak długo. Bez tych danych trudno ocenić, czy to program z zębami, czy ładnie opakowany komunikat prasowy.

Alignment to wciąż nierozwiązany problem

Badania nad alignment — czyli nad tym, żeby modele AI robiły to, czego faktycznie chcemy, a nie to, co dosłownie kazaliśmy — pozostają jednym z najtrudniejszych zagadnień w całej dziedzinie. Anthropic wydaje na to setki milionów dolarów rocznie i traktuje safety jako główną narrację biznesową. DeepMind od lat prowadzi własne zespoły alignment. OpenAI przez długi czas robiło to samo — do wspomnianego rozwiązania Superalignment.

Fellowship zewnętrzny to nie zastępstwo dla wewnętrznego zespołu badawczego. To uzupełnienie — i OpenAI powinno to uczciwie komunikować.

Dla kogo konkretnie?

Program jest skierowany do naukowców na wczesnym etapie kariery — doktorantów, postdoców i niezależnych badaczy. OpenAI stawia na osoby, które jeszcze nie są osadzone w konkretnej instytucji lub firmie, co teoretycznie daje im większą swobodę w wyborze tematów badawczych.

Fellowship ma charakter pilotażowy, co oznacza, że OpenAI testuje format. Jeśli pierwsze rundy przyniosą wartościowe wyniki — program ma szansę się rozwinąć. Jeśli nie — cicho zniknie z newsów, jak wiele podobnych inicjatyw przed nim.

Co z tego wynika dla środowiska badawczego?

Dodatkowe finansowanie dla niezależnych badaczy safety to dobra wiadomość niezależnie od motywacji OpenAI. Pieniądze na badania alignment są trudne do zdobycia — większość grantów akademickich nie nadąża za tempem, w jakim rozwijają się modele komercyjne. Każde dodatkowe źródło finansowania zwiększa liczbę osób, które mogą się tym zajmować zawodowo.

Anthropic, OpenAI i DeepMind razem wciąż zatrudniają ułamek badaczy zajmujących się bezpieczeństwem w porównaniu do tych pracujących nad samymi modelami. Dysproporcja jest znana od lat i żaden fellowship jej nie zlikwiduje — ale może ją trochę zmniejszyć.

OpenAI nie podało daty, kiedy przyjmowanie aplikacji do pierwszej rundy Fellowship faktycznie ruszy.