Fable 5 bije własne rekordy Anthropic - ale blokuje cybersecurity

Anthropic właśnie wrzucił na produkcję Claude Fable 5 - model klasy Mythos, który firma nazywa najmocniejszym, jaki kiedykolwiek trafiło do rąk użytkowników.

Fable 5 wygrywa benchmarki, ale nie wszystkie rozmowy

Model wykręca najlepsze wyniki niemal we wszystkich testowanych benchmarkach - dotyczy to inżynierii oprogramowania, tzw. knowledge work, badań naukowych i zadań wizyjnych. Przewaga nad poprzednimi modelami rośnie wraz z długością i złożonością zadania, co sugeruje, że Fable 5 to przede wszystkim narzędzie do pracy z projektami, a nie szybkich odpowiedzi.

Ale tu zaczyna się ciekawa część. Anthropic zdecydował się wbudować w model aktywne blokady tematyczne. Pytania dotyczące cyberbezpieczeństwa, biologii, chemii oraz tzw. distillation (odtwarzania architektury modelu na podstawie jego odpowiedzi) nie trafiają do Fable 5, tylko do Opus 4.8 - poprzedniego topowego modelu firmy. Użytkownik zawsze dostaje powiadomienie, że nastąpił fallback. Statystycznie dzieje się tak w mniej niż 5% sesji.

Czy to pierwsza komercyjna autocenzura w modelu językowym?

To niecodzienny ruch. Dotąd firmy budowały filtry na poziomie systemu promptów lub interfejsu. Anthropic idzie krok dalej i wplata mechanizm przekierowania bezpośrednio w architekturę wdrożenia - przynajmniej tak wynika z opisu. Fable 5 nie odmawia odpowiedzi, tylko milcząco ceduje ją niżej w hierarchii modeli.

Anthropic przyznaje wprost, że model bez tych zabezpieczeń mógłby zostać wykorzystany do wyrządzenia poważnych szkód w obszarze cyberbezpieczeństwa. To rzadka transparentność - firma oficjalnie komunikuje, że jej własny produkt jest na tyle mocny, żeby stanowić zagrożenie.

Firma zapowiada dalsze prace nad zmniejszeniem liczby fałszywych trafień, co sugeruje, że obecne blokady łapią za dużo legalnych zapytań.

Mythos 5 - ten sam silnik, inne reguły

Równolegle Anthropic uruchomił Claude Mythos 5. To ten sam model bazowy co Fable 5, ale z częściowo zdjętymi ograniczeniami. Dostęp mają wyłącznie partnerzy programu Glasswing - w praktyce chodzi o defensywne operacje cyberbezpieczeństwa i dostawców infrastruktury krytycznej.

Firma planuje rozszerzyć program zaufanego dostępu na szerszą grupę, obejmując badania biomedyczne. Kiedy dokładnie - tego Anthropic nie precyzuje.

Struktura jest czytelna: Fable 5 dla mas, Mythos 5 dla tych, którym firma ufa na tyle, żeby dać im pełne możliwości modelu.

Co Fable 5 potrafi bez ograniczeń

W obszarach, gdzie blokady nie działają, model radzi sobie wyjątkowo dobrze w:

• Inżynierii oprogramowania - generowanie, debugowanie i refaktoryzacja kodu na poziomie, który bije poprzednie wersje Claude’a
• Zadaniach długodystansowych - analiza długich dokumentów, wieloetapowe projekty badawcze
• Rozumieniu obrazów - vision benchmark wskazują na jeden z najlepszych wyników wśród dostępnych publicznie modeli
• Knowledge work - synteza wiedzy dziedzinowej, pisanie raportów, analiza danych

Anthropic nie podał konkretnych liczb benchmarkowych w ogłoszeniu, co jest trochę irytujące przy modelach klasy state-of-the-art - szczegółowe karty techniczne mają pojawić się osobno.

Kiedy i dla kogo

Claude Fable 5 jest dostępny globalnie od dzisiaj - przez API i produkty konsumenckie Anthropic. Mythos 5 pozostaje zamknięty dla partnerów Glasswing do momentu rozszerzenia programu zaufanego dostępu.

Antropic nie podał cen ani informacji o limitach tokenów dla Fable 5 w oficjalnym ogłoszeniu. Przy poprzednich premierach Claude 3 Opus kosztował wielokrotnie więcej niż modele z niższej półki - pytanie, czy Fable 5 pójdzie w tym samym kierunku, czy firma zdecyduje się na inną strategię cenową przy modelu przeznaczonym do długich i złożonych zadań.