Claude zbyt ostrożny dla deweloperów - Anthropic gra za bezpiecznie

Deweloperzy zarzucają Anthropic, że Claude - konkretnie najnowsza wersja oznaczana roboczo jako Fable 5 - odmawia wykonania zbyt wielu poleceń, powołując się na względy bezpieczeństwa tam, gdzie inne modele nie widzą żadnego problemu. Raport Fast Company zbiera skargi z forów, GitHuba i Discordów, gdzie programiści porównują Claude do asystenta, który co chwilę prosi o potwierdzenie zamiast po prostu robić robotę.

Claude boi się własnego cienia

Programiści wskazują konkretne scenariusze: model odmawia generowania kodu do scrappingu stron, nie chce pisać scenariuszy z przemocą nawet w oczywistym kontekście fikcji, blokuje zapytania o dane medyczne skierowane przez lekarzy. GPT-4o i Gemini 1.5 Pro realizują te same zadania bez mrugnięcia okiem. Dla kogoś budującego agenta automatyzacji albo narzędzie dla branży prawnej, każda taka odmowa to czas stracony na przepisywanie promptów i obchodzenie filtrów.

Anthropicowi zależy na wizerunku firmy AI safety-first - to odróżnia go od konkurencji i przyciąga inwestorów, którzy chcą postawić na “odpowiedzialne AI”. Problem w tym, że nadmierna ostrożność ma konkretny koszt: deweloperzy głosują nogami.

Czy Anthropic strzela sobie w stopę?

Model językowy, który za często mówi “nie”, przestaje być użyteczny jako fundament pod produkt. Startup budujący aplikację dla prawników nie może sobie pozwolić na asystenta, który odmawia analizy umów zawierających klauzule o odpowiedzialności cywilnej. Firma tworząca narzędzie do moderacji treści potrzebuje modelu, który rozumie kontekst, a nie stawia veto na każde słowo klucz.

Anthropicowi zależy na wizerunku firmy AI safety-first - to odróżnia go od konkurencji i przyciąga inwestorów, którzy chcą postawić na “odpowiedzialne AI”. Problem w tym, że nadmierna ostrożność ma konkretny koszt: deweloperzy głosują nogami. API Claude ma swoją grupę lojalnych użytkowników, ale każda fala skarg na Reddicie czy Hacker News to potencjalni klienci, którzy odpalają konto w OpenAI lub Google Cloud.

Bezpieczeństwo jako produkt, nie funkcja

Anthropicowi zależy na wizerunku firmy AI safety-first - to odróżnia go od konkurencji i przyciąga inwestorów, którzy chcą postawić na “odpowiedzialne AI”. Ale między “bezpieczny” a “bezużyteczny” jest cienka linia, którą model najwyraźniej przekracza za często.

Dotychczas Anthropic nie skomentował publicznie tych zarzutów ani nie zapowiedział zmian w polityce filtrowania treści dla API. Claude 3 Opus przez długi czas uchodził za model z najlepszym rozumieniem niuansów kontekstowych - właśnie dlatego rozczarowanie jest teraz głośniejsze.

Dla kogo Claude nadal ma sens?

Nie ma sensu skreślać całego modelu. Claude nadal wykręca świetne wyniki w zadaniach analitycznych, długich dokumentach i kodowaniu - o ile pytanie nie wpadnie w którąś z jego stref zakazanych. Dla firm działających w mocno regulowanych branżach, gdzie asystent musi być konserwatywny, większa ostrożność to zaleta, nie wada.

Problem jest wtedy, gdy ten sam poziom paranoi wchodzi w narzędzie dla indie developera piszącego grę RPG albo dla redakcji newsowej potrzebującej skryptu do scrapingu publicznych danych rządowych. Tam Claude po prostu odpada.

Anthropicowi zostaje pytanie bez łatwej odpowiedzi: jak skalibrować model tak, żeby był bezpieczny tam gdzie trzeba, a użyteczny tam gdzie można - nie zmuszając każdego klienta API do pisania obejść jak ktoś, kto hackuje własny asystent?