Firmy dostają rachunek za AI - tokeny kosztują miliony

Rachunek za tokeny przyszedł szybciej, niż ktokolwiek się spodziewał

Firmy, które w ciągu ostatnich dwóch lat masowo wdrożyły AI do swoich procesów, teraz otwierają miesięczne faktury i przecierają oczy. Koszt tokenów - jednostek, w których modele językowe pobierają opłaty za przetwarzanie tekstu - okazał się pozycją budżetową, której nikt porządnie nie zaplanował.

Typowy model rozliczeń u OpenAI, Anthropic czy Google wygląda tak: płacisz za każdy token wejściowy i wyjściowy, osobno. GPT-4o kosztuje 2,50 USD za milion tokenów wejściowych i 10 USD za wyjściowe. Claude Sonnet 4 - 3 USD i 15 USD odpowiednio. Gdy firma odpalała jednego chatbota do obsługi klienta, rachunki były do ogarnięcia. Gdy zaczęła automatyzować dziesiątki procesów równolegle, matematyka zaczęła boleć.

Agenci AI jedzą tokeny szybciej niż ludzie klikają

Najbardziej kosztownym odkryciem okazały się agenty AI - systemy, które samodzielnie wykonują wieloetapowe zadania. Jeden agent obsługujący złożone zapytanie może wygenerować kilkadziesiąt wywołań modelu, zanim dostarczy odpowiedź użytkownikowi. Każde wywołanie to osobny rachunek.

Do tego dochodzą tzw. długie konteksty. Modele przetwarzające dokumenty, bazy wiedzy czy historię rozmów muszą za każdym razem “wczytać” całość kontekstu. Przy dokumencie liczącym 100 stron, który model odczytuje 500 razy dziennie, koszty skalują się błyskawicznie.

Niektóre firmy odkryły ten problem dopiero po kwartale działania systemu, gdy dział finansowy zapytał, czemu linia “API AI” w budżecie IT przekroczyła plan o 340%.

Czy model SaaS w ogóle ma sens przy takich kosztach?

Traditional software działa inaczej - płacisz subskrypcję i używasz ile chcesz. AI API odwraca tę logikę: im więcej używasz, tym więcej płacisz, bez górnego limitu. To fundamentalna zmiana modelu kosztowego, której wiele działów IT nie przeprocesowało przy wdrożeniu.

Niektórzy CTO zaczęli pytać, czy nie opłaca się hostować własnych modeli open source zamiast korzystać z API. Llama 3.1 od Meta czy Mistral są dostępne za darmo - ale wymagają własnej infrastruktury GPU, której koszt też nie jest zerowy. Wynajem A100 na AWS to około 3,50 USD za godzinę za jedną kartę. Przy poważnym ruchu potrzebujesz ich kilku.

Strategie cięcia rachunków, które faktycznie działają

Firmy, które najszybciej opanowały koszty, stosują kilka konkretnych technik:

• Cache’owanie promptów - OpenAI i Anthropic oferują zniżki rzędu 50-90% na tokeny wejściowe, które się powtarzają. Zamiast wysyłać cały kontekst za każdym razem, system wysyła go raz i płaci mniej za kolejne wywołania.
• Routing modeli - proste zapytania trafiają do tańszych, mniejszych modeli (GPT-4o mini kosztuje 15 razy mniej niż pełny GPT-4o), a skomplikowane - do mocniejszych.
• Kompresja kontekstu - zamiast wrzucać cały dokument do modelu, systemy najpierw wyciągają relevantne fragmenty przez wyszukiwanie semantyczne.
• Limity i alerty budżetowe - brzmi banalnie, ale wiele firm odpalało agenty bez żadnych górnych progów wydatków.

Czy dostawcy celowo utrudniają kontrolę kosztów?

To pytanie zaczyna pojawiać się coraz częściej w środowiskach CTO. Interfejsy do monitorowania zużycia tokenów u większości dostawców są mniej intuicyjne niż np. dashboardy AWS do kontroli kosztów chmury. Prognozowanie wydatków przed wdrożeniem agenta jest trudne - zbyt wiele zmiennych wpływa na ostateczną liczbę wywołań.

Anthropic udostępnił narzędzia do estymacji tokenów i szczegółowe logi wywołań. OpenAI podobnie. Ale odpowiedzialność za architekturę kosztową leży po stronie firmy, która buduje system - nie dostawcy modelu.

Branżowe szacunki mówią, że w 2025 roku łączne wydatki przedsiębiorstw na API modeli AI przekroczą 12 miliardów dolarów. Rok wcześniej było to 3,5 miliarda. Trzykrotny wzrost w 12 miesięcy robi wrażenie - pytanie, ile firm zaplanowało go w budżecie przed faktem.