AWS AgentCore sam poprawia agentów AI na podstawie błędów produkcyjnych

AWS odpalił AgentCore Optimization w trybie preview — narzędzie, które zamyka pętlę jakości agentów AI bezpośrednio na podstawie danych produkcyjnych, bez ręcznej analizy logów przez zespół inżynierów.

Agent w produkcji psuje się sam z siebie

To znany problem każdego, kto postawił agenta AI na żywych użytkownikach: dobry wynik na benchmarkach przy launchu nie gwarantuje niczego dwa miesiące później. Modele bazowe dostają update, użytkownicy zaczynają używać systemu w sposób, którego nikt nie przewidział, a stare prompty zaczynają się sypać w nowych kontekstach. Do tej pory jedyną odpowiedzią było ręczne debugowanie — żmudne, wolne i drogie.

AgentCore Optimization próbuje to zautomatyzować. System zbiera traces z produkcji, czyli szczegółowe ślady tego, co agent robił krok po kroku, a następnie generuje rekomendacje, które konkretnie poprawić.

Jak działa pętla jakości?

AWS opisuje to jako tzw. agent quality loop złożony z trzech etapów:

• Generowanie rekomendacji — system analizuje produkcyjne traces i wskazuje, gdzie agent się wykłada: złe decyzje dotyczące narzędzi, hallucynacje, nieoptymalne ścieżki przez workflow
• Walidacja przez batch evaluation — zanim jakakolwiek zmiana trafi dalej, przechodzi przez zautomatyzowane testy na zestawie przypadków, żeby nie wrzucić czegoś gorszego
• Testy A/B — ostatni filtr przed wdrożeniem, stara i nowa wersja agenta działają równolegle na prawdziwym ruchu

Dopiero po przejściu przez te trzy etapy zmiana ląduje w produkcji. Na papierze brzmi jak coś, co każdy zespół powinien robić ręcznie — tyle że AgentCore ma to robić automatycznie i w skali.

Czy to rozwiązuje problem, który sami stworzyli?

Tu robi się ciekawiej. AWS sprzedaje AgentCore Optimization jako odpowiedź na rosnącą złożoność agentów AI — ale spora część tej złożoności pochodzi właśnie z architektury narzędzi chmurowych, które AWS sam promuje. Im więcej kroków w workflow agenta, im więcej narzędzi do wywołania, im bardziej rozbudowany system promptów — tym więcej miejsc, gdzie coś może pójść nie tak.

Optymalizacja na podstawie produkcyjnych traces to sensowne podejście, ale rodzi pytanie o jakość samych rekomendacji. Jeśli agent generuje błędne rekomendacje dla użytkowników, co gwarantuje, że system optymalizujący te błędy sam nie popełni kolejnych? AWS nie opublikował jeszcze szczegółowych danych o skuteczności narzędzia — preview to dopiero początek.

Kto tego potrzebuje i kiedy

AgentCore Optimization ma sens przede wszystkim dla firm, które mają agentów z realnym ruchem produkcyjnym. Bez danych z produkcji — bez traces do przeanalizowania — narzędzie nie ma na czym pracować. Startupy wdrażające pierwszego agenta raczej nie są grupą docelową.

Enterprisy z agentami obsługującymi tysiące zapytań dziennie mają natomiast konkretny problem do rozwiązania: utrzymanie jakości przy jednoczesnym braku zasobów do ciągłego ręcznego monitorowania. Tu AgentCore może wbić się w realną niszę.

Narzędzie jest dostępne w AWS jako część szerszego ekosystemu AgentCore, który Amazon buduje od kilku miesięcy jako infrastrukturę dla agentów produkcyjnych. Preview oznacza, że API i funkcjonalności mogą się jeszcze zmienić przed generalną dostępnością — AWS nie podał konkretnej daty GA ani cennika dla tej funkcji.