AWS ocenia odpowiedzi AI na zdjęciach — model sędzia zastępuje człowieka
- AWS dodał do frameworka Strands Evals multimodalne ewaluatory oparte na dużych modelach językowych zdolnych do analizy obrazów.
- Nowe narzędzie sprawdza, czy odpowiedź tekstowa modelu jest faktycznie zakorzeniona w przesłanym obrazie, a nie tylko spójna językowo.
- Rozwiązanie celuje w zastosowania takie jak wizualny e-commerce, analiza faktur i interpretacja wykresów.
MLLM jako sędzia — AWS wypycha człowieka z pętli ewaluacji
Amazon Web Services wdrożył multimodalne ewaluatory w Strands Evals — frameworku do oceny jakości odpowiedzi modeli — pozwalając modelowi wizyjnemu (MLLM) oceniać, czy wygenerowany tekst rzeczywiście opisuje to, co widać na obrazie. Dotychczas ocena modeli w zadaniach image-to-text wymagała albo człowieka, albo sprytnych obejść z metrykami tekstowymi, które nijak nie sprawdzają wierności wobec źródłowej grafiki.
Problem jest prosty: tekst może być gramatycznie poprawny, spójny i wiarygodny, a jednocześnie kompletnie minąć się z obrazem. Tradycyjny ewaluator tekstowy tego nie wyłapie. Oceni składnię, nie semantykę wizualną.
Dlaczego text-only nie wystarczy przy analizie faktur i wykresów?
Jeśli budujesz system rozpoznający faktury, podpisy produktów albo dane z wykresów, weryfikacja poprawności odpowiedzi modelu to być albo nie być całego pipeline’u. Stary sposób — ręczna weryfikacja próbek albo BLEU/ROUGE — nie skaluje się i nie łapie halucynacji wizualnych.
Strands Evals z nowym ewaluatorem odpalają osobny model multimodalny, który dostaje i obraz, i odpowiedź tekstową modelu głównego, a następnie ocenia ich spójność. To podejście MLLM-as-a-judge: jeden model sędziuje drugi.
Konkretne przypadki użycia, które AWS wymienia:
- Wizualny shopping — czy opis produktu pasuje do zdjęcia?
- Analiza dokumentów — czy wyciągnięte dane z faktury są zgodne z obrazem skanu?
- Interpretacja wykresów — czy model poprawnie odczytał wartości z wykresu słupkowego?
Jak to działa pod maską
Strands Evals to open-source’owy framework Amazona do ewaluacji agentów i modeli. Nowa warstwa multimodalna dokłada klasę ewaluatora przyjmującą prompt zawierający zarówno obraz (zakodowany w base64 lub jako URL), jak i odpowiedź do oceny.
Model-sędzia zwraca ustrukturyzowany werdykt — zazwyczaj score i uzasadnienie. Deweloper może podpiąć dowolny model wspierający wejście wizyjne: Claude 3, GPT-4o, Gemini 1.5 Pro czy własny fine-tune na Bedrock.
Cały mechanizm integruje się z istniejącymi testami w Strands Evals bez przepisywania pipeline’u od zera. Wystarczy podmienić ewaluator tekstowy na multimodalny i wskazać, skąd brać obrazy referencyjne.
Czy to rozwiązuje problem halucynacji wizualnych?
Nie całkowicie. MLLM-as-a-judge ma własne ograniczenia — model-sędzia też może halucynować, ma swoje biasy i nie zawsze zgadza się z oceną człowieka. Badania nad tym podejściem (m.in. prace z 2024 roku z MT-Bench i podobnych benchmarków) pokazują, że modele-sędziowie są użyteczne, ale nie nieomylne. Korelacja z ludzkimi ocenami jest wysoka, nie stuprocentowa.
Dodatkowy koszt to kolejne wywołanie API przy każdej ewaluacji. Przy dużych zbiorach testowych rachunki rosną szybko.
Jednak dla zespołów budujących systemy na danych wizualnych, gdzie alternatywą jest płatna praca annotatorów lub ślepa wiara w metryki tekstowe, to realne przyspieszenie procesu QA.
Strands Evals — mały framework z rosnącym zasięgiem
AWS wrzucił Strands Agents i Strands Evals na GitHub kilka miesięcy temu jako lekką alternatywę dla LangChain czy LlamaIndex. Framework ma kilkaset gwiazdek i aktywnie zbiera PRy od zewnętrznych kontrybutorów.
Dodanie multimodalnych ewaluatorów to kolejny krok w kierunku pełnego pokrycia typów zadań, jakie realizują agenci na Bedrock. Wcześniej framework obsługiwał głównie ocenę odpowiedzi tekstowych i wywołań narzędzi.
Czy wystarczy to, żeby Strands trafił do mainstreamu poza ekosystemem AWS? Liczba firm oceniających wizualne pipeline’y bez sensownych narzędzi ewaluacyjnych wskazuje, że zapotrzebowanie jest realne.
