MLflow 3.10 na SageMaker — Amazon przyspiesza śledzenie eksperymentów AI

Amazon wrzucił update do SageMaker AI MLflow Apps — platforma obsługuje teraz MLflow 3.10, najnowszą wersję popularnego frameworka do zarządzania eksperymentami ML.

MLflow 3.10 dostaje nowe zęby

Wersja 3.10 to nie kosmetyczny lifting. Główne zmiany koncentrują się wokół obsługi generatywnego AI — śledzenie promptów, logowanie odpowiedzi modeli językowych i porównywanie wyników eksperymentów to funkcje, których wcześniej brakowało w standardowym MLflow. Deweloperzy budujący pipeline’y z LLM-ami mogą teraz rejestrować nie tylko metryki liczbowe, ale też strukturalne dane wejściowe i wyjściowe modeli.

SageMaker AI MLflow Apps działają jako zarządzana usługa — nie trzeba samodzielnie stawiać serwera MLflow, konfigurować bazy danych ani martwić się skalowaniem. Amazon przejmuje całą operacyjną robotę, a zespoły developerskie dostają gotowe środowisko do odpalenia eksperymentów.

Czy śledzenie eksperymentów to nadal problem w 2025 roku?

Krótka odpowiedź: tak. Duże zespoły ML wciąż tracą czas na ręczne logowanie parametrów w arkuszach kalkulacyjnych albo własnych skryptach. MLflow rozwiązuje ten problem od lat, ale obsługa generatywnego AI była jego słabą stroną — framwork powstał, zanim LLM-y stały się codziennością.

Wersja 3.10 adresuje ten dług technologiczny. Logowanie trace’ów dla modeli generatywnych, czyli śledzenie tego co model dostał na wejściu i co zwrócił, integruje się teraz bezpośrednio z API SageMaker. Można porównywać różne wersje promptów jak zwykłe hiperparametry — z historią zmian, metrykami i możliwością rollbacku.

Integracja z ekosystemem AWS

MLflow 3.10 na SageMaker to nie izolowana funkcja. Nowa wersja integruje się z S3 do przechowywania artefaktów, IAM do zarządzania dostępem i CloudWatch do monitorowania. Zespoły, które już używają AWS w produkcji, nie muszą konfigurować żadnych dodatkowych połączeń — wszystko działa w ramach istniejącej infrastruktury.

Dodatkowo Amazon udostępnił predefiniowane szablony MLflow dla typowych przypadków użycia generatywnego AI: fine-tuning modeli, RAG pipeline’y i ewaluacja odpowiedzi. Zamiast budować konfigurację od zera, można odpalić gotowy template i dostosować go do swoich potrzeb.

Co konkretnie zmienia się w codziennej pracy?

Przed aktualizacją deweloperzy używający SageMaker do generatywnego AI musieli sami integrować MLflow z nowszymi API do obsługi LLM-ów — albo korzystać z przestarzałych wzorców logowania. Wersja 3.10 wprowadza:

• Natywne logowanie LLM trace’ów — każde wywołanie modelu może być automatycznie rejestrowane z pełnym kontekstem
• Porównywanie promptów — eksperymentowanie z różnymi wersjami instrukcji systemowych z możliwością ich wersjonowania
• Metryki dla generatywnego AI — dedykowane funkcje do logowania BLEU, ROUGE i własnych metryk ewaluacyjnych
• Wsparcie dla popularnych frameworków — LangChain, LlamaIndex i inne narzędzia do budowania agentów AI współpracują z nowym API

Czy SageMaker odgrywa z MLflow kartę przeciw konkurencji?

Azure ML i Google Vertex AI też mają własne systemy śledzenia eksperymentów. Microsoft zbudował integrację z MLflow już wcześniej, Google postawił na własny Vertex Experiments. Amazon wybiera inną ścieżkę — zamiast własnego narzędzia, inwestuje w zarządzaną wersję open-source’owego standardu.

To zakład na to, że deweloperzy wolą unikać vendor lock-in w warstwie narzędzi do eksperymentowania. MLflow działa też lokalnie i na innych chmurach — migracja między środowiskami jest prostsza niż przy proprietary solutions. Czy to wystarczający argument, żeby przyciągnąć zespoły ML, które już wykręcają swoje benchmarki na Azure lub GCP?

MLflow ma ponad 19 000 gwiazdek na GitHubie i jest de facto standardem w wielu organizacjach — Amazon po prostu obstawia faworyta.