AI w medycynie bez nadzoru to przepis na katastrofę

Agenci AI automatyzują kodowanie medyczne, składanie dokumentacji regulacyjnej i przyspieszają komercjalizację leków — i właśnie dlatego branża zdrowotna musi teraz poważnie porozmawiać o tym, kto i kiedy trzyma rękę na hamulcu.

Human-in-the-loop to nie opcja, to wymóg prawny

W sektorach regulowanych przepisami GxP — czyli Good Manufacturing Practice, Good Clinical Practice i pokrewnymi — każda decyzja musi być audytowalna. Agent AI, który samodzielnie zatwierdzi formularz rejestracyjny dla nowego leku albo zakoduje nieprawidłowo procedurę medyczną, generuje nie tylko błąd — generuje odpowiedzialność prawną i ryzyko dla pacjenta. Dlatego projektowanie agentic workflows w healthcare nie zaczyna się od pytania „co agent może zautomatyzować”, ale od pytania „gdzie człowiek musi wejść do pętli”.

HIPAA dodatkowo komplikuje sprawę: dane pacjentów nie mogą swobodnie przepływać przez zewnętrzne API bez odpowiednich umów BAA (Business Associate Agreement) i kontroli dostępu. Każdy log, każde wywołanie narzędzia przez agenta, każda decyzja — muszą być rejestrowane i możliwe do odtworzenia podczas audytu.

Gdzie agent działa sam, a gdzie czeka na człowieka?

Praktyczna architektura human-in-the-loop w ochronie zdrowia dzieli zadania na trzy strefy:

• Pełna autonomia — powtarzalne, niskiego ryzyka: ekstrakcja danych z ustrukturyzowanych dokumentów, wstępne kodowanie ICD na podstawie notatek lekarskich, generowanie raportów ze znanych szablonów.
• Nadzorowana autonomia — agent proponuje, człowiek zatwierdza: weryfikacja wniosków regulacyjnych przed wysłaniem, rekomendacje dawkowania w systemach wspomagania decyzji klinicznych, flagowanie anomalii w danych z badań klinicznych.
• Pełna interwencja ludzka — agent zatrzymuje się i czeka: ostateczna decyzja o złożeniu dokumentacji do FDA lub EMA, zatwierdzenie zmiany protokołu badania, obsługa wyjątków niezgodnych z wcześniej zdefiniowanymi regułami.

Bez tego podziału agent albo jest bezużyteczny (jeśli wszystko wymaga zatwierdzenia), albo staje się ryzykiem systemowym (jeśli działa bez żadnych punktów kontrolnych).

Agentic workflow to nie chatbot na sterydach

Wielu decydentów w branży farmaceutycznej myli agentów AI z zaawansowanymi chatbotami. To fundamentalnie różne konstrukcje. Agent wykonuje sekwencję działań: wywołuje zewnętrzne API, pobiera dane z baz klinicznych, zapisuje wyniki, przekazuje zadania do kolejnego agenta w pipeline. Błąd na etapie 3 z 12 potrafi skompromitować cały workflow — a wykrycie go po fakcie bywa trudniejsze niż w tradycyjnym oprogramowaniu.

Dlatego dobrze zaprojektowany system agentic w healthcare buduje się wokół checkpointów: momentów, w których stan procesu jest jawnie zapisywany, a człowiek może zweryfikować, czy agent zmierza we właściwym kierunku. To nie spowalnia procesu — to pozwala uruchamiać go z zaufaniem.

Czy regulatorzy nadążają za tempem wdrożeń?

FDA opublikowała już wstępne wytyczne dotyczące AI/ML w urządzeniach medycznych, ale framework dla agentic AI w procesach regulacyjnych dopiero się kształtuje. Europejska Agencja Leków (EMA) pracuje nad podobnymi dokumentami w ramach dostosowań do EU AI Act — który klasyfikuje systemy AI w ochronie zdrowia jako wysokiego ryzyka, co nakłada obowiązek oceny zgodności przed wdrożeniem.

Firmy, które wdrażają agentów AI teraz, de facto działają w szarej strefie regulacyjnej i same muszą definiować standardy, które za kilka lat staną się wymogiem. To oznacza zarówno przewagę konkurencyjną, jak i ryzyko, że wybrany model governance okaże się niezgodny z przepisami, które wejdą w życie w 2026 lub 2027 roku.

Automatyzacja drug discovery przyspiesza, ale nie zwalnia lekarzy z odpowiedzialności

W obszarze przyspieszania odkrycia leków agenci AI już dziś przeszukują miliony związków chemicznych, przewidują interakcje białkowe i generują hipotezy badawcze szybciej niż jakikolwiek zespół badaczy. Insilico Medicine odpalił w ten sposób kandydata na lek w 18 miesięcy zamiast standardowych 4-5 lat. Jednak każda hipoteza generowana przez agenta i tak musi przejść przez ludzką weryfikację przed przejściem do kolejnej fazy badań — bo to naukowiec, nie model, podpisuje protokół.

FDA wymaga, żeby sponsor badania klinicznego był konkretną osobą fizyczną lub prawną. Agent AI nie może nim być — przynajmniej na razie.”, “coverImageAlt”: “Ilustracja przedstawiająca lekarza nadzorującego agenta AI analizującego dane medyczne na ekranie