DeepMind mierzy AGI. Framework i hackathon na Kaggle
- Google DeepMind przedstawiło kognitywny framework mierzący postęp w kierunku AGI, oparty na naukach kognitywnych zamiast klasycznych benchmarków technicznych.
- Równolegle firma uruchomiła hackathon na Kaggle, gdzie ponad 15 milionów zarejestrowanych użytkowników może budować ewaluacje bazujące na nowej metodologii.
- Framework ma wychwytywać asymetrie między wąskimi zdolnościami modeli a ogólnymi kompetencjami poznawczymi, których dziś żadne narzędzie nie mierzy skutecznie.
DeepMind chce zdefiniować AGI zanim zrobi to ktoś inny
Google DeepMind opublikowało kognitywny framework do pomiaru postępu w kierunku AGI i jednocześnie odpaliło hackathon na Kaggle, gdzie uczestnicy budują ewaluacje oparte na tej metodologii. Ruch nieprzypadkowy — branża od lat kłóci się o to, czym w ogóle jest AGI, a każdy duży gracz ma własną definicję.
Dotychczasowe dyskusje o AGI przypominały debaty o tym, czy dany samochód jest “szybki” — bez określenia, czy chodzi o prędkość maksymalną, przyspieszenie czy średnią w mieście, odpowiedź zależy wyłącznie od tego, kto pyta. W przypadku AGI stawką są regulacje prawne, decyzje inwestycyjne liczone w miliardach dolarów i kierunek całej branży.
Framework oparty na naukach kognitywnych, nie na egzaminach
DeepMind podchodzi do problemu od strony nauk kognitywnych, nie od strony leaderboardów. Framework odpowiada na pytanie, jakie zdolności poznawcze musi wykazywać system AI, żeby można mówić o realnym postępie w kierunku ogólnej inteligencji.
To odejście od metody, którą branża stosuje najchętniej — testowania modeli na zestawach zadań akademickich i egzaminacyjnych. GPT-4 zdaje egzamin adwokacki, ale to nie znaczy, że jest bliżej AGI. Framework kognitywny ma dać bardziej precyzyjną odpowiedź na to pytanie.
Centralnym założeniem jest rozróżnienie między wąskimi zdolnościami a ogólnymi kompetencjami poznawczymi. Model może perfekcyjnie rozwiązywać równania różniczkowe i jednocześnie nie radzić sobie z podstawowym rozumowaniem przyczynowo-skutkowym w nowym kontekście. Takie asymetrie obecne benchmarki po prostu ignorują.
Kaggle: 15 milionów użytkowników jako darmowe laboratorium?
Hackathon na Kaggle to sprytny ruch — albo cyniczny, zależnie od punktu widzenia. DeepMind otwiera się na zewnętrznych badaczy i programistów, co przyspiesza budowanie metodologii ewaluacji. Jednocześnie firma dostaje darmową siłę roboczą do tworzenia narzędzi, które sama będzie potem wykorzystywać.
Kaggle ma ponad 15 milionów zarejestrowanych użytkowników — głównie data scientistów i inżynierów ML. Hackathon daje DeepMind bezpośredni dostęp do tej społeczności i do pomysłów, których wewnętrzny zespół badawczy mógłby nie wygenerować.
Jedno zastrzeżenie: Kaggle należy do Google od 2017 roku. Cała operacja pozostaje w ekosystemie Alphabet, co rodzi pytanie o niezależność standardów, które z tego hackathonu wyrosną.
OpenAI, Anthropic, Meta — każdy mówi co innego
Brak wspólnej definicji AGI to nie tylko akademicki problem. OpenAI mówi o “systemach przewyższających ludzi w większości ekonomicznie wartościowych zadań”. Anthropic skupia się na bezpieczeństwie i kontrolowalności. Meta rzadko używa słowa AGI, preferując “ogólne rozumowanie”.
Ta kakofonia ma twarde konsekwencje. Regulatorzy w UE, USA i Chinach próbują pisać przepisy dotyczące zaawansowanych systemów AI, nie mając wspólnego języka z firmami, które te systemy budują. Inwestorzy oceniają postęp technologiczny bez mierzalnych punktów odniesienia.
DeepMind wchodzi w tę lukę z propozycją standardu. Czy branża go przyjmie — to już osobna kwestia, biorąc pod uwagę, że pochodzi od jednego z głównych graczy wyścigu, który ten standard ma regulować.
