Przez ostatnie lata odpowiedź na pytanie „jak poprawić modele AI” była prosta: więcej danych, większe modele, więcej GPU. I rzeczywiście – ta strategia działała. Ale zdaniem Ilyi Sutskevera, współtwórcy GPT-3 i byłego głównego naukowca OpenAI, ten etap dobiega końca. Uważa, że stoimy u progu nowej epoki: ery badań, w której kluczowe stają się nie rozmiary klastrów, lecz zrozumienie, jak modele się uczą i dlaczego nie generalizują tak dobrze jak ludzie.
W długiej rozmowie z Dwarkeshem Patelem Sutskever tłumaczy, co jest nie tak z obecnym paradygmatem pre-trainingu, skąd bierze się dziwne „postrzępienie” zachowań modeli, jak może wyglądać superinteligencja oparta na ciągłym uczeniu oraz co właściwie znaczy „bezpieczna AI” w świecie, który zmienia się szybciej, niż jesteśmy to sobie w stanie uświadomić.
Od science fiction do… dziwnie normalnej teraźniejszości
Rozmowa zaczyna się od refleksji, że tempo rozwoju AI przypomina science fiction. A jednocześnie – jak zauważa Sutskever – codzienne życie większości ludzi wygląda dziś właściwie tak samo jak pięć lat temu. Nawet informacja, że „1 procent globalnego PKB inwestujemy w AI”, brzmi abstrakcyjnie.
Tymczasem modele osiągają wyniki, które jeszcze niedawno wydawały się nierealne. Ale ich realny wpływ gospodarczy wciąż jest zadziwiająco mały w stosunku do imponujących statystyk. Jeszcze bardziej zaskakuje, że:
- model potrafi rozwiązać złożony problem programistyczny,
- a chwilę później wpadnie w pętlę, w której na zmianę wprowadza i usuwa te same błędy.
To nie jest drobna „usterka UX”, tylko sygnał, że coś głębszego w obecnym podejściu nie działa tak, jak powinno.
Testy oceniające możliwości modelu kontra rzeczywistość: dlaczego modele są „postrzępione”
W kluczowym fragmencie rozmowy pojawia się pojęcie model jaggedness, czyli postrzępienia zachowania modelu. Sutskever opisuje to tak: model bywa genialny i niezgrabny jednocześnie.
Aby zrozumieć ten paradoks, trzeba najpierw wyjaśnić, czym są testy oceniające możliwości modelu – czyli zestawy zadań porównawczych, używanych do oceny jakości modeli AI. Mogą to być:
- konkursy programistyczne,
- testy rozumowania matematycznego,
- zestawy pytań z wiedzy ogólnej,
- benchmarki bezpieczeństwa i zgodności.
Testy te pozwalają porównywać modele między sobą. Są traktowane jak współczesny „ranking mocy”.
Ale mają jedną zasadniczą wadę:
uczą nas budować systemy, które są świetne w przechodzeniu testów – niekoniecznie w rzeczywistości.
Gdzie tkwi problem?
Sutskever uważa, że branża wpadła w pułapkę:
- Zespoły RL tworzą środowiska treningowe inspirowane dokładnie tymi samymi testami, na których później będą oceniane.
- Następuje nieświadome „wyspecjalizowanie” modeli w rozwiązywaniu benchmarków.
- Realna generalizacja – to, co działa naturalnie w codziennych zadaniach – jest dużo słabsza.
To tłumaczy, dlaczego modele potrafią być genialne w jednym scenariuszu i zaskakująco słabe w innym, mimo że oba wyglądają bardzo podobnie z ludzkiej perspektywy.
Pre-training: gigantyczny sukces z nieuchronną granicą
Sercem ostatniej dekady AI był jeden prosty i genialny zarazem przepis. Najpierw zbierasz dane, potem budujesz duży model zdolny je przetworzyć, a następnie uczysz go rozumieć strukturę języka poprzez przewidywanie kolejnych fragmentów tekstu.
To działało rewelacyjnie – tak dobrze, że cała branża zaczęła powtarzać ten schemat na coraz większą skalę.
Ale, jak podkreśla Sutskever, są dwa fundamentalne problemy:
- dane są skończone – nie da się w nieskończoność podnosić jakości modeli, dokładając tekst z internetu,
- nie wiemy, jak model naprawdę korzysta z danych – gdy popełnia błąd, trudno ustalić, czy winne są dane, architektura, czy sposób optymalizacji.
To prowadzi do nieuniknionego wniosku:
Skalowanie pre-trainingu przestaje być źródłem przełomów.
Koniec epoki skalowania. Powrót do epoki badań
Sutskever proponuje proste spojrzenie na historię rozwoju AI:
- 2012–2020 – epoka badań. Powstają kolejne przełomowe typy sieci neuronowych, od systemów do rozpoznawania obrazów przez sieci przetwarzające sekwencje, aż po transformatory, które zmieniły całą branżę.
- 2020–2025 – epoka skalowania. Wszyscy powtarzają jeden przepis, inwestują w GPU i biją rekordy.
- 2025+ – epoka badań na wielkich klastrach.
Kluczowe pytanie brzmi:
Czy naprawdę wierzymy, że 100× więcej GPU da nam coś fundamentalnie nowego?
Sutskever uważa, że nie. Przewaga wraca do tych, którzy wymyślą nowe sposoby uczenia, a nie szybsze karty graficzne. To właśnie ma być fundament strategii Safe Superintelligence Inc. – firmy, którą współtworzy po odejściu z OpenAI.
Generalizacja: prawdziwy brakujący składnik
Najważniejszy wątek rozmowy dotyczy generalizacji – zdolności systemu do poprawnego działania w nowych sytuacjach.
Ludzie generalizują znakomicie:
- uczą się z kilku przykładów,
- nie potrzebują ciągłej szczegółowej informacji zwrotnej,
- są odporni na błędy,
- potrafią „wyczuć”, że idą w złą stronę.
Sutskever tłumaczy, że kluczem są funkcje wartości — znane z uczenia przez wzmacnianie (metody, w której model uczy się na podstawie nagród i kar). W mózgu człowieka te funkcje przyjmują postać emocji i intuicyjnych ocen sytuacji. Opisuje przypadek osoby, której system emocjonalny został uszkodzony – po czym straciła zdolność podejmowania decyzji, mimo że rozumowanie logiczne pozostało nienaruszone.
To pokazuje, że:
Ludzka efektywność w uczeniu wynika nie tylko z danych i architektury, ale też z wbudowanych sygnałów wartości.
Zdaniem Sutskevera istnieje fundamentalna „zasada uczenia”, która tłumaczy ludzką zdolność generalizacji. Twierdzi, że można ją zastosować w ML – ale „nie wszystkie pomysły da się dziś publicznie omawiać”.
Superinteligencja jako „superuczeń”, nie gotowy produkt
Sutskever odrzuca klasyczne rozumienie AGI jako systemu, który „zna wszystko i potrafi wszystko”. Proponuje inną definicję: superinteligencja to system uczący się tak dobrze jak człowiek, ale szybciej, działający jednocześnie w milionach kopii i stale douczany w realnych zadaniach gospodarki.
To nie „skończona AI”, tylko superuczeń, który:
- zaczyna jak genialny 15-latek,
- idzie do pracy jako programista, lekarz, prawnik, negocjator,
- uczy się na miejscu,
- a potem jego doświadczenie wraca do wspólnego modelu.
Bezpieczeństwo: o co naprawdę chodzi
Druga część rozmowy to analiza, jak sprawić, by taki system był bezpieczny.
1. Największym problemem jest moc, nie „złe intencje” maszyn
Gdy agent ma ogromny wpływ na świat, nawet niewinne cele mogą prowadzić do efektów, których nie akceptujemy.
2. Świat musi zobaczyć potężne AI zanim pojawi się „ostatni model”
Ludzie – nawet eksperci – nie potrafią wyobrazić sobie jakościowo nowego poziomu inteligencji. Dlatego Sutskever uważa, że:
stopniowe wprowadzanie coraz silniejszych systemów jest warunkiem zdrowej reakcji społecznej i politycznej.
3. Propozycja: AI troszcząca się o życie czujące
Jedna z najbardziej oryginalnych tez Sutskevera – być może najłatwiej zbudować AI, która dba o wszystkie istoty czujące, bo samo będzie istotą czującą. Empatia pojawia się naturalnie, gdy umysł uczy się modelować siebie i inne, podobne umysły. To wizja bardziej ekologiczna niż antropocentryczna — zakłada, że troska nie kończy się na człowieku.
4. Ograniczanie mocy systemów
Sutskever uważa, że w świecie „klastrów wielkości kontynentu” warto rozważyć techniczne lub regulacyjne limity, aby nie powstała jedna niekontrolowana superinteligencja.
Jak SSI chce wyróżnić się na tle gigantów
Safe Superintelligence Inc. ma być firmą zaprojektowaną pod nową epokę:
- skoncentrowaną wyłącznie na jednym celu,
- działającą w trybie „badania, nie produkty”,
- budującą nowy paradygmat generalizacji i uczenia,
- a nie kolejny wariant skalowania pre-trainingu.
To powrót do ducha pierwszych lat rewolucji transformerów, ale z klastrami liczącymi tysiące GPU.
Co to wszystko oznacza dla zespołów technologicznych i strategii firm
W praktyce z rozmowy Sutskevera wynika kilka ważnych kierunków.
1. Przewagi nie będą już pochodzić z rozmiaru modeli
Znaczenie zyskują:
- jakość danych,
- sposób uczenia,
- architektura informacji zwrotnej,
- umiejętność projektowania procesów, które pozwalają AI uczyć się na bieżąco.
2. Testy oceniające możliwości modelu stają się mniej użyteczne
Nie znikną, ale przestaną być głównym kompasem. Firmy będą musiały mierzyć to, co dzieje się naprawdę:
- stabilność zachowań modeli,
- spójność decyzji,
- odporność na błędy,
- wpływ na realną produktywność.
3. Bezpieczeństwo będzie wymagało nowych kompetencji
Chodzi o:
- governance,
- interpretację decyzji modeli,
- projektowanie środowisk uczenia,
- świadome wyznaczanie granic mocy systemów.
4. Najważniejsza będzie infrastruktura
W świecie, gdzie kluczowe staje się ciągłe uczenie, przewaga będzie pochodziła z:
- spójnych i czystych danych,
- integracji narzędzi,
- automatyzacji przepływów pracy,
- odpowiedniego środowiska, w którym AI może szybko się uczyć.
Podsumowanie: AI po erze skalowania
Rozmowa z Ilyą Sutskeverem pokazuje, że epoka silników AI napędzanych wyłącznie skalowaniem mocy obliczeniowej dobiega końca.
Nadchodzi czas:
- nowych koncepcji uczenia,
- głębokiego zrozumienia generalizacji,
- modeli, które uczą się jak ludzie – ale szybciej,
- oraz zupełnie nowego podejścia do bezpieczeństwa i roli AI w gospodarce.
To nie będzie era większych klastrów. To będzie era nowych idei. I jeśli Sutskever ma rację, najważniejszą innowacją nadchodzącej dekady będzie nie większy model, lecz odkrycie, dlaczego ludzie uczą się tak dobrze – i jak przenieść tę zasadę do maszyn.
Leave a Comment