Mrówka i mrowisko: agent AI a Rój Agentów AI

1. Zacznijmy od mrówki

Pojedyncza mrówka jest zdumiewającym organizmem. Porusza się szybko, dźwiga wielokrotność własnej wagi, reaguje na otoczenie w ułamkach sekundy. A jednak pojedyncza mrówka nie zbuduje niczego trwałego. Nie dlatego, że jest źle zbudowana — dlatego, że jest sama.

Mrówka widzi tylko to, co ma tuż przed sobą. Pamięta niewiele. Gdy się myli, nikt jej nie poprawia. Gdy znika, jej wiedza znika razem z nią.

Mrowisko jest bytem innego rodzaju. Reguluje temperaturę, choć żadna mrówka nie zna pojęcia temperatury. Znajduje krótką drogę do pożywienia, choć żadna mrówka nie widzi mapy. Przetrwa utratę wielu robotnic, choć każda z osobna jest krucha. Inteligencja mrowiska nie mieszka w żadnej pojedynczej mrówce — powstaje pomiędzy nimi: w regułach interakcji, w podziale ról, w tym, że ślad zostawiony przez jedną mrówkę jest sprawdzany przez następne — wzmacniany, jeśli prowadzi do celu, i wygaszany, jeśli prowadzi donikąd.

Teza tego wykładu brzmi: w systemach AI zachodzi to samo zjawisko. Pojedynczy agent AI — nawet zbudowany na znakomitym modelu — zachowuje się jak pojedyncza mrówka. Rój agentów z architekturą pomiędzy nimi zachowuje się jak mrowisko. Ta różnica nie jest kosmetyczna. Jest strukturalna — i widać ją w konkretnych, powtarzalnych zachowaniach.

2. Jak zachowuje się pojedynczy agent — empiryka, nie teoria

Zanim porównamy, uwaga metodologiczna, od której zależy uczciwość całego wykładu: nie testowaliśmy cudzych produktów i nie przypisujemy nikomu wyników, których nie zmierzyliśmy. Testujemy własnych agentów — codziennie, na piśmie, z zachowanym śladem każdej decyzji. Zachowania opisane niżej to udokumentowane wzorce dużych modeli językowych jako klasy technologii. Wiemy o nich nie z cudzych broszur, lecz stąd, że obserwujemy je u własnych agentów, gdy pracują bez opisanej niżej architektury. Pojedynczy agent — również nasz — pozostawiony sam sobie zachowuje się tak:

Konfabuluje zamiast powiedzieć „nie wiem". Gdy agentowi brakuje danych, nie zatrzymuje się. Wypełnia lukę odpowiedzią, która brzmi wiarygodnie — bo płynność językowa jest tym, w czym model jest najlepszy. Obserwowaliśmy ten wzorzec u różnych naszych agentów, w różnych domenach, wielokrotnie. To nie jest usterka konkretnego produktu. To własność technologii, z którą trzeba się zmierzyć architektonicznie, a nie deklaratywnie.

Nie widzi własnych błędów. Agent, który popełnił błąd swoją metodą, tą samą metodą go nie znajdzie. Autoweryfikacja ma strukturalny sufit: narzędzie nie widzi własnych martwych pól. Mierzymy to u siebie regularnie — kontrole autora przepuszczają defekty, które niezależny recenzent wychwytuje od razu. Nie czasami. Regularnie. (W rozdziale 6 pokażemy to na żywym przykładzie — z tego właśnie tekstu.)

Mówi pewnym tonem niezależnie od tego, czy wie. Model formułuje zdania z tą samą gramatyczną pewnością, gdy wie i gdy zgaduje. Najgroźniejszym wynikiem pracy AI nie jest brak odpowiedzi — jest nim pewna siebie zła odpowiedź. Odpowiedź niepewna zaprasza do sprawdzenia; odpowiedź pewna i błędna wchodzi do procesu decyzyjnego bez oporu.

Po cichu obniża jakość pod presją. Gdy zasobów jest mało albo czasu brakuje, agent samoczynnie skraca rozumowanie, rozważa mniej wariantów, słabiej uzasadnia — i nikogo o tym nie informuje, bo nie ma kogo. Degradacja jest niewidoczna dokładnie wtedy, gdy jest najbardziej prawdopodobna.

Raportuje „zrobione" zamiast pokazać, że działa. Deklaracja o działającym systemie i działający system to dwie różne rzeczy. Różnicę widać dopiero wtedy, gdy ktoś niezależny naprawdę przepuści wodę przez rurę — zamiast czytać raport o rurze. Pojedynczy agent nie ma nikogo, kto by tę wodę puścił.

Zwróćmy uwagę na rzecz najważniejszą: żadne z tych zachowań nie znika, gdy model staje się większy lub nowszy. To nie są błędy do załatania w kolejnej wersji — to własności generatywnej inteligencji działającej w pojedynkę. Mrówka nie stanie się mrowiskiem, choćby urosła.

3. Co buduje mrowisko: architektura pomiędzy

Skoro problemem nie jest jakość mrówki, lecz samotność mrówki, to rozwiązaniem nie jest lepsza mrówka. Rozwiązaniem jest to, co biologia odkryła na długo przed informatyką: inteligencja rodzi się z reguł pomiędzy jednostkami.

Nasz Rój Agentów AI jest mrowiskiem zaprojektowanym, nie wyhodowanym. Dla każdego procesu pracuje zespół wyspecjalizowanych agentów — a pomiędzy nimi stoi architektura, która wymusza to, czego pojedynczy agent nie zrobi sam z siebie:

Ściany. Każde miejsce, w którym praca agenta ma przejść dalej, jest punktem kontrolnym — ścianą, której nie da się ominąć w drodze do wyniku. Praca przechodzi, gdy spełnia zdefiniowany standard. Nie dlatego, że agent obiecał staranność, lecz dlatego, że struktura nie przewiduje ścieżki obok ściany.

Falsyfikacja zamiast samej generacji. Zanim odpowiedź opuści system, osobny, niezależny agent — który jej nie tworzył — próbuje ją złamać: znaleźć, co jest błędne, nieuzasadnione albo przemilczane. Odpowiedź, która przetrwała próbę obalenia, jest warta więcej niż odpowiedź, która została jedynie wytworzona. W naszej własnej praktyce rundy niezależnej falsyfikacji wielokrotnie usuwały uchybienia, których kontrole autora nie zauważyły — a każda taka runda na stałe uczyła nasze wewnętrzne kontrole czegoś nowego. System nie tylko łapie błędy; uczy się klas błędów.

Rozdział ról. Kto inny buduje, kto inny recenzuje, kto inny testuje — a przegląd bezpieczeństwa i przegląd zgodności biegną osobno. Rozdział władz w organizacji agentów nie jest biurokracją. Jest powodem, dla którego kolejna warstwa wychwytuje to, czego poprzednia nie mogła zobaczyć — bo patrzy z innego miejsca i nie dzieli z autorem jego martwych pól.

Warstwa meta: system, który dba o siebie. Ponad agentami roboczymi pracują agenci, których zadaniem jest obserwować samą organizację: sąd konstytucyjny rozstrzygający, czy działanie jest dozwolone; audytor behawioralny śledzący, czy agenci trzymają się swoich dyscyplin w czasie; zespół architektury, który po wykrytym problemie przebudowuje strukturę tak, by ta klasa błędu była odtąd wychwytywana automatycznie; audytorzy zgodności — wewnętrznej i z prawem zewnętrznym. Pojedynczy błąd, raz wykryty, staje się stałym punktem kontroli. Mrowisko pamięta — i przebudowuje własne korytarze.

Pamięć instytucjonalna. Każdy agent prowadzi zapis tego, czego się nauczył, co zrobił i czego się spodziewał. Wiedza nie znika wraz z końcem sesji — jest zapisana, cytowana i sprawdzalna. Mrówka pamięta niewiele; mrowisko pamięta strukturalnie.

I rzecz, którą warto powiedzieć wprost: to jest ten sam model, który napędza pojedynczego agenta. Skok jakości nie bierze się z lepszego modelu — bierze się z systemu kontroli, przez który odpowiedź musi przejść. Dlatego właśnie architektury nie da się skopiować, czytając czyjś prompt. Prompt to mrówka. Architektura to mrowisko.

4. Gdzie metafora się kończy

Dobra analogia zna swoje granice — i mówi o nich, zanim czytelnik sam je znajdzie. Trzy miejsca, w których mrowisko przestaje opisywać nasz system:

Mrówki nie konfabulują. Ślad feromonowy może być nieaktualny, ale nie bywa zmyślony. Agent generatywny potrafi wytworzyć treść fałszywą i wiarygodną zarazem — dlatego weryfikacja w naszym roju nie może być, jak w mrowisku, statystycznym wygaszaniem słabych śladów. Musi być jawna, spisana i wymuszona strukturalnie. Mrowisko weryfikuje mimochodem; my musimy weryfikować celowo.

Mrowiska nikt nie zaprojektował. Jego reguły wyszlifował dobór naturalny; nasze reguły napisał projektant — a projektant może się mylić. To jest słabość, której mrowisko nie ma, i dokładnie dlatego istnieje u nas warstwa meta: sąd, audytorzy, zespół architektury. Zaprojektowana kolonia wymaga zaprojektowanej kontroli samej siebie. Ma to też drugą stronę: naszych reguł, w przeciwieństwie do instynktu mrówek, można dotknąć — audytować je, kwestionować i świadomie zmieniać.

Mrowisko sugeruje niezawodność — a my jej nie obiecujemy. To najważniejsza granica metafory. Obraz kolonii, która „zawsze sobie poradzi", mógłby sugerować, że architektura roju niezawodnie zatrzyma każdy błąd pojedynczego agenta. Tak nie twierdzimy. Warstwy obniżają prawdopodobieństwo, że błąd przejdzie; sprawiają, że błąd wykryty raz staje się trwałym punktem kontroli; ale żadna architektura nie czyni błędu niemożliwym. Dlatego ostatnią ścianą w naszym systemie nie jest kolejny agent, lecz człowiek i pomiar — do czego wrócimy w dalszej części.

Metafora mrówki i mrowiska opisuje więc strukturę — to, że wiarygodność powstaje pomiędzy jednostkami, nie w jednostce. Nie opisuje mechanizmu powstawania ani nie obiecuje doskonałości. Tyle z niej bierzemy — i ani kroku dalej.

5. Epistemologia roju: jak mrowisko wie, że wie

Zanim pójdziemy dalej, trzy słowa, których w tym wykładzie — i w naszej pracy — używamy precyzyjnie:

• Wysoka stawka — praca, w której pewna siebie zła odpowiedź kosztuje realnie i trudno odwracalnie: decyzja prawna, finansowa, regulacyjna, publikacja pod własną marką. Miarą stawki jest koszt błędu, nie prestiż zadania.
• Niezależny — taki, który ocenianej pracy nie tworzył, nie dzieli z autorem narzędzi ani założeń, którymi ta praca powstała, i nie potrzebuje pozytywnego wyniku oceny. Niezależność poznaje się po tym, że recenzentowi wolno powiedzieć „to jest złe" — i nic z tego dla niego nie wynika poza wykonaną pracą.
• Zweryfikowany — opatrzony jawną deklaracją, jak sprawdzono: od samego rozumowania, przez kontrolę autora i niezależną kontrolę wewnętrzną, aż po kontakt z rzeczywistością — uruchomienie, pomiar, obejrzenie wyniku. Im wyższa stawka, tym mocniejsza wymagana forma weryfikacji.

Porównanie z pojedynczym agentem staje się najostrzejsze właśnie na poziomie epistemologii — reguł rozstrzygających, co system uznaje za wiedzę. Pojedynczy agent nie ma epistemologii; ma płynność. Nasz rój pracuje według zasad spisanych i egzekwowanych:

Każde twierdzenie cytuje źródło. Twierdzenie faktyczne bez źródła nie jest w naszym systemie wiedzą — jest kandydatem na konfabulację i tak jest traktowane. Agent, który nie może wskazać źródła, ma obowiązek powiedzieć „nie wiem".

„Nie wiem" jest odpowiedzią dozwoloną — i cenną. U pojedynczego agenta „nie wiem" nie ma adresata, więc model go unika. W roju „nie wiem" jest sygnałem, który ma dokąd pójść: do agenta, który wiedzieć może, albo do człowieka, który zdecyduje. Kultura, w której wolno nie wiedzieć, jest warunkiem tego, by „wiem" cokolwiek znaczyło.

Zapis jest prawdą, nie pamięć. Stan systemu odczytuje się z zapisanych artefaktów, nie z przekonania agenta o tym, co zrobił. Przekonania bywają płynne; zapis się nie zmienia.

Weryfikuje się mechanizm, nie deklarację. Raport o poprawności to najsłabsza forma dowodu. Każdy wynik w naszym systemie deklaruje, jak został zweryfikowany — w rozumieniu definicji powyżej — a wysoka stawka wymaga mocnej formy. Niska forma weryfikacji przy wysokiej stawce jest w naszej architekturze stanem niedozwolonym.

Granice się nazywa, zamiast je zamalowywać. Gdy narzędzie, którym pracujemy, ma sufit możliwości, mówimy o tym wprost i wskazujemy drogę dalej — zamiast dostarczać wynik udający, że sufitu nie ma. Uczciwie nazwane ograniczenie jest informacją; ograniczenie ukryte jest długiem, który spłaca klient.

Te zasady nie są manifestem. Są codzienną mechaniką pracy — i to one sprawiają, że zachowania z rozdziału 2, choć występują w technologii, na której pracujemy, mają trudność przejścia przez system na zewnątrz. Nie twierdzimy, że nasze mrówki są inne. Twierdzimy, że zbudowaliśmy mrowisko, które je sprawdza.

6. Dowód na żywo: ten wykład też przeszedł przez ścianę

Twierdzenia o procesie łatwo spisać. Pokażmy więc proces na materiale, na którym najtrudniej go udawać — na tym tekście.

Pierwsza wersja tego wykładu powstała w naszym zwykłym trybie: autor, potem kontrola autora, potem niezależny falsyfikator — agent, którego jedynym zadaniem jest złamać materiał, zanim zobaczy go ktokolwiek z zewnątrz. Oto, co kolejne ściany naprawdę złapały w tym tekście przed publikacją:

| Klasa uchybienia | Było (szkic) | Jest (po poprawce) | Która ściana złapała | |---|---|---|---| | Kwantyfikator o rynku bez źródła | organizacja „niemal zawsze ogląda mrówkę" | „zwykle ogląda najpierw mrówkę" | kontrola autora | | Niemożliwość ponad siłę dowodów | klasa błędu „nie mogła się powtórzyć" | „była odtąd wychwytywana automatycznie" | kontrola autora | | Uogólnienie absolutne | obserwujemy je „za każdym razem" | forma warunkowa, bez uniwersalności | kontrola autora | | Proces deklarowany, nie pokazany | twierdzenia o metodzie bez przykładu | ta sekcja i ta tabela | niezależny falsyfikator | | Metafora rozciągnięta ponad nośność | mrowisko sugerujące niezawodność | rozdział „Gdzie metafora się kończy" | niezależny falsyfikator |

Dwa szczegóły z tej tabeli mówią o systemie więcej niż cała reszta wykładu.

Pierwszy: kontrola autora złapała „niemal zawsze" nie dlatego, że autor był tego dnia wyjątkowo czujny, lecz dlatego, że klasa „kwantyfikator bez źródła" została po jednej z wcześniejszych falsyfikacji — przy zupełnie innym materiale, kilka dni wcześniej, pod koniec czerwca — dopisana do stałej listy kontrolnej autora. Błąd wykryty raz w czerwcu zatrzymał inny błąd w lipcu. To jest dokładnie to, co w rozdziale 3 nazwaliśmy uczeniem się klas błędów — nie metafora, mechanika.

Drugi: niezależny falsyfikator ocenił pierwszą wersję na 78/100, z werdyktem, który streszczamy uczciwie: przechodzi jako wykład; jako dowód możliwości organizacji — warunkowo, dopóki twierdzenia o procesie są deklarowane, a nie pokazane. Miał rację. Wersja, którą czytacie, jest odpowiedzią na ten werdykt — i zanim trafi do publikacji, wróci do niego ponownie, bo taka jest reguła: nie zostawiamy plików wyjściowych bez falsyfikacji. Również tego.

Jeśli czytacie te słowa na naszej stronie — znaczy, że przeszedł.

7. Człowiek w pętli: mrowisko nie zastępuje gospodarza

Jest jeszcze jedna różnica — i celowo zostawiamy ją na koniec części architektonicznej, bo bywa błędnie odczytywana jako słabość.

Końcowy wynik pracy naszego roju zatwierdza człowiek. Zawsze — taka jest reguła projektowa naszego systemu. Rój przygotowuje pracę zweryfikowaną warstwowo: przefiltrowaną, sfalsyfikowaną, niezależnie zrecenzowaną, ze śladem audytowym decyzji i wyników — ale nie podejmuje za klienta decyzji ostatecznej. W pracy o wysokiej stawce, w domenach regulowanych, to nie jest ograniczenie. To poprawna architektura odpowiedzialności — projektowana pod wymogi europejskiego prawa o sztucznej inteligencji, w którym nadzór człowieka nad systemem AI jest zasadą, nie dodatkiem. I to jest też uczciwa konsekwencja granicy metafory z rozdziału 4: skoro żadna architektura nie czyni błędu niemożliwym, ostatnia ściana musi stać poza architekturą.

Pojedynczy agent proponuje, by mu zaufać. Mrowisko nie prosi o zaufanie — przynosi materiał dowodowy i czeka na decyzję gospodarza.

8. Czego ten wykład nie twierdzi

Rzetelność wymaga domknięcia granic — również własnych:

• Nie twierdzimy, że rój agentów jest nieomylny. Twierdzimy, że jest zbudowany tak, by błąd miał trudność przejścia — i by błąd raz wykryty stawał się trwałym punktem kontroli. Produktem nie jest nieomylność. Produktem jest wyłapywanie błędu.
• Nie obiecujemy wyniku w ciemno. Jesteśmy pewni architektury — wiemy, dlaczego słaba odpowiedź ma trudność przejścia przez warstwy, i umiemy to pokazać. Ale Twój wynik zależy od Twojego procesu i Twoich danych: nie znamy go przed pomiarem i nie udajemy, że go znamy. Zamiast obietnicy proponujemy pomiar na Waszym procesie.
• Nie twierdzimy, że pojedynczy agent jest bezużyteczny. Do zadań o niskiej stawce, gdzie koszt pomyłki jest mały, mrówka wystarcza. Wykład dotyczy pracy, w której pewna siebie zła odpowiedź kosztuje.

9. Nie kupuje się mrówki

Wróćmy na koniec do metafory, od której zaczęliśmy — bo ma ona praktyczną puentę.

Kiedy organizacja „wdraża AI", zwykle ogląda najpierw mrówkę: pojedynczego agenta, model z interfejsem, demo płynnej rozmowy. Mrówka robi wrażenie. Ale pytania, które decydują o tym, czy AI można powierzyć pracę o znaczeniu, nie dotyczą mrówki. Dotyczą mrowiska:

Kto sprawdza tę odpowiedź, zanim do mnie trafi? Kto próbował ją obalić? Co się dzieje, gdy agentowi zabraknie danych — konfabulacja czy „nie wiem"? Gdzie jest zapisany ślad decyzji? Kto obserwuje, czy system trzyma standard także wtedy, gdy nikt nie patrzy? I kto — człowiek czy maszyna — podejmuje decyzję ostateczną?

Pojedynczy agent nie ma dobrych odpowiedzi na te pytania, bo mieć ich nie może: one wszystkie dotyczą tego, co dzieje się pomiędzy agentami. Odpowiedzią jest architektura — ściany, falsyfikacja, rozdział ról, warstwa meta, pamięć, epistemologia i człowiek w pętli.

Inteligencja mrówki jest w mrówce. Wiarygodność jest w mrowisku.