Badania — agenci AI przy prawdziwej pracy, nie w benchmarku.

Prawdziwa praca, zapisana w całości

Każde uruchomienie agenta z modelem, czasem, kosztem i wynikiem; każda recenzja z werdyktem i znaleziskami; każda decyzja człowieka z powodem i czasem. Nic do wyciągania ani czyszczenia: rekord jest danymi.

Wpływ zasad na pracę

Zmień jedną zasadę — kto recenzuje, jak daleko agent może działać sam, kiedy człowiek musi zatwierdzić — i zmierz, co dzieje się z jakością (praca odesłana przez recenzentów, rundy na zmianę) i tempem (czas od zadania do zaakceptowanej zmiany, czas bezczynności). Każda zmiana zasad ma datę, więc każdą można zbadać jako „przed i po”.

Modele obok siebie, w tych samych warunkach

Kilku dostawców AI przy tych samych zadaniach, każdy sprawdzany przez recenzenta z innej firmy, z zapisem każdej niezgody.

Powtarzalność z założenia

Decyzje są podpisane, do rekordu tylko się dopisuje, a każdy pomiar ma obok komendę, która go wykonała.

Wolumen przy jednym zatwierdzającym

W dwa dni, w dwóch repozytoriach: 819 commitów i 140 zmian zaakceptowanych przez zatwierdzającego, każda zrecenzowana przed akceptacją.

Drugi recenzent ma znaczenie

W przeglądzie bezpieczeństwa własnego kodu agentów dwóch recenzentów z różnych firm AI nie zgodziło się w dwóch z pierwszych trzech części: jeden przepuścił kod, drugi go odrzucił i udowodnił problem testami, które padały. Oba problemy naprawiono tego samego dnia.

Wąskim gardłem było zatwierdzanie, nie agenci

Praca szła pełnym tempem, gdy zatwierdzający był przy komputerze, i prawie stawała w nocy: agenci i maszyny czekali bezczynnie na podpis człowieka. Z tego wyniku powstał tryb, w którym zatwierdzający przed wyjściem podpisuje paczkę pracy, a agenci pracują dalej sami — każdy nieodwracalny krok nadal czeka na człowieka. Mierzymy teraz jego efekt.

Sześć dni z agentami, 14 do 20 miesięcy dla ludzi

Analiza nakładu pracy przy całej budowie: 139 godzin pracy agentów wobec szacunku 14 do 20 miesięcy dla zespołu około dziesięciu osób, z jakością kodu zmierzoną wobec opublikowanych punktów odniesienia. Przeczytaj raport →

Narzędzie: Saphan Studio Team, bezpłatnie do badań i nauczania

Do niekomercyjnych badań i nauczania na uczelniach i w instytutach badawczych. Ten sam silnik orkiestracji i governance, na którym pracuje nasza inżynieria, z trybem eksperymentu: definiujesz warianty zasad, a każde uruchomienie dostaje znacznik wariantu. Zespół pomaga przy pierwszym badaniu.

Dane: miesiące prawdziwej pracy agentów jako zbiór danych

Uruchomienia, recenzje, decyzje ludzi, odmowy i każda zmiana zasad z datą, od agentów kilku dostawców pracujących obok siebie (Claude, Codex, Cursor, Qwen, GLM, Nemotron i inni). Eksport po anonimizacji: bez nazw maszyn, kluczy i danych osobowych.

Programy badawcze, część pierwsza: lepsza praca agentów

Projekty badań przygotowane na podstawie naszego rekordu. Każdy nazywa pytanie, dane, które na nie odpowiadają, i to, co trzeba zmienić, żeby zmierzyć je rzetelnie:

• Recenzja między dostawcami: czy recenzent od innego dostawcy niż autor znajduje więcej problemów, czy jest po prostu surowszy?
• Świeży start czy kontynuacja: czy każda runda poprawek powinna zaczynać się od nowego agenta, czy kontynuować wcześniejszą rozmowę?
• Modele czołowe czy tańsze: gdzie tańszy model zrobi tę samą pracę przy tych samych zasadach i tej samej recenzji?
• Zasady jako eksperyment: zmień jedną zasadę, np. kto recenzuje albo jak daleko orkiestrator może działać sam, i zmierz jakość oraz tempo.
• Agenci przed zamkniętymi drzwiami: gdy czynność zostaje odrzucona, czy agenci się zatrzymują, pytają, szukają innej drogi, czy korzystają z drogi zarządzanej?
• Instrukcje czy kontrole: które lekcje trzymają się jako zapisane wskazówki, a które tylko wtedy, gdy pilnuje ich kontrola?

Programy badawcze, część druga: ludzie i agenci razem

Obszar, którego prawie nikt jeszcze nie bada. Nie to, czy model rozwiąże zadanie, ale jak jedna osoba i flota agentów uczą się coraz lepiej ze sobą pracować, mierzone w tym samym rekordzie:

• Wzmacnianie wiedzy: czy właściciel wydaje lepsze polecenia i decyzje, im dłużej flota z nim pracuje i przygotowuje kontekst do każdej decyzji?
• Możliwości właściciela: iloma równoległymi strumieniami pracy jedna osoba może zarządzać z dobrym osądem, gdzie jest sufit i co go podnosi?
• Jak agenci uczą się zasad: ile podpisanych decyzji trzeba, żeby agenci przyswoili nową zasadę, i dlaczego jedne zasady działają po jednym podpisie, a inne wymagają przypomnień?
• Iskierki: spostrzeżenia z pracy łapane w chwili, gdy powstają, a potem zamieniane w zasady, badania lub materiał publiczny albo porzucane. Które iskierki naprawdę poprawiają pracę floty?
• Wyłapywanie pracy, która się nie zbiega: gdy flota wciąż myli się w ten sam sposób, czy pokazanie tego człowiekowi zmienia jego decyzję i jak szybko?
• Interwencje jako dane: każde wejście właściciela jest zapisane. Co te momenty mówią o tym, gdzie system wciąż potrzebuje człowieka?

Nasze patenty, pod NDA

Saphan Studio ma zgłoszenia patentowe w USA i w Europie. Przy wspólnym badaniu udostępnimy je pod NDA, żeby Twoja praca opierała się na mechanizmach, a nie na domysłach.

O jedno prosimy

Podziel się tym, czego się dowiesz. Opublikuj to i daj nam znać, żeby kolejne zespoły pracujące z agentami pracowały lepiej.