Krótka odpowiedź
W eksperymentach korzystanie z agenta AI pod nadzorem doświadczonego inżyniera odpowiedzialnego za architekturę przyniosło bardziej przewidywalne rezultaty niż w pełni autonomiczne tworzenie oprogramowania.
Podział zadań na logiczne etapy, jasne instrukcje i regularna weryfikacja wyników pośrednich pomogły ograniczyć liczbę błędów i nadmiarowego kodu. Natomiast praca agentów AI bez wystarczającego nadzoru prowadziła do powstawania niepotrzebnych funkcji, dodatkowych kosztów i narastania długu technicznego.
Skuteczne wdrożenie AI do rozwoju istniejącego oprogramowania wymaga aktualnej dokumentacji, jasnych zasad współpracy z agentami AI, nadzoru inżynierskiego oraz wcześniejszej oceny ryzyka dla stabilności, bezpieczeństwa i dalszego utrzymania systemu.
Tworzenie z agentem AI: programowanie w parze a „autopilot”
Cześć wszystkim. Nazywam się Ihor i jestem jednym ze współzałożycieli zespołu programistycznego DevCats. Mam ponad 20 lat doświadczenia w tworzeniu rozwiązań internetowych i mobilnych, w tym duże doświadczenie w branży GameDev. Od półtora roku korzystam z AI w procesach tworzenia oprogramowania i okresowo prowadzę badania w tym obszarze.
Dziś chcę wrócić do tworzenia oprogramowania z pomocą AI. Tym razem mam kilka wniosków opartych na pomiarach efektywności i własnych obserwacjach.
Zacznijmy.
W testach wykorzystaliśmy dwa różne podejścia: programowanie w parze z agentem Codex oraz tworzenie wyłącznie na podstawie wcześniej ustalonego planu z wykorzystaniem roju agentów, którzy również wykonywali testy.
Choć zadania różniły się charakterem, znaczące różnice produktywności i efektywności stały się widoczne już w pierwszych dwóch dniach.
Codex z modelem Sol 5.6 testowaliśmy w trybie programowania w parze w dwóch scenariuszach związanych z branżą gier, korzystając z języka C. Tworzyliśmy wtyczkę rozszerzającą funkcjonalność bardzo popularnej gry na PC.
W pierwszym podejściu występowałem jako zwykły użytkownik zlecający zadania. Wszystko odbywało się w jednym wątku i jednej gałęzi, za pomocą krótkich komentarzy wystarczających do zrozumienia zadania bez zbędnego komplikowania. Od czasu do czasu wspólnie omawialiśmy z Codexem możliwe rozwiązania.
Szybko przekroczyliśmy 7000 linii kodu. Pod koniec zużycie tokenów zaczęło rosnąć wykładniczo, a przed ukończeniem zadania kilkakrotnie wracaliśmy do tego samego problemu, choć przy właściwej architekturze był stosunkowo prosty.
Okresowo musieliśmy też usuwać błędy kompilacji kodu źródłowego na serwerze gry.
Następnego dnia postanowiłem powtórzyć eksperyment inaczej: jako architekt podzieliłem pracę na osobne wątki, czyli indywidualne gałęzie agentów w Codexie.
Od początku określiłem architekturę i zmierzałem do celu przez oddzielne logiczne etapy, stopniowo rozszerzając funkcje.
Niemal na każdym etapie omawiałem z agentem AI możliwe podejścia przed integracją kodu. Uważnie analizowałem sugestie i w około 15% przypadków korygowałem je, odrzucałem część rozwiązań lub proponowałem alternatywy.
Ostatecznie otrzymałem 6000 linii kodu — o 12% mniej niż wcześniej — zero błędów kompilatora i bardziej uporządkowaną dokumentację końcową.
Ten sam problem, który przy pierwszym podejściu wymagał kilku różnych obejść, tym razem rozwiązaliśmy za pierwszym razem.
Za ten wrażliwy obszar odpowiadał też tylko jeden fragment kodu, podczas gdy wcześniej były dwa.
Rozwiązywaliśmy problem skalowania, czyli zmiany rozmiaru obiektów w świecie gry w czasie rzeczywistym. Taka logika powinna być skupiona w jednym miejscu, aby cały proces można było kontrolować z jednego fragmentu programu. W razie problemów z innymi obiektami wystarczyłoby dodać warunki specyficzne dla obiektu wyłącznie w tym miejscu.
Już sam ten przykład w pełni uzasadnił podejście, w którym kontrolowałem proces jako architekt.
Inna ciekawa obserwacja: im bardziej szczegółowo opisujesz zadania, tym więcej zbędnych komponentów i kontroli pojawia się w kodzie. Nadmierna szczegółowość ogranicza swobodę modelu w proponowaniu innych, całkiem rozsądnych podejść.
Jednocześnie im mniej piszesz i mniej uwagi poświęcasz wnioskom oraz wynikom modelu, tym więcej długu technicznego gromadzisz podczas tworzenia.
Dług techniczny oznacza potencjalne problemy, z którymi kiedyś trzeba będzie się zmierzyć.
Mój wniosek jest jasny: należy znaleźć równowagę między krótkimi promptami a obszernymi, szczegółowymi wymaganiami. Niezbędne jest przy tym podejście architektoniczne kierowane przez człowieka.
Przejdźmy do wniosków dotyczących programowania agentowego na „autopilocie”.
W tym podejściu mieliśmy ustaloną listę zadań w krótkich punktach, a całe pisanie kodu, modyfikowanie zadań, testowanie i akceptację wyników przekazaliśmy agentom Codex z modelem Sol 5.6. Osobno testowaliśmy też model Astra.
Około 30% otrzymanych funkcji okazało się zbędnych.
Kod działał, lecz rezultat zmusił nas do zmiany kierunku, czyli modyfikacji zadania i przerobienia gotowego wyniku.
Chcę też osobno zwrócić uwagę na zużycie tokenów.
W przypadku Sol 5.6 koszt wyniósł około 100 USD w ciągu trzech dni.
Z Astrą było jeszcze ciekawiej: 100 USD w dwie godziny.
Eksperyment przeprowadził mój kolega i partner w branży GameDev, mający rozległe doświadczenie techniczne jako architekt.
Według jego oceny większość pieniędzy pochłonęły kontrole wykonywane przez agentów. Zbyt długo krążyli wokół każdego zadania i wprowadzali liczne poprawki.
Mój wniosek: w tym podejściu dajesz agentom swobodę, ale płacisz za nią znacznymi kosztami finansowymi i otrzymujesz nieprzewidywalny rezultat.
Właśnie ten ostatni punkt jest kluczowy.
Wydanie 100 USD w dwa dni na Sol 5.6 nie jest dużą kwotą w porównaniu z wynagrodzeniami programistów. Uzyskanie wyniku innego niż oczekiwany to jednak zupełnie osobna sprawa.
Trzeba wrócić do zadania, stworzyć listę poprawek, ponownie uruchomić proces i jeszcze raz sprawdzić rezultat.
Także programista jest zmuszony krążyć w kółko, jak we wcześniejszym przykładzie rozwiązywania problemów technicznych podczas pracy z AI bez architektury i nadzoru krok po kroku.
Niepokoi mnie też znaczna ilość długu technicznego gromadzącego się niemal niezauważalnie.
Kodu przybywa, dokumentacja rośnie razem z nim i nikt nie potrafi wiarygodnie przewidzieć, jak bardzo po kilku miesiącach wzrosną koszty tokenów modeli AI i czasu programistów.
Istnieje bardzo duża szansa, że taki scenariusz doprowadzi do nieprzewidywalnych konsekwencji.
Nie twierdzę jednak, że to złe podejście. Ma po prostu istotne wady.
Problem nie leży w jakości modeli AI ani narzędzi typu HARNESS, takich jak Codex, Claude Code i inne. Potrafią „myśleć”, ale właśnie te „procesy myślowe” są częścią problemu.
Działa to podobnie jak u ludzi: zlecasz komuś zadanie, a on postanawia dodać wiele rzeczy, o które nie prosisz. Tymczasem właściwe zadanie realizuje na swój sposób, inaczej niż oczekiwał klient.
Wnioski
Moim zdaniem dziś każdy nowy projekt programistyczny powinien powstawać z wykorzystaniem agentów AI.
Wybór HARNESS — Codex czy Claude Code — i modelu jest kwestią preferencji oraz uwarunkowań technicznych, którą ostatecznie należy pozostawić programiście. To jego narzędzia i jego decyzja.
Warto jednak zauważyć, że z mojej perspektywy nie wybieramy już między samodzielnym pisaniem wszystkiego, współpracą z agentem AI a przekazaniem wszystkich zadań agentom.
Opcja „kod pisze wyłącznie człowiek” całkowicie zniknęła z mojej listy.
A co z dużymi istniejącymi projektami?
Tu sprawa staje się bardziej skomplikowana.
Jeśli chcemy przestawić wszystko na „nowe tory”, trzeba zainwestować w prawidłową organizację procesu: obszerną dokumentację, listę umiejętności, czyli udokumentowanych sposobów i podejść, które agent powinien stosować, oraz dokumentację biznesową wszystkich przypadków i interfejsów interakcji użytkowników w systemie internetowym.
Bez tych kroków włączenie agenta AI do procesu tworzenia staje się eksperymentem na biznesie o nieprzewidywalnych konsekwencjach.
Jeśli wybierzesz podejście architektoniczne z udziałem inżyniera, końcowe wyniki będą w dużej mierze zależeć od dwóch czynników: umiejętności skutecznej pracy z agentami AI i rzeczywistych kompetencji programisty w projektowaniu architektury.
Jest też drugi ważny aspekt: nie wystarczy znać zasady projektowania architektury. Trzeba umieć ją modyfikować z uwzględnieniem nowego uczestnika procesu — agenta AI.
Wykorzystanie roju agentów w dużych istniejących projektach, nawet przy szczegółowej dokumentacji i częściowej ingerencji człowieka, jest moim zdaniem czystym eksperymentem o nieprzewidywalnych rezultatach.
Uważam, że to całkowicie normalna sytuacja.
Nastąpiła rewolucja technologiczna, wymagająca od programistów nowych umiejętności dla nowych realiów i projektów.
Podejście do utrzymania i rozbudowy istniejących rozwiązań biznesowych należy w miarę możliwości dostosować na podstawie oceny potencjalnego ryzyka wprowadzania nowych narzędzi.
Celem powinno być zachowanie stabilności przez cały cykl życia oprogramowania w ramach długoterminowego wsparcia LTS.
Aktualizacja: