Коротка відповідь

В експериментах використання AI-агента під архітектурним контролем досвідченого інженера дало передбачуваніші результати, ніж повністю автономна розробка.

Поділ завдань на логічні етапи, чіткі інструкції та регулярна перевірка проміжних результатів допомогли скоротити кількість помилок і надлишкового коду. Водночас робота AI-агентів без достатнього контролю призводила до появи непотрібних функцій, додаткових витрат і накопичення технічного боргу.

Ефективне впровадження AI в розробку наявного програмного продукту потребує актуальної документації, зрозумілих правил взаємодії з AI-агентами, інженерного контролю та попередньої оцінки ризиків для стабільності, безпеки й подальшого супроводу системи.

Розробка в парі з AI-агентом і в режимі «автопілот».

Усім доброго часу доби. Мене звати Ігор, я один із кофаундерів команди розробників DevCats, за плечима в мене понад 20 років досвіду у веб- і мобільній розробці, зокрема маю накопичений досвід в індустрії GameDev. Останні півтора року я застосовую AI у процесах написання коду та періодично проводжу дослідження в цій галузі.

Сьогодні я хочу знову торкнутися теми розробки за допомогою AI. Цього разу я прийшов до вас із певними висновками, зробленими на основі вимірювань ефективності та особистих спостережень.

 

Отже, почнемо.

Для тестів ми використовували два різні підходи: парне програмування спільно з агентом Codex і програмування виключно за заздалегідь створеним планом за допомогою рою агентів (тестування також проводили агенти).

Попри те, що завдання відрізнялися за своїм характером, уже в перші два дні були очевидні суттєві відмінності в результативності та ефективності.

Codex із моделлю Sol 5.6 у режимі парного програмування тестувався у двох сценаріях у сфері ігрової індустрії мовою програмування C — ми писали плагін (розширення функціоналу) для однієї дуже популярної комп’ютерної гри.

Перший підхід полягав у тому, що я імітував звичайну людину, яка ставить завдання, і робив усе в межах одного потоку, в одній гілці, короткими коментарями, достатніми для розуміння завдання без зайвих ускладнювальних умов, а також періодично разом із Codex ми обговорювали потенційні рішення. У результаті ми досить швидко дійшли до 7000+ рядків коду, витрати токенів під кінець почали зростати в геометричній прогресії, а ближче до завершення завдання ми кілька разів поверталися до однієї й тієї самої проблеми, хоча за правильного архітектурного підходу вона була досить тривіальною. Також ми періодично виправляли баги, пов’язані з помилками компіляції вихідного коду на ігровому сервері.

Наступного дня я вирішив повторити експеримент, застосувавши інший підхід, де я виступав у ролі архітектора та розділяв завдання на різні потоки (окремі агентські гілки в Codex). Я одразу визначив архітектуру та послідовно рухався до розв’язання фінального завдання окремими логічними етапами, поступово нарощуючи функціонал.

Практично на кожному етапі ми обговорювали з AI-агентом підходи до розв’язання перед інтеграцією коду, я уважно читав його пропозиції та приблизно у 15% випадків вносив правки, відмовляючись від частини рішень або пропонуючи інші шляхи.

У результаті я отримав 6000 рядків коду (на 12% менше за попередній результат), 0 помилок компілятора, чистішу підсумкову документацію, а коли ми знову дійшли до тієї самої проблеми, яку в першому підході вдалося вирішити різними «костилями», цього разу її було вирішено з першої спроби.

При цьому був лише один фрагмент коду, відповідальний за це вразливе місце, проти двох у попередньому підході. А враховуючи, що ми вирішували завдання зі скейлінгу (зміни розмірів об’єктів в ігровому світі в реальному часі), який, за правильного підходу, мав бути централізований в одному місці, щоб саме в одному фрагменті програми ми регулювали цей процес і в разі виникнення нових проблем з іншими об’єктами могли задавати індивідуальні умови виключно в одному місці, то в цьому випадку контрольований мною підхід у ролі архітектора процесу був повністю виправданий навіть уже на цьому прикладі.

Що ще хотілося б виділити з цікавих моментів: що детальніше ти описуєш завдання, то більше непотрібних компонентів і перевірок у коді отримуєш, не залишаючи моделі можливості пропонувати інші шляхи, які можуть бути цілком виправданими; що менше ти пишеш і що менше стежиш за висновками, які генерує AI-модель, то більше технічного боргу накопичуєш у процесі розробки (технічний борг — потенційні проблеми, які тобі доведеться вирішувати пізніше).

Мій висновок тут для мене очевидний: потрібно знаходити середину між короткими промптами та великим набором функціональності за ТЗ, водночас застосування архітектурного підходу самою людиною — обов’язкове.

 

Тепер перейдемо до висновків щодо агентського програмування в режимі «автопілот».

У цьому підході ми мали заздалегідь сформований список завдань, що складався з коротких тез, а всю роботу з написання коду, внесення змін у завдання, тестування та приймання результатів ми переклали на AI-агентів Codex із моделлю Sol 5.6 (окремо також тестували модель Astra).

У цьому випадку на виході ми отримали приблизно 30% функціоналу, який виявився нам непотрібним. Так, код працював, але підсумковий результат змусив робити pivot (зміни в завданні, що потребують переробки отриманого результату).

Окремо я хочу акцентувати увагу на витратах токенів: для Sol 5.6 це приблизно дорівнює витратам у $100 за 3 дні, для Astra ще веселіше — $100 за 2 години.

Цей експеримент проводив мій колега та партнер у GameDev-напрямі, у нього величезний технічний бекграунд у ролі архітектора. За його оцінкою, основний обсяг грошей було витрачено на перевірки агентами: вони надто довго ходили навколо кожного завдання та вносили багато коректив.

Мій висновок такий: за такого підходу ти даєш агентам свободу, але платиш за це суттєвими фінансовими витратами й на виході отримуєш непрогнозований результат. І останнє тут — ключовий момент, адже $100 витрат за 2 дні при використанні Sol 5.6 у межах чеків програмістів — це несуттєві суми, а от отримання результатів, що відрізняються від очікуваних, — це вже зовсім інше.

Це змушує повертатися до завдання, формувати новий список завдань на коригування, потім знову повертатися та перевіряти отриманий результат. За такого підходу розробник також змушений ходити по колу, як і в наведеному раніше прикладі з вирішенням технічних проблем під час роботи з AI без архітектурного підходу та поетапного контролю.

Що мене тут іще насторожує — суттєвий технічний борг, який формується непомітно: кількість коду роздувається, документація разом із ним, ніхто не здатен спрогнозувати зростання фінансових витрат на токени AI-моделей і часу розробника, які виникнуть через кілька місяців за такого підходу.

Є дуже високі шанси, що такий сценарій призведе до непередбачуваних наслідків. Однак я не кажу, що це поганий підхід — він просто має свої суттєві недоліки, і справа тут не в якості AI-моделей і HARNESS (Codex, Claude Code та інших), адже вони вміють «мислити», але саме ці «роздуми» і є причиною.

Тут усе як із людиною: їй дали завдання, а вона просто вирішила додати від себе ще багато чого, про що не просили, а те, про що просили, просто зробила по-своєму — не так, як очікує клієнт.

 

Висновки

На сьогодні розробка будь-якого нового проєкту має відбуватися з використанням AI-агентів. Який HARNESS обрати — Codex чи Claude Code, з якою моделлю працювати — це вже питання смаку та технічних нюансів, які потрібно залишити програмісту на вибір. Це його інструменти, і саме йому ухвалювати рішення.

Але важливо зауважити, що, на мій погляд, уже не стоїть питання вибору між тим, щоб писати все самому, працювати спільно з AI-агентом чи віддавати всі завдання AI-агентам. У цьому списку пункт «код пише лише людина» для мене повністю виключений.

Що робити з уже наявними великими проєктами? Тут усе складніше.

Якщо ставити завдання перевести все на «нові рейки», необхідно інвестувати гроші в організацію такого процесу для формування обширної документації, списку скілів (описаних навичок/підходів, які AI-агент має застосовувати), писати бізнес-документацію з усіма бізнес-кейсами та описами інтерфейсів взаємодії користувачів із вебсистемою.

Без цих кроків інтеграція AI-агента в розробку — це просто експеримент над бізнесом із непередбачуваними наслідками.

А в кінцевому підсумку, якщо обрати архітектурний підхід за участю інженера, результати значною мірою залежатимуть уже від двох факторів: уміння програміста працювати з AI-агентами та того, чи справді програміст має сильні навички в побудові архітектури. І що ще важливо — не просто в її побудові, а й у внесенні змін до неї з урахуванням нового учасника — AI-агента.

Застосування рою агентів до вже наявних великих проєктів, навіть за умови, що все детально описано й людина частково втручатиметься в процес, — це чистої води експеримент із непередбачуваними результатами.

І, на мій погляд, це абсолютно нормальна ситуація, адже відбулася технологічна революція, яка вимагає від розробників нових навичок у нових реаліях і під час роботи над новими проєктами.

Підхід до підтримки та доопрацювання наявних бізнес-рішень має бути, за можливості, скоригований з урахуванням оцінки всіх потенційних ризиків упровадження нових інструментів, щоб забезпечувати принципи стабільності протягом усього життєвого циклу в межах LTS.

Оновлено:

Стаття була корисною?

0 вподобань
← До всіх статей