Короткий ответ
В экспериментах использование AI-агента под архитектурным контролем опытного инженера показало более предсказуемые результаты, чем полностью автономная разработка.
Разделение задач на логические этапы, чёткие инструкции и регулярная проверка промежуточных результатов помогли сократить количество ошибок и избыточного кода. При этом работа AI-агентов без достаточного контроля приводила к появлению ненужных функций, дополнительным затратам и накоплению технического долга.
Эффективное внедрение AI в разработку существующего программного продукта требует актуальной документации, понятных правил взаимодействия с AI-агентами, инженерного контроля и предварительной оценки рисков для стабильности, безопасности и дальнейшего сопровождения системы.
Разработка в паре с AI агентом и в режиме “автопилот”.
Всем доброго времени суток. Меня зовут Игорь, я один из ко-фаундеров команды разработчиков DevCats, за плечами у меня более 20 лет стажа в веб и мобильном девелопменте, в том числе есть накопленный опыт в индустрии GameDev. Последние полтора года я применяю AI в процессах написания кода и периодически провожу исследования в этой области.
Сегодня я хочу снова коснуться темы разработки при помощи AI. На этот раз я пришел к вам с определенными выводами сделанными на основании замеров эффективности и личных наблюдений.
И так, начнем.
Для тестов мы использовали 2 разных подхода: парное программирование совместно с агентом Codex и программирование исключительно через заранее созданный план при помощи роя агентов (тестирование также проводилось агентами).
Несмотря на то, что задачи были разными по своему характеру, в первые два дня уже были очевидны существенные различия в результативности и эффективности.
Codex с моделью Sol 5.6 в режиме парного программирования тестировался в двух сценариях в сфере игровой индустрии на языке программирования C, мы писали плагин (расширение функционала) для одной очень популярной компьютерной игры. Первый подход заключался в том, что я имитировал простого человека, который ставит задачи и делал все в рамках одного потока в одной ветке короткими комментариями, достаточными для понимания задачи без лишних усложняющих условий и периодически совместно с Codex обсуждали потенциальные решения. В результате мы достаточно быстро дошли до 7000+ строк кода, расход токенов стал расти геометрически под конец и к завершению решения задачи мы возвращались к одной и той же возникающей проблеме несколько раз, хотя она была достаточно тривиальной при правильном архитектурном подходе. Также мы периодически исправляли баги, связанные с ошибками компиляции исходного кода на игровом сервере.
На следующий день я решил повторить эксперимент с применением другого подхода, где я выступал в роли архитектора и разделял задачи на разные потоки (отдельные агентские ветки в Codex). Я сразу определил архитектуру и последовательно шел к решению финальной задачи отдельными логическими этапами, постепенно наращивая функционал. Мы практически на каждом этапе задачи обсуждали с AI агентом подходы к решению перед интеграцией кода, я внимательно читал его предложения и в примерно 15% случаев вносил правки, отказываясь от части решений или предлагал другие пути. В результате я получил 6000 строк кода (на 12% меньше предыдущего результата), 0 ошибок компилятора, более чистую итоговую документацию и когда мы снова пришли к той же проблеме, которую в первом подходе решить удалось разными “костылями”, в этом случае она была решена за один раз и был всего один участок кода, отвечающий за это уязвимое место, против 2 в предыдущем подходе, а учитывая, что мы решали задачу по скейлингу (изменению размеров объектов в игровом мире в реальном времени), который, по хорошему счету, должен был быть централизован в одном месте, чтобы именно в одном участке программы мы регулировали этот процесс и при возникновении новых проблем с другими объектами мы могли ставить индивидуальные условия исключительно в одном месте, то в данном случае регулируемый мною подход в роли архитектора процесса был целиком оправдан уже даже на этом примере.
Что бы еще хотелось выделить из интересных моментов: что чем более детально ты описываешь задачи, тем больше ненужных компонентов и проверок в коде ты получаешь, не давая модели выбора предлагать иные пути, которые могут быть вполне оправданы; чем меньше ты пишешь и чем меньше следишь за выводами, которые пишет AI модель, тем больше технического долга ты накапливаешь в процессе разработки (технический долг - потенциальные проблемы, которые тебе придется решать позже). Мой вывод здесь для меня очевиден: нужно выбирать середину между короткими промптами и большим набором функциональности по ТЗ, при этом применение архитектурного подхода самим человеком - обязательно.
Теперь перейдем к выводам относительно агентского программирования в режиме “автопилот”.
В этом подходе у нас был заранее сформирован список заданий состоящий из коротких тезисов, а всю работу по написанию кода, внесению правок в задачу, тестирование и прием результатов мы переложили на AI агентов Codex с моделью Sol 5.6 (отдельно также тестировали модель Astra). В этом случае на выходе мы получили процентов 30% функционала, который нам оказался ненужным. Да, код работал, но итоговый результат заставил делать pivot (изменения в задаче, требующие переработки полученного результата). Отдельно я хочу акцентировать внимание на расход токенов: для Sol 5.6 это примерно равно затратам 100$ за 3 дня, для Astra еще веселее - 100$ за 2 часа.
Этот эксперимент проводил мой коллега и партнер в GameDev направлении, у него огромный технический бекграунд в роли архитектора. По его оценке основной объем денег был потрачен на проверках агентами, они слишком долго ходили вокруг каждой задачи и вносили много корректив. Мой вывод таков: при таком подходе ты даешь агентам свободу, но платишь за это существенными финансовыми затратами и на выходе получаешь непрогнозируемый результат, а последнее здесь - это ключевой момент, ведь 100$ затрат за 2 дня используя Sol 5.6 в рамках чеков программистов это несущественные суммы, а вот получение результатов отличающихся от ожидаемых - это уже совсем другое, то что вынуждает возвращаться к задаче и формировать новый список заданий на корректировку, затем снова возвращаться и проверять полученный результат.
В этом подходе разработчик также вынужден ходить по кругу, как и в приведенном ранее примере с решением технических проблем при работе с AI без архитектурного подхода и поэтапного контроля. Что меня еще здесь настораживает - существенный технический долг, который формируется незаметно: количество кода раздувается, документация вместе с ним, никто не способен прогнозировать рост финансовых затрат на токены моделей AI и время разработчика, которые возникнут через несколько месяцев с таким подходом. Есть очень высокие шансы на то, что такой сценарий приведет к непредсказуемым последствиям.
Однако, я не говорю, что это плохой подход, он просто имеет свои существенные недостатки и дело тут не в качестве AI моделей и HARNESS (Codex, Claude Code и других), ведь они умеют “мыслить”, но как раз эти “размышления” и являются причиной, здесь все как у человека - ему дали задачу, а он просто решил добавить от себя еще много чего, что не просили, а что просили - просто сделал по своему, не так как ожидает клиент.
Выводы
На сегодняшний день разработка любого нового проекта должна быть с использованием AI агентов, какой HARNESS выбрать: Codex или Claude Code, с какой моделью работать - это уже вопрос вкуса и технических нюансов, которые нужно оставить программисту на выбор, это его инструменты и ему принимать решение. Но важно заметить, что, на мой взгляд, уже не стоит выбор между выбором писать все самому или совместно с AI агентом или отдавать все задачи AI агентам, в этом списке пункт “код пишет только человек” - для меня полностью исключен.
Что делать с уже существующими большими проектами? Здесь все сложнее. Если ставить задачу переводить все на “новые рельсы”, необходимо инвестировать деньги в организацию такого процесса для формирования обширной документации, списка скилов (описанные навыки/подходы, которые AI агент должен применять), писать бизнес документацию со всеми бизнес кейсами и описаниями интерфейсов взаимодействия пользователей с веб-системой. Без этих шагов интеграция AI агента в разработку - это просто эксперимент над бизнесом с непредсказуемыми последствиями. А в конечном итоге, если выбрать архитектурный подход с участием инженера, итоговые результаты будут сильно зависеть уже от двух факторов: умения программиста работать с AI агентами и действительно ли программист имеет сильные навыки в построении архитектуры, а что еще важно - не просто в построении, а внесении изменений в нее, с учетом нового участника - AI агента.
Применение роя агентов к существующим большим проектам, даже при условии, что все детально описано и человек будет частично вмешиваться в процесс - это чистой воды эксперимент с непредсказуемыми результатами. И, на мой взгляд, это абсолютно нормальная ситуация, ведь произошла технологическая революция, требующая новых навыков от разработчиков в новых реалиях с новыми проектами.
Подход к поддержке и доработке существующих бизнес-решений должен быть по возможности скорректирован с учетом оценки всех потенциальных рисков внедрения новых инструментов, чтобы обеспечивать принципы стабильности на всем жизненном цикле в рамках LTS.
Обновлено: