Исследование CodeRabbit: код ИИ в 1,7 раза хуже человеческого по качеству

Исследование State of AI vs Human Code Generation показало, что ИИ-код уступает человеческому в 1,7 раза, содержит больше ошибок и уязвимостей.

Масштабное исследование платформы CodeRabbit под названием State of AI vs Human Code Generation показывает: путь до автономного ИИ-программиста ещё долог. Анализ 470 реальных пулл-реквестов с GitHub (320 от ИИ и 150 от людей) выявил, что код, сгенерированный нейросетями, в среднем в 1,7 раза уступает по качеству коду, написанному человеком.

Результаты, о которых сообщает 4PDA, выявляют системные слабости машинного интеллекта. Логические ошибки в ИИ-коде встречаются на 75% чаще, уязвимостей — в 1,5–2 раза больше, а его читаемость оказалась в три раза хуже. Это прямой удар по эффективности командной работы и безопасности итоговых продуктов. Производительность также страдает: в ИИ-решениях обнаружено почти в 8 раз больше неэффективных операций ввода-вывода, что тормозит приложения и повышает нагрузку на ресурсы.

Эксперты видят корень проблемы в «слепоте» ИИ. Нейросеть, в отличие от живого разработчика, лишена доступа к критически важному контексту: бизнес-логике проекта, архитектурным нюансам и уже сложившимся в репозитории паттернам. В результате ИИ генерирует технически работоспособный, но часто избыточный и плохо интегрируемый код, который требует серьёзной переработки.

Таким образом, исследование CodeRabbit ставит под сомнение готовность ИИ-инструментов к автономной работе. На текущем этапе они могут служить лишь вспомогательными средствами для программистов, но не их заменой.