Разработчики, использующие Copilot, статистически лучше в последнем исследовании GitHub

В недавнем исследовании, проведенном компанией GitHub, GitHub Copilot был протестирован, чтобы определить, помогает ли ИИ-помощник в написании кода разработчикам писать код, который объективно лучше или хуже, чем код, написанный без ИИ. Для этого GitHub работал с 202 Python-разработчиками, 104 из которых писали код с помощью Copilot, а 98 - без него. Разработчикам было поручено создать веб-сервер отзывов о ресторанах и оценить функциональность с помощью 10 модульных тестов.

Для каждой из завершенных работ не менее десяти разработчиков строка за строкой просматривали код, не зная, был ли он написан с помощью ИИ или без него. Все 1 293 рецензии оценивали читабельность, надежность, сопровождаемость и краткость кода. Кроме того, рецензенты оценивали, следует ли в конечном итоге одобрить код.

Результаты исследования говорят в пользу использования ИИ при написании кода: GitHub выделил четыре ключевых вывода.

1. Copilot помогал разработчикам проходить все десять модульных тестов на 56% чаще, чем разработчики без ИИ, что привело к увеличению функциональности.
2. Код с помощью Copilot более читабелен и помогает разработчикам написать в среднем на 13,6% больше строк, не сталкиваясь с проблемами читабельности.
3. Читабельность, надежность, сопровождаемость и краткость улучшились в среднем на 3,29%, причем краткость получила самый значительный прирост - 4,16%.
4. Код с помощью второго пилота одобрялся на 5 процентов чаще, чем код без использования искусственного интеллекта. Это означает, что требуется меньше времени, прежде чем код будет готов к производству.

Более подробную информацию о методологии и результатах исследования Вы можете найти в официальном блоге GitHub по ссылке ниже.