Компания Anthropic опубликовала результаты эксперимента, который показывает: искусственный интеллект по‑разному влияет на программистов в зависимости от уровня их навыков. Инструменты с ИИ помогают тем, кто уже хорошо пишет код, но у начинающих разработчиков использование ИИ ухудшает процесс обучения.
Что именно изучали
В эксперименте приняли участие 52 разработчика, в основном джуниоры с опытом Python более одного года. Всех попросили выполнить задачи с использованием библиотеки Trio для асинхронного программирования с которой участники ранее не работали.
Исследователи разделили участников на две группы:
одна половина могла пользоваться инструментами ИИ во время работы над заданиями;
вторая выполняла те же задачи без помощи ИИ.
После этого всем участникам запретили использовать ИИ и предложили пройти контрольный тест из 14 вопросов. Он оценивал понимание кода, способность читать и отлаживать его, писать собственные решения и усвоение концепций библиотеки, с которой они только познакомились.
Результаты оказались неожиданными
Нет значительного прироста продуктивности.
Несмотря на ожидания, что ИИ ускоряет разработку, исследование не обнаружило статистически значимого улучшения по времени выполнения задач у тех, кто пользовался ИИ. Это объясняется тем, что значительное время участники тратили на размышления о том, что и как спросить ИИ, и на формулирование самих запросов.
Ухудшение навыков у тех, кто пользовался ИИ
Самый заметный эффект исследования это разница в результатах теста. Группа, которая использовала ИИ, в среднем показала на 17 % худшие результаты, чем группа без ИИ, особенно в заданиях на отладку кода.
Это показывает, что джуниоры, полагаясь на ИИ при решении незнакомых задач, меньше углубляются в понимание основ, чем те, кто обходит инструменты искусственного интеллекта стороной.
Что это значит для практики
Исследователи подчёркивают, что разработчики сначала должны иметь базовые навыки программирования, чтобы эффективно использовать ИИ‑ассистентов. Если человек до этого не освоил фундаментальные подходы, ИИ может стать не помощником, а заменой мышлению и это замедляет обучение.
Они также оценили вариант использования более автономных ИИ‑агентов (когда система выполняет задачи сама), и пришли к выводу, что потеря знаний в этом случае может быть ещё сильнее, поскольку человеку ещё меньше приходится думать над деталями.
В итоге авторы приходят к довольно мрачному, но честному выводу: если компании будут всё активнее внедрять ИИ‑генерацию кода, то человеческие инженеры могут утратить ключевые навыки валидации и отладки ИИ‑написанного кода, что особенно опасно для областей с высокими требованиями к безопасности.
Сам Anthropic признаёт ограничения
Авторы исследования отмечают, что это первый шаг, а выборка была небольшой, поэтому вопросы остаются открытыми. Компания также напомнила о своих прошлых результатах, где ИИ показывал значительное сокращение времени на задачу (до 80 %), но только когда участники уже обладали соответствующими навыками.
Источник: DevClass