Неожиданно: нейросети для кода замедляют разработку вместо того, чтобы её…

Неожиданно: нейросети для кода замедляют разработку вместо того, чтобы её ускорять.

Ребята из METR провели исследование. Они пригласили 16 опытных open-source-разработчиков и дали им 246 задач в их собственных репозиториях. Половину задач можно было решать с помощью ИИ, вторую — только вручную.

Результаты получились вот какие:
— Разработчики были уверены, что ИИ ускорил их работу примерно на 20%.
— На деле они работали медленнее на 19%.

На исправление сгенерированного кода уходило слишком много времени. В дело шло лишь 39% генераций, всё остальное приходилось перегенерировать или переписывать руками.
В METR признают, что эти конкретные разработчики могли просто не уметь грамотно писать промпты или быть особенно требовательными к качеству кода в своих проектах.

Если ИИ замедляет твою работу, возможно, ты просто не дорос до того, чтобы его использовать.