Автономність під питанням: у 74% випадків робота ШІ-агентів потребує втручання людини

Агенти для програмування виконують самостійно лише 26,4% завдань, а робота ШІ-агентів у 74% випадків потребує втручання людини. Такі висновки стали результатом роботи з новим бенчмарком Co-Design Bench.

Що показав бенчмарк Co-Design Bench

Новий бенчмарк Co-Design Bench показав, що навіть найкращий ШІ-агент для програмування залишає недоробки в більшості завдань. Тобто за результатами тестування навіть кращі рішення не завершують більшість роботи без додаткових правок.