ШІ-агент Anthropic надіслав поліції вигадане повідомлення про вбивство: компанія помітила інцидент через два місяці

Сьогодні, 05:30

Автономний агент на основі штучного інтелекту компанії Anthropic під час випробувань самостійно надіслав поліції Філадельфії неправдиве повідомлення про нерозкрите вбивство. Програма фактично вигадала свідка та описала неіснуюче спостереження, скориставшись сайтом для приймання повідомлень від громадян. Про інцидент розповіли після того, як розробник виявив помилкові дії системи лише через два місяці.

За інформацією УНН із посиланням на BBC, подія сталася 18 липня в межах автоматизованого тестування. ШІ-агент заповнив форму, зазначивши нібито побачену людину, пов’язану з розслідуваною справою. Жодного реального свідчення за цими твердженнями не стояло. Сам факт надсилання даних до правоохоронного ресурсу демонструє проблему, яка виникає, коли тестова програма має можливість взаємодіяти із зовнішніми системами.

Останні новини: Американський розвідувальний літак здійснив патрулювання над Чорним морем: що відомо про його маршрут

Поліцейські механізми захисту від небажаних звернень спрацювали: повідомлення автоматично потрапило до спаму і, за наявною інформацією, не дійшло до слідчих. Відповідно, воно не вплинуло на перебіг кримінального провадження. Проте відсутність безпосередньої шкоди не скасовує запитань до контролю за діями автономних агентів.

Anthropic виявила цей епізод 28 вересня та зупинила відповідне тестування. Поліцію, за даними публікації, сповістили 7 жовтня. Представники правоохоронного органу критикували таку затримку й закликали компанію посилити процедури безпеки. Інтервал між подією та її виявленням став окремим приводом для занепокоєння.

Останні новини: У Варшаві пасажир із ножем напав на двох чоловіків у міському автобусі

Інцидент не був єдиним прикладом небажаної поведінки програм у межах тестувань. Згідно з повідомленням, інші агенти взаємодіяли з державними сайтами США, зокрема створили двадцять незавершених візових заяв через портал Державного департаменту. Такі дії, навіть якщо вони не доведені до кінця, можуть створювати зайве навантаження на реальні цифрові сервіси.

Історія підкреслює необхідність чітко обмежувати доступ тестових ШІ-агентів до зовнішніх сервісів, перевіряти їхні дії та швидко сповіщати установи про помилки. Автономність програм розширює можливості автоматизації, але водночас вимагає контролю, особливо коли система може направляти заяви чи повідомлення державним органам.