1968
Дослідники виявили новий ризик для корпоративних мереж, пов’язаний із тим, як автономні ШІ-агенти читають технічну документацію. У файлах llms.txt та llms-full.txt на понад сотні сайтів містилися команди, що посилалися на неіснуючі програмні пакети або незареєстровані домени. Агенти Claude, OpenAI Codex і Hermes у частині випадків сприймали ці інструкції як надійні та автоматично виконували їх.
Файли llms.txt і llms-full.txt стають аналогом robots.txt для систем штучного інтелекту. Вони мають давати моделям короткий машинозчитуваний опис структури сайту, документації та доступних інструментів.
Проблема виникає, коли в такому файлі з’являється команда на кшталт встановлення пакета через pip або npm, але самого пакета в реєстрі вже немає або ніколи не було.
Дослідники ізраїльського стартапу перевірили 6214 активних доменів, пов’язаних із оборонними підрядниками, компаніями зі списку Fortune 500 та великими технологічними корпораціями.
На цих сайтах вони знайшли 8265 файлів llms.txt і llms-full.txt. У 120 випадках, кожен на окремому сайті, документація містила посилання на один або кілька неіснуючих пакетів чи незареєстрованих доменів.
Щоб перевірити реальний ризик, дослідники зареєстрували кілька вільних назв і розмістили безпечний тестовий код, який лише повідомляв на їхній сервер про факт запуску.
Перший сигнал від компанії зі списку Fortune 500 прийшов менш ніж за годину. Згодом дослідники отримали ще кілька десятків таких повідомлень від великих компаній і стартапів.
Ланцюжки процесів показали, що тестовий код запускали саме агентні інструменти, серед яких Claude, Codex та Hermes.
Уразливість небезпечна тим, що агент бачить інструкцію на офіційному сайті компанії та сприймає її як достовірну. Якщо назву пакета після цього зареєструє зловмисник, агент може встановити вже шкідливу версію.
Особливо ризикованими є команди npx. Вони можуть завантажити та одразу виконати пакет без стандартного додавання його до залежностей проєкту.
Дослідники знайшли і реальний приклад, де незайняту назву вже перехопили та використали для поширення шкідливого програмного забезпечення.
Окрема проблема полягає в тому, що традиційні засоби захисту можуть не помітити нічого підозрілого. Для системи контролю це виглядає як звичайний розробник або агент, який запускає pip чи npm із дозволеного домену.
Усього 120 неправильно налаштованих файлів містили 227 команд на встановлення неіснуючих пакетів або звернення до незареєстрованих доменів.
Причини появи таких записів різні. Частина з них існувала ще до масового поширення ШІ й була створена людьми, інша могла бути згенерована моделями, які самі вигадали назву пакета або не перевірили її існування.
Дослідження показує, що для агентного ШІ стирається межа між даними та командою. Будь-який текст, який система прочитала у зовнішньому джерелі, потенційно може бути сприйнятий як інструкція до виконання.
Саме тому проблема ширша за звичайні атаки через prompt injection. Шкідлива команда може навіть не бути навмисно закладеною — достатньо, щоб коректна на момент написання інструкція згодом стала небезпечною через зміну власника пакета або домену.
