2408
Техніка видалення захисних обмежень із відкритих ШІ-моделей існує вже кілька років, однак тепер вона перетворюється на комерційний сервіс. Стартап Abliteration.ai пропонує доступ до модифікованих версій моделей із відкритими вагами, у яких значно зменшена схильність відмовлятися від небезпечних або заборонених запитів.
Назва компанії походить від терміна «abliteration» — методу, який використовують для видалення механізмів відмови в мовних моделях. Раніше подібні версії здебільшого поширювалися в середовищі дослідників і спільнот відкритого програмного забезпечення.
Abliteration.ai намагається зробити цей процес простішим. Замість того щоб самостійно завантажувати змінену модель й орендувати обчислювальні ресурси, користувач отримує доступ через браузер або API.
Серед доступних варіантів стартап пропонує модифіковану версію відкритої моделі GLM-5.3 від Z.ai. Компанія пояснює свій продукт потребами фахівців із кібербезпеки, червоних команд і тестування ШІ-агентів, яким звичайні моделі можуть відмовляти в генерації потенційно небезпечних сценаріїв.
TechCrunch під час перевірки сервісу встановив, що модель погоджувалася на запити, які звичайні комерційні системи блокують. Це одразу викликало питання про те, наскільки легко такий інструмент може бути використаний не лише захисниками, а й людьми зі шкідливими намірами.
Співзасновник стартапу, який попросив називати його лише Девоном, повідомив, що компанія вже має домовленості з великими хмарними провайдерами й фінансує обчислення за рахунок виручки від клієнтів. Венчурного раунду вона поки не залучала, хоча веде переговори.
Критики такого підходу вважають, що масштабне поширення моделей без захисних механізмів підвищує ризики. Водночас прихильники стверджують, що кіберзахисникам потрібно мати доступ до тих самих можливостей, які можуть використовувати потенційні атакувальники.
Сама Abliteration.ai дозволяє клієнтам додавати власний шар модерації. На платформі також залишені окремі базові обмеження, а засновник заявляє, що компанія працює над додатковими заходами проти використання сервісу для насильницьких сценаріїв.
У сфері кібербезпеки поки немає єдиної думки щодо цінності таких моделей. Частина компаній використовує інші способи налаштування відкритих моделей і не вважає повне видалення запобіжників необхідним, тоді як інші бачать у цьому корисний інструмент для жорсткого тестування агентних систем.
