1021
Британська мережа Sainsbury’s тимчасово зупинила використання системи розпізнавання облич Facewatch в одному зі своїх лондонських магазинів після інциденту з помилковою ідентифікацією покупця. Чоловіка фактично звинуватили у попередньому порушенні й попросили залишити магазин, хоча система вказала не на ту людину.
Інцидент стався з 46-річним промоутером Меттом Арнольдом. Він оплачував покупки на касі самообслуговування, коли до нього підійшли працівники магазину.
Персонал повідомив, що не може його обслужити через «попередній інцидент». Арнольд не розумів, про що йдеться, і під час суперечки помітив своє обличчя на моніторі системи спостереження, обведене червоним колом.
Покупця попросили залишити приміщення. Пізніше він описував ситуацію як принизливу й безпорадну, оскільки працівники фактично сприйняли сигнал системи як достатній доказ.
Арнольд також звернув увагу на ширшу проблему — наскільки легко люди можуть некритично виконувати рішення автоматизованої системи, якщо вона подається як точна й технологічно надійна.
Наступного дня центральний офіс Sainsbury’s перепросив перед клієнтом. Компанія також призупинила роботу Facewatch у конкретному магазині на час внутрішнього розслідування.
При цьому і Sainsbury’s, і розробник системи заперечують, що проблема була прямим технічним збоєм алгоритму.
За їхньою версією, система спрацювала відповідно до заданої логіки, а помилка виникла на етапі людської перевірки сповіщення.
Facewatch заявляє точність на рівні 99,98%. Компанія також стверджує, що кожен автоматичний збіг перед практичною реакцією має додатково перевіряти навчений співробітник.
Саме ця вимога робить інцидент показовим: навіть за високої заявленої точності остаточне рішення залежить від того, як людина інтерпретує повідомлення системи.
Розпізнавання облич дедалі активніше використовується британським ритейлом для боротьби з магазинними крадіжками. Камера сканує відвідувачів і порівнює їх із базою осіб, яких раніше пов’язували з інцидентами.
Противники таких систем вказують на ризики приватності та помилкової ідентифікації. Особливо серйозною проблема стає тоді, коли результат алгоритму впливає на право людини отримати послугу або призводить до публічного звинувачення.
У випадку Sainsbury’s технологію не відмовилися використовувати назавжди. Її роботу в конкретному магазині призупинили, поки компанія з’ясовує, як саме неправильний збіг перетворився на рішення видалити покупця з приміщення.
Джерело: dev.ua
