Исследователи из Facebook и Университета Мэриленда создали толстовки, которые обманывают алгоритмы наблюдения. Они называют их «плащами-невидимками» для ИИ.
Принцип действия новой разработки основан на особенности алгоритмов компьютерного зрения, которая была обнаружена около пяти лет назад. Эти системы используют простой, даже несколько примитивный подход к идентификации объектов: они ищут в новом изображении наборы пикселей, которые похожи на увиденные до этого.
В отличие от людей, которые могут устанавливать сложные взаимосвязи при изучении нового, алгоритм просто сопоставляет новые данные с образцом. И если вы знаете шаблон, который он ищет, вы можете его скрыть.
Чтобы создать футболки, обманывающие системы наблюдения, команда Facebook и Университета Мэриленда обработала около 10 тысяч изображений людей с помощью алгоритма обнаружения. Когда ИИ находил человека, изображение заменяли, случайным образом искажая перспективу, яркость и контраст. Еще один алгоритм определял, какое из изменений эффективнее всего обманывало систему.
Затем рандомизированные паттерны напечатали на физических объектах — плакатах, бумажных куклах и, наконец, на одежде — и выяснили, что алгоритмы по-прежнему их не распознают. Однако исследователи отметили, что показатели реальных тестов были ниже по сравнению с виртуальными. Когда человек надевает толстовку, вероятность того, что система видеонаблюдения его обнаружит, снижается с почти 100% до 50%.
Фото: Unsplash
Это исследование — продолжение работы, начатой специалистами факультета информатики Университета Мэриленда, некоторые из которых присоединились к Facebook в 2018 и 2019 годах. Ранее лаборатория изучала, как те же принципы позволяют обманывать алгоритмы, противодействующие нарушению авторских прав — например, на YouTube.
Так ученые хотели привлечь внимание к тому, насколько легко уклониться от подобных систем.Это исследование может быть полезно и для Facebook. Систему удается обманывать, потому что алгоритмам распознавания изображений не хватает контекста и понимания анализируемых изображений.
Выявление слабых мест системы — первый шаг к повышению ее надежности. Это начало процесса, который не только сделает алгоритмы более устойчивыми к атакам, но и поможет им стать более точными и гибкими. Другими словами, это исследование призвано не уничтожить систему, а повысить ее эффективность.
На самом деле уже сейчас футболка или толстовка с принтом, обманывающим алгоритмы, вряд ли поможет обойти технологию наблюдения — это показали результаты тестирования популярных систем с открытым исходным кодом. Кроме того, они не защищают от программ распознавания лиц, которые, например, используются в общественных местах для подсчета количества людей. Но сам факт того, что люди пытаются обойти современный алгоритм с помощью простого предмета одежды, говорит о меняющемся ландшафте в этой сфере. И даже если эта хитрость не сработает, толстовка, защищающая от систем видеонаблюдения, может стать отличной темой для разговора.
Фото на обложке: Rageon.com