Отравление ИИ (AI poisoning) — это кибератака, при которой злоумышленники намеренно искажают или внедряют ложные данные в обучающую выборку искусственного интеллекта, чтобы заставить его ошибаться.
Всё для быстрого старта в email-маркетинге:
- блочный редактор и 200 шаблонов;
- ИИ-помощник;
- 1500 писем бесплатно.
Если модель учится на неверных или специально искаженных данных, она начинает выдавать неверные ответы, принимать опасные решения или действовать в интересах того, кто эти данные подбросил.
Отравление может быть точечным, когда злоумышленник старается испортить один ответ на конкретный запрос, или масштабным, когда он пытается изменить логику работы всей модели.
Интересный факт
Принцип отравления ИИ можно использовать не только для атак, но и для защиты контента. Так работает Nightshade — бесплатный инструмент, который помогает художникам защищать свои работы от использования для обучения моделей без их согласия. Команда профессора Бена Чжао из Чикагского университета сделала его общедоступным 23 января 2024 года.
Программа обрабатывает изображения: искажает их на уровне пикселей, но так, чтобы изменения оставались незаметными для человека. Например, на исходном изображении была собака. После обработки человек по-прежнему видел собаку, а ИИ распознавал на картинке кота.
Алгоритмы Midjourney или OpenAI скачивали такие измененные картинки из баз данных для обучения моделей и начинали выдавать неверные ответы. На запрос «нарисуй собаку» ИИ присылал котов с коровьими копытами. Это спровоцировало масштабную технологическую гонку вооружений. ИИ-компании стали тратить миллионы на создание алгоритмов-детоксов для очистки своих датасетов от подобных отравлений.
Пример того, как Nightshade отравляла контент. В верхнем ряду размещены исходные картинки, а в нижнем — отредактированные изображения
В маркетинге злоумышленники могут влиять на данные, с которыми работают ИИ-системы: обучающие наборы, информацию из интернета, результаты аналитики и отзывы.
Не все такие действия относятся к отравлению обучающих данных, но результат похож — алгоритм получает искажённую информацию и делает неверные выводы.
Возможные сценарии:
- Манипуляция поисковыми ИИ-ассистентами. В результате на запрос пользователя нейросеть выдает данные из сети, принимая их за мнение большинства.
- Саботаж систем ИИ-аналитики конкурентов. Компании намеренно публикуют на своих сайтах ложные данные или скрытый для человека текст. В итоге ИИ конкурента собирает искаженную информацию и на основе этого строит неверные прогнозы.
- Подрыв репутации конкурентов. Компания организует массовый приток негативных отзывов о продукте конкурента. Рекомендательные алгоритмы онлайн-магазинов и маркетплейсов пессимизируют карточку товара и перестают показывать её покупателям.
Главные мысли
