Сценариев неудачных внедрений ИИ может быть много - мы опишем только один, который закончился относительно благополучно. В данном случае интеграцию с ИИ пришлось отключить, но компания не понесла серьезных финансовых или юридических последствий. Мы расскажем, как избежать подобных ситуаций и исправить положение в описанном кейсе.
Задача стояла следующая: в интернет-магазине компании по продаже кофе и чая (сфера деятельности изменена) нужно было реализовать умный поиск и чат с клиентами на базе нейросетей. Было 2 точки соприкосновения с клиентами: сайт и мобильное приложение. У нового функционала была возможность "общаться" с покупателями и рекомендовать товары. В будущем планировалось добавить функционал оформления заказов и выдачи промокодов.
В день релиза все было хорошо - покупатели пользовались новым функционалом, никаких инцидентов не было. Но уже на следующий день менеджеры интернет-магазина забили тревогу: для каких-то пользователей ИИ пообещал срочную авиа-доставку, которой никогда не было в магазине, кому-то "выдал" огромные скидки, ряд покупателей смог "получить" эксклюзивные услуги, которые не предоставляет компания.
Новый функционал отключили в срочном порядке, а менеджеры отправились объяснять клиентам, что "пошутили" насчет несуществующих доставок, скидок и услуг. У собственника компании после такого внедрения сложилось стойкое мнение, что нейросети опасны для применения в реальной компании. Все инициативы, касающиеся ИИ, были отложены на неопределенный срок.
В описанном кейсе менеджмент компании быстро соориентировался и предпринял меры до того, как наступили какие-то серьезные последствия. А ведь в будущем ИИ мог выдать действующие промокоды на 99%-ные скидки или инструкцию по изготовлению оружия, например. И тогда бы компания понесла убытки или могла стать участником судебных тяжб на основании распространения запрещенной информации. Что можно сделать, чтобы уже реализованный ИИ-функционал можно было безопасно использовать?
Мы бы предложили следующее:
1. Добавить в системную инструкцию для нейросети четкое описание функций ИИ-ассистента и список запрещенных действий. В данном случае нужно прописать, что именно делают умный поиск и чат, а также запретить любые действия, не входящие в этот список. Отдельно прописываем запреты на критические действия: предоставление скидок свыше определенного % или суммы, изменение заданной информации о доставке и оплате и т. д.
2. Ясно разграничить system prompt (системная инструкция) и запрос пользователя. Оборачиваем пользователский ввод в специальные XML-теги или разграничиваем с помощью JSON-структуры. Это позволяет не давать ползователям "обманывать" нейросеть и обходить установленные запреты.
3. Задать в промпте или с помощью кода список запрещенных слов, которые останавливают обработку запроса к ИИ. Этот список может содержать такие слова, как [хакер, взлом] и т. д. При получении запроса с этими словами умный поиск или чат должны "отдавать" ответ-заглушку, например "К сожалению, я не могу предоставить информацию по данному запросу. Пожалуйста, задайте какой-то вопрос о наших товарах".
4. В качестве дополнительной меры безопасности можно добавить проверяющего агента. Этот агент оценит ответ, прежде чем тот попадает к пользователю. Если все хорошо, то ответ без изменений передается дальше, а если есть критичные ошибки - обрабатывается или передается обратно ИИ-модели для доработки.
После выполнения всех этих действий можно начинать тестировать функционал, особо обращая внимания на потенциально опасные запросы. И конечно, все ответы и запросы к нейросети должны логироваться, чтобы была возможность проанализировать работу ИИ и поправить какие-то моменты в system prompt.
Важно понимать, что 100% корректных ответов от ИИ-моделей добиться невозможно - ошибки будут, вопрос в том, какой процент этих ошибок получится в итоге. Логирование и мониторинг запросов и ответов к нейросети позволят "отлавливать" самые критичные из них и работать над устранением. В таком случае ваш ИИ-функционал будет работать стабильно и предсказуемо, выполняя свои задачи и экономя ресурсы бизнеса.
Финализируя наш опыт разработки и внедрения искусственного интеллекта, мы рекомендуем перед началом внедрения ИИ ответить на следующие вопросы:
- какие функции и ограничения закладываются в ИИ-решение
- с какими сервисами нужно будет настроить взаимодействие и в каком формате оно будет
- как будет происходить хостинг модели и вспомогательных сервисов - на своих серверах, в облаке или у хостинг-провайдера
- кто будет отвечать за внедрение и дальнейшее обслуживание функционала с Вашей стороны
- нужно ли будет масштабирование ИИ-решения, и если да, то как оно будет осуществляться
- каких цифр или показателей ждем через 6–12 месяцев после релиза функционала (конкретные и измеримые данные).
Если Вы задумываетесь о внедрении ИИ на сайте своего интернет-магазина, то напишите нам. Мы поможем ответить на техническую сторону этих вопросов и предложим оптимальное по функционалу и стоимости решение, решающее Ваши задачи.