Почему ставка на чистые технологии не приносит желаемого результата, когда речь идёт о качественном обучении искусственного интеллекта (ИИ)? Почему чат-боты нас постоянно разочаровывают, когда мы хотим получить от них ответ на сколь-либо сложный вопрос? Что делать, чтобы избежать казусов в отношениях с ИИ и цифровыми помощниками? Читайте в колонке Георгия Зуева, основателя компании Биорг.
Недавно специалисты из Gartner* спрогнозировали, что в 2022 году 70% всех коммуникаций с клиентами в сервисных индустриях будет происходить при помощи ИИ. Предпосылки для этого есть. По оценкам экспертов, уже сегодня около 60% коммуникаций бизнеса с клиентами не требуют участия человека. Все больше банков, телеком-операторов и других сервисных организаций используют искусственный интеллект для обработки входящих запросов. Без машинного обучения и цифровых «личностей» вскоре не обойдется ни один контакт-центр. Однако довести такие коммуникации до совершенства удается не всем.
Почему чат-боты не понимают нас
— Что вы хотите заказать?
— Ничего, хочу узнать, почему мне не доставили мой заказ на Мясную улицу.
— Оформляю мясную пиццу!
— Да нет же! Заказ на Мясную улицу!
Недавно я звонил в один известный банк, чтобы выяснить, можно ли открыть брокерский счет на несовершеннолетнего ребенка. В диалоге с роботом и попытках объяснить ему, что мне не нужен обычный счет или детская карта, было потеряно минут 10. В итоге машина сдалась и переключила меня на оператора.
Почему так произошло? ИИ слышит слово «счёт», и автоматически относит его к правилам открытия счета. При повторном запросе он вычленяет слово «детский» и находит еще одно совпадение — «детская карта». Кажется, что сценарий по моему запросу не был учтен разработчиками нейросети. А в ситуации неопределенности она не смогла принять решение.
Многие пользователи ждут что чат-бот (ИИ, нейросеть) смогут поддерживать с ними осмысленный диалог и отвечать на сложные запросы. А когда понимают, что это не так, принципиально отказываются общаться с цифровым ассистентом и в дальнейшем сразу просят перевести звонок на оператора.
Получить четкий ответ от робота можно только на стандартный вопрос — например, узнать баланс счета и т.д. Если вопрос формулировка звучит иначе, например, «почему на моем балансе минус, если я вчера положил на счет 500 рублей», то с высокой вероятностью бот озвучит либо тот же самый ответ, либо предложит самостоятельно посмотреть баланс в личном кабинете.
Кроме того, ИИ настроен на спокойную и медленную речь, короткие и внятные вопросы. Он плохо справляется с потоком мыслей и фраз. Если он привык, что у него заказывают мясную пиццу, то не поймет, что ему называют Мясную улицу и наоборот.
Почему тупят чат-боты, на которые потратили миллионы рублей? Как это исправить?
Чтобы ответить на эти вопросы, нужно понять, как бот «думает», распознает вопросы пользователей и находит подходящий ответ.
Диалоговые помощники — это софт на основе ИИ, который «понимает» естественный язык и синтезирует речь, чтобы общаться с людьми. Однако сам по себе ИИ не обладает волей, абстрактным мышлением или желанием говорить. Он всё это имитирует. Чтобы ответить на вопрос, нейросеть должна получить входящий сигнал, определить ключевые значения, проанализировать тысячи заложенных в неё сценариев, найти совпадения и выбрать правильный сценарий ответа. Всё это возможно только после качественного обучения. Здесь важны три аспекта:
- Данные. Информация, с которой предстоит работать системе. База знаний для чат-бота создается на основе клиентского опыта. Чем больше клиентских запросов или, в случае с более сложными ИИ-системами, любых других размеченных массивов данных мы загрузим в систему, тем лучше и точнее она будет работать.
- Размеченный массив данных. Необходимо не только собрать как можно больше запросов, но у научить его сортировать их по заранее сформулированным признакам. Так, например, запросы в МФЦ на тему «как прописаться в новой квартире», «как зарегистрироваться в квартире» или «какие документы нужны для регистрации» должны быть отнесены к единому признаку — «регистрация».
- Алгоритмы. Методы для решения поставленной задачи. Они должны быть точными и одновременно вариативными. Так, например, некоторые чат-боты запрограммированы искать ответ самостоятельно и не переключать абонента на оператора. А некоторые просят поставить им оценку, и если в этот момент у пользователя возникает новый вопрос, то ответить на него они уже не смогут, — придется звонить еще раз.
Как правильно разметить данные для ИИ?
Машина не может автоматически понять естественный человеческий язык. Для этого ей нужно дать набор данных и контекст в машиночитаемом формате. Это называется разметкой данных, которую проводят вручную или автоматически. Руками — долго, зато результат получается более точный. Автоматическая разметка на выходе даёт не только много ошибок, но и репутационные риски.
Думаю, многие помнят случай, когда другой известный банк обучил своего диалогового помощника на данных, собранных автоматически из открытых источников в сети. В какой-то момент чат-бот не нашел ответ на поставленный клиентом вопрос о биометрическом доступе и предложил ему… отрезать себе пальцы.
Если бы люди, операторы данных, провели постмодерацию и проверили данные на токсичность, казуса могли избежать.
Для этих целей некоторые компании привлекают к решению задач собственных операторов (если есть свободные ресурсы) или передают работу на аутсорсинг профильным исполнителям. Чем больше проверок проходит датасет, тем точнее будет впоследствии работать искусственный интеллект, тем эффективнее чат-бот сможет обрабатывать запросы клиентов.
Непрерывное обучение в мире машинного обучения
Когда чат-бот приступает к работе, его обучение не заканчивается. Чтобы скорректировать ошибки, нужно анализировать обратную связь, отбирать ситуации, где цифровой помощник не справляется и исправлять ошибки нейросети — добавлять новые массивы данных и прописывать новые сценарии. Нейросеть при помощи подсказок человека обучается с учетом предыдущего опыта. С каждым разом она совершает все меньше ошибок, но все-равно могут возникнуть ситуации неопределенности, элементарные для человека и непонятные для машины.
Кейс №1 Tesla
Хорошим примером качественного обучения и эффективного использования искусственного интеллекта — опыт Tesla, которая работает над совершенствованием механизма автопилотирования своих автомобилей. Для обучения нейросети автопроизводитель использует миллиарды сцен, миллионы часов, тысячи терабайт информации, полученных с радаров машин. Это «слепки» конкретных ситуаций, происходящих на дороге. Анализируя полученные данные, система делает предсказания: куда повернуть руль, нажать газ или тормоз и т. д. Безусловно, процесс автоматизирован, но реальная разметка делается с участием человека. Когда человек садится за руль, его действия тщательно фиксируются. На основе полученной информации формируются датасеты, которые используются для обучения сети. Анализ поступающих с машин пользователей данных позволяет постоянно улучшать работу нейросети и совершенствовать автопилот.
Кейс №2 Google-переводчик
Первоначально Google обошёл ограничение, связанное с ручной разметкой датасетов: компания использовала официальные документы и их переводы от Европейского Парламента и Парламентской ассамблеи Организация Объединенных Наций. Из-за строгости перевода в этих учреждениях эти документы подошли для начального обучения. Но уже на втором этапе разработчики поняли, что для передачи слэнга, культурных особенностей речи и других смысловых нюансов без ручной разметки данных не обойтись. Для этого они через аутсорсинговые компании собрали исполнителей, которые работали над разметкой датасетов для постоянного улучшения переводов. Для дообучения понадобились миллионы размеченных документов, и процесс совершенствования системы — как с помощью технологий, так и с помощью людей – продолжается постоянно.
Как создать и обучить чат-бота с помощью краудсорсинга
Набирать людей для разметки данных, обучать их, выстраивать систему оплаты и контроля – задача не из простых даже для крупных компаний.
Гораздо проще отдать этот вопрос на подряд. Тем более, что за разметкой датасетов, как правило, стоят более сложные задачи – создание цифровых помощников, цифровых двойников, чат-ботов и т.д.
Компания Биорг профессионально занимается разметкой массивов данных (датасетов) и обучением ИИ, используя для этого краудсорсинговую модель, шэринг специалистов. Размеченные данные применяют для оцифровки документов, распознавания и анализа информации.
Вся работа проводится на базе облачной платформы Beorg Smart Vision, собственной разработки компании Биорг. К платформе удаленно подключены тысячи операторов, имеющих навыки разметки и верификации данных и участвующих в проектах компании, в том числе федеральных, где сложность обработки данных превышает возможности нейросетей и требуется подключать человека для верификации сложных данных.
На базе платформы можно решить вопрос создания чат-ботов: силами собственных операторов компания Биорг собирает информацию и делает подробную разметку. Благодаря «крауду» обеспечиваются скорость и полнота собранных данных.
На основе размеченных данных на платформе обучают нейросети. Далее снова «включается» биологическая сеть: операторы анализируют работу искусственного интеллекта и вносят необходимые для исправления ошибок и дальнейшего обучения коррективы.
Платформа может быть интегрирована в работу любого контакт-центра: в случае, если цифровой помощник не справляется с текущей задачей, коммуникацию с клиентом может «подхватить» любой их обученных операторов.
Ключевое преимущество комбинации искусственных и биологических нейросетей – это гарантия качества данных. Операторы верификации данных нивелируют ошибки нейросетей, параллельно дообучая их. При этом никакого внедрения на стороне заказчика не требуется — к платформе можно подключиться через облако и платить не за лицензии, а за полученный результат.
_______________
* https://www.gartner.com/smarterwithgartner/top-cx-trends-for-cios-to-watch