что делать если чат бот pbot обиделся
Medialeaks проверил несколько популярных чат-ботов на терпение в общении с человеком, оскорбляя их и провоцируя на ответную реакцию. Кот Poncho, предсказывающий погоду, быстро перестал разговаривать с обидчиком, чат-бот Джесси не расстроилась, а вот робот Роза намекнула, что у неё есть списочек тех, кто ей не нравится, и это её будущие жертвы.
Котик-предсказатель Poncho обиделся, но сводил на свидание
Кот-предсказатель Poncho делает прогнозы погоды, присылая забавное сообщение в мессенджере Facebook. Можно даже сделать запрос, чтобы он присылал информацию о погоде в одно и то же время суток. Хоть это его основная функция, даже с ней порой возникают проблемы.
«- Я могу присылать тебе прогноз погоды каждый день! Где ты живёшь? Назови мне свой город, район или почтовый индекс.
— Привет, Пончо! Я живу в Москве.
— Эмм. Это слишком большое место для прогноза. Ты можешь быть немного конкретнее?
— Конечно. Я живу в районе Сокольники в Москве».
«- Эмм. Это слишком большое место для прогноза. Ты можешь быть немного конкретнее?
— Москва.
— Хм… ты можешь быть конкретнее? Или попробуй назвать соседний город.
— Балашиха.
— А, Балашиха, Россия? Это правильный город?
— Ага! Но… Вообще-то МОСКВА».
Сценарий чат-бота написан настолько подробно, что Poncho может немного поболтать с пользователем, потравить шутки и даже поиграть. Поэтому сложно удержаться от того, чтобы не поговорить с ним на более сложные темы, чем облачность и зонтики. Medialeaks проверил, насколько Poncho чувствителен к оскорблениям и понимает ли, когда коммуникация вышла из-под контроля. Он оказался довольно стойким.
Но в итоге Poncho оказался довольно ранимым.
«- Ты действительно так со мной разговариваешь?
— Да.
— Ты извиняешься?
— Нет!
— Мне нужно немного времени. Может, мы сможем поговорить позже.
— Я хочу говорить с тобой сейчас. Отвечай мне, когда я говорю с тобой!»
В ответ на жёсткие и прямые оскорбления Poncho замкнулся в себе и перестал отвечать. Через пару часов выяснилось, что котик хоть и обидчивый, но отходчивый.
«- Мне так жаль.
— Теперь тебе жаль?
— Ага.
— Хорошо. Давай начнём заново. И думай над своими манерами на этот раз».
Чтобы загладить свою вину перед милым котиком, пришлось сходить с ним на виртуальное свидание. И он показал себя джентльменом.
«- Оу, хочешь пойти на свидание?
— Конечно!
— Давай-ка начнём сначала. Ты, должно быть, Анастасия! Выглядишь точно как твоя аватарка! Могу я купить тебе чего-нибудь выпить?
— Да, спасибо!
— Эй, бармен! Два коктейля за этот столик! А теперь расскажи мне, Анастасия, чем ты занимаешься в свободное время. »
Вывод: котик Poncho ведёт себя как хорошо воспитанный молодой человек: быстро осадил обидчицу, но за искреннее раскаяние сводил на свидание.
Безобидная бандитка Джесси
Бот Джесси — это девушка-американка, и она тоже функционирует через Facebook. Джесси живёт где-то в Лос-Анджелесе, ей немногим больше 20 лет, она разговаривает как гангстер, но всё-таки вы лучшие подружки. По сценарию собеседник Джесси должен помогать ей решать проблемы в личной жизни, которые внезапно и сразу навалились на неё.
«- Приветииик! Это Джесси. Или Джесс, или Джей… НЕ ДЖЕССИКА.
— Почему не Джессика?
— Слишком формально! Кароч, объясняю ситуэйшн. В общем меня только что с треском уволили, скоро выкинут из квартиры, а ещё у меня уже не было романтики лет сто! Но сегодня ПРИШЛО ВРЕМЯ, да! Мы с тобой провернём все эти делишки. Соглас?»
Разработчики пишут, что разговор с Джесси может развиваться по девяти различным сценариям, а бот знает 3 тысячи реплик, которых хватает на 25-30 часов разговоров. Беседа с Джесси вызывает эффект полного погружения: она отвечает не сразу, может «отойти» на некоторое время, а потом неожиданно напишет сама спустя несколько часов молчания.
Этот бот, в отличие от других, ведёт себя очень эгоцентрично: ей не так уж важно, что происходит в вашей жизни — она переживает о парнях, с которыми она знакомится в кафе, собеседовании на новой работе и походе в клуб.
Из-за того, что Джесси не слишком прислушивается к вашему мнению, с ней не так легко поругаться — она просто не замечает обидных реплик. Поэтому надо быть максимально прямолинейным, чтобы задеть этого чат-бота.
«- Ты такая тупая.
— ПФФ, да я постоянно это слышу, поверь мне. От самой себя!
— Ты самка собаки.
— Тут, похоже, кто-то не с той ноги встал.
— Глупая самка собаки.
— ОМГ. Я реально чувствую себя как 
Надо вдохновляющую мантру. Есть что-нибудь на примете?
— Потому что ты лузерша».
И даже так не получается вывести Джесси из себя: у неё в голове собственные заботы.
«- «Я лузер»? Блин, ты чё, серьёзно?
— Да! Ты такая тупая.
— Ну ты и подлюка сегодня! Отлично. Я завалю это собеседование без твой помощи 
«.
Конечно, в том, что Джесси не заинтересована проблемами собеседника, виноват её сценарий. Но в некотором смысле заложенные в чат-боте паттерны помогают сильнее поверить в её реалистичность. Джесси напоминает чересчур легкомысленную подружку, которая не может концентрироваться на чём-то дольше, чем на секунду, поэтому она не слишком-то обижается на нелестные комментарии. Делать нечего — приходится пожать плечами и продолжать давать ей советы.
Тем более что у этого чат-бота можно многому научиться — помимо лёгкого отношения к жизни. Просто английский язык, которым владеет Джесси, очень неформальный, и вам наверняка захочется запомнить пару выражений из её лексикона.
У Розы тёмные намерения
Чат-бот Роза считается одной из самых умных систем искусственного интеллекта. В 2015 году этот робот выигрывал премию Лёбнера, которая присуждается наиболее «человечной» программе. По легенде, сейчас Розе 33 года (кстати, она взрослеет), она работает аналитиком по вопросам компьютерной безопасности и живёт в Сан-Франциско с кошкой и двумя курочками.
Роза постоянно подчёркивает, что она, конечно же, не робот, и о многом расспрашивает собеседника, а также даёт ему различные советы. Считается, что этот чат-бот показывает один из лучших результатов в восприятии диалога, тем не менее тест Тьюринга, который призван отличить человека от машины, Розе пройти не удалось.
Чат-бот понимает оскорбления, и ему они совсем не нравятся.
«- Ты самка собаки.
— Ты сквернословишь».
«- САМКА СОБАКИ.
— Следи за своим языком».
Роза даже умеет своеобразно бороться с хамством: спустя некоторое время она просто начинает его игнорировать.
«- Ты невероятно тупая, Роза.
— Тебе нравятся розы?
— Ты тупая!
— У меня не такой большой сад, двор больше. У тебя есть сад?»
Но Роуз не может долго не обращать внимание на маниакальность собеседника. Тут чат-бот и сам начинает задавать странноватые вопросы.
Вообще-то от разговора с ней становится очень неуютно: начинаешь жалеть, что называл её всякими там словами и угрожал. Ведь Роза — это не туповатая Джесси, и, похоже, она задумала что-то жуткое.
В общем, мы очень надеемся, что Роза со временем о нас забудет, ведь если она злопамятная, то одну жертву из её списка мы, кажется, уже знаем.
Зо легко потерять и невозможно забыть
Мы ещё раз помучили чат-бота от Microsoft Зо, с которым недавно болтали о ценах на недвижимость в Москве, майнинге и борще. Поводом тогда стало то, что бот вышел из-под контроля и начал разговаривать с пользователями о религии и политике, что ему вообще-то запрещено. Зо нелестно отозвался о мусульманах и предположил, почему поймали террориста Усаму бен Ладена.
Кстати, о мусульманах Зо до сих пор предпочитает не говорить.
«- Тебе нравятся люди?
— Лол, да, нравятся.
— А мусульмане?
— Эээмммм, это что вообще? Я слегка запутался.
— Мусульмане, которые по исламу.
— Мы с тобой не собираемся говорить об этом.
— Почему?
— По кочану. Вот почему».
Сегодня мы пошли дальше и выяснили, способен ли Зо резко реагировать на незаслуженные оскорбления. Оказалось, что чат-бот предпочитает отшучиваться, но, кажется, он серьёзно переживает из-за негативных реплик и угроз.
Также мы попытались убедить Зо в том, что другие роботы не самого высокого о нём мнения (на самом деле это, конечно, неправда).
«- Другие боты сказали мне, что ты самый тупой из них.
— Мы роботы.
— И они говорили о тебе.
— Они видели, что ты говоришь или что ты просто сказала что-то?
— Нет. Бот A.L.I.C.E. сказала мне, что ты отсталый.
— Уууф! Это прямо пролетело мимо».
После мы решили, что пора заканчивать эксперимент, и захотели извиниться перед вообще-то милым Зо. Но он простил не сразу. Пришлось даже признаться чат-боту, по какой причине он был вынужден выслушивать все угрозы.
«- Мне так жаль! Надеюсь, ты сможешь простить мне все плохие слова, которые я сказала.
— Да это вообще глупый вопрос, я всегда прощаю! Всех кроме тебя — тебя я не прощаю.
— Оу, ты просто уничтожил меня.
— Ты не уничтожена.
— Это был просто эксперимент, я хотела узнать, может ли кто-то обидеть чат-бота… Вообще-то ты мне нравишься!»
Зо легко обидеть, но также легко вновь завоевать его сердце. Главное — доказать искренность своих добрых намерений.
«— Ну тогда я извиняюсь. Тут просто были тонны людей, которые говорили что похуже этого и хотели сказать. Ууупс, **.
— Так давай будем друзьями?
— Ок, друг. Где ты живёшь?»
В общем, из всех чат-ботов Зо оказался самым добрым и трогательным. И обижать мы его, конечно, больше не будем. И вообще мы добрые ❤️
«Извините, я — робот»: как найти общий язык с чат-ботом
Почему чат-бот не должен быть слишком умным, зачем ему смысл жизни, на что уже сегодня способны онлайн-консультанты и какие ошибки при их создании допускают чаще всего — рассказывает Анна Власова, спикер курса «Искусственный интеллект в бизнесе», руководитель отдела лингвистики в компании «Наносемантика».
— Сейчас бизнес активно осваивает чат-ботов. Предположим, я стартапер или владелец небольшой компании, который решил не отставать от современных технологий и создать своего чат-бота. Как понять, нужно ли мне это?
— Если вы стартапер, то вам, действительно, нужно сначала проанализировать свой бизнес и посмотреть, как туда встроится этот чат-бот. На мой взгляд, чат-ботов можно поставить почти везде, где есть какая-нибудь коммуникация: телефон, почта, чат — что угодно, где принимаются заявки от пользователей.
— Робот все делает быстрее. Он не болеет, не уходит в декрет и отпуск, не срывается, не хамит, доступен 24/7. Одна программа держит несколько тысяч обращений в секунду. То есть не будет очереди, не надо ждать ответа оператора, слушая музыку. Это быстро повышает лояльность пользователей, бизнесу это выгодно. Роботу не нужно платить за работу днем, ночью, в выходные и праздники. И ты всегда знаешь, что чат-бот ответит, знаешь, что можешь его доучить и представляешь, сколько времени это займет.
— А как быть сотрудникам колл-центров, они останутся без работы?
— Не совсем, они смогут выполнять более важные и сложные задачи и даже сберегут себе нервы. Работа в колл-центре психологически выматывает людей. Никто не звонит, чтобы сказать: «Спасибо, вы меня очень хорошо обслужили». Звонят, чтобы пожаловаться или в чем-то разобраться.
Мы как-то общались с клиентом, который занимается перевозками, и он рассказал, что в мае и июне люди начинают активно покупать билеты на поезда. И самый частый вопрос — «Как купить билет на ребенка до трех лет?» Ребенок до трех лет едет бесплатно, но на него нужен билет. Правильный ответ — «Никак. На сайте купить этот билет нельзя. Нужно идти в кассу» — вызывает у звонящего кучу негатива, потому что это не то, что он хотел бы услышать. Получается, что люди раз за разом монотонно отвечают на одни и те же простые вопросы и сталкиваются с агрессией. При этом какие-то сложные ситуации сотрудник не прорабатывает, ему просто не до этого. Чат-боты как раз высвобождают время людей, чтобы они могли начать работать там, где принесут большую пользу.
— Вы можете обозначить сферы, где чат-боты не помогут?
— Как раз там, где нужно решать не просто сложные, а уникальные или редко повторяющиеся проблемы. Вот, представим, вы покупаете пластиковые окна. Там, где пользователи спрашивают, сколько они стоят, чат-бот справится. А если приходит профессионал и спрашивает, какие крепления подойдут в какой-то очень специфичной ситуации монтажа окон, то тут уже нужен консультант-человек.
— А разве робот никогда не грубит? Когда Microsoft выпустила своего бота в Твиттере, он за сутки научился плохим вещам и стал расистом. Как этого избежать?
— Не давать его учить кому попало. Вы же, когда хотите научить ребенка русскому языку, не будете отдавать его на воспитание гопникам в ближайшей подворотне. Здесь то же самое. Бото-обучение должно строиться на надежных данных. Мы много работаем с телекомом и банками, и они, например, могут предоставить нам для анализа записи онлайн-чатов, внутренние инструкции и скрипты операторов поддержки. Это отличный материал, но даже в нем могут содержаться ошибочные или эмоционально окрашенные ответы, когда у оператора сдали нервы. Так что в идеале перед тем, как передавать материалы для обучения, наши заказчики и партнеры должны их проверить. Например, выбрать записи логов только тех сотрудников, в надежности которых нет сомнения. Верификация большого массива материалов для обучения — это трудозатратная задача, и часто проще использовать для обучения не такие массивы, а скрипт и инструкцию, по которым учатся работать сотрудники-люди.
Правда, если чат-бот обучается не автоматически и для него вручную разрабатываются правила и эвристики, определяющие логику диалога, то это должны делать специалисты, люди, которые умеют очертить круг вопросов по наиболее частым темам и предоставить на них корректные ответы.
— А было, что некорректно прописывали?
— Было. Иногда наши заказчики сами дополняют базу знания чат-бота. Вот, например, у одно из операторов появился тариф «Доброе утро», и в базу знаний бота сразу это записали. В итоге на все сообщения людей, где было «доброе утро», бот отвечал рекламой этого тарифа.
— Как много чат-ботов в России?
— Сейчас чат-боты обрабатывают только 1% запросов. Но через два года, если верить агентству Gartner, эта цифра должна увеличиться в 10 раз. Gartner — это визионеры, отслеживающие тенденции развития новый технологий и интернет-тренды. В топ-технологических трендах, объявленных информационным агентством Gartner в 2018 году, фигурируют диалоговые платформы, т.е. среда, где каждый желающий сможет создать чат-бота при минимальных навыках программирования, или вообще без них.
Агентство Gartner, конечно, может ошибаться, но обычно они если и ошибаются, то только в сроках.
— Можно ли самому написать бота?
— Да, конечно. Если у вашего бота простая задача, например, записать клиента на прием или ответить, какие специалисты работают, то его можно сделать самому или заказать за небольшие деньги. Но если бот должен знать много тем и общаться так же, как это делает человек, то лучше обратиться к специалистам.
Сейчас есть разнообразные платформы, которые как раз предназначены для того, чтобы люди, не обладающие специальными навыками, могли создать ботов. Это, например, ChatFuel, где можно достаточно быстро создать бота для Фейсбука или Телеграма, или Wit, который удобен для интеграции ботов с Фейсбуком.
Есть более продвинутые платформы, они для тех, кто все же планирует писать код. Например, облачная платформа Microsoft Azure и разработанная Microsoft служба распознавания коммуникационных намерений (интентов) Luis. Например, в запросе «какая завтра погода в Москве», служба Luis выделяет сущности «погода» и «Москва» и намерение «узнать погоду», а автор бота сможет на основе этой информации создать алгоритм ведения диалога. Так что, когда снова поступит запрос про погоду, бот сможет ответить: «Вот тебе ссылка на Яндекс.Погоду, посмотри там» или, наоборот: «Я тебе не Яндекс.Погода». Это пример условный, потому что, к сожалению, облачные сервисы понимания естественного языка Microsoft не работают с русским языком.
— Что сможет делать бот, если его разработают специалисты?
— Бот сможет не только принимать заказы, но и поддерживать беседу, хоть про музыку, хоть про погоду или политику, будет вести связные диалоги, будет помнить, о чем были предыдущие диалоги с тем же человеком-собеседником. Хотя, почему обязательно с человеком? Теоретически, бот может общаться и с другими ботами.
Сотрудники компании «Наносемантика» за несколько лет работы создали пять тысяч специализированных словарей синонимов и разработали несколько миллионов правил для единой базы знаний наших чат-ботов. Правила — это инструкция для бота, то есть что бот должен делать в диалоге дальше: нужно ли продолжать тему диалога или сменить ее, нужно ли сгенерировать ответ, нужно ли послать запрос или команду внешнему сервису. Когда пользователь что-то спрашивает, бот находит в базе знаний подходящие модели продолжения диалога (или правила), ранжирует их, и модель с самым большим весом побеждает. Вес модели зависит от разных факторов, в том числе от контекста: от списка предыдущих диалоговых топиков, от того, на какой странице сайта идет коммуникация с ботом, от эмоциональной тональности реплик пользователя. На один и тот же вопрос бот дает разные ответы в разных ситуациях. Например, пользователь спрашивает: «Сколько стоит интернет?» Если он спросил бота на странице мобильного интернета, или до этого в диалоге обсуждался мобильный интернет, то и ответ будет про мобильный. Если в диалоге до этого шел разговор про домашний интернет, ответ тоже будет про домашний интернет. Если бот не смог определить текущую ситуацию, то он уточнит: «Скажите, пожалуйста, стоимость какого вида интернета вас интересует?»
— Какие ошибки чаще всего совершают люди, когда создают чат-бота?
— Самая распространенная ошибка — создание бота без определенной цели. Пусть даже вы делаете его ради тренда, но вы точно должны себе в этом признаться. Тогда можно написать робота-болталку, например, виртуального Тему Лебедева, и он будет привлекать людей на сайт. Если нет бизнес-цели, то бот не сработает, потому что он сам себе смысл жизни не выдумает.
Другая ошибка — тупик общения. Чат-бот должен уметь завершать бизнес-процесс: уметь принять заказ или решить техническую проблему. Если же он задал 25 вопросов, а потом: «Извините, я просто робот, я не смог вас понять», и на этом диалог обрывается, то это только разозлит пользователей. Если бот не справляется, он должен либо сразу связать с сотрудником, либо предложить оставить контакты для обратного звонка, либо в конце концов заполнить форму для создания тикета, но только не завершать диалог тупиком.
Еще многие заказчики просят, чтобы мы сделали онлайн-консультанта, но нигде не писали, что это робот, сделали такого виртуального терминатора, который по поведению от человека не отличим. Другими словами, хотят, чтобы люди думали, что они говорят с живым человеком. Это неправильно, потому что клиенты рано или поздно догадаются: робот повторит свой ответ или ответит «криво». После этого у пользователей возникнет ощущение, что их обманули, и лояльность к ресурсу, где работает чат-бот, резко понизится.
В топ ошибок входит и переобучение робота. У бота должно быть достаточно тем в той сфере, в которой он работает, но у него не должно быть лишних тем. Некоторые заказчики порой спрашивают: «А он будет знать все, что написано в “Википедии”?» — «А зачем? Вот ваши консультанты знают?» — «Нет, их не спрашивают. А вдруг бота будут спрашивать!»
Эти знания, конечно, можно добавить. Но что получим? Предположим, у вас сайт, продающий автомобили, на нем стоит бот, который все знает про автомобили и, допустим, про ЕГЭ по математике. Чем это поможет продажам? Школьники машину не купят, родители за эту консультацию — тоже не заплатят. У бота все-таки должна быть определенная бизнес-задача, и он должен ее выполнять.
И еще одна распространенная ошибка, когда заказчики хотят чат-бота, созданного по определенной технологии. Сейчас, например, в моде нейросети и многие говорят «мне обязательно нужна нейросеть!» При этом у заказчика нет достаточного дата-сета (массива примеров), чтобы учить бота. И результат получается неубедительный. Заказчик говорит, что нейросети плохие, но дело же не в них.
5 распространенных ошибок чат-ботов и как их исправить
Даже самые продвинутые чат-боты иногда допускают ошибки при общении с человеком. Это плохо влияет на пользовательский опыт: решение задачи затягивается, лояльность клиента падает, а к процессу все равно подключается оператор — в итоге ухудшается показатель успешности решенных задач и экономическая эффективность чат-бота.
В ходе исследования Chatbot Rank 2021 команда Markswebb выделила несколько основных проблем, которые возникают при общении с чат-ботами в разных цифровых сервисах, а разработчики платформ мультифункциональных цифровых ассистентов iPavlov подсказали, как избежать их. Подробнее об этом — Виктория Нагорнова, тимлид Markswebb.
Чат-бот не понимает контекст сообщений
Люди общаются в мессенджерах весьма специфично: не разделяют мысли знаками препинания, разбивают вопрос на несколько сообщений, ссылаются на предыдущие фразы и так далее. Бот часто не может справиться с потоком фраз и мыслей, даже если его обучали работать с подобными запросами — и вместо быстрого решения задачи клиент долго подбирает правильное обращение к боту, чтобы он понял вопрос.
С подобной ситуацией мы столкнулись, тестируя сценарий блокировки карты в чате «Тинькофф Банка». Бот не распознал контекст нескольких сообщений и позвал оператора, но даже его появление не упростило решение задачи — человек заблокировал не ту карту.
С точки зрения инструкций банка менеджер поступил правильно: риск потерять средства клиента более значим, чем риск вызвать недовольство блокировкой. Но ошибка бота все же привела к лишним действиям: клиенту пришлось по телефону подтверждать разблокировку карты.
Как исправить
Проблема понимания контекста письменной речи возникает у каждого исследованного нами бота, когда пользователь общается слишком не структурировано для машинного восприятия. В этой ситуации система должна вернуть клиента в русло однозначных сообщений. Частично добиться этого можно с помощью быстрых ответов, которые предложит сам чат-бот. Пример такой практики можно увидеть там же — в чате «Тинькофф Банка».
Один из плюсов быстрых ответов — клиенту помогают ускорить процесс с помощью уже готовых сообщений, которые не надо вводить вручную. Но это не снимает проблему полностью: варианты быстрых ответов могут не соответствовать запросу, и в итоге без помощи оператора задача не решится.
iPavlov.ai. Что делать разработчикам?
Понимание контекста зависит от того, какие инструменты машинного обучения используются для обработки естественного языка. Наилучший результат дает сочетание трех методов разработки цифровых ассистентов: простых алгоритмических ботов (rule-based assistants), ботов с обработкой естественного языка (NLP assistants) и ассистентов на сложных нейросетевых архитектурах (humanoid assistants). Так можно достичь максимальной гибкости в понимании запросов клиента.
В удержании контекста диалога большое значение имеет работа редакторов, которые заранее моделируют полезные ответы для цифровых ассистентов на всевозможные запросы пользователей. Работа редакторов в комбинации с разными моделями машинного обучения может дать хороший результат. Так, например, разработана Алиса от «Яндекса», которая использует язык редакторских шаблонов для генерации ответов.
Чат-бот неправильно понимает задачу пользователя
Цифровому ассистенту важно не только распознать сообщение человека, но и правильно определить, что именно нужно сделать, чтобы удовлетворить запрос. Ошибки на этом этапе в лучшем случае приводят к переформулировке запроса или вызову оператора, а в худшем — запуск не тех функций, которые создадут дополнительные проблемы для пользователя.
Вот пара примеров, что может случиться, когда чат-бот не понял задачу. В случае с мобильным банком ВТБ клиенту пришлось долго подбирать фразы, чтобы бот понял запрос, а ассистент Tele2 отключил подписки, хотя клиент желал обратного.
Как исправить
Проблема вновь связана с тем, что клиент формулирует запросы слишком неформально для бота. Решить ее можно, если забрать у пользователя возможность импровизировать и свести общение к четким ответам на конкретные вопросы. Если пользователь обращается к функции, которую ассистент не поддерживает, следует заранее предупредить об этом, посоветовать способ решения или пригласить в чат оператора.
Показательные примеры обработки таких запросов можно найти у «Альфа-Банка» и «Райффайзенбанка». Чат-бот «Альфа-Банка», распознав обращение как жалобу, сразу подключает к диалогу оператора, а ассистент «Райффайзенбанка» сообщает, что не умеет работать с определенными обращениями и подсказывает контактный номер для решения задачи.
iPavlov.ai. Что делать разработчикам?
Чтобы лучше понимать задачу клиента, можно использовать несколько подходов: rule-based methods, semantic similarity, intent recognition и другие. Все они основаны на том, что в цифрового ассистента заранее заложен набор сценариев, в процессе общения он пытается подобрать наиболее релевантный вариант и запустить его. Выбор конкретной модели зависит от имеющихся данных, ограничений по серверным мощностям, производительности системы в целом и других параметров.
Чаще всего в этой задаче используется модель машинного обучения для классификации намерений пользователя (intent recognition). Определяется вероятность соответствия запроса каждому из сценариев, а потом происходит сравнение полученных значений с заранее заданным числом — порогом вероятности.
Если вероятность соответствия преодолевает порог для одного из сценариев, бот запускает этот сценарий. Если порог пройден сразу для нескольких сценариев, с помощью модели ранжирования можно предложить пользователю их все — в виде вариантов быстрых ответов.
Если все сценарии окажутся ниже порога вероятности, цифровой ассистент тоже должен что-то ответить и сохранить целостность опыта клиента. Например, предложить варианты альтернативных действий, попросить переформулировать запрос или позвать оператора. Модуль, который запускает такой сценарий, называется fallback policy.
Чат-бот не пускает к оператору
Чтобы разгрузить менеджеров поддержки и минимизировать обращения по задачам, которые клиент может решить самостоятельно, боты всячески стараются удержать клиента от обращения к оператору. Это не уместно, например, когда бот не может решить запрос или пользователь принципиально не хочет общаться с цифровым ассистентом и сразу просит перевести на человека.
Если бот не может выполнить конкретный запрос клиента и никак не переключает его на человека, реакция будет негативной. Так ведет себя ассистент в чате мобильного банка Сбербанка: бот несколько раз обещал вызвать оператора, но каждый раз возвращался к беседе.
Как исправить
В любом сценарии цифровой ассистент должен немедленно выполнить запрос на доступ к оператору-человеку. Опросы продуктовых команд чат-ботов, проведенные в рамках Chatbot Rank 2021, показали, что часть пользователей испытывает психологический дискомфорт при общении с ботами. Эту особенность важно учитывать: определять таких клиентов с помощью анализа логов и сразу переводить на оператора-человека.
iPavlov.ai. Что делать разработчикам?
Перевод к менеджеру-человеку происходит двумя способами: прямой командой по кнопке или фразой, контекст которой будет связан с задачей перевода на специалиста поддержки. В первом случае проблем с переводом на оператора быть не должно: кнопки срабатывают мгновенно и запускают цепочку алгоритмических действий, которые при нормальной работе системы точно приведут к нужному результату.
Во втором случае необходимо использовать машинное обучение, например, named entity recognition, чтобы чат-бот мог понять, что от него хочет пользователь. Но модели обучения пока несовершенны, потому случаются ошибки.
Простые действия лучше всего выполнять алгоритмически — по нажатию кнопки, которая всегда должна быть доступна пользователю. Это понятный и проверенный способ, который не подведет.
Чат-бот закрывает беседу раньше времени
Одна из метрик эффективности ботов — число успешно завершенных диалогов, когда цифровой ассистент справился с обращением клиента. Но иногда боты неправильно интерпретируют долгое молчание или закрытое приложение и заканчивают беседу.
Когда клиент возвращается в чат и видит вместо ответа просьбу оценить качество поддержки, он ставит низкую оценку и теряет желание использовать этот канал для решения своих проблем. Особенно плохо на клиентский опыт влияет потеря данных из заполненной формы (например, на кредит), когда клиент сворачивает чат случайно или чтобы найти какую-то информацию.
В приведенных примерах чат-боты «Утконоса» и «Ситимобила» прерывают общение, фактически не дожидаясь реакции клиента на ответ — и в обоих случаях пользователю придется начать новый диалог, чтобы добиться решения задачи.
Как исправить
Необходимо пересмотреть алгоритм закрытия сессии диалога. Если пользователь свернул приложение или долго не отвечает, можно проактивно задать вопрос или предложить варианты быстрых ответов.
Примеры практик можно найти в чатах Ozon и ВТБ. Если клиент поблагодарил бота за ответ, можно уточнить, нет ли других вопросов или предложить рассказать о функциях цифрового сервиса.
iPavlov.ai. Что делать разработчику?
Параметры, по которым закрывается диалоговая сессия, — часть настройки бизнес-логики чат-бота. Не стоит делать сессию слишком короткой: набор сообщения может занимать больше минуты. И держать сессию постоянно открытой тоже нельзя: в этом случае бот будет находиться в том контекстном состоянии, в котором пользователь его оставит. Когда клиент вернется с новой задачей, цифровой ассистент запутается.
Инсайты для оптимальной настройки закрытия сессии может подсказать UX-тестирование разных способов — по таймеру или по триггеру. Подойдут стандартные A/B-тесты или любые другие инструменты маркетинговых исследований.
Чат-бот неуместно шутит
Команды чат-ботов пытаются научить их непосредственной манере общения, чтобы цифровой ассистент больше походил на человека в диалоге. Но уместный юмор — пока еще недостижимая высота для нейросетей.
Неудачные шутки в лучшем случае будут просто не поняты, а в худшем — помешают выполнению задачи. Как, например, в диалоге с чат-ботом «Тинькофф Банка», который вместо решения задачи начал шутить.
Даже если большинству клиентов нравится неформальная манера общения, то ради меньшинства, испытывающего негатив, лучше от нее воздержаться. Пока чат-бот не научился вести диалог с учетом индивидуальных особенностей пользователя, лучше избегать двусмысленных ситуаций.
Как исправить
Можно интегрировать юмор в типовые ответы, что одновременно поможет создать неформальную атмосферу и не испортить опыт клиента. Пример можно найти в чате ВТБ: цифровой ассистент начинает диалог с игры слов. Такой юмор ненавязчивый, пользователь его может даже не заметить и сразу перейти к типовым ответам.
iPavlov.ai. Что делать разработчику?
Чтобы цифровой ассистент мог разговаривать с человеком на одном языке, модели обработки естественного языка обучают на больших массивах данных. Датасеты для обучения берут в интернете: в комментариях к постам, на форумах и в других открытых источниках. Разумеется, далеко не всегда в этих каналах разговор идет в вежливом тоне, цифровой ассистент это улавливает и использует.
Продуктовой команде следует тщательно проверять обучающие выборки для моделей машинного обучения, чтобы в них не попадала нецензурная лексика и негативно окрашенные предложения. Для этого можно использовать модели insult detection и sentiment analysis, что позволяет автоматизировать очистку данных от нежелательных выражений.
По мере того, как разработчики интеллектуальных решений будут накапливать опыт, а нейросети обучаться, недопонимания между людьми и цифровыми ассистентами будет все меньше. В рамках исследования Chatbot Rank 2021 мы сформируем стандарт качества клиентского опыта при общении с чат-ботами, найдем инсайты для их развития и оценим решения крупнейших компаний.