Каким должен быть бот, чтобы нравиться пользователям и повышать бизнес-метрики приложения?
банков в базовом списке исследования
пользовательский интент
принципов диалогового интерфейса
Chatbot Rank 2023 оценивает, боты каких российских банков быстрее, эффективнее и человечнее решают проблемы пользователей.
Система оценки чат-ботов составлена для мобильных банков. Именно они находятся в фокусе этого исследования — но методология применима для разных индустрий. Она поможет понять, как повысить автоматизацию отработки запросов и удовлетворенность пользователей, а также снизить затраты на поддержку и нагрузку на операторов.
Презентация результатов прошла 22 ноября онлайн: смотреть запись.
-
Владельцу продукта
- Повысить лояльность к боту и перевести больше пользователей в цифровые каналы.
- Повысить автоматизацию обработки запросов и снять нагрузку и затраты на операторов.
-
Продуктовому менеджеру и CPO
- Понять, что именно поставить в приоритет для разработчиков.
-
UX-дизайнеру и UX-редактору
- Увидеть лучшие интерфейсные решения и формулировки, чтобы переиспользовать их.
-
Маркетологу сервиса с чат-ботом
- Больше узнать о потребностях и моделях поведения аудитории.
- Совместно с продуктовыми менеджерами разработать решения для улучшения бизнес-метрик.
в мобильных банках на Android
-
110 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. Альфа-БанкРазница между прошедшим годом и нынешним в процентных пунктах ▲15,6Оценка цифрового опыта по шкале от 0 до 100 баллов 94,1
-
210 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. СовкомбанкРазница между прошедшим годом и нынешним в процентных пунктах ▲34Оценка цифрового опыта по шкале от 0 до 100 баллов 89,2
-
310 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. ВТБРазница между прошедшим годом и нынешним в процентных пунктах ▲19,9Оценка цифрового опыта по шкале от 0 до 100 баллов 82,4
-
410 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. Тинькофф БанкРазница между прошедшим годом и нынешним в процентных пунктах ▲7,8Оценка цифрового опыта по шкале от 0 до 100 баллов 69,9
-
510 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. Райффайзен БанкОценка цифрового опыта по шкале от 0 до 100 баллов 69,4
-
610 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. Почта БанкРазница между прошедшим годом и нынешним в процентных пунктах ▲10,2Оценка цифрового опыта по шкале от 0 до 100 баллов 65,5
-
710 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. СберБанкРазница между прошедшим годом и нынешним в процентных пунктах ▲3,6Оценка цифрового опыта по шкале от 0 до 100 баллов 60,6
-
810 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. ГПБОценка цифрового опыта по шкале от 0 до 100 баллов 53,8
-
910 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. Банк ОткрытиеРазница между прошедшим годом и нынешним в процентных пунктах ▲12,3Оценка цифрового опыта по шкале от 0 до 100 баллов 51,4
-
1010 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. ПСБОценка цифрового опыта по шкале от 0 до 100 баллов 51,3
Место чат-бота в рейтинге показывает, насколько успешно сервис решает пользовательские задачи — и общается при этом эмпатично и понятно. Кроме баллов, вы видите процентные пункты: на столько поднялась оценка банков, которые участвовали в исследовании в прошлом году. Если этой цифры нет, значит, банк обследуется по этой системе оценки впервые.
Оценка каждого бота складывается из трех составляющих:
-
Способность бота решать задачу: умение без привлечения консультанта выполнить 51 пользовательский запрос.
-
Способность чат-бота вести диалог: соответствие 9 принципам Conversational User Interface (далее CUI).
-
Удобство интерфейса.
Подробнее о том, как строится система оценки →
комплексное развитие
Чат-бот Альфа-Банка распознает больше запросов, чем другие, способен помочь пользователю без привлечения оператора и соблюдает большинство принципов эффективного общения.
Сильные стороны:
-
Релевантность и подробность ответов.
-
Вежливость и проактивность в решении проблем.
-
Соблюдение большинства принципов эффективного общения.
-
Высокий уровень автоматизации.
Боту не хватает возможности общаться голосом и более широкого использования виджетов. Также его можно «сломать» нестандартным запросом. Если для развивающихся сервисов это не приоритетно к исправлению, то для лидера важно обеспечить высокое качество опыта в большинстве возможных интентов.
Точки роста:
-
Распространение лучших практик на все категории интентов.
-
Совершенствование распознавания изображений.
-
Общение голосом.
-
Распространение виджетов, улучшение навигации, настройки чата.
за которым не успевает качество
Совкомбанк выделяется на рынке наиболее активной динамикой развития; также за прошедший год команда чат-бота значительно улучшила коммуникативные способности сервиса.
Сильные стороны:
-
Высокая степень автоматизации общей и персональной информации, навигации, жалоб.
-
Развитая интеграция с другими каналами поддержки.
Позволяет выполнить меньше действий в чате, чем другие лидеры рынка. В некоторых сценариях встречаются избыточно подробные или сложно сформулированные сообщения. Есть потенциал развития в плане внедрения саджестов и виджетов для оптимизации ввода информации и облегчения ее восприятия.
Точки роста:
-
Качество, объем и структурирование сообщений.
-
Саджесты и виджеты.
и лучший интерфейс
Чат-бот ВТБ практически не уступает лидерам в плане автоматизации и находится с ними на одном уровне, а по совокупности интерфейсных возможностей является лидером рынка и использует наибольшее количество удачных практик.
Сильные стороны:
-
Интерфейс, использующий опыт и лучшие практики мессенджеров.
-
Высокий уровень автоматизации.
В чат-боте пока не реализованы реакции на графические запросы. Бот реже замечает негатив и выражает сочувствие, нежели боты-лидеры. Также чат-бот не очень глубоко интегрирован в систему поддержки банка — оператору контакт-центра в ВТБ недоступна переписка с пользователем в чате.
Точки роста:
-
Реакция на графические запросы.
-
Способность замечать негатив и реагировать на него.
-
Интеграция с контакт-центром.
и пространство для роста
Чат-боты Тинькофф Банка, Райффайзен Банка и Почта Банка находятся на зрелом этапе развития: достигнут удовлетворительный процент автоматизации, идет постепенная работа над повышением качества и автоматизацией новых сценариев. Боты четко осознают границы своих компетенций и вовремя переводят на оператора.
Сильные стороны:
-
Уместный и безбарьерный перевод на оператора.
-
Высокое качество проработки сценариев.
-
Автоматизация выполнения действий: например, смена PIN-кода, подключение и отключение уведомлений по карте.
Боты осторожно подходят к автоматизации и предпочитают переводить пользователей с жалобами на оператора, что приводит к снижению автоматизации. Эти боты хуже лидеров распознают негатив и работают с ним: зачастую они либо не замечают его, либо молча переводят на оператора.
Точки роста:
-
Автоматизация подбора продуктов и жалоб.
-
Инициативность и реакция на негатив.
и инновационный чат-бот
Чат-бот СберБанка — самый инновационный. Формат классического чата с ботом заменили на диалоговое окно с ассистентом; здесь можно общаться и текстом, и голосом. Бот выдает разнообразные ответы, а часть реализаций содержит функциональные виджеты.
Сильные стороны:
-
Удобство интерфейса и голосовой ввод.
-
Автоматизация выполнения действий и интеграционные сценарии.
Качество обслуживания нестабильно: даже в базовых сценариях есть сбои. Кроме того, бот пропускает негатив или выдает неоднозначную реакцию. Например, на жалобу о том, что по предоставленной ссылке не удалось найти информацию, чат-бот отвечает: «Значит, плохо искали. В интернете найдется все».
Точки роста:
-
Автоматизация общей информации и жалоб.
-
Автоматический перевод на оператора, адаптация к запросу, вежливость.
по всем направлениям
Чат-боты ПСБ, Банка Открытие и Газпромбанка находятся на начальном этапе развития по уровню автоматизации, способности вести диалог с человеком и по удобству интерфейса.
Они хуже справляются с навигационными запросами там, где требуется глубина ответа — например, если пользователь хочет не просто посмотреть кэшбэк, а ознакомиться со списком партнеров с повышенным кэшбэком. Менее распространены возможности подключения SMS-информирования, активации карты и получения справок.
Точки роста:
-
Автоматизация интентов в категории навигации, общей информации и выполнения действий.
-
Точность распознавания запросов и способность сохранять контекст диалога.
-
Упрощение ввода: виджеты, саджесты.
поддержки и базами знаний
Участники рынка работают над тем, чтобы предоставлять боту как можно больше информации о банковских продуктах и знаниях в сфере финансов и банковского обслуживания, так и о клиенте — его действиях, точках контакта с банком.
Этот тренд будет фундаментом для дальнейших изменений: боты смогут использовать данные для персонализации обслуживания. Большинство участников рынка заявляет, что планирует работать в этом направлении. Также тренд подтверждается ростом средней оценки по принципу «Взаимодействовать с другими каналами поддержки».
На диаграмме вы видите, что средняя оценка по этому принципу выросла с 50 до 61%.
определения запросов
Обучение бота на массиве баз знаний информации о клиенте позволит усовершенствовать распознавание запросов, и ответы станут более релевантными запросам.
Мы изучали, способен ли бот распознавать сложные запросы, запросы с опечатками и ошибками — и пришли к выводу, что динамика положительная во всех перечисленных случаях.
На диаграмме — прирост средней по рынку оценки по принципу «Адаптироваться под запрос пользователя»: ее рост дополнительно подтверждает тренд.
Доступ бота к истории действий и профилю позволит предлагать решение проблемы до того, как клиент успеет о ней сообщить. Это потребует учета контекста обращений. Пример: банкомат не вернул пользователю карту, тот заходит в приложение с целью получить поддержку — и видит, что чат-бот уже сообщает о решении.
Косвенное подтверждение тренда вы видите на диаграмме: в прошлом году три банка предлагали варианты по мере ввода запроса, а сегодня это делают уже четыре участника рынка.
форматов общения
Еще несколько игроков рынка планируют внедрить запуск голосовых ассистентов и интегрировать их с чат-ботами, как сейчас это реализовано у СберБанка.
Также банки работают в направлении распознавания файлов. В прошлом году ни один из чат-ботов не реагировал на изображения, а вместо этого сразу переводил пользователя на оператора.
На диаграмме мы видим, что в CBR’23 сразу у трех банков появились первые попытки реализовать распознавание изображений.
Текущая ситуация — «гонка вооружений»
Участники рынка начинают первые эксперименты с нейросетями с целью адаптировать их для создания чат-бота, который сможет самостоятельно консультировать клиентов. Тот, кто первым сумеет это сделать, получит преимущество в качестве обслуживания и выделится на рынке.
Барьеры для внедрения нейросетей:
-
доступность и стоимость технологий;
-
согласованность с требованиями безопасности в банковской сфере;
-
отсутствие четкого понимания области применения.
Полный отчет позволит сэкономить ресурсы на самостоятельный гэп-анализ, сократить time-2-market по отдельным фичам и повысить качество решений команды.
6 блоков интентов |
Рейтинг автоматизации
Динамика изменений за год
Карта реализаци
Проблемы и лучшие практики
Рейтинг чат-ботов
9 блоков принципов CUI |
Разбор принципов диалоговых интерфейсов
Динамика изменений за год
Распространенность соблюдения принципа
Проблемы и лучшие практики
Рейтинг чат-ботов
Обзор удобства интерфейсов |
Динамика изменений за год
Карта реализаций
Проблемы и лучшие практики
Рейтинг чат-ботов
Chatbot Rank 2023
-
Что это такое
Чек-ап бота, который поможет понять, насколько лучше или хуже конкурентов сервис решает задачи клиентов.
- Быстрое наполнение бэклога актуальными решениями.
- Верификация и приоритеты для текущего бэклога.
-
Что показывает оценка
Позиция, которую чат-бот занимает по трехчастной системе оценки Chatbot Rank — способность решать задачи, способность вести полноценный диалог, интерфейсное удобство — и как эту позицию улучшить.
-
Кто может заказать
Можно провести аудит по тестовой версии – до запуска бота для клиентов. Причем неважно, для какой индустрии и на какой платформе реализован сервис – на сайте или в мессенджере.
Chatbot Rank 2023
Ключевое отличие консалтинга от других продуктов по результатам исследования — в том, что мы сопровождаем развитие сервиса до целевого уровня клиентского опыта. Если ваша компания только планирует запустить бота в текстовых каналах обращений клиентов, будет полезно сопровождение на стадии внедрения.
Влияние на бизнес:
- Ускорение работы команды
- Сокращение time-to-market
- Повышение качества решений
- Сохранение фокуса команд на приоритетных свойствах
-
Делим с командой банка ответственность за результат: участвуем в формировании бэклога, контролируем внедрение и в режиме реального времени оцениваем влияние изменений по методике Chatbot Rank 2023.
-
Правильно интерпретируем рекомендации, актуализируем их с учетом трендов развития рынка и бизнеса заказчика. Адаптируем инсайты и референсы под ограничения.
-
Помогаем не потерять фокус на длинном пути развития сервиса.
-
Откуда исследователи получают информацию
- Кабинетное моделирование запросов в чат-бот с фиксацией диалога и интерпретацией ответов на соответствие критериям системы оценки.
- Экспертные интервью с представителями команд, развивающих чат-боты.
-
Что отражает рейтинг
То, насколько эффективно и эмпатично боты решают пользовательские задачи.
чат-бота в рейтинге
-
Из каких блоков состоит система оценки
- Способность бота решать задачу — 50% от общей оценки в рейтинге.
- Способность бота вести диалог с человеком — 45%.
- Интерфейсное удобство — 5%.
-
Как считаются баллы
Каждый блок оценки разделен на составляющие. Для оценки способности бота решать задачу — это интенты, для способности бота вести диалог и интерфейсного удобства — правила.
Все они включают критерии, с помощью которых оценивается выполнимость и степень качества решения. Интенты и правила имеют свой вес в системе оценки. Вес отражает значимость задачи или выполнения правила для клиентского опыта.
Итоговая оценка чат-бота формируется из совокупности оценок по всем интентам и правилам, включенным в методику.
способность бота решать задачу
Что отражает этот блок:
То, насколько полно чат-бот может решать задачи пользователей.
Как он оценивается:
Через проверку выполнимости интентов (задач, запросов пользователей) в чат-боте.
По каждому не только фиксируется то, выполняется ли задача, но и оцениваются способы это сделать: наиболее оптимальные с точки зрения пользовательского опыта оцениваются выше.
способность бота вести диалог
Что отражает этот блок:
То, насколько качественно и эффективно чат-бот способен вести диалог с человеком: понимать, корректно реагировать, понятно передавать информацию и т. д.
Как он оценивается:
Мы используем 9 принципов:
- Адаптироваться под запрос.
- Эффективно уточнять необходимую информацию у пользователя.
- Предоставлять пользователю оптимальный путь решения задачи.
- Предоставлять только релевантную запросу информацию.
- Просто подавать информацию.
- Взаимодействовать с другими каналами поддержки.
- Уведомлять об обслуживании ботом.
- Эффективно реагировать на негатив.
- Быть вежливым.
интерфейсное удобство
Что отражает этот блок:
То, насколько бот развит с точки зрения удобства интерфейса.
Как он оценивается:
Здесь исследователи смотрят на опыт использования чат-бота в целом, а не проверяют его в рамках отдельных интентов.
В этом блоке три группы критериев:
- Удобство ввода информации.
- Удобство навигации и просмотра информации.
- Удобство экспорта информации из чата.
Сделать предзаказ отчета, аудита или консалтинга
-
Что было на митапе
-
Рассказали, как пришли к системе «Задачи — Интерфейс — Диалог».
-
Объяснили, как устроена система Chatbot Rank и как она «приземляется» на мобильные банки.
-
Разобрали подробно каждый инсайт из тех, что вы увидели.
-
-
Не смогли присутствовать? Смотреть запись →
Подписывайтесь на нас в Telegram, чтобы не пропускать новые исследования.