Chatbot Rank 2023

Каким должен быть бот, чтобы нравиться пользователям и повышать бизнес-метрики приложения?

10

банков в базовом списке исследования

51

пользовательский интент

9

принципов диалогового интерфейса

Chatbot Rank 2023 оценивает, боты каких российских банков быстрее, эффективнее и человечнее решают проблемы пользователей.

Система оценки чат-ботов составлена для мобильных банков. Именно они находятся в фокусе этого исследования — но методология применима для разных индустрий. Она поможет понять, как повысить автоматизацию отработки запросов и удовлетворенность пользователей, а также снизить затраты на поддержку и нагрузку на операторов.

Презентация результатов прошла 22 ноября онлайн: смотреть запись.

Кому полезно исследование
  1. Владельцу продукта
    • Повысить лояльность к боту и перевести больше пользователей в цифровые каналы.
    • Повысить автоматизацию обработки запросов и снять нагрузку и затраты на операторов.
  2. Продуктовому менеджеру и CPO
    • Понять, что именно поставить в приоритет для разработчиков.
  3. UX-дизайнеру и UX-редактору
    • Увидеть лучшие интерфейсные решения и формулировки, чтобы переиспользовать их.
  4. Маркетологу сервиса с чат-ботом
    • Больше узнать о потребностях и моделях поведения аудитории.
    • Совместно с продуктовыми менеджерами разработать решения для улучшения бизнес-метрик.
Рейтинг чат-ботов
в мобильных банках на Android
  • 1
    10 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. Альфа-Банк
    Разница между прошедшим годом и нынешним в процентных пунктах ▲15,6
    Оценка цифрового опыта по шкале от 0 до 100 баллов 94,1
  • 2
    10 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. Совкомбанк
    Разница между прошедшим годом и нынешним в процентных пунктах ▲34
    Оценка цифрового опыта по шкале от 0 до 100 баллов 89,2
  • 3
    10 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. ВТБ
    Разница между прошедшим годом и нынешним в процентных пунктах ▲19,9
    Оценка цифрового опыта по шкале от 0 до 100 баллов 82,4
  • 4
    10 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. Тинькофф Банк
    Разница между прошедшим годом и нынешним в процентных пунктах ▲7,8
    Оценка цифрового опыта по шкале от 0 до 100 баллов 69,9
  • 5
    10 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. Райффайзен Банк
    Оценка цифрового опыта по шкале от 0 до 100 баллов 69,4
  • 6
    10 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. Почта Банк
    Разница между прошедшим годом и нынешним в процентных пунктах ▲10,2
    Оценка цифрового опыта по шкале от 0 до 100 баллов 65,5
  • 7
    10 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. СберБанк
    Разница между прошедшим годом и нынешним в процентных пунктах ▲3,6
    Оценка цифрового опыта по шкале от 0 до 100 баллов 60,6
  • 8
    10 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. ГПБ
    Оценка цифрового опыта по шкале от 0 до 100 баллов 53,8
  • 9
    10 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. Банк Открытие
    Разница между прошедшим годом и нынешним в процентных пунктах ▲12,3
    Оценка цифрового опыта по шкале от 0 до 100 баллов 51,4
  • 10
    10 банков с наибольшей (потенциальной) аудиторией чат-бота в мобильном Android-приложении для физлиц. Это лидеры по количеству скачиваний в RuStore и Play Market. ПСБ
    Оценка цифрового опыта по шкале от 0 до 100 баллов 51,3

Место чат-бота в рейтинге показывает, насколько успешно сервис решает пользовательские задачи — и общается при этом эмпатично и понятно. Кроме баллов, вы видите процентные пункты: на столько поднялась оценка банков, которые участвовали в исследовании в прошлом году. Если этой цифры нет, значит, банк обследуется по этой системе оценки впервые.

Оценка каждого бота складывается из трех составляющих:

  • Способность бота решать задачу: умение без привлечения консультанта выполнить 51 пользовательский запрос.

  • Способность чат-бота вести диалог: соответствие 9 принципам Conversational User Interface (далее CUI).

  • Удобство интерфейса.

Подробнее о том, как строится система оценки →

Лидер рейтинга:
комплексное развитие

Чат-бот Альфа-Банка распознает больше запросов, чем другие, способен помочь пользователю без привлечения оператора и соблюдает большинство принципов эффективного общения.

Сильные стороны:

  • Релевантность и подробность ответов.

  • Вежливость и проактивность в решении проблем.

  • Соблюдение большинства принципов эффективного общения.

  • Высокий уровень автоматизации.

Боту не хватает возможности общаться голосом и более широкого использования виджетов. Также его можно «сломать» нестандартным запросом. Если для развивающихся сервисов это не приоритетно к исправлению, то для лидера важно обеспечить высокое качество опыта в большинстве возможных интентов.

Точки роста:

  • Распространение лучших практик на все категории интентов.

  • Совершенствование распознавания изображений.

  • Общение голосом.

  • Распространение виджетов, улучшение навигации, настройки чата.

2 место: быстрое развитие,
за которым не успевает качество

Совкомбанк выделяется на рынке наиболее активной динамикой развития; также за прошедший год команда чат-бота значительно улучшила коммуникативные способности сервиса.

Сильные стороны:

  • Высокая степень автоматизации общей и персональной информации, навигации, жалоб.

  • Развитая интеграция с другими каналами поддержки.

Позволяет выполнить меньше действий в чате, чем другие лидеры рынка. В некоторых сценариях встречаются избыточно подробные или сложно сформулированные сообщения. Есть потенциал развития в плане внедрения саджестов и виджетов для оптимизации ввода информации и облегчения ее восприятия.

Точки роста:

  • Качество, объем и структурирование сообщений.

  • Саджесты и виджеты.

3 место: высокая автоматизация
и лучший интерфейс

Чат-бот ВТБ практически не уступает лидерам в плане автоматизации и находится с ними на одном уровне, а по совокупности интерфейсных возможностей является лидером рынка и использует наибольшее количество удачных практик.

Сильные стороны:

  • Интерфейс, использующий опыт и лучшие практики мессенджеров.

  • Высокий уровень автоматизации.

В чат-боте пока не реализованы реакции на графические запросы. Бот реже замечает негатив и выражает сочувствие, нежели боты-лидеры. Также чат-бот не очень глубоко интегрирован в систему поддержки банка — оператору контакт-центра в ВТБ недоступна переписка с пользователем в чате.

Точки роста:

  • Реакция на графические запросы.

  • Способность замечать негатив и реагировать на него.

  • Интеграция с контакт-центром.

4, 5 и 6 места: высокое качество
и пространство для роста

Чат-боты Тинькофф Банка, Райффайзен Банка и Почта Банка находятся на зрелом этапе развития: достигнут удовлетворительный процент автоматизации, идет постепенная работа над повышением качества и автоматизацией новых сценариев. Боты четко осознают границы своих компетенций и вовремя переводят на оператора.

Сильные стороны:

  • Уместный и безбарьерный перевод на оператора.

  • Высокое качество проработки сценариев.

  • Автоматизация выполнения действий: например, смена PIN-кода, подключение и отключение уведомлений по карте.

Боты осторожно подходят к автоматизации и предпочитают переводить пользователей с жалобами на оператора, что приводит к снижению автоматизации. Эти боты хуже лидеров распознают негатив и работают с ним: зачастую они либо не замечают его, либо молча переводят на оператора.

Точки роста:

  • Автоматизация подбора продуктов и жалоб.

  • Инициативность и реакция на негатив.

7 место: наиболее противоречивый
и инновационный чат-бот

Чат-бот СберБанка — самый инновационный. Формат классического чата с ботом заменили на диалоговое окно с ассистентом; здесь можно общаться и текстом, и голосом. Бот выдает разнообразные ответы, а часть реализаций содержит функциональные виджеты.

Сильные стороны:

  • Удобство интерфейса и голосовой ввод.

  • Автоматизация выполнения действий и интеграционные сценарии.

Качество обслуживания нестабильно: даже в базовых сценариях есть сбои. Кроме того, бот пропускает негатив или выдает неоднозначную реакцию. Например, на жалобу о том, что по предоставленной ссылке не удалось найти информацию, чат-бот отвечает: «Значит, плохо искали. В интернете найдется все».

Точки роста:

  • Автоматизация общей информации и жалоб.

  • Автоматический перевод на оператора, адаптация к запросу, вежливость.

8, 9, 10 места: потенциал роста
по всем направлениям

Чат-боты ПСБ, Банка Открытие и Газпромбанка находятся на начальном этапе развития по уровню автоматизации, способности вести диалог с человеком и по удобству интерфейса.

Они хуже справляются с навигационными запросами там, где требуется глубина ответа — например, если пользователь хочет не просто посмотреть кэшбэк, а ознакомиться со списком партнеров с повышенным кэшбэком. Менее распространены возможности подключения SMS-информирования, активации карты и получения справок.

Точки роста:

  • Автоматизация интентов в категории навигации, общей информации и выполнения действий.

  • Точность распознавания запросов и способность сохранять контекст диалога.

  • Упрощение ввода: виджеты, саджесты.

Войдите, чтобы получить полный доступ
Авторизованным пользователям на сайте Markswebb доступно больше инсайтов из исследований. Войдите в аккаунт или зарегистрируйтесь.

Оставьте нам свои данные

или
или
Оставляя свои данные на сайте, вы даёте согласие на обработку персональных данных
Войдите, чтобы получить полный доступ
Авторизованным пользователям на сайте Markswebb доступно больше инсайтов из исследований. Войдите в аккаунт или зарегистрируйтесь.

Оставьте нам свои данные

или
или
Оставляя свои данные на сайте, вы даёте согласие на обработку персональных данных
Войдите, чтобы получить полный доступ
Авторизованным пользователям на сайте Markswebb доступно больше инсайтов из исследований. Войдите в аккаунт или зарегистрируйтесь.

Оставьте нам свои данные

или
или
Оставляя свои данные на сайте, вы даёте согласие на обработку персональных данных
Интеграция с другими каналами
поддержки и базами знаний

Участники рынка работают над тем, чтобы предоставлять боту как можно больше информации о банковских продуктах и знаниях в сфере финансов и банковского обслуживания, так и о клиенте — его действиях, точках контакта с банком.

Этот тренд будет фундаментом для дальнейших изменений: боты смогут использовать данные для персонализации обслуживания. Большинство участников рынка заявляет, что планирует работать в этом направлении. Также тренд подтверждается ростом средней оценки по принципу «Взаимодействовать с другими каналами поддержки».

На диаграмме вы видите, что средняя оценка по этому принципу выросла с 50 до 61%.

Повышение точности
определения запросов

Обучение бота на массиве баз знаний информации о клиенте позволит усовершенствовать распознавание запросов, и ответы станут более релевантными запросам.

Мы изучали, способен ли бот распознавать сложные запросы, запросы с опечатками и ошибками — и пришли к выводу, что динамика положительная во всех перечисленных случаях.

На диаграмме — прирост средней по рынку оценки по принципу «Адаптироваться под запрос пользователя»: ее рост дополнительно подтверждает тренд.

Развитие предиктивных способностей

Доступ бота к истории действий и профилю позволит предлагать решение проблемы до того, как клиент успеет о ней сообщить. Это потребует учета контекста обращений. Пример: банкомат не вернул пользователю карту, тот заходит в приложение с целью получить поддержку — и видит, что чат-бот уже сообщает о решении.

Косвенное подтверждение тренда вы видите на диаграмме: в прошлом году три банка предлагали варианты по мере ввода запроса, а сегодня это делают уже четыре участника рынка.

Дальнейшее расширение
форматов общения

Еще несколько игроков рынка планируют внедрить запуск голосовых ассистентов и интегрировать их с чат-ботами, как сейчас это реализовано у СберБанка.

Также банки работают в направлении распознавания файлов. В прошлом году ни один из чат-ботов не реагировал на изображения, а вместо этого сразу переводил пользователя на оператора.

На диаграмме мы видим, что в CBR’23 сразу у трех банков появились первые попытки реализовать распознавание изображений.

Использование нейросетей

Текущая ситуация — «гонка вооружений»

Участники рынка начинают первые эксперименты с нейросетями с целью адаптировать их для создания чат-бота, который сможет самостоятельно консультировать клиентов. Тот, кто первым сумеет это сделать, получит преимущество в качестве обслуживания и выделится на рынке.

Барьеры для внедрения нейросетей:

  • доступность и стоимость технологий;

  • согласованность с требованиями безопасности в банковской сфере;

  • отсутствие четкого понимания области применения.

Полный отчет по исследованию Chatbot Rank 2023

Полный отчет позволит сэкономить ресурсы на самостоятельный гэп-анализ, сократить time-2-market по отдельным фичам и повысить качество решений команды.

Заказать полный отчет →


   

6 блоков интентов


Рейтинг автоматизации

Динамика изменений за год

Карта реализаци

Проблемы и лучшие практики

Рейтинг чат-ботов

   

9 блоков принципов CUI


Разбор принципов диалоговых интерфейсов

Динамика изменений за год

Распространенность соблюдения принципа

Проблемы и лучшие практики

Рейтинг чат-ботов


   

Обзор удобства интерфейсов


Динамика изменений за год

Карта реализаций

Проблемы и лучшие практики

Рейтинг чат-ботов

Аудит по методике
Chatbot Rank 2023
  1. Что это такое

    Чек-ап бота, который поможет понять, насколько лучше или хуже конкурентов сервис решает задачи клиентов.

    • Быстрое наполнение бэклога актуальными решениями.
    • Верификация и приоритеты для текущего бэклога.
  2. Что показывает оценка

    Позиция, которую чат-бот занимает по трехчастной системе оценки Chatbot Rank — способность решать задачи, способность вести полноценный диалог, интерфейсное удобство — и как эту позицию улучшить.

  3. Кто может заказать

    Можно провести аудит по тестовой версии – до запуска бота для клиентов. Причем неважно, для какой индустрии и на какой платформе реализован сервис – на сайте или в мессенджере.


    Заказать аудит →

Консалтинг по методике
Chatbot Rank 2023

Ключевое отличие консалтинга от других продуктов по результатам исследования — в том, что мы сопровождаем развитие сервиса до целевого уровня клиентского опыта. Если ваша компания только планирует запустить бота в текстовых каналах обращений клиентов, будет полезно сопровождение на стадии внедрения.

Влияние на бизнес:

  • Ускорение работы команды
  • Сокращение time-to-market
  • Повышение качества решений
  • Сохранение фокуса команд на приоритетных свойствах
  • Делим с командой банка ответственность за результат: участвуем в формировании бэклога, контролируем внедрение и в режиме реального времени оцениваем влияние изменений по методике Chatbot Rank 2023.

  • Правильно интерпретируем рекомендации, актуализируем их с учетом трендов развития рынка и бизнеса заказчика. Адаптируем инсайты и референсы под ограничения.

  • Помогаем не потерять фокус на длинном пути развития сервиса.


Заказать консалтинг→

Структура и источники исследования
  1. Откуда исследователи получают информацию
    • Кабинетное моделирование запросов в чат-бот с фиксацией диалога и интерпретацией ответов на соответствие критериям системы оценки.
    • Экспертные интервью с представителями команд, развивающих чат-боты.
  2. Что отражает рейтинг

    То, насколько эффективно и эмпатично боты решают пользовательские задачи.

Как рассчитывается оценка
чат-бота в рейтинге
  1. Из каких блоков состоит система оценки
    • Способность бота решать задачу — 50% от общей оценки в рейтинге.
    • Способность бота вести диалог с человеком — 45%.
    • Интерфейсное удобство — 5%.
  2. Как считаются баллы

    Каждый блок оценки разделен на составляющие. Для оценки способности бота решать задачу — это интенты, для способности бота вести диалог и интерфейсного удобства — правила.

    Все они включают критерии, с помощью которых оценивается выполнимость и степень качества решения. Интенты и правила имеют свой вес в системе оценки. Вес отражает значимость задачи или выполнения правила для клиентского опыта.

    Итоговая оценка чат-бота формируется из совокупности оценок по всем интентам и правилам, включенным в методику.

Блок оценки №1:
способность бота решать задачу

Что отражает этот блок:

То, насколько полно чат-бот может решать задачи пользователей.

Как он оценивается:

Через проверку выполнимости интентов (задач, запросов пользователей) в чат-боте.

По каждому не только фиксируется то, выполняется ли задача, но и оцениваются способы это сделать: наиболее оптимальные с точки зрения пользовательского опыта оцениваются выше.

Блок оценки №2:
способность бота вести диалог

Что отражает этот блок:

То, насколько качественно и эффективно чат-бот способен вести диалог с человеком: понимать, корректно реагировать, понятно передавать информацию и т. д.

Как он оценивается:

Мы используем 9 принципов:

  • Адаптироваться под запрос.
  • Эффективно уточнять необходимую информацию у пользователя.
  • Предоставлять пользователю оптимальный путь решения задачи.
  • Предоставлять только релевантную запросу информацию.
  • Просто подавать информацию.
  • Взаимодействовать с другими каналами поддержки.
  • Уведомлять об обслуживании ботом.
  • Эффективно реагировать на негатив.
  • Быть вежливым.
Блок оценки №3:
интерфейсное удобство

Что отражает этот блок:

То, насколько бот развит с точки зрения удобства интерфейса.

Как он оценивается:

Здесь исследователи смотрят на опыт использования чат-бота в целом, а не проверяют его в рамках отдельных интентов.

В этом блоке три группы критериев:

  • Удобство ввода информации.
  • Удобство навигации и просмотра информации.
  • Удобство экспорта информации из чата.

 

Сделать предзаказ отчета, аудита или консалтинга

Запись презентации
  1. Что было на митапе
    • Рассказали, как пришли к системе «Задачи — Интерфейс — Диалог».

    • Объяснили, как устроена система Chatbot Rank и как она «приземляется» на мобильные банки.

    • Разобрали подробно каждый инсайт из тех, что вы увидели.


  2. Не смогли присутствовать? Смотреть запись →

    Подписывайтесь на нас в Telegram, чтобы не пропускать новые исследования.