Как измерять качество автоответов на отзывы: что считает сервис, а что — вы

Качество автоответов проверяют тремя вопросами: насколько быстро ответ уходит, как часто оператор правит черновик и соответствует ли текст вашим правилам. Часть этого MPSupport считает сам, часть придётся считать вручную, а связь ответов с продажами сервис не считает вовсе — её проверяете вы. Ниже — что есть в кабинете, чего там нет и как закрыть пробелы.

Что показывает MPSupport

Раздел «Качество». После того как ответ ушёл на площадку, ИИ оценивает его по семи критериям от 1 до 10: структура, конкретность, тон, полезность, честность, эмпатия и краткость. Полезность и тон весят вдвое. На экране видно:

• средний балл и сколько ответов оценено;
• распределение ответов от «отлично» до «плохо»;
• динамику балла по дням за 7, 14, 30 или 90 дней;
• частые проблемы и их важность;
• средний балл отдельно по вопросам, отзывам и чатам.

Если ответ на вопрос или отзыв получил меньше 7 баллов, в анализе появляется вариант, как его переписать. Оценка включена по умолчанию и выключается в «Настройках AI» переключателем «Оценивать качество отправленных ответов». Автоматическая оценка после отправки пакет ответов не расходует, а повторный анализ, запущенный вручную, списывается как ответ. Раздел пока в бета-версии.

Раздел «Аналитика по товару». Отчёт по одному товару за выбранный период показывает:

• темы отзывов, вопросов и чатов с разбивкой по Wildberries, Ozon и Яндекс Маркету: характеристики, брак, доставка, совместимость и другие;
• средний рейтинг отзывов;
• среднее время ответа на вопрос — от момента, когда вопрос появился на площадке, до отправки ответа;
• долю ответов на вопросы, одобренных без правок;
• сколько ответов отправлено.

Разметка отзывов. В списке у отзыва видны тональность — позитив, нейтральный, негатив — и тема. По ним удобно выбирать, какие ответы перечитать первыми.

Чего сервис не считает

• Время ответа на отзывы. Оно считается только для вопросов.
• Долю правок в ответах на отзывы и в чатах. Тоже только для вопросов.
• Продажи и конверсию. Сервис не знает, купил ли кто-то после того, как прочитал ответ.
• Реакцию покупателя. Балл в «Качестве» — мнение модели о тексте по инструкциям сервиса, а не ответ покупателя. Вежливый и конкретный ответ получит высокий балл, даже если покупателю он не помог.

Поэтому балл качества — фильтр, а не итог: он быстро находит канцелярит, пустые обещания и воду, но не говорит, работают ли ответы на продажи.

Методика для отзывов: три замера вручную

Замеры простые, их достаточно повторять раз в месяц.

1. Скорость. Возьмите 20 последних отзывов и для каждого посчитайте, сколько прошло от отзыва до ответа. Главный ориентир — срок площадки: на Wildberries отзыв без ответа через 30 дней уходит в архив. Если хвост выборки подбирается к этому сроку, черновики копятся непроверенными.

2. Доля правок. В течение недели отмечайте каждый черновик отзыва: отправлен как есть или исправлен. Если исправлен — то в чём:

• факты о товаре — не хватает данных: дополните базу знаний, инструкции по уходу, сборке, размерам;
• тон — поменяйте стиль и длину в «Настройках AI» или допишите собственную инструкцию;
• лишнее в тексте — заведите правило ответов со стоп-словами: ответ с ними помечается как требующий внимания;
• острые отзывы — правило по ключевым словам с ручной обработкой, чтобы такие отзывы сразу шли человеку.

Сама доля правок мало что скажет, а вот причины правок показывают, что настраивать.

3. Выборочное чтение негатива. Откройте в «Качестве» ответы с низким баллом и отдельно прочитайте пять ответов на негативные отзывы. Проверьте каждый: есть ли признание проблемы, нет ли обещаний за продавца, есть ли понятный следующий шаг через площадку. Порядок хорошего ответа разобран в статье «Как ответить на негативный отзыв».

Как понять, влияют ли ответы на продажи

Точно — никак без эксперимента, и сервис его за вас не поставит. На рейтинг и продажи прежде всего влияет сам товар, а ещё цены, акции и сезон. Что можно сделать честно:

• сравнивайте одинаковые периоды по одному и тому же товару;
• меняйте за раз одну вещь: например, начали отвечать на все отзывы в течение суток, а цены и карточку не трогали;
• смотрите на тренд за месяцы, а не на скачок за неделю.

Если вывод не выдерживает этих условий, скорее всего, это совпадение, а не эффект.

Как улучшать ответы

Меняйте одну настройку за раз — стиль, длину, инструкцию, правило — и сравнивайте балл в «Качестве» и долю правок за одинаковые периоды до и после. Две правки одновременно не покажут, какая из них сработала.

Что мерить не стоит

• Среднюю длину ответа. Короткий точный ответ лучше длинного пустого.
• Число ответов в день как показатель качества. Это нагрузка на команду, а не качество: сто ответов шаблоном хуже тридцати по делу.

---

Аналитика по товару доступна на всех тарифах, включая Старт. Ещё не пользуетесь? Начните бесплатно — тестовый период 14 дней на тарифе Старт, без привязки карты.

Из чего складывается сам ответ — на страницах отзывов, вопросов и чатов.