Чат-бот поддержки на LLM: когда окупается и как запустить

Чат-бот поддержки на LLM окупается, когда значительная часть обращений повторяется — статус заказа, доставка, возвраты, типовые вопросы по продукту — и ответы на них есть в базе знаний или системах компании. Работает он хорошо, если отвечает по вашим документам, умеет выполнять простые действия через API и вовремя передаёт диалог человеку. Без этого получается вежливый, но бесполезный собеседник.

Разберём, как понять, окупится ли бот, как он устроен и как запустить его без риска для клиентов.

Когда чат-бот поддержки окупается?

Чат-бот окупается, когда обращений много, большая их доля типовая, а ответы можно найти в документах или получить из систем компании. Если большинство обращений уникальные и требуют решения человека, бот сэкономит мало и может раздражать клиентов.

Как оценить потенциал:

1. Выгрузите обращения за последние несколько месяцев и разметьте их по темам.
2. Посчитайте долю типовых вопросов, на которые есть готовый ответ или данные в системах.
3. Оцените, сколько времени операторов уходит на эти вопросы сейчас.
4. Сравните с затратами на разработку, вызовы модели и поддержку бота.

Как считать расходы на вызовы модели, мы разбирали в статье сколько стоит AI-функция.

Как устроен чат-бот поддержки на LLM?

Современный бот поддержки состоит из модели, поиска по базе знаний, набора инструментов для действий в системах компании и правил передачи диалога человеку. Модель формулирует ответы и решает, какой инструмент вызвать, но опирается на данные компании, а не на свои общие знания.

Компонент	Что делает	Пример
Поиск по базе знаний	Находит статьи и правила, относящиеся к вопросу	Условия возврата, сроки доставки
Инструменты	Получают данные и выполняют действия через API	Статус заказа, смена адреса доставки
Модель	Понимает вопрос, выбирает источник и формулирует ответ	Ответ со ссылкой на правило
Передача человеку	Переводит диалог оператору с кратким содержанием	Жалоба, сложный случай, запрос клиента
Журнал и оценки	Сохраняет диалоги и оценки клиентов	Материал для улучшений

Поиск по базе знаний устроен по принципу RAG — подробно о нём в статье RAG: как сделать AI-ассистента по своим документам.

Фото: Unsplash

Инструменты: бот, который не только отвечает

Чтобы бот мог ответить «где мой заказ», ему нужен доступ к данным через ограниченный набор инструментов. Инструменты описываются схемой, а права проверяются на вашем сервере, а не моделью:

{
  "name": "get_order_status",
  "description": "Статус и ожидаемая дата доставки заказа текущего клиента",
  "input_schema": {
    "type": "object",
    "properties": {
      "order_number": { "type": "string", "description": "Номер заказа, например 10423" }
    },
    "required": ["order_number"]
  }
}

Сервер выполняет инструмент только для заказов самого клиента: даже если модель попросит чужой заказ, проверка прав не пропустит запрос.

Как запустить бота без риска для клиентов?

Запускать бота стоит поэтапно: сначала в режиме подсказок операторам, затем на части обращений или одном канале и только потом на всех клиентах. Каждый этап даёт реальные данные о качестве до того, как бот начнёт отвечать всем.

Этапы запуска:

1. Подсказки операторам. Бот предлагает ответ, оператор проверяет и отправляет. Так собирается статистика качества без риска.
2. Пилот на части трафика. Бот отвечает сам на ограниченной доле обращений или в одном канале.
3. Полный запуск с быстрой передачей человеку и мониторингом качества.
4. Регулярные улучшения по разбору диалогов, где бот ошибся или передал оператору.

Правила, которые защищают клиентов

• бот честно говорит, что он бот, и всегда даёт возможность позвать человека;
• если ответа нет в базе знаний, бот не выдумывает, а передаёт диалог;
• жалобы, возвраты денег и спорные ситуации сразу уходят человеку;
• персональные данные обрабатываются по правилам и не попадают туда, куда не должны.

Как измерять качество работы бота?

Качество бота измеряют долей обращений, решённых без оператора, удовлетворённостью клиентов и долей ошибочных ответов по выборочной проверке. Высокая доля «решённых» обращений ничего не стоит, если клиенты уходят недовольными.

Что отслеживать:

• долю диалогов, закрытых без передачи оператору;
• оценки клиентов после диалога с ботом и с оператором;
• долю ошибочных ответов по еженедельной выборке;
• время до решения вопроса;
• причины передачи оператору — это список того, чему бота стоит научить дальше.

Общую архитектуру AI-функций — шлюз, лимиты, валидацию — мы разбирали в статье как встроить LLM в продукт.

Коротко

• Бот окупается при большом потоке типовых обращений, ответы на которые есть в документах и системах.
• Он отвечает по базе знаний, выполняет простые действия через инструменты и вовремя передаёт диалог человеку.
• Права доступа проверяет сервер, а не модель: бот видит только данные текущего клиента.
• Запускайте поэтапно: подсказки операторам, пилот, полный запуск.
• Измеряйте долю решённых обращений вместе с удовлетворённостью и точностью ответов.