Голосовой ИИ-ассистент для звонков

Что голосовой ассистент делает во время звонка: речь, намерение, ответ, перевод на оператора

Во время звонка ассистент проходит четыре шага:

• распознаёт речь — текст появляется, пока человек говорит;
• определяет намерение — вопрос ложится на тему из списка, который ведут сотрудники;
• отвечает голосом — по документам компании и данным 1С;
• переводит на оператора — человек получает разговор с транскриптом.

Идёт это в темпе живого разговора: пауза в несколько секунд читается как обрыв связи. Отсюда главное ограничение сценария — время ответа.

Речь в текст: распознавание идёт по ходу разговора

Распознавание речи (speech-to-text) переводит сказанное в текст прямо во время звонка: строка растёт по мере произнесения, сценарий работает до конца фразы. Из реплик складывается транскрипт с отметками, кто говорил и в какую секунду.

Намерение: зачем человек позвонил

Одно и то же спрашивают десятком формулировок: «где моя машина», «вы отгрузку вчера сделали?». По первым фразам сказанное относится к теме из списка: статус заказа, условия отгрузки, претензия, звонок не по адресу. Когда тема не определилась, вместо догадки идёт уточняющий вопрос.

Управляемый диалог: ассистент спрашивает сам

Управляемый диалог — порядок вопросов, которые ассистент задаёт сам, не дожидаясь, пока собеседник сформулирует запрос целиком: номер заказа, объект, срок. Цифры, артикулы и даты он проговаривает вслух и просит подтвердить: распознавание ошибается на них чаще, а перепутанная цифра уводит разговор в сторону. Тот же механизм в переписке описан на странице ИИ-помощника в текстовых каналах.

Ответ голосом и откуда берётся его содержание

Готовый ответ произносит синтез речи (TTS, text-to-speech), а содержание ассистент берёт из материалов, которые компания признала актуальными: регламентов, условий, статусов из учётной системы. За их пределы он не выходит и, когда ответа там нет, так и говорит. Способ отвечать по своим документам называют RAG: откуда модель берёт факты для ответа, Dzeta AI разобрала отдельно, механизм описан на странице ответов по собственным материалам.

Перевод на оператора вместе с контекстом

Разговор уходит человеку, когда ассистенту не хватает уверенности: уверенность измерима, порог заказчик задаёт сам. Оператор берёт трубку не с чистого листа — перед ним транскрипт с начала звонка, тема, собранные поля и причина перевода. Отдельно описывают случаи, которые уходят человеку всегда: претензия, цена, повторный звонок.

Что остаётся после звонка: резюме, тема, тональность, следующий шаг

Вторая половина работы начинается, когда трубку положили: из транскрипта собирается карточка разговора. Записи слушать некому, а карточки превращают звонки в данные — их сортируют и сравнивают.

Резюме разговора вместо прослушивания записи

Резюме укладывается в несколько строк: кто звонил, о чём, что обещали, что осталось сделать. Ссылку на секунду записи предусматривают в сценарии: спорную фразу открывают в оригинале.

Тема и тональность как пометки на разговоре

Две пометки система ставит на каждый завершённый разговор. Тема встраивает звонок в общий ряд: сколько раз за неделю спрашивали про сроки, какие темы выросли после смены условий отгрузки. Тональность показывает, спокойно шёл разговор или напряжённо. По пометкам отбирают разговоры для разбора; тональность человек выборочно перепроверяет.

Следующий шаг и запись в учётную систему

Следующий шаг — действие, которое следует из разговора: перезвонить в четверг, выставить счёт, передать обращение в сервис. У него есть срок и ответственный. Что из разговора относится к учёту — контрагент, документ, дата, комментарий — описывают при внедрении и отправляют в 1С. Что бывает с обращением дальше, показывает ИИ-ассистент отдела продаж.

Откуда система берёт данные и куда уходит результат

Данные остаются там, где лежат сейчас: в телефонии, учётной системе и документах компании.

Подтверждённая учётная система у Dzeta AI — 1С: справочники синхронизируются по расписанию. Что именно возвращается в учёт после разговора — контрагент, документ, дата, комментарий — описывают при внедрении. Какая телефония стоит в компании, выясняет аудит; пилот идёт на выгруженном архиве, постоянное подключение к телефонии обсуждают при полном внедрении. Вопросы самих сотрудников закрывает поиск по регламентам и инструкциям.

Качество распознавания: величина, которую считают на ваших записях

Качество распознавания речи — измеримая величина, и меряют её на записях разговоров заказчика. Проценты из рекламных материалов меряют в других условиях. Ваш разговор идёт через телефон, из цеха или с громкой связи. Пока система не послушала ваши записи, число называть нечестно, и Dzeta AI его не называет.

Что мешает распознаванию

• Шум: цех, улица, громкая связь, второй разговор рядом с трубкой.
• Узкий телефонный канал и плохое соединение.
• Артикулы и номенклатура: буквы и цифры, которые не угадываются по смыслу.
• Имена, названия компаний, отраслевые сокращения и внутренний жаргон.
• Перебивания и двое говорящих одновременно.

Как считают качество

Выборку записей из архива заказчика размечают руками — получается эталон. Величин две. Первая: насколько точно распознан текст, отдельно по обычным словам и отдельно по ключевым полям вроде номера заказа. Вторая: как часто система верно определила тему и довела разговор до конца. Номенклатуру и контрагентов выгружают из учётной системы: словарь под вашу номенклатуру описывают при внедрении.

Что проверяют на пилоте

Голосовой сценарий начинается с пилота на записях ваших разговоров. Смотрят три вещи: справляется ли распознавание с вашим каналом и номенклатурой, доходит ли сценарий до результата, сколько звонков уходит оператору. Критерии успеха и целевое качество фиксируют до старта на ваших данных — по ним систему и принимают.

Как внедряют голосового ассистента: аудит, пилот, приёмка

Внедрение идёт этапами: следующий — по результатам предыдущего.

Сначала пилот: короткий проект на ваших данных до большого внедрения показывает, стоит ли идти дальше. Часть бюджета уходит на подготовку: разговоры выгружают, размечают, описывают сценарии из головы старших операторов. Из чего складывается бюджет внедрения — разбор в отдельной статье. Если задачу закрывает регламент или настройка телефонии, так и напишем в отчёте по аудиту.

Где разворачивают систему и кто слышит разговоры клиентов

Систему на открытых моделях Dzeta AI разворачивает в контуре заказчика: записи, транскрипты и клиентская база остаются внутри компании, персональные данные её не покидают (152-ФЗ). Записи разговоров и транскрипты во внешние сервисы не уходят, если заказчик этого не хочет. Подтверждения пишутся в журнал, модель заменяется без переделки системы. Свой IT-отдел не нужен: хватает человека, который понимает процесс и слушает спорные звонки.

Когда голосовой ассистент не нужен

Сценарий окупается, когда звонков много, они повторяются и разговор кончается понятным действием: назвать статус, принять заявку, записать претензию. Браться не стоит, если:

• записей разговоров нет: проект начнётся со сбора данных;
• клиенты и так пишут в мессенджеры и почту: текстовый канал дешевле;
• каждый разговор кончается решением человека — скидкой, уступкой, исключением;
• звонков мало, и каждый раз спрашивают разное: вложения не вернутся;
• выбор укладывается в три пункта: справится меню на телефонии;
• некому слушать спорные звонки и править сценарий.

Какой из случаев ваш, видно на аудите.