Внедрение и интеграция LLM
Что языковая модель делает с задачей из процесса компании
У языковой модели есть вход и выход. На вход идёт задача из процесса и кусок данных для ответа: текст письма, строки из выгрузки, фрагмент регламента. На выходе — текст или структура для того же процесса. Модель делает с текстом пять вещей:
- разбирает письмо или заявку на части: кто пишет, о чём просит, что уточняет;
- приводит свободный текст к полям: из «нужно тридцать штук к пятнице» выходят количество и срок;
- отвечает по переданным материалам — тем, которые компания признала действующими;
- составляет черновик по шаблону: письмо, карточку, краткое описание;
- объясняет словами расхождение в цифрах, которое нашли правила или отчёт.
Общее у всех пяти одно: модель работает только с тем, что передали в запросе. В базу компании она не ходит и не знает, какой регламент действует с прошлого понедельника.
Где проходит граница ответственности модели
Модель отдаёт текст. Решение принимает человек или правило рядом с ней: сумма уходит в учёт после подтверждения, ответ клиенту отправляет оператор. Спорное ждёт в очереди.
Содержание ответа передают модели вместе с вопросом; как материалы отбирают под вопрос — как фрагменты документов попадают в ответ. Соседняя задача — когда из текста нужно вынуть значения по полям: там результат уходит в учёт под правила компании.
Где стоит модель: облачный API или открытая модель в своём контуре
Выбор между облаком и своим контуром решает состав запроса: обращение к облачной модели уходит наружу вместе с фрагментом данных, и что там было, поставщик не расскажет.
| Признак сравнения | Облачный API | Открытая модель в контуре компании |
|---|---|---|
| Где оказываются данные запроса | Текст запроса и переданный фрагмент уходят на серверы поставщика | Запрос остаётся внутри сети компании |
| Что нужно на старте | Ничего своего: доступ к API и учётная запись | Сервер с видеокартами и человек, который его сопровождает |
| За что платят | За обращения: счёт растёт вместе с нагрузкой | За оборудование и его обслуживание: счёт не зависит от числа запросов |
| Что бывает при смене условий поставщиком | Цена, доступные версии и правила работы с данными меняются на его стороне | Версия модели остаётся у вас, пока вы сами её не смените |
| Кто отвечает за доступность | Поставщик; перебой на его стороне сразу виден в процессе | Инфраструктура компании и те, кто её сопровождает |
Открытые модели в контуре: что остаётся внутри
Вокруг открытой модели на серверах заказчика всё остаётся внутри сети: запрос, переданный кусок документа, ответ, журнал обращений. Персональные данные компанию не покидают — этого требует 152-ФЗ «О персональных данных». В ChatGPT и другие внешние сервисы данные не уходят, если заказчик этого не хочет.
Платят за такое размещение своим железом и дежурством на случай отказа. Платят за такое размещение своим железом и дежурством на случай отказа: деньги идут за контроль над данными и независимость от чужих условий. Что выйдет дешевле на вашем объёме обращений, считают на аудите. Свой контур подходит, если в запрос попадают персональные данные, коммерческие условия или конструкторская документация. Не подходит он там, где обращения редкие и закрытых сведений в них нет: оборудование простаивает, счёт за него идёт.
Собственный IT-отдел не нужен: хватит человека, который понимает процесс и скажет, какой ответ правильный. Такие системы Dzeta AI разворачивает в контуре заказчика; из учётных систем подтверждён опыт с 1С.
Какие модели подключают
Из облачных Dzeta AI подключает GPT-4o и o1 от OpenAI, Claude от Anthropic, из российских — YandexGPT и GigaChat. В своём контуре разворачивают Llama 3. Под задачу компании модель дообучают: fine-tuning на своих примерах или LoRA. Какую взять, решают на аудите: сначала по характеру данных и требованиям к размещению, потом по качеству на задаче.
Журнал, доступы и смена модели: что делает систему независимой от поставщика
Языковая модель остаётся сменной частью системы, пока выполнены три условия:
- все обращения к модели собраны в одном слое; по коду сервисов они не разбросаны;
- у этого слоя есть журнал: видно, что ушло в модель и что вернулось обратно;
- бизнес-логика живёт снаружи модели: правила, форматы и маршруты в её ответах не зашиты.
Когда хотя бы одного условия нет, смена модели превращается в переделку системы.
Что попадает в журнал и кто его читает
Журнал ведёт тот же общий слой: что ушло в модель, что она вернула, кто подтвердил результат. По этим записям потом отвечают, почему система ответила так, — проверяющему, службе безопасности, владельцу процесса. Состав записей описывают при внедрении, хранят по правилам компании.
Доступ к материалам ограничивает роль сотрудника: в ответе он получает то, что ему и так открыто, и закрытый документ не всплывёт из-за удачного вопроса.
Что ломается при зависимости от одного поставщика
Поставщик поднимает цену, снимает версию модели с поддержки, закрывает доступ из страны, меняет условия работы с данными. Привязанную систему в каждом случае приходится переписывать: запросы разъехались по коду, формат ответа зашит в интерфейс, обращения к API разбросаны по сервисам.
Требование к архитектуре отсюда одно: обращение к модели остаётся одной точкой. Тот же довод — почему архитектуру строят без привязки к одной модели.
Как модель принимают и как её меняют
Критерии успеха и целевое качество Dzeta AI фиксирует до старта на данных заказчика — по ним систему и принимают. Целевое время ответа согласуют там же: для разговора с клиентом и ночной обработки архива это разные величины.
Замена модели дальше идёт в три шага: согласованный набор задач прогоняют через новую, результат сравнивают с порогом, при удержанном пороге обращение переключают в одной точке. Остальное не трогают.
Что проверяют при приёмке, описывают до старта вместе с критериями качества — в том числе: можно ли вынудить модель ответить за пределами роли или выдать закрытое для спрашивающего. Периодичность и состав отчётов фиксируют в договоре на сопровождение.
Где Dzeta AI уже подключала языковую модель
В портфеле Dzeta AI 50+ проектов в восьми отраслях. Под углом этой страницы интересен один — тот, где модель отвечает по заданному корпусу и не выходит за него.
Ассистент эксперта в Telegram отвечает только по материалам, которые согласовали до запуска: корпус очерчен, и придумывать сверх него модели нечем. Из собранных ответов он складывает разбор из 15 блоков. Модель здесь — сменная часть: корпус, порядок вопросов и правила остаются на месте, даже если модель заменить. Как устроен сам сценарий — как ассистент собирает разбор по согласованным материалам.
Как подключают модель: аудит, пилот, приёмка
Подключение идёт этапами, в продуктив проект уходит по результатам пилота.
| Этап подключения | Срок и стоимость | Что получает заказчик |
|---|---|---|
| Аудит | 3–5 рабочих дней | Интервью и выгрузки под NDA, карту потерь в часах и деньгах, план внедрения. Стоимость называем после короткого созвона. |
| Пилот | 2–6 недель, от 290 000 ₽ | Сценарий, собранный на данных заказчика, и первый измеримый результат. |
| Приёмка | По итогам пилота | Проверку по критериям, согласованным до старта. |
| Полное внедрение | 4–12 недель, стоимость — после пилота | Систему в продуктиве, встроенную в рабочий процесс. |
Если задачу закрывает регламент или настройка учётной системы, Dzeta AI так и пишет в отчёте по аудиту.
Когда подходящих моделей несколько, перед большим проектом делают короткий — проверить задачу на своих данных до полного внедрения: на своих примерах видно, где разница реальна.
Кроме разработки в счёт входят подготовка данных, описание правил и доработка процесса: на лицензии приходится меньшая часть счёта.
Когда отдельная интеграция языковой модели не нужна
Отдельная интеграция языковой модели подходит, если задача повторяется, данные для неё лежат в цифровом виде и ответ приходится доставать из текста. Не подходит, если хотя бы одного из трёх условий нет. Остальные случаи видны на аудите:
- задачу закрывает готовый сервис с такой функцией: своя сборка добавит только счёт;
- ответ выводится из правил или считается по базе: хватит регламента или отчёта из учётной системы;
- данных в цифровом виде нет: знание держат два человека и переписка, начинать придётся со сбора;
- процесс разовый: модель окупается на повторяемом потоке;
- цена ошибки такая, что проверять придётся каждый ответ: времени это не сэкономит;
- со стороны заказчика некому смотреть на результаты первые недели.
Вопросы о подключении языковой модели
Можно ли использовать ChatGPT с корпоративными данными?
Использовать ChatGPT с корпоративными данными можно там, где в запрос не попадают персональные данные и закрытые сведения: обращение к облачной модели уходит на серверы поставщика вместе с переданным фрагментом. Поэтому в процессе заранее описывают, какие данные в запрос попадать могут и какие нет. Когда состав данных внешнюю модель исключает, задачу отдают открытой модели в контуре компании. Персональные данные тогда компанию не покидают, как требует 152-ФЗ «О персональных данных», а в ChatGPT и другие внешние сервисы данные не уходят, если заказчик этого не хочет.
Чем модель на своих серверах отличается от модели по API?
Местом, где оказываются данные запроса, и тем, за что вы платите. При обращении по API текст запроса и переданный фрагмент уходят на серверы поставщика, счёт растёт вместе с числом обращений, а цену, доступные версии и условия по данным поставщик меняет на своей стороне. Размещение в своём контуре требует сервера с видеокартами и его сопровождения, зато запрос остаётся внутри сети компании, и версия модели меняется только по её решению.
Какие языковые модели можно подключить и есть ли среди них российские?
Российские есть: YandexGPT и GigaChat. Кроме них подключают GPT-4o и o1 от OpenAI, Claude от Anthropic, а в собственном контуре разворачивают Llama 3. Поведение модели под задачу компании меняют дообучением — fine-tuning на своих примерах и LoRA. Выбор делают на аудите, под задачу и под требования к размещению данных.
Сколько стоит подключить языковую модель к процессам компании?
Пилот — от 290 000 ₽ за 2–6 недель, полное внедрение занимает 4–12 недель, и его стоимость считают по результатам пилота. Сумму за аудит Dzeta AI называет после короткого созвона. На итог влияют число сценариев и состояние данных, с которыми модели предстоит работать.
Что будет, если поставщик модели поднимет цену или закроет доступ?
Систему это не остановит, когда обращение к модели собрано в одну точку, а бизнес-логика живёт снаружи. Замена сводится к прогону согласованного набора задач через новую модель и сравнению результата с порогом, зафиксированным до старта. Остальная система при этом не переписывается.
Как проверить, что модель отвечает достаточно хорошо для нашей задачи?
На своих данных и по критериям, согласованным до старта. Критерии успеха и целевое качество Dzeta AI фиксирует до начала работ на данных заказчика — по ним систему и принимают. Документные задачи проверяют на 10–20 реальных документах заказчика, целевое время ответа согласуют там же.
Смежные решения
Кейсы по теме
Расскажите, что нужно улучшить
Для начала хватит короткого описания. Вместе уточним данные, процесс и критерии результата.
Заявка попадёт напрямую нашей команде.
- Или напишите напрямую
- contact@dzeta.ai
- Telegram
- @Alexey_dzeta
- +7 929 818-58-10