Пилотный проект ИИ (Proof of Concept)

Раздел
Решения по технологии
Чтение
8 мин
Обновлено

Proof of Concept, или пилотный проект, — проверка одной задачи на данных компании до большого проекта. За 2⁠–⁠6 недель Dzeta AI собирает один-два рабочих сценария, запускает их на реальных данных и сравнивает результат с критериями качества, согласованными до старта. Отрицательный итог называем прямо и не масштабируем то, что не работает. Пилот — от 290 000 ₽, стоимость полного внедрения считаем по его результатам.

#

Что показывает пилот: гипотеза, данные, качество на реальных примерах

Пилот переносит разговор с презентации на данные компании: её документы, её номенклатуру, её сотрудников. Итог короткий — задача решается с нужным качеством или не решается, и во втором случае видно, что именно помешало.

Под проверку берут то, что уже делается руками: разбор входящих заявок и счетов, ответы по внутренним регламентам и инструкциям, сведение показателей из разных учётных систем. У таких задач результат виден в цифрах, и его есть с чем сравнить.

Гипотезу формулируют так, чтобы её можно было проверить

Проверить «внедрить ИИ» нельзя. На пилот выносят утверждение с измеримым концом: система разбирает входящую заявку и заполняет карточку в 1С, менеджеру остаётся подтвердить. До такого вида формулировку доводим на аудите, ещё до разработки.

Данные: есть ли в них то, на чём система будет работать

Сохраняются ли заявки, где лежат документы, ведётся ли справочник, есть ли история за прошлые периоды. Нехватку данных пилот вскрывает за недели — до того, как под неё заложен бюджет.

Целевое качество согласуем до старта

Цифры, по которым систему примут, фиксируем до начала работ и считаем на данных заказчика. Заранее записываем, что считается ошибкой и какая доля спорных случаев допустима, отдельно — что система обязана отдавать человеку. Тестовый набор по ходу работ не меняем, иначе замеры разных недель не сойдутся.

Сценарий проверяем на реальных примерах и реальных людях

Документные задачи проверяем на 10⁠–⁠20 реальных документах заказчика — с печатями, бликами и рукописными пометками. Сценарий доводим до конца: файл проходит весь путь до записи, которую подтверждает сотрудник. Работают с ним те, кому потом с ним жить, и их замечания идут в отчёт наравне с метриками.

#

Что нужно от заказчика и что остаётся после пилота

Отдельной подготовки пилот не требует: берём то, что уже есть.

Что даёт заказчикЧто с этим происходит на пилотеЧто остаётся после
Выгрузки из учётной системы: справочники, история заявокПроверяем, хватает ли их для сценария и сходятся ли они между собойОписание источников и пробелов в данных
10⁠–⁠20 реальных документов по задачеПрогоняем через разбор, сравниваем с тем, что заполнил бы человекЗамер качества на своих формах
Регламенты, инструкции, описания условийСмотрим, находится ли ответ в материалах компанииПеречень устаревших и противоречивых мест
Сотрудник, который понимает процессРазмечает спорные случаи и подтверждает результатРазмеченная выборка и замечания будущих пользователей

На пилоте хватает выгрузок, постоянное подключение к учётной системе настраиваем при полном внедрении. Подтверждённый опыт у Dzeta AI с 1С, остальные источники показывает аудит. Когда реквизиты и суммы живут в бумаге и PDF, сначала проверяем разбор: счета, акты и накладные раскладывают по полям учёта.

#

Отрицательный результат пилота: что он значит и что экономит

У пилота на данных заказчика три исхода, и один из них — остановка.

Исход пилотаПо каким цифрам он виденЧто происходит дальше
Задача решается с нужным качествомРезультат на тестовом наборе сходится с критериями, согласованными до стартаСтоимость продуктива считают по данным пилота: уже известно, сколько занимает подготовка данных и какая доля случаев остаётся людям
Задача решается частичноНа одном классе случаев система работает, на другом ошибаетсяПо этой границе и строят процесс: часть потока уходит в автоматический режим, спорное остаётся человеку
На этих данных задача не решаетсяЦелевое качество на тестовом наборе не достигнутоDzeta AI говорит об этом прямо и не масштабирует то, что не работает

Ради третьего исхода пилот и делают: узнать за несколько недель, что задача не решается, дешевле, чем узнать то же самое, когда система уже построена.

Отчёт по пилоту остаётся у заказчика в любом случае. В нём записано, где задача упёрлась: в качество данных, в неописанный процесс, в редкость случая или в то, что решение каждый раз принимает человек. С таким отчётом понятно, что чинить до следующего захода, и первый шаг может быть не связан с ИИ вообще.

Иногда задачу закрывает регламент или настройка учётной системы

Часть процессов чинится без ИИ. Заявки теряются, потому что их принимают в нескольких чатах; отчёт собирают руками, потому что нужный документ в 1С никто не настроил. Это видно ещё на аудите, и мы пишем это в отчёте. Проект за 290 000 ₽ там, где хватает регламента, компании не нужен; разговор об ИИ имеет смысл вернуть, когда процесс приведут в порядок.

То, что не работает, дальше не идёт

Ответ «задача не решается», полученный на пилоте, стоит нескольких недель. Тот же ответ, полученный после того, как систему уже построили, стоит работы команды и времени сотрудников, которых она отвлекала.

Есть и другая причина остановиться: сценарий работает, часы экономятся, прибыль не меняется. Куда девается эффект от ускорения работы, Dzeta AI разобрала отдельно. Критерий поэтому привязываем к деньгам или к сроку, который в компании уже считают.

#

Проекты Dzeta AI: за какой срок доходили до рабочей системы

В портфеле Dzeta AI 50+ реализованных проектов в 8 отраслях.

Базовое решение за 30 дней

Производитель металлоконструкций под заказ принимал заявки в разном виде, и менеджер переносил каждую в бланк заказа в 1С руками. Базовое решение внедрили за 30 дней. Как заказ из документа доходит до 1С, разобрано на отраслевой странице.

Проекты за 6 и за 5 недель

Крупный транспортный инфраструктурный объект сводил данные нескольких систем руками; после проекта отчёт собирается сам, срок работ — 6 недель. Компания по аренде и продаже автомобилей получила единый слой данных и сквозную воронку за 5 недель. Обе истории описаны там, где показано, как разрозненные системы сходятся в один отчёт.

Сначала сравнили подходы, потом построили модуль

На авиационном производстве команда Dzeta AI сравнила подходы к детекции аномалий и проверила критерии качества на данных, и только после этого построила эксплуатационный модуль — тот же порядок, что на пилоте. Оба производственных проекта разобраны на отраслевой странице.

#

Как устроены аудит и пилот: сроки, стоимость, приёмка

Проверка идёт двумя шагами: короткий аудит, за ним пилот на данных.

ШагСроки и деньгиЧем заканчивается
Аудит3⁠–⁠5 рабочих днейКарта потерь в часах и деньгах, план пилота с критериями качества, архитектура и источники данных, риски и оценка сроков. Интервью и выгрузки идут по NDA — соглашению о неразглашении. Стоимость зависит от числа процессов, называем её после созвона.
Пилот2⁠–⁠6 недель, от 290 000 ₽Один-два рабочих сценария на данных заказчика, проверка на реальных пользователях, отчёт с метриками и планом роста. Первый измеримый результат появляется здесь.
ПриёмкаПо итогам пилотаСчитаем результат на тестовом наборе по критериям, согласованным до старта; по этим цифрам принимают решение о продуктиве.
Полное внедрение4⁠–⁠12 недельСценарий в постоянной работе. Стоимость считаем после пилота.

Бюджет уходит не только на разработку: данные приходится приводить в порядок, и пилот показывает это раньше всего — видно, каких полей не хватает и что придётся описывать с нуля. Чего стоит привести данные в порядок перед внедрением — разбор в отдельной статье, а из чего складывается цена аудита, пилота и внедрения — на странице стоимость внедрения ИИ.

Где работает система и кто видит данные на пилоте

Разворачиваем пилот в контуре заказчика на открытых моделях: документы, клиентская база и переписка остаются внутри компании, персональные данные её не покидают (152-ФЗ «О персональных данных»). В ChatGPT и другие внешние сервисы данные не уходят, если заказчик этого не хочет. Журнал фиксирует подтверждения, модель меняется без переделки системы. Своего IT-отдела пилот не требует: хватает человека, который понимает процесс.

#

Когда пилот не нужен

Пилот подходит, если задача повторяется и где-то записана: есть выгрузки, файлы документов или утверждённые регламенты. Когда проверять нечего, видно ещё на аудите:

  • Задачу закрывает регламент или настройка учётной системы — так и напишем в отчёте.
  • Данные нигде не сохраняются: заявки принимают голосом, договорённости живут в переписке. Проект начнётся со сбора данных.
  • Процесс нигде не описан и меняется каждую неделю: критерии качества не на чем фиксировать.
  • Со стороны заказчика некому разбирать спорные случаи, а операция, которая повторяется слишком редко, не окупит ни пилота, ни внедрения.
  • Решение о большом проекте уже принято, и проверка нужна для отчётности: на цифры пилота никто не посмотрит.

Вопросы о пилотном проекте и проверке гипотезы

Что такое Proof of Concept в ИИ-проекте простыми словами?

Proof of Concept — короткая проверка одной задачи на данных компании до того, как начинается большой проект. За 2⁠–⁠6 недель собирают один-два рабочих сценария, запускают их на реальных данных и реальных пользователях, результат сравнивают с критериями, согласованными до старта. На выходе понятно, решается ли задача с нужным качеством, решается ли частично или не решается на этих данных.

Сколько стоит пилотный проект по внедрению ИИ и сколько он длится?

Пилот занимает 2⁠–⁠6 недель и стоит от 290 000 ₽. Перед ним идёт аудит на 3⁠–⁠5 рабочих дней, его стоимость зависит от числа процессов и называется после короткого созвона. На полное внедрение уходит 4⁠–⁠12 недель, его стоимость считают по результатам пилота.

Чем пилот отличается от аудита и от полного внедрения?

Аудит отвечает на вопрос «что именно автоматизировать», пилот — на вопрос «решается ли задача на этих данных», полное внедрение ставит проверенный сценарий в постоянную работу. Разбор процесса по интервью и выгрузкам заканчивается картой потерь, планом пилота и критериями качества — это аудит, 3⁠–⁠5 рабочих дней. Проверка этих критериев на данных заказчика — это пилот, 2⁠–⁠6 недель. Постоянное подключение к учётной системе и сопровождение приходят на последнем шаге, 4⁠–⁠12 недель.

Какие данные нужны, чтобы запустить пилот?

Для пилота подходит то, что уже есть в компании: выгрузки из учётной системы, история заявок и сделок, утверждённые регламенты и инструкции. Документные задачи Dzeta AI проверяет на 10⁠–⁠20 реальных документах заказчика, включая сканы и фотографии бланков. Если нужных данных не хватает, это выясняется на пилоте и попадает в отчёт.

Что будет, если пилот не даст результата?

Dzeta AI скажет об этом прямо и не станет масштабировать то, что не работает. В отчёте останется, где именно задача упёрлась: в качество данных, в неописанный процесс или в то, что случай требует человека. Иногда выясняется, что задачу закрывает регламент или настройка учётной системы, и это тоже пишется в отчёте.

Как понять, что пилот прошёл успешно?

Пилот прошёл успешно, если результат сценария на тестовом наборе сошёлся с критериями, которые согласовали до старта и посчитали на данных заказчика. Сравнение идёт на приёмке, по целевому качеству, записанному до начала работ. В продуктив проект уходит по этим цифрам, а стоимость полного внедрения считают уже после пилота.

Расскажите, что нужно улучшить

Для начала хватит короткого описания. Вместе уточним данные, процесс и критерии результата.

Заявка попадёт напрямую нашей команде.

Задача
Или напишите напрямую
contact@dzeta.ai