Меня пригласили в жюри хакатона «Открой#Моспром» оценивать корпоративного AI-ассистента для онбординга. Разбираю, почему мессенджер вторичен, а качество продукта определяется базой знаний, источниками, правами доступа, работой с неопределённостью и реальным результатом для сотрудника.
25 сентября мне написали организаторы хакатона «Открой#Моспром» и пригласили войти в жюри одного из технологических кейсов. Кейс от ООО «Группа ПОЛИПЛАСТИК»: разработать AI-ассистента в МАКС для адаптации новых сотрудников. По описанию организаторов, это должен быть онбординг-бот с AI-модулем, который работает с непубличной корпоративной базой знаний. Защиты запланированы на 25 октября. Я планирую участвовать офлайн.
Но зацепило меня даже не само приглашение. Первый вопрос организаторов был логичным: есть ли у меня опыт интеграции с МАКС. Есть. Я участвовал в проектах с Mini Apps для МАКС, у нас есть собственные решения для Telegram. Но, отвечая на этот вопрос, я поймал себя на более важной мысли: Для такого продукта почти неважно, в каком мессенджере он работает. Намного важнее то, что находится под капотом.
Что такое «Открой#Моспром»
«Открой#Моспром» - проект Департамента инвестиционной и промышленной политики города Москвы, который знакомит жителей и гостей столицы с московскими промышленными предприятиями. На официальном сайте проекта указано, что он существует 7 лет, за это время проведено более 3500 экскурсий и более 100 мастер-классов с участием более 140 предприятий. Внутри проекта есть экскурсии, лекции, мастер-классы и другие форматы знакомства с московской промышленностью.
Один из форматов - технологический хакатон. На официальной странице предыдущего хакатона он описан как всероссийское соревнование для специалистов IT, машиностроения, промышленного дизайна и производства. Команды работают над реальными задачами предприятий и создают прототипы цифровых решений. Защиты проходят перед жюри, куда входят представители промышленности и профильные эксперты.
В этом году организаторы пригласили меня оценивать решения по AI-кейсу для адаптации сотрудников. И именно здесь начинается наиболее интересная для меня часть.
МАКС, Telegram или сайт - это только точка входа
Представим, что команда сделала отличного бота в МАКС. У него хороший интерфейс, понятные кнопки, приятный онбординг. Завтра компания принимает решение перенести взаимодействие с сотрудниками в другой корпоративный мессенджер. Что останется от продукта? Если почти ничего, значит, основная ценность находилась в интерфейсе. Если же можно заменить МАКС на Telegram, корпоративный портал, мобильное приложение, CRM или собственный веб-интерфейс, а сама система продолжает решать задачу, значит, продукт находится глубже.
Для меня здесь есть два разных слоя. Первый видит пользователь: мессенджер -> чат -> кнопки -> сообщения -> интерфейс.
Второй почти не видит никто: источники данных -> права доступа -> поиск нужного знания -> контекст -> правила -> модель -> проверка фактов -> обработка неопределённости -> обратная связь -> действие пользователя.
И второй слой мне намного интереснее первого. Это не означает, что интерфейс неважен. Плохим интерфейсом можно испортить сильную систему. Но хороший интерфейс сам по себе ещё не делает систему сильной.
Корпоративная база знаний - это не папка с документами
Фраза «подключить AI к корпоративной базе знаний» звучит довольно просто. На практике за ней возникает множество вопросов. Как правило, в компании нет одной идеальной энциклопедии, где каждый документ актуален, информация не противоречит друг другу, а структура была заранее подготовлена для нейросети.
Есть регламенты.
Инструкции.
Презентации.
Таблицы.
Внутренние страницы.
Документы разных подразделений.
Несколько редакций одного документа.
Информация с разным уровнем доступа.
И тогда главный вопрос уже не в том, умеет ли нейросеть красиво сформулировать ответ. Нужно понять:
- какие источники она вообще имеет право использовать;
- как определяется актуальная версия документа;
- какой источник приоритетнее, если документы противоречат друг другу;
- учитывается ли подразделение и должность сотрудника;
- что этому сотруднику разрешено видеть;
- можно ли проверить, на каком источнике построен ответ;
- что происходит, если достоверного ответа в базе нет.
Вот здесь и начинается реальная архитектура AI-продукта.
Один из главных навыков AI - уметь не отвечать
Если новый сотрудник спросил, как оформить отпуск, ошибочный ответ неприятен.
Если вопрос связан с производственной процедурой, финансами, доступами, безопасностью или внутренними правилами, цена ошибки может быть значительно выше.
Поэтому зрелость корпоративного AI я бы проверял не только вопросами, на которые он точно знает ответ. Наоборот.
Мне интересно посмотреть, что система сделает, когда ответа нет.
Когда есть два противоречащих документа.
Когда документ устарел.
Когда сотрудник пытается получить информацию, которой у него не должно быть.
Когда вопрос сформулирован неоднозначно.
Когда для ответа не хватает контекста.
Хорошая система в этот момент не обязана быть умной.
Она должна быть управляемой.
Иногда лучший ответ AI: «У меня недостаточно подтверждённой информации, чтобы ответить. Вот источник или человек, у которого нужно уточнить».
Для бизнеса это может быть гораздо ценнее очень убедительной галлюцинации.
Мне важна прослеживаемая цепочка от вопроса до действия
Это вообще одна из основных мыслей, к которой я постепенно пришёл в своих продуктах. Похожую логику я отдельно разбирал в статье «Сначала цель, потом инструмент: как выбирать механизм управления»: технология начинает иметь смысл только после того, как понятны проблема, желаемое изменение и действие.
Мне недостаточно результата, который просто выглядит правильным.
Мне нужна причинно-следственная цепочка.
В таком AI-ассистенте она может выглядеть примерно так: вопрос сотрудника -> найденные данные -> выбранные факты -> контекст -> ответ -> подтверждающий источник -> действие сотрудника -> результат.
Чем больше элементов этой цепочки мы можем проверить, тем управляемее система.
Чем больше внутри магического чёрного ящика, тем сложнее доверять ей в реальном бизнес-процессе.
И здесь есть ещё одна важная деталь. Даже хорошего ответа недостаточно. Похожий разрыв между данными, выводом и реальным действием я разбирал в статье «Может ли AI превратить цифры бизнеса в управленческие решения?»: корректная информация сама по себе ещё не гарантирует правильного действия.
Цель онбординг-бота - не отвечать на вопросы
Если смотреть на задачу буквально, можно решить, что нужно сделать чат-бота, который отвечает новому сотруднику.
Но это только функция. Бизнес-задача глубже. Новый сотрудник должен быстрее стать самостоятельным. Возможно, AI может:
- сократить время поиска информации;
- уменьшить количество повторяющихся вопросов наставнику;
- быстрее провести сотрудника через типовые процессы;
- снизить количество ошибок;
- подсказать следующий шаг;
- понять, когда вопрос нужно передать человеку.
Вот это уже результат.
Поэтому я бы не измерял качество такого продукта количеством вопросов, на которые ответил бот. Гораздо интереснее другое.
Стало ли сотруднику проще работать?
Быстрее ли он проходит адаптацию?
Меньше ли времени тратит наставник?
Снижается ли количество повторных вопросов?
Совершается ли после ответа правильное действие?
Если бот дал тысячу ответов, но сотрудник после каждого идёт перепроверять их у коллеги, технология вроде бы работает, а бизнес-задача нет.
Что на самом деле находится под капотом
Если убрать конкретный мессенджер, я вижу здесь примерно такую систему: Корпоративные знания
-> актуальность и приоритет источников
-> права доступа
-> поиск релевантной информации
-> контекст конкретного сотрудника
-> правила формирования ответа
-> контроль фактической опоры
-> работа с неопределённостью
-> эскалация человеку
-> обратная связь
-> оценка качества
-> изменение поведения или действия сотрудника
-> измеримый результат для бизнеса.
И вот эту конструкцию уже можно подключить к чему угодно.
Сегодня к МАКС.
Завтра к внутреннему порталу.
Послезавтра к мобильному приложению.
Потом к корпоративному AI-интерфейсу, которого сегодня вообще ещё нет.
Канал изменится.
Накопленная система знаний и правил останется.
Поэтому интерфейс - не главный технологический актив
Мне кажется, вокруг AI сейчас очень легко перепутать продукт с его видимой частью.
Показать чат проще, чем показать архитектуру знаний.
Красивый ответ модели заметнее, чем корректная система прав.
Интерфейс проще продемонстрировать, чем механизм обработки неопределённости.
Но именно невидимые части во многом определяют, можно ли решение использовать за пределами демонстрации.
Сам мессенджер можно заменить.
LLM со временем тоже можно заменить.
UI можно переписать.
А вот накопленную структуру корпоративных знаний, правила доступа, логику выбора источников, сценарии эскалации, контроль качества и обратную связь приходится создавать уже вокруг конкретного бизнеса. Именно там, на мой взгляд, постепенно появляется настоящий актив.
На что я буду смотреть на защите
Поэтому 25 октября мне будет интересно увидеть не просто работающих ботов. Я постараюсь разобраться:
- откуда система получает знания;
- как выбирает источник;
- можно ли проверить основания ответа;
- как учитывает контекст сотрудника;
- как работают права доступа;
- что делает с противоречащими данными;
- умеет ли честно остановиться при недостатке информации;
- куда отправляет вопрос, который не может решить;
- как собирает обратную связь;
- можно ли улучшать её после запуска;
- и главное - приводит ли всё это к более быстрой и качественной адаптации сотрудника.
Потому что хороший корпоративный AI для меня давно уже не равен хорошему чату с нейросетью.
Интерфейс - это место, где человек соприкасается с системой.
Продукт - это всё то, что позволяет системе после этого соприкосновения дать правильный результат.
И чем больше я работаю с AI, тем сильнее мне кажется, что основная борьба будет идти не за самый красивый интерфейс. Она будет идти за качество того, что находится под капотом.