Почти каждое внедрение AI начинает отслеживать одно и то же число первым: сколько людей вошли в систему, открыли инструмент, отправили первое сообщение. Это самая простая метрика для сбора, и одновременно самая бесполезная, если нужно понять, стало ли реально лучше.
Метрика, за которую хватаются первой
Число входов и объём сообщений кажутся объективными. Они берутся прямо из логов продукта, без опросов и без спорных решений о том, что считать «успехом». Именно поэтому они так быстро распространяются внутри компаний: их дёшево посчитать и трудно оспорить на слайде.
Что за этим скрывается
- Человек может заходить в инструмент каждый день и не менять из-за этого ничего в своей работе.
- Команда может почти не касаться инструмента, но проводить через него самые важные решения.
- Всплеск использования сразу после указания сверху часто угасает, как только внимание руководства переключается на что-то другое.
Ничего из этого не видно на дашборде, построенном вокруг входов в систему. Это видно по тому, ускорилась ли реальная работа, не просела ли её качество, и продолжают ли люди пользоваться инструментом, когда за ними никто не следит.
Вопрос получше
Вместо того чтобы спрашивать, сколько людей воспользовались AI-инструментом, полезнее спросить, какой конкретный кусок работы из-за него изменился, и заметил бы это человек, если бы инструмент завтра исчез. Ответить на такой вопрос труднее, но он гораздо честнее.