Почему оценки одного звонка у руководителя и ОКК различаются

Коротко: Оценки одного звонка у РОПа и контролера качества расходятся из-за размытых чек-листов, разницы в целях и смещения фокуса: руководитель оценивает сделку по результату, а контролер — по соблюдению регламента. Решение проблемы заключается в синхронизации определений, регулярных калибровочных сессиях и создании библиотеки эталонных звонков до масштабирования контроля.

Анатомия конфликта: почему РОП хвалит за то, за что контролер штрафует

В отделах продаж регулярно возникает ситуация, когда менеджер после разбора одного и того же диалога получает диаметрально противоположные указания. Руководитель отдела продаж (РОП) слушает запись, видит переведенную предоплату или назначенную встречу и ставит диалогу высший балл, отмечая напор и гибкость сотрудника. Спустя два дня специалист службы контроля качества (ОКК) выставляет за этот же разговор 40 баллов из 100, срезая оценку за отсутствие обязательного вопроса о бюджете, непроговоренную юридическую формулировку и перебивание клиента.

Сотрудник оказывается в ситуации двойных стандартов. Если он следует указаниям контролера, РОП обвиняет его в роботизированности и потере живого контакта с клиентом. Если он адаптируется под требования руководителя, ОКК лишает его премиальной части за нарушение регламентов. В коллективе копится раздражение, падает доверие к системе мотивации, а разборы звонков превращаются в формальность, где каждый участник защищает собственную правоту вместо улучшения показателей конверсии.

Причина этого разрыва лежит в базовой разнице профессиональной оптики. Руководитель продаж ориентирован на выручку здесь и сейчас. Он смотрит на контекст сделки в amoCRM или Битрикс24, учитывает историю взаимоотношений с клиентом и прощает сотруднику пропуск этапов скрипта, если диалог привел к продвижению по воронке. Контролер качества оценивает соблюдение стандарта процесса. Для него скрипт является нормативным документом, а любое отклонение от текста — дефектом, независимо от исхода беседы.

Такое разделение неизбежно приводит к искажению данных в управленческих отчетах. Когда метрики качества не бьются с фактической выручкой, руководство компании перестает опираться на отчеты ОКК при принятии кадровых и процессных решений. Служба контроля воспринимается коммерческим блоком как карательный орган, создающий необоснованную бюрократическую нагрузку и отвлекающий менеджеров от выполнения плана.

Чтобы устранить этот конфликт, необходимо выровнять систему координат между коммерческим блоком и аудиторами. Это не означает, что одна из сторон должна полностью уступить другой. Задача калибровки — выработать единый стандарт, при котором соблюдение регламента напрямую влияет на вероятность успешной сделки, а оценка звонка перестает зависеть от должности и личных симпатий проверяющего.

Размытые чек-листы: ловушка субъективных формулировок

Главный источник расхождений в оценках — качественные прилагательные и оценочные суждения в бланках проверок. Если в чек-листе присутствуют пункты вроде «проявил клиентоориентированность», «активно слушал собеседника», «уверенно отработал возражение» или «задал достаточное количество уточняющих вопросов», расхождение в оценках между двумя проверяющими гарантированно превысит 30–40%.

Каждый проверяющий вкладывает в эти понятия собственный жизненный и профессиональный опыт. Для РОПа уверенный голос менеджера — это напористость и доминирование в диалоге, даже если сотрудник говорит на повышенных тонах. Для проверяющего из ОКК такое поведение классифицируется как давление на клиента и грубость, за что звонок штрафуется. В результате одна и та же реплика получает прямо противоположные трактовки.

Вторая проблема формулировок — отсутствие бинарности. Когда пункт чек-листа оценивается по шкале от 1 до 5 или от 1 до 10, субъективность возрастает многократно. Один контролер считает оценку 4 отличным результатом, а 5 оставляет только для идеальных диалогов, которых на практике не существует. Другой проверяющий ставит максимальный балл за любое базовое выполнение пункта, снижая оценку только при грубых ошибках. Разница в итоговом проценте качества по одному менеджеру у этих двух специалистов может достигать 25 процентных пунктов без каких-либо реальных изменений в качестве его звонков.

Третья ошибка заключается в отсутствии контекстных исключений. Классический пример: клиент сам в первые тридцать секунд разговора подробно рассказывает, для каких задач ему нужен продукт, в какие сроки требуется поставка и каким бюджетом располагает компания. Опытный менеджер не устраивает повторный допрос, а сразу переходит к презентации решения. Формальный контролер штрафует сотрудника за пропуск блока квалификации, так как менеджер не произнес заранее заготовленные фразы по порядку. Чек-лист должен четко описывать ситуации, когда этап считается пройденным автоматически при инициативе со стороны покупателя.

Разрыв контекста: почему факт сделки ослепляет руководителя

Руководители отделов продаж подвержены системной когнитивной ошибке — смещению в сторону результата (outcome bias). Если звонок закончился выставлением счета или согласием на встречу, РОП подсознательно оценивает все действия менеджера как правильные. Критические ошибки в фиксации договоренностей, пропущенные юридические риски или обещание невыполнимых сроков игнорируются, так как сиюминутная цель достигнута.

На практике результативный звонок с грубыми нарушениями скрипта часто создает отложенные проблемы на следующих этапах воронки. Менеджер может продать товар клиенту, не подходящему под профиль целевой аудитории (неквалифицированный лид), не зафиксировать ключевые требования к интеграции в RetailCRM или Битрикс24 или дать несанкционированную скидку в обход регламента. На этапе внедрения или повторных продаж такой клиент неизбежно уходит с негативом, требуя возврата средств и перегружая техническую поддержку.

Обратная сторона этой ошибки — строгая оценка качественных звонков, которые не привели к сделке. Если клиент категорически отказывается от продолжения диалога по объективным причинам (банкротство, смена профиля деятельности, отсутствие бюджета на ближайший год), РОП может посчитать звонок провальным и требовать от менеджера агрессивного дожима. Профессиональный контролер в этой ситуации видит безупречную квалификацию, экологичную отработку сомнений и своевременную фиксацию отказа, которая экономит время отдела продаж и позволяет не тратить ресурсы на нецелевой контакт.

Разрыв контекста проявляется и в знании предыстории клиента. Руководитель часто помнит, что этот контакт ведется уже полгода, клиент имеет сложный характер и общение на повышенных тонах для него является привычной нормой коммуникации. Контролер ОКК получает случайную аудиозапись без доступа к детальной переписке в мессенджерах или комментариям в amoCRM. Не зная контекста взаимоотношений, аудитор выставляет штраф за нарушение делового этикета, хотя именно такой стиль общения позволил сохранить контакт с заказчиком.

Для устранения этого разрыва правила оценки должны разграничивать процессуальную дисциплину и коммерческую результативность. Оценка качества разговора должна отражать вероятность успешного закрытия сделки на длинной дистанции, а не единичный факт согласия или отказа в конкретную минуту.

Методология калибровки: пошаговый регламент совместной разметки

Калибровка оценки качества звонков — это регулярный рабочий процесс синхронизации проверяющих, в ходе которого РОП, старшие аудиторы ОКК и методисты совместно слушают одни и те же аудиозаписи и вырабатывают консенсус по спорным моментам. Цель калибровки состоит не в поиске правого, а в создании однозначных правил для всей компании.

Процесс калибровочной сессии строится по строгому алгоритму. Нельзя проводить такие встречи стихийно, превращая их в бесконечные споры о трактовке отдельных слов.

Сначала выбирается выборка для анализа: от 5 до 10 звонков различной продолжительности и исхода. В выборку обязательно включаются успешные сделки, отказы, конфликтные диалоги и звонки новых сотрудников. Выборку формирует модератор встречи — чаще всего ведущий методист или бизнес-аналитик, не заинтересованный в искажении статистики в пользу конкретного отдела.

Затем проводится независимая слепая разметка. До начала общей встречи каждый участник (руководитель отдела продаж, контролеры качества, коммерческий директор) слушает отобранные записи и заполняет стандартный чек-лист в изолированном режиме. Участники не видят чужих оценок и комментариев до момента фиксации собственных баллов. Это исключает влияние авторитета руководителя на оценки контролеров.

На совместной сессии модератор сводит данные в единую таблицу и подсвечивает расхождения. Разборам подлежат только те пункты, где разница в оценках участников превысила установленный порог — например, расхождение составляет более 10 баллов по шкале или один участник поставил зачет, а второй выставил критическую ошибку.

Обсуждение спорного момента строится вокруг бизнес-логики: как именно реплика менеджера влияет на конверсию, маржинальность и лояльность покупателя. Если РОП настаивает, что вопрос о бюджете был неуместен, он обязан объяснить, как менеджер защитит сделку от срыва на этапе согласования договора. Если контролер требует обязательного проговаривания полного наименования акции, он должен обосновать, почему отсутствие этой фразы снижает вероятность продажи.

По итогам каждого разобранного случая модератор вносит изменения в глоссарий и чек-лист. Формулируется либо новое исключение из правила, либо уточняется формулировка критерия. Решение фиксируется в протоколе, который подписывают руководители обоих подразделений. Все изменения вступают в силу со следующего отчетного периода и доводятся до линейных сотрудников с демонстрацией разобранного примера.

Оптимальная регулярность калибровочных встреч на этапе внедрения единых стандартов составляет один раз в неделю длительностью не более двух часов. После того как уровень согласованности оценок стабилизируется на отметке выше 85%, периодичность сессий можно снизить до одного раза в две недели или одного раза в месяц для поддержания точности системы.

Создание эталонной базы: золотой стандарт звонков компании

Результатом регулярных калибровок должна стать эталонная база записей — так называемый «золотой стандарт». Это библиотека реальных аудиозаписей звонков, по которым достигнуто стопроцентное согласие между всеми руководителями и контролерами.

Эталонная база выполняет роль палаты мер и весов внутри коммерческого департамента. При возникновении любых спорных ситуаций менеджер или аудитор может обратиться к архиву и послушать, как именно должен звучать диалог на 100 баллов, как выглядит допустимая ошибка, не влияющая на премию, и за какие именно фразы выставляется критический незачет.

Структура библиотеки эталонов должна закрывать все типовые сценарии работы компании:

Квалификация входящего обращения: примеры работы с целевыми клиентами разного масштаба, включая обработку нецелевых запросов и корректную передачу лида между подразделениями. Работа с сомнениями и сложными вопросами: эталонные диалоги с клиентами, сравнивающими предложение с прямыми конкурентами или требующими скидок, превышающих стандартный регламент. Конфликтные и стрессовые коммуникации: записи с корректным выходом из эмоционального напряжения при срыве сроков поставки или технических сбоях без потери лояльности заказчика. Недозвоны и повторные касания: звонки по базе с высокой скоростью установления контакта и переводом разговора на содержательное обсуждение.

Каждый эталонный звонок в библиотеке сопровождается поминутной текстовой расшифровкой с комментариями калибровочного комитета. В комментариях указывается, почему конкретная фраза считается удачной, какие некритичные помарки допустил менеджер и почему в данном контексте они не привели к снижению общей оценки.

Библиотека эталонов используется при адаптации новых сотрудников. Вместо чтения многостраничных абстрактных инструкций стажер слушает 20 калиброванных звонков с комментариями. Это сокращает срок выхода новичка на целевые показатели конверсии в среднем на две-три недели. Кроме того, новые контролеры качества проходят обязательную аттестацию по этой базе: кандидат допускается к реальным проверкам только после того, как его оценки контрольной выборки эталонных записей совпадут с оценками калибровочной комиссии минимум на 90%.

Эталонная база не является статичным документом. При изменении продуктовой линейки, выходе на новые рынки или корректировке ценовой политики библиотека обновляется. Устаревшие записи отправляются в архив, а на их место добавляются свежие калиброванные диалоги.

Математика согласованности: как измерить совпадение оценок

Оценка качества не может опираться на интуитивные ощущения вроде «кажется, теперь мы оцениваем звонки одинаково». Согласованность проверяющих требует строгого математического учета через специальные коэффициенты.

Самый простой показатель — процент абсолютного согласия (Percentage Agreement). Он рассчитывается как отношение количества пунктов чек-листа, по которым мнения проверяющих полностью совпали, к общему числу оцененных пунктов:

$P = \frac{N_{совпавших}}{N_{всего}} \times 100\%$

Однако процент абсолютного согласия имеет существенный недостаток: он не учитывает фактор случайного совпадения, особенно в чек-листах с бинарными вопросами (да/нет). Если по какому-то критерию менеджеры выполняют требование в 90% случаев (например, называют компанию при приветствии), два случайных проверяющих совпадут в оценках просто в силу статистического распределения, даже не слушая запись.

Для устранения случайных совпадений в профессиональном аудите используется каппа Коэна ($\kappa$). Этот показатель измеряет уровень межэкспертного согласия между двумя оценщиками при классификации качественных данных с поправкой на вероятность случайного совпадения:

$\kappa = \frac{P_o - P_e}{1 - P_e}$

где $P_o$ — наблюдаемая доля согласованных оценок, а $P_e$ — гипотетическая вероятность случайного согласия, рассчитанная на основе маргинальных распределений каждого оценщика.

Значение каппы Коэна интерпретируется по стандартной шкале:

Меньше 0,40: слабый уровень согласованности. Чек-лист не работает, оценки носят случайный характер, внедрять автоматизацию или привязывать мотивацию к таким данным категорически запрещено. От 0,41 до 0,60: умеренная согласованность. Базовые правила понятны, но сохраняются серьезные разногласия в трактовке ключевых этапов продажи. От 0,61 до 0,80: хороший уровень согласованности. Чек-лист откалиброван, расхождения возникают только в редких пограничных случаях. От 0,81 до 1,00: почти идеальное согласие. Система полностью откалибрована и готова к масштабированию и автоматическому контролю.

В компаниях с штатом аудиторов более трех человек для расчета согласованности применяется каппа Флейса или коэффициент внутриклассовой корреляции (ICC). Руководитель ОКК обязан вести регулярный мониторинг этих метрик и формировать матрицу согласованности экспертов. Если один из аудиторов системно отклоняется от медианных оценок рабочей группы, он временно отстраняется от проверки боевых звонков и проходит дополнительную калибровку.

Внедрение единых правил в CRM и ежедневную практику

Калиброванные критерии должны быть жестко зафиксированы в рабочих инструментах сотрудников и интегрированы в интерфейс CRM. Если результаты проверок хранятся в отдельных электронных таблицах, до которых у менеджеров и руководителей не доходят руки, калибровка теряет практический смысл.

В amoCRM, Битрикс24 или специализированных CRM-системах калиброванная анкета проверки привязывается напрямую к карточке сделки и записи разговора. Прослушав звонок, проверяющий заполняет форму внутри системы, и итоговый балл автоматически отображается в соответствующем поле сделки, влияя на аналитические дашборды.

Важнейший элемент прозрачной системы — регламент апелляций. Менеджер по продажам должен иметь право оспорить выставленную оценку в течение фиксированного времени (обычно 48 часов с момента публикации оценки). Процедура апелляции строится по четким правилам:

Сотрудник не может подать апелляцию с общей формулировкой «я не согласен с оценкой». Он обязан указать конкретный пункт чек-листа, таймкод аудиозаписи и ссылку на пункт калиброванного регламента или эталонный звонок из библиотеки.

Апелляцию рассматривает арбитражная комиссия, в которую входит супервайзер ОКК и РОП. Если апелляция отклоняется, оценка остается неизменной. Если апелляция принимается, оценка корректируется, а случай передается методисту для оценки необходимости внесения уточнений в чек-лист.

Статистика апелляций — ценный индикатор качества калибровки. Если процент апелляций превышает 5–7% от общего числа проверенных звонков, это свидетельствует о деградации стандартов или появлении новых продуктовых сценариев, не описанных в регламенте. Здоровая норма апелляций в работающем отделе продаж составляет от 1% до 3%, при этом доля удовлетворенных жалоб должна находиться в диапазоне 40–50%. Если удовлетворяется 100% апелляций, значит, служба контроля работает небрежно; если отклоняются все 100%, менеджеры перестают верить в справедливость процедуры и замыкаются в себе.

Переход к автоматизации: почему ИИ ОКК бесполезен без калибровки

Многие компании пытаются решить проблему субъективности оценок и расхождений между руководителями через внедрение автоматизированных систем речевой аналитики. Однако попытка автоматизировать неоткалиброванный процесс приводит лишь к масштабированию хаоса. Если живые руководители и аудиторы не способны договориться о том, какая формулировка считается успешной отработкой возражения, алгоритмы анализа речи не смогут выдать корректный результат.

Любая система автоматического контроля требует четких логических условий, алгоритмов разметки и понимания контекста. Когда в систему загружается размытый чек-лист, содержащий противоречивые требования, точность распознавания смысловых конструкций падает, а отчеты наполняются ложными срабатываниями. В результате доверие менеджеров к автоматическому контролю падает еще быстрее, чем к ручным проверкам контролеров.

Только после того, как проведена ручная калибровка, составлен словарь терминов, согласованы бинарные критерии и сформирована эталонная база звонков, внедрение технологий речевой аналитики становится обоснованным шагом. В этой связке инструмент автоматизации воспроизводит логику калибровочной комиссии, но делает это не на случайной выборке в 2–5% звонков, а на 100% входящих и исходящих аудиозаписей компании.

Профессиональная [система речевой аналитики](https://gs-ai.ru/rechevaya-analitika) на базе ИИ ОКК берет на себя рутинную проверку обязательных параметров: соблюдение стандартов приветствия, проговаривание юридических условий, факт выявления ключевых потребностей, фиксацию договоренностей о следующем шаге и идентификацию запрещенных стоп-слов. Программа разбирает доступные аудиозаписи по калиброванным критериям отдела, мгновенно находит системные ошибки менеджеров, выявляет редкие возражения и истинные причины отказов клиентов, фиксируя результаты проверок прямо в CRM-системе.

При таком подходе ручной труд контролеров и руководителей не исчезает полностью, но кардинально меняет свой фокус. Вместо механического подсчета баллов за проговоренные скрипты эксперты концентрируются на точечном разборе нестандартных кейсов, работе со сложными переговорами и регулярной калибровке системы под меняющиеся условия рынка.

Реальный опыт проектов: результаты устранения управленческого шума

Практика автоматизации и наведения порядка в оценке звонков показывает прямую связь между согласованностью критериев контроля и ростом коммерческих показателей бизнеса.

В проекте для образовательной платформы Lerna устранение управленческого шума, переработка критериев оценки и внедрение автоматизированного контроля позволили добиться комплексного эффекта. Общий прирост конверсии продаж составил +32% (относительный прирост, а не процентные пункты). При этом по внутренней оценке проекта вклад ИИ Колл-центра в этот показатель оценивается в 20%, а вклад системы ИИ ОКК за счет тотального контроля соблюдения калиброванных скриптов — в 12%. Дополнительным результатом внедрения технологий стало сокращение фонда оплаты труда (ФОТ) колл-центра и отдела контроля качества на 70% при сохранении стопроцентного охвата проверяемой базы диалогов.

В проекте Skillbox English стандартизация этапов квалификации и автоматический аудит лидов позволили исключить передачу нецелевых контактов в дорогой отдел продаж. В результате стоимость квалифицированного обращения стала примерно в 3 раза ниже базового показателя. При этом важно учитывать, что квалифицированное обращение соответствует строго согласованным критериям портрета клиента и само по себе еще не является фактом совершения продажи.

В девелоперском проекте «Ленстройтрест» (сфера недвижимости) точная классификация и регулярный контроль работы с отложенным спросом позволили вернуть клиентов, числившихся потерянными. Из 2 299 обработанных контактов 121 контакт был возвращен в активную работу воронки продаж, что привело к заключению 3 подтвержденных сделок и принесло компании около 33 млн рублей выручки. Следует подчеркнуть, что показатели выручки и чистой прибыли не являются взаимозаменяемыми величинами, а достигнутые цифры отражают результаты конкретного проекта с учетом специфики высокого чека на рынке недвижимости.

Эти данные подтверждают: четко выстроенная система контроля качества, избавленная от субъективности и противоречивых требований руководителей, становится прямым драйвером роста конверсии и снижения удельных издержек на привлечение и удержание клиентов.

--

Если в вашей компании оценки звонков вызывают споры между РОПом и контролерами, а сотрудники жалуются на противоречивые требования, начните с аудита критериев. Эксперты GS AI помогут выбрать и откалибровать ключевые параметры контроля, настроить правила оценки и разобрать записи ваших разговоров для подготовки к внедрению автоматической аналитики.

--