Тест готов, правильные ответы отмечены, ссылка открывается. Но до назначения всему отделу полезно проверить ещё одну вещь: понимает ли другой человек вопрос так же, как его автор. Для этого нужен пробный прогон. Его результат — список исправлений в тесте, а не рейтинг сотрудников.

Ниже — практический сценарий для HR и руководителя внутреннего обучения. На вымышленном правиле бронирования переговорной покажем, как заметить неоднозначность, переписать вопрос и проверить исправление.

Кого пригласить и что попросить сделать

Для первого просмотра можно пригласить коллегу, который знает рабочее правило, но не составлял вопросы. Если проверяете инструкцию для новичков, добавьте человека, недавно с ней познакомившегося. Такое сочетание даст два разных взгляда, но не превратит небольшой прогон в статистическую проверку качества теста.

Скажите прямо: «Сейчас мы проверяем формулировки и прохождение. Замечания помогут исправить тест и не используются для оценки вашей работы». Попросите участника пройти задания самостоятельно, отмечая номера вопросов, в которых пришлось угадывать намерение автора. Объяснения соберите после прохождения: подсказка по ходу может скрыть проблему.

Похожий принцип предлагает Eberly Center университета Carnegie Mellon в рекомендациях по созданию экзаменов: дать коллеге прочитать или выполнить задания, чтобы выявить неясности. Это источник общего подхода; пример и журнал ниже разработаны для этой статьи.

Учебный пример: правило есть, одного ответа нет

Представим, что в инструкции компании записано: «Переговорную бронируют в календаре. Если на встрече будут внешние гости, дополнительно уведомляют администратора. Бронирование нужно завершить до отправки приглашений».

Автор написал вопрос: «Что нужно сделать перед встречей с гостями?» — и предложил один правильный ответ:

• А. Забронировать переговорную.
• Б. Уведомить администратора.
• В. Отправить приглашения.

В ключе стоит Б. Однако инструкция требует и бронирования, и уведомления. Более того, приглашения тоже обычно отправляют перед встречей. Условие не спрашивает, какое действие дополнительное или какое нужно выполнить первым. Ошибка участника здесь может быть ошибкой самого задания.

Полезное замечание в пилоте звучит конкретно: «Я выбрал А, потому что без бронирования встречу не провести. Б тоже требуется. В вопросе не сказано, какое из этих действий ищут». Формулировка «вопрос сложный» даёт автору гораздо меньше материала для исправления.

Исправьте вопрос, сохранив проверяемое правило

Новая версия: «Переговорная уже забронирована. На встрече будут внешние гости. Какое дополнительное действие требует инструкция именно из-за участия внешних гостей?»

• А. Уведомить администратора.
• Б. Создать вторую бронь в календаре.
• В. Отменить бронь и выбрать другую комнату.

Ключ: А. В условии теперь отделено уже выполненное действие от дополнительного. Варианты Б и В не следуют из приведённого правила. Это простой вопрос на понимание конкретной инструкции; он не проверяет все навыки организации встречи.

После правки попросите другого проверяющего объяснить выбор, не показывая старую версию и ключ. Если вы лишь объявите первому участнику правильный ответ и дадите тот же вопрос, успешный повтор может отражать запоминание подсказки.

Ведите короткий журнал замечаний

Хватит обычного документа с пятью полями: номер вопроса; наблюдение; предполагаемая причина; исправление; результат повторной проверки. Отделяйте наблюдение от версии причины: «не увидел подпись к схеме на телефоне» — факт со слов участника, а «невнимательный сотрудник» — уже необоснованный вывод.

Пример записи для разобранного задания:

Вопрос 3. Участник обосновал два варианта одной и той же инструкцией. Причина: условие не выделяет дополнительное действие для внешних гостей. Исправление: указать, что бронь уже создана, и уточнить вопрос. Повторная проверка: ожидается; до неё замечание не закрыто.

Другие записи могут касаться самого прохождения:

• Изображение: подпись читается на компьютере, но слишком мелкая на телефоне. Проверить на экране участника, затем увеличить подпись или перенести необходимые данные в текст.
• Инструкция: неясно, разрешено ли смотреть регламент. Указать правило до старта и проверить, что участник его понял.
• Ключ: в редакторе отмечен другой вариант, чем в утверждённом разборе. Сверить содержание ответа, исправить и пройти вопрос заново.
• Время: участник потратил несколько минут на поиск неработающей ссылки. Устранить причину и повторить прогон; не считать эту задержку временем решения.

Проверьте путь от приглашения до результата

В ТестерХэд создайте отдельное пробное назначение для согласованного участника. Используйте вымышленные данные в заданиях. Откройте именно выданную ссылку, завершите прохождение и найдите его результат в истории. Не ограничивайтесь просмотром вопросов в конструкторе: у автора и участника разные задачи на экране.

Проверьте условия на компьютере и телефоне, если оба варианта предполагаются в работе. Есть ли всё необходимое для ответа? Помещается ли текст? Можно ли различить подписи на изображениях? Сохранён ли выбранный ответ в завершённом прохождении? Для контрольного задания заранее запишите ожидаемый ответ и сравните его с отчётом.

Если заметили неисправность, сохраните номер пробного назначения, время, шаг и снимок без персональных данных. Так техническое замечание можно воспроизвести. Общая запись «тест завис» не показывает, было ли затруднение при открытии ссылки, выборе ответа или завершении.

Когда можно назначать тест отделу

Перед запуском вернитесь к журналу. У каждого замечания, мешающего ответить или получить результат, должно быть проверенное исправление. Уточнение текста подтверждается новым чтением, а исправление прохождения — новым прохождением. Статус «исправлено автором» ещё не означает «проверено».

Сохраните в рабочем документе дату проверки и названия изменённых вопросов. Не смешивайте пробные результаты с итогами обучения. Небольшой пилот помогает обнаружить явные дефекты, но сам по себе не доказывает, что тест надёжно измеряет компетенцию или предсказывает успешность работы.

Если вопросы ещё не собраны, начните с плана теста по рабочей инструкции. Для создания и назначения проверки используйте ТестерХэд для обучения и оценки сотрудников.