Статистика

Сбор откликов

Отклики дизайнеров собирались в течение месяца. По графику видно затухание интереса с момента публикации вакансии. Это будет важно учитывать при анализе оценок экспертов.

График поступления откликов на вакансию

Отклики распределились по шести группам

Мы получили 243 отклика. Из них:

  • Искали работу: 228 человек;
  • Участвовали из любопытства: 15 человек.

График распределения по группам

Группы

  1. Экстра: 8 (3.3%). Все эксперты пропустили бы отклик на следующий этап.
  2. Точно да: 20 (8.2%). Больше 80% положительных голосов.
  3. Скорее да: 62 (25.5%). От 50% до 80% положительных голосов.
  4. Скорее нет: 52 (21.5%). Между 30% и 50% положительных голосов.
  5. Отказать: 97 (39.9%). До 30% положительных голосов.
  6. Спам: 4 (1.6%). Все эксперты отметили отклик как «спам».

Общая статистика по группам

Экстра — этих кандидатов самый большой шанс найти работу: все эксперты, которые видели отклик единодушно пропустили бы отклик на следующий этап. Интересно, что в выборку попал известный дизайн-менеджер и вчерашняя студентка. 8 (3.3%)

  • 7 из 8 отметили что ищут работу
  • Среднее время рассмотрения отклика по группе: 63.9 сек.
  • Минимальное время: 22.2; максимальное: 158.8 сек.
  • Среднее количество слов в отклике: 276
  • Самый короткий отклик 107 слов; самый длинный: 538 слов.

Точно да — эта небольшая группа соискателей, которых точно пригласят на собеседование. 20 (8.2%)

  • 18 из 20 отметили что ищут работу
  • Среднее время рассмотрения отклика по группе: 54.6 сек.
  • Минимальное время: 26.1; максимальное: 100.6 сек.
  • Среднее количество слов в отклике: 262
  • Самый короткий отклик 74 слова; самый длинный: 795 слов.

Скорее да 62 (25.5%)

  • 58 из 62 отметили что ищут работу
  • Среднее время рассмотрения отклика по группе: 59.8 сек.
  • Минимальное время: 18.3; максимальное: 134.1 сек.
  • Среднее количество слов в отклике: 197
  • Самый короткий отклик 44 слова; самый длинный: 800 слов.

Скорее нет 52 (21.4%)

  • 48 из 52 отметили что ищут работу
  • Среднее время рассмотрения отклика по группе: 54.2 сек.
  • Минимальное время: 19.4; максимальное: 141.7 сек.
  • Среднее количество слов в отклике: 220
  • Самый короткий отклик 2 слова; самый длинный: 671 слово.

Отказать 97 (39.9%)

  • 93 из 97 отметили что ищут работу
  • Среднее время рассмотрения отклика по группе: 59.6 сек.
  • Минимальное время: 18.8; максимальное: 153.1 сек.
  • Среднее количество слов в отклике: 163
  • Самый короткий отклик 4 слова; самый длинный: 713 слов.

Спам — в спам попадали те отклики, которые единодушно всеми экспертами были отмечены как спам. 4 (1.6%)

  • Среднее время рассмотрения отклика по группе: 45.3 сек.
  • Минимальное время: 31.1; максимальное: 59.4 сек.
  • Среднее количество слов в отклике: 184
  • Самый короткий отклик — ровно одно слово; самый длинный: 715 слов.

Коротко о методике голосования

  • Каждый отклик демонстрировался экспертам в произвольном порядке.
  • Равное распределение первых четырех голосов между экспертами женского и мужского пола, затем три голоса экспертами любого пола (опционально). После семи голосов отклик изымается из пула оценок.
  • У экспертов было всего три кнопки: да, нет, спам.
  • Эксперты отвечали на вопрос «Пропустить кандидата на следующий этап?» — Да/ нет.
  • Спампредназначался для разметки откликов, не соответствующих требованиям вакансии (с точки зрения эксперта).

Алгоритм распределения оценок по группам

  • Каждому голосу присвоен вес: да = +1, нет = -1, спам = -10.
  • «Спам» необходимо корректно отфильтровать, для этого оценка корректируется. Например, если один эксперт отметил отклик как «спам», а остальные дали либо негативную либо позитивную оценку, то данная конкретная оценка трансформируется в отказ («нет» с весом -1).
  • В расчёте веса отклика участвуют нормированные оценки.
  • При распределении откликов по группам учитывались обновлённые оценки.

Поля формы отклика

  • Почта для обратной связи (для участия требуется подтверждение)
  • Ищу работу (да/нет)
  • Текст сопроводительного письма без ограничений по длине но без специального форматирования. Прикреплять файлы запрещено.

Эксперты видели только текст откликабез явного указания — ищет автор отклика работу или нет. Отклики могли быть вымышленными, что гипотетически могло сработать как способ анонимизации (например, можно было представиться другим человеком и посмотреть оценку вымышленного персонажа). Если пользователь не указывал явно свои контактные данные и т.п., определить реального пользователя от вымышленного эксперты не смогли бы.

Как голосовали эксперты

Чтобы у эксперимента был понятный финал, мы попросили экспертов успеть дать оценку за месяц. В реальности процесс занял пять недель. Интересно посмотреть распределение голосов во времени.

График поступления откликов на вакансию

  • Дата предоставления доступа к откликам: 7 октября 2019 г.
  • Первый голос: 7 октября 2019 г.
  • Последний голос: 10 ноября 2019 г.

График распределения откликов по дням, сумма всех откликов

Из графика видно, что экспертам было удобнее всего просматривать отклики большими порциями и ближе к концу мероприятия.

За эти недели эксперты успели побывать в командировках и отпусках, запустить несколько образовательных программ (курсы и корпоративные школы), выступить на конференциях, поболеть и сменить работы и переехать жить в другие страны. Почти у всех перечисленная деятельность была дополнением к работе (кроме отпусков и тех, кто в моменте официально не работал). Иными словами, рассмотрение откликов было максимально приближено к реальным условиям, которые наблюдались в других компаниях и боевых условиях. Были и те, кто разбирал отклики каждый день по мере поступления.

При том что средняя скорость принятия решения (с учётом времени на ознакомление с письмом и ссылками) обычно находится в пределах одной минуты, процесс требует большой эмоциональной вовлечённости (ощущение большой ответственности, даже в рамках эксперимента).

График поступления откликов на вакансию по полу эксперта

Индивидуальная статистика экспертов

Учитывая распределение по группам и голоса экспертов, мы можем понять насколько «точно» угадывали эксперты группы откликов. Здесь эксперту необходимо было соблюдать баланс между количеством голосов за и против. Чем больше доля голосов за группы 1-3 (Экстра, точно да, скорее да), тем точнее работает эксперт.

Чтобы исключить влияние личного бренда на восприятие оценок, я заменил реальные имена на названия цветов.

Для каждого эксперта есть:

  • График голосов по дням, от начала до завершения эксперимента
  • Точность
  • Цифры

Понятие «точность»

Понятие описывает распределение положительных оценок эксперта относительно групп распределения откликов.

Например:

  • Эксперт оценил 100 откликов
  • Из них 70 «нет», 28 «да» и 2 «спам»
  • Точность описывает только 28 положительных оценок
  • Эти 28 положительных оценок сопоставляются с группами, в которые распределились одобренные экспертом отклики.

Для визуализации идеи я сделал графики с метафорической мишенью — чем больше мишень, тем больше эксперт проверил откликов. Каждый цветной круг обозначает группу: в центре — «Экстра» и далее по убывающей. Конечно, это не научный график, но он позволяет быстро сравнить распределение голосов у эксперта.

Сравнение точности и количества оценок по экспертам

При этом важно понимать, что у всех экспертов свой подход к найму: кто-то пропустит больше людей на первом этапе чтобы увеличить поток (например, найм открыт сразу в несколько команд), кто-то напротив будет отказывать большинству потому что ищет специфичного кандидата. Поэтому точность — скорее показатель подхода к найму, чем определение навыка эксперта.

Gladiolus

Всего голосов: 85

Expert votes

Точность

  • Экстра: 2 (2.4%)
  • Точно да: 4 (4.7%)
  • Скорее да: 5 (5.9%)
  • Скорее нет: 2 (2.4%)
  • Отказать: 1 (1.2%)
  • Спам: 0 (0.0%)

Expert precision

Violet

Всего голосов: 36

Expert votes

Точность

  • Экстра: 2 (5.6%)
  • Точно да: 6 (16.7%)
  • Скорее да: 5 (13.9%)
  • Скорее нет: 2 (5.6%)
  • Отказать: 1 (2.8%)
  • Спам: 0 (0.0%)

Expert precision

Iris

Всего голосов: 220

Expert votes

Точность

  • Экстра: 5 (2.3%)
  • Точно да: 10 (4.5%)
  • Скорее да: 25 (11.4%)
  • Скорее нет: 10 (4.5%)
  • Отказать: 2 (0.9%)
  • Спам: 0 (0.0%)

Expert precision

Crocus

Всего голосов: 243

Expert votes

Точность

  • Экстра: 8 (3.3%)
  • Точно да:20 (8.2%)
  • Скорее да: 60 (24.7%)
  • Скорее нет: 37 (15.2%)
  • Отказать: 24 (9.9%)
  • Спам: 0 (0.0%)

Expert precision

Tulip

Всего голосов: 223

Expert votes

Точность

  • Экстра: 7 (3.1%)
  • Точно да: 16 (7.2%)
  • Скорее да: 34 (15.2%)
  • Скорее нет: 9 (4.0%)
  • Отказать: 3 (1.3%)
  • Спам: 0 (0.0%)

Expert precision

Poppy

Всего голосов: 45

Expert votes

Точность

  • Экстра: 1 (2.2%)
  • Точно да: 2 (4.4%)
  • Скорее да: 2 (4.4%)
  • Скорее нет: 7 (15.6%)
  • Отказать: 0 (0.0%)
  • Спам: 0 (0.0%)

Expert precision

Cactus

Всего голосов: 27

Expert votes

Точность

  • Экстра: 1 (3.7%)
  • Точно да: 0 (0.0%)
  • Скорее да: 1 (3.7%)
  • Скорее нет: 0 (0.0%)
  • Отказать: 0 (0.0%)
  • Спам: 0 (0.0%)

Expert precision

Mint

Всего голосов: 216

Expert votes

Точность

  • Экстра: 8 (3.7%)
  • Точно да: 17 (7.9%)
  • Скорее да: 40 (18.5%)
  • Скорее нет: 16 (7.4%)
  • Отказать: 14 (6.5%)
  • Спам: 0 (0.0%)

Expert precision

Daisy

Всего голосов: 229

Expert votes

Точность

  • Экстра: 6 (2.6%)
  • Точно да: 18 (7.9%)
  • Скорее да: 60 (26.2%)
  • Скорее нет: 42 (18.3%)
  • Отказать: 37 (16.2%)
  • Спам: 1 (0.4%)

Expert precision

Fern

Всего голосов: 29

Expert votes

Точность

  • Экстра: 1 (3.4%)
  • Точно да: 1 (3.4%)
  • Скорее да: 4 (13.8%)
  • Скорее нет: 1 (3.4%)
  • Отказать: 0 (0.0%)
  • Спам: 0 (0.0%)

Expert precision

Rose

Всего голосов: 46

Expert votes

Точность

  • Экстра: 0 (0.0%)
  • Точно да: 2 (4.3%)
  • Скорее да: 9 (19.6%)
  • Скорее нет: 1 (2.2%)
  • Отказать: 4 (8.7%)
  • Спам: 0 (0.0%)

Expert precision

Peony

Всего голосов: 40

Expert votes

Точность

  • Экстра: 1 (2.5%)
  • Точно да: 2 (5.0%)
  • Скорее да: 5 (12.5%)
  • Скорее нет: 6 (15.0%)
  • Отказать: 4 (10.0%)
  • Спам: 0 (0.0%)

Expert precision

Chamomile

Всего голосов: 45

Expert votes

Точность

  • Экстра: 6 (13.3%)
  • Точно да: 4 (8.9%)
  • Скорее да: 6 (13.3%)
  • Скорее нет: 1 (2.2%)
  • Отказать: 3 (6.7%)
  • Спам: 0 (0.0%)

Expert precision

Hyacinth

Всего голосов: 38

Expert votes

Точность

  • Экстра: 1 (2.6%)
  • Точно да: 3 (7.9%)
  • Скорее да: 2 (5.3%)
  • Скорее нет: 2 (5.3%)
  • Отказать: 1 (2.6%)
  • Спам: 0 (0.0%)

Expert precision

Buttercup

Всего голосов: 115

Expert votes

Точность

  • Экстра: 2 (1.7%)
  • Точно да: 6 (5.2%)
  • Скорее да: 13 (11.3%)
  • Скорее нет: 7 (6.1%)
  • Отказать: 0 (0.0%)
  • Спам: 0 (0.0%)

Expert precision

Petunia

Всего голосов: 8

Expert votes

Точность

  • Экстра: 1 (12.5%)
  • Точно да: 0 (0.0%)
  • Скорее да: 1 (12.5%)
  • Скорее нет: 1 (12.5%)
  • Отказать: 1 (12.5%)
  • Спам: 0 (0.0%)

Expert precision


Выводы по оценкам экспертов

Несмотря на распределение откликов по группам, мы видим что многие эксперты пропустили бы отклики, которые другие эксперты отправили бы в спам. Это можно объяснить отличающимися требованиями и ожиданиями, поэтому шансы есть даже у тех откликов, которые попадали в группу «скорее нет» — кто-то где-то пропустит такой отклик на следующий шаг по воронке.

Достоверно известно, что некоторые эксперты связывались с кандидатами уже в процессе оценки откликов. При этом фактор времени может оказать решающее влияние на доступность кандидата: здесь кто из экспертов связался быстрее, тот скорее всего получит преимущество в переговорах с кандидатами и их последующем трудоустройстве.

Особенности первых групп («Экстра», «Точно да»)

  • Есть ссылки на работы или свой сайт.
  • Чаще всего это довольно свежий опыт (в пределах полутора лет).
  • Явно выраженные достижения: факты о запущенных проектах и сделанных задачах вместо перечня навыков и дипломов.
  • Из контекста понятно, что человек практикует то о чем говорит. Даже если речь о неудачных проектах.
  • Виден опыт работы в продуктовой команде.
  • Формулировки «сделал(а)», «запустил(а)» вместо «в мои задачи входило...», «мы делали...».

Если соискатель пишет о стаже («опыт работы больше десяти лет») но не подкрепляет проектами/фактами, то стаж соискателю вредит. То же справедливо для перечисления навыков и инструментария.

Эксперты оценивали отклики в том числе с мобильных телефонов (сопроводительные письма скорее всего будут просматриваться так же). При этом портфолио на Bēhance ориентированы на просмотр с настольных компьютеров, и несколько экспертов отметили это неудобство.