Методика консенсуса весов

1. Веса в любой шкале

Нет обязательной шкалы: можно ставить 0–10, 0–100, доли, баллы паспорта. Знак задаёт роль пункта: положительный вес — бонус за выполнение, отрицательный — штраф за выполнение запрещённого действия, ноль — наблюдение без влияния на балл. Пустое значение означает «не оценивал» и в расчёт не входит.

2. Нормализация внутри каждого эксперта

Для эксперта j берутся модули ненулевых весов. По ним считаются квартили Q₁, Q₃ и межквартильный размах IQR = Q₃ − Q₁, затем граница выбросов B_j = Q₃ + 3·IQR. Типичный модуль D_j — наибольший модуль, не превышающий B_j. Каждый вес переводится в общую шкалу: z = x / D_j × 100.

Так «10 из 10» у одного эксперта и «100 из 100» у другого становятся одинаковыми, а единичный экстремальный вес не растягивает шкалу эксперта. Робастная нормализация применяется, если ненулевых весов не меньше 4; иначе веса делятся на максимальный модуль. Выбросы (|x| > B) сохраняются, но отмечаются для модератора.

3. Статистика по каждому пункту

• Медиана нормализованных весов — консенсусный вес пункта.
• Q₁–Q₃ и IQR — разброс мнений; широкий IQR означает содержательные разногласия.
• 95% доверительный интервал медианы по Olive (2005): границы — порядковые статистики с номерами c и n − c + 1, где c = ⌊(n+1)/2 − 1,96·√(n/4)⌋. При малом n интервал ориентировочный.

4. Правила решения

Правила применяются по порядку; пороги задаются в настройках чек-листа (значения по умолчанию указаны ниже) и могут меняться ползунками на вкладке консенсуса.

1. n < 6 — «n < 6: консенсус предварительный».
2. IQR > 30 — «Широкий IQR при n ≥ 6: содержательные разногласия» (обсудить).
3. Ширина ДИ > 50 — «Узкий IQR, но широкий 95% ДИ» (предварительно).
4. Медиана ≠ 0, а ДИ включает ноль — «95% ДИ включает ноль: знак веса ненадёжен» (обсудить).
5. Иначе вес утверждён.

5. Качество вкладов и пулы

Платформа строится на доверии: подтверждения диплома не требуется. Для каждого вклада проверяются признаки небрежного заполнения — много нулей и пропусков, перепутанный знак, неоштрафованные грубые ошибки, почти одинаковые баллы. В зависимости от настроек чек-листа такие вклады либо помечаются для модератора, либо автоматически не входят в расчёт.

Консенсус можно смотреть по пулам: специальность, стаж, возраст, город, должность, опыт ОСКЭ. Профиль участника фиксируется в момент отправки вклада. Пулы меньше 5 участников не показываются.

6. Балл оценивания

Балл = 100 × (Σ полученных бонусов / Σ возможных бонусов − Σ полученных штрафов / Σ возможных штрафов). Альтернативы одного действия образуют группу «или»: засчитывается лучший выполненный вариант. Отметка этапа отмечает все его пункты, включая запреты.