Методика консенсуса весов
1. Эксперт — это страна
Каждый эксперт оценивает пункты в удобной ему шкале — как страна считает цены в своей валюте. Число «10» у одного и «100» у другого сами по себе несопоставимы, как 40 ₹ и 2,50 € за килограмм риса.
Знак задаёт роль пункта: плюс — бонус за выполнение, минус — штраф за запрещённое действие, ноль — наблюдение без влияния на балл. Пустое значение означает «не оценивал» и в расчёт не входит.
2. Нормализация — обмен валют
Обмен не делает рис одинаково дорогим во всех странах. Он только переводит ценники в одну валюту, чтобы их можно было сравнить. После нормализации пункты чек-листа тоже могут стоить по-разному: разногласия остаются, их показывают медиана и IQR.
Для эксперта j берутся модули ненулевых весов. По ним считаются квартили Q₁, Q₃ и межквартильный размах IQR = Q₃ − Q₁, затем граница выбросов Bj = Q₃ + 3·IQR. Типичный модуль Dj — наибольший модуль, не превышающий Bj. Каждый вес переводится в общую шкалу: z = x / Dj × 100.
Так «потолок» шкалы 10 у одного эксперта и 100 у другого становятся одной единицей — как курс валют. Единичный экстремальный вес не должен назначать этот курс, поэтому Dj отсекает выбросы. Робастная нормализация применяется, если ненулевых весов не меньше 4; иначе веса делятся на максимальный модуль. Выбросы (|x| > B) сохраняются, но отмечаются для модератора.
3. Статистика по каждому пункту
- Медиана нормализованных весов — консенсусный вес пункта.
- Q₁–Q₃ и IQR — разброс мнений; широкий IQR означает содержательные разногласия.
- 95% доверительный интервал медианы по Olive (2005): границы — порядковые статистики с номерами c и n − c + 1, где c = ⌊(n+1)/2 − 1,96·√(n/4)⌋. При малом n интервал ориентировочный.
4. Правила решения
Правила применяются по порядку; пороги задаются в настройках чек-листа (значения по умолчанию указаны ниже) и могут меняться ползунками на вкладке консенсуса.
- n < 6 — «n < 6: консенсус предварительный».
- IQR > 30 — «Широкий IQR при n ≥ 6: содержательные разногласия» (обсудить).
- Ширина ДИ > 50 — «Узкий IQR, но широкий 95% ДИ» (предварительно).
- Медиана ≠ 0, а ДИ включает ноль — «95% ДИ включает ноль: знак веса ненадёжен» (обсудить).
- Иначе вес утверждён.
5. Качество вкладов и пулы
Платформа строится на доверии: подтверждения диплома не требуется. Для каждого вклада проверяются признаки небрежного заполнения — много нулей и пропусков, перепутанный знак, неоштрафованные грубые ошибки, почти одинаковые баллы. В зависимости от настроек чек-листа такие вклады либо помечаются для модератора, либо автоматически не входят в расчёт.
Консенсус можно смотреть по пулам: специальность, стаж, возраст, город, должность, опыт ОСКЭ. Профиль участника фиксируется в момент отправки вклада. Пулы меньше 5 участников не показываются.
6. Балл оценивания
Балл = 100 × (Σ полученных бонусов / Σ возможных бонусов − Σ полученных штрафов / Σ возможных штрафов). Альтернативы одного действия образуют группу «или»: засчитывается лучший выполненный вариант. Отметка этапа отмечает все его пункты, включая запреты.
Презентация методики
Вести докладОткрыть как зрительСкачать PDFСкачать PowerPoint
Методика воспроизводит расчёт страниц консенсуса проекта экспертных форм; совпадение проверяется автоматическими тестами. О проекте