Управленческая теория измерений. Часть 4. Проблемы качества измерений.

 

Андрей Мицкевич

Что такое качество измерений? Это способность передать эмпирическую систему отношений числами. Видим (пусть субъективно), Иванов работает лучше Петрова, а это значит, что и зарплата у него должна быть больше. Всё понятно, но как же сложно… Например, в компаниях используется маркетинговая информация. Качество, то есть надёжность и достоверность маркетинговой информации, определить весьма непросто. Ещё большее значение качество играет при измерении показателей компании. Ведь плохое качество измерения показателя дискредитирует всю систему показателей компании. В этой части статьи мы расскажем об интересном примере вычисления качественного интегрального показателя на основе многих частных измерений, системы оценок в фигурном катании.

Незнание теории не освобождает от ответственности.

Качество измерений — это научная область, смежная с теорией измерений, теорией информации и математической статистикой объектов нечисловой природы. Теория предъявляет следующие общие требования к качеству измерений:

• информативность;
• достоверность;
• надёжность.

Для практического применения эти общие требования дополняются требованиями конкретной предметной области. Ниже мы подробно рассмотрим эти общие требования к качеству измерений. Но сначала покажу, к каким проблемам может привести плохая система оценок и вычисления интегрального показателя.

Сага о системах оценок в фигурном катании

Приведу пример из фигурного катания, который наиболее ярко прояснит одну из главных проблем измерений. Почти каждому телезрителю примерно понятно, что именно оценивается в фигурном катании. Это даёт возможность сосредоточиться на способах оценки и ошибках каждого из них.

Система оценок в фигурном катании очень наглядна: это вычисление качественного интегрального показателя на основе многих частных измерений, то есть именно то, что должна делать любая система показателей деятельности компании.

Шестибалльная система оценок в фигурном катании оценивала мастерство фигуристов в исполнении программ с шагом 0,1 балла: 0,0 — «не выполнено», 6,0 — «безукоризненно». Причём техническая составляющая и артистичность оценивались отдельно. Отмечу, что оценка 6,0 за техническое исполнение ставилась крайне редко, а за артистичность — чаще. Первоначально, до 1980-х годов, две оценки (за произвольную и обязательную программы) просто складывались.

Долгое время система работала, но со сбоями — случались «казусы адекватности». Один такой пример приобрёл всемирную известность. В начале 1980-х годов несколько раз подряд чемпионкой мира по фигурному катанию становилась австрийская фигуристка Беатрис Шуба. Она не была идеалом фигуристки. Чемпионкой она становилась именно благодаря сбою в системе измерения. В то время суммарная оценка складывалась из оценок за обязательную и произвольную программы. Обе оценки выставлялись по шкале из 6 баллов. Но дело в том, что критерии оценок были разными, оценки были выверены специалистами, но разными для разных упражнений. Лучшие фигуристки обычно получали за обязательную программу 5,1 — 5,2, а Шуба — 5,8. После этого ей достаточно было просто не упасть в произвольной программе.

Качественная система оценки интегрального показателя на основе многих частных измерений сложна, требует математических вычислений, и далеко не просто разобраться, почему получились те или иные итоговые результаты.

«Формально правильно, а по существу издевательство», — как говорил Ленин. В идеале система оценок должна «сама расставлять по местам» всех фигуристов, даже субъективные мнения не должны на неё слишком влиять. Идеала, конечно, достигнуть нельзя, но стремиться к нему надо. Если все или почти все «видят чемпиона», а система оценки позволяет регулярно ставить его ниже первого места, значит, что-то не так.

Результат выступления — сумма мест с весами. Когда сбой стал очевиден, пришлось обратиться к математикам, которые предложили систему оценки в соответствии с теорией измерений. Они спросили у специалистов по фигурному катанию: «Что вам надо от системы измерений?» Получили ответ: «Первого надо выбирать правильно».

То есть фактически лица, принимающие решения, просили сделать акцент на надёжности измерений. Тогда математики перевели баллы в места, так как порядковая шкала более надёжная, чем балльная (об этом мы расскажем в следующей части статьи). Сумма мест с учётом разного веса обязательной и произвольной программ давала итоговую оценку. И Беатрис Шуба сразу окончила свою спортивную карьеру.

Недостатки системы «сумма мест с весами». Эта система оценки работала, однако, на Олимпийских играх 2002 года случился скандал. Борьбу за победу в соревнованиях спортивных пар вели две пары: российская и канадская. Они принадлежали к очень отличающимся друг от друга российской (советской) и канадской школам. Уровень мастерства и художественный уровень программ обеих пар можно оценивать по-разному. Судьи оказались в сложном положении, и, как часто бывало в истории фигурного катания, их мнения разошлись. В результате большинство судей — пять из девяти — отдали первое место российской паре, которой и вручили золотые медали. Канадцы получили «серебро».

В тот же день после окончания соревнований член жюри, француженка Мари-Рейн Ле Гунь, встретила в гостинице буквально напавшую на неё председателя технического комитета Международного союза конькобежцев Са́лли-Энн Степлфорд. После этого с Ле Гунь случился нервный срыв: она призналась, что на неё оказал давление Д. Галагье, возглавлявший французскую Федерацию фигурного катания. По её словам, он просил Ле Гунь поставить российскую пару на первое место якобы «в обмен» на то, что российский член жюри поставит высшие баллы французской паре в спортивных танцах. На следующий день на судейском заседании после соревнований Ле Гунь повторила эти слова. Однако в письменном заявлении отказалась от этих утверждений, объяснив их давлением Степлфорд, а также подтвердила, что считает победу российской пары заслуженной.

Субъективность системы оценок не может быть преодолена на 100%. Субъективность нельзя полностью исключить, но её можно ограничить и даже постараться использовать во благо.

Эта почти детективная история имела продолжение, но нас интересует другое.

• Что должен был сделать Международный союз конькобежцев, кого объявить победителем?
• Как надо изменить систему оценок, чтобы избежать подобных эксцессов в дальнейшем?

Сначала давайте поймём, что же делать в подобной ситуации? По сути, у руководителей Международного союза конькобежцев было 3 варианта решения:

1. оставить всё как есть: «золото» — России, «серебро» — Канаде. Минус решения: игнорировать судейский скандал, то есть покрыть «взяточников». Плюс: сохранить традицию: решения судей окончательны и обжалованию не подлежат. Но к системе судейства уже накопилось столько претензий, что плюс превращался в минус;
2. вручить «золото» — Канаде, а «серебро» — России. У этого решения одни минусы: с какой стати? Только из-за странного поведения одного члена жюри?
3. вручить два «золота» — и Канаде, и России.

Международный союз конькобежцев принял беспрецедентное решение: впервые за всю историю фигурного катания будут вручены две золотые медали. Российской паре сохранили золотые медали, поскольку её вины в Международном союзе конькобежцев и МОК не усмотрели, но «золото» вручили и канадцам. Судейский голос Ле Гунь был аннулирован. На мой взгляд, это решение «лучшее из трёх зол».

Новая система оценок. Теперь давайте подумаем, как надо изменить систему оценок, чтобы избежать подобных эксцессов в дальнейшем? После скандала на Олимпийских играх 2002 года конгресс Международного союза конькобежцев принял решение заменить действовавшую многие годы систему из двух оценок на систему, в которой каждому из элементов ставится оценка и приписывается определённый вес, а итоговый результат выступления получается как сумма оценок за отдельные элементы с соответствующими весами, набранными фигуристами. Суть новой системы измерения в том, что вместо выставления двух «общих» оценок (за сложность программы и за её представление) судьи будут оценивать все элементы в программе по отдельности. Хотя разделение общей оценки на 2 категории, условно называемые «техника» и «артистичность», сохраняется.

«Техника». Каждому элементу фигурного катания приписывается определённая ценность (весовой коэффициент, или вес), которая является постоянной (по крайней мере, в течении одного сезона). Веса приведены в «Таблице ценности» (таблица 4). Во время соревнований трое судей, называемых техническим контролёром, техническим специалистом и помощником технического специалиста, занимаются тем, что опознают исполняемые фигуристами элементы и вводят их в компьютер, в то время как судейская бригада оценивает исключительно качество исполнения каждого отдельно взятого элемента. Каждый из судей в бригаде оценивает качество исполнения элемента по шкале: +++, ++, +, 0, –, ––, –––. Каждому шагу оценки в таблице сложностей соответствует определённое числовое значение. Общая оценка каждого элемента получается путём сложения базовой сложности элемента (в таблице указана в графе 0) с оценкой качества его исполнения.

Таблицы ценности элементов — основополагающие документы современной системы судейства. В них указывается, сколько баллов спортсмен получит за исполнение каждого конкретного элемента, а также сколько баллов с него снимут или дадут дополнительно, если он исполнит этот элемент с ошибкой или, наоборот, очень хорошо. Например, если флип (3 оборота) выполнен с ошибками и качество его исполнения оценено как ––, то оценкой элемента будет 5,5 – 2 = 3,5. Если же он выполнен с хорошим заходом, отличным и нестандартным выходом, то судья может оценить качество его исполнения ++ и оценка будет совсем другой: 5,5 + 2 = 7,5.

Через такой судейский фильтр пропускаются все элементы, включённые в программу. Сумма баллов за отдельные элементы в итоге превращается в общую оценку выступления за технику. Время от времени таблицы ценности пересматриваются (практически каждый год), иногда в них появляются новые разделы (например, подкрутки сначала различались только по числу оборотов; позднее для них появились уровни сложности, а потом ещё и разделение на типы по варианту захода), но в целом это, пожалуй, самая консервативная часть системы.

Идеальной системы оценки качественных явлений нет и быть не может, но можно добиваться максимальной объективности.

«Артистичность». В новой системе это сумма пяти оценок за отдельные компоненты программы. Помимо оценок за технику, судейская бригада выставляет также пять оценок за компоненты программы, каждый из которых оценивается по десятибалльной шкале с шагом 0,25:

• базовый уровень катания;
• связующие элементы;
• хореография;
• прокат/выполнение;
• выразительность.

Приблизительное значение оценок таково: <1 1="" 2="" 3="" 4="" 5="" 6="" 7="" 8="" 9="" 10="" p="">

Общие оценки выступления. Общая оценка качества исполнения элемента получается путём вычисления усечённого среднего судейской бригады. Для этого отбрасывается равное количество самых высоких и самых низких оценок, а из оставшихся вычисляется арифметическое среднее (округляется до двух знаков после запятой).

Финальная оценка за каждый из элементов представления программы получается путём умножения усечённого среднего бригады на специальные коэффициенты и вычетов за разные нарушения. Например, в произвольной программе одиночников оценка для всех прыжков, исполненных во второй половине программы, умножается на 1.1, чтобы поощрить равномерное распределение наиболее сложных элементов. В случае нарушения общих правил применяются определённые штрафы.

Результат нескольких выступлений вычисляется путём сложения итоговых результатов короткой и произвольной программ. При совпадении общей суммы преимущество отдаётся тому спортсмену, чей результат в последней части соревнований был выше.

Выводы для системы показателей деятельности компании

Рассмотренный выше пример из фигурного катания весьма показателен и позволяет сделать некоторые важные выводы.

1. Качественная система оценки интегрального показателя на основе многих частных измерений сложна, требует математических вычислений, и в ней далеко не просто разобраться, почему получились те или иные итоговые результаты.
2. Субъективность нельзя полностью исключить (см. врезку «А судьи кто?»), но её можно ограничить и даже постараться использовать во благо.
3. Идеальной системы оценки качественных явлений нет и быть не может, но можно добиваться максимальной объективности.

Приведённый пример также позволяет вывести правило:

Складывать значения разных показателей, даже если они выражены в одинаковых шкалах, не рекомендуется.

Для этого их надо сначала перевести в шкалу с меньшей информативностью, но с большей надёжностью и достоверностью (об этом — дальше). А затем уже можно складывать, в том числе и с весами для принятия решений. Нарушение этого правила способно привести к абсурдным результатам, что мы зачастую и видим.

Пример системы оценок в фигурном катании наглядно показывает проблему адекватности (устойчивости) и надёжности шкалы оценок. 

https://tinyurl.com/4cywkx26

Управленческая теория измерений. Часть 4. Ошибки обработки измерений

 

Андрей Мицкевич

Есть ложь, есть наглая ложь и есть статистика.
Марк Твен

Различные измерения и показатели используются в каждой фирме, в любой организации. Выбор подходов к оценке степени достижения некоторого показателя (например, плана продаж) огромен. Задача этой статьи — не придумывать что-то своё, а попытаться классифицировать доминирующее большинство существующих подходов к измерению показателей.
Обработка результатов измерений используется для получения выводов. Хорошая обработка результатов измерений — это достоверная система оценок (термин квалиметрии, принятый нами на вооружение). Увы, мой опыт показывает, что менеджеры часто не замечают явных логических нестыковок. Причина очевидна: не хватает специальной математической подготовки и экономических знаний. Поэтому в этой части статьи мы проанализируем наиболее распространённые ошибки.

Какие средние можно использовать для измерений по порядковым шкалам?

Ошибки при выводах, сделанных на основе средних величин, в порядковых шкалах случались не раз. В спорте, в социологии, в психологии они известны (примеры смотрите ниже). В менеджменте они тоже случаются, просто не публикуются и потому не обсуждаются. То, что со средними величинами для анализа измерений по порядковым шкалам надо быть очень аккуратным, показывает врезка «Средний балл не всегда показывает однозначно, кто лучше учится».

Теория измерений выносит жёсткий приговор среднему арифметическому: использовать его для анализа измерений в порядковой шкале нельзя.

Заметим, что если один набор измерений „лежит над другим”, то это означает, что эксперты полностью согласны между собой. Например, из двух оцениваемых объектов один лучше для всех экспертов. Тогда и среднее не нужно, всё и так ясно: первый объект лучше.

Однако в любой более сложной ситуации обычные средние, кроме моды и медианы, могут вызывать ошибки (см. врезку «Если средний балл больше, то это не значит, что объект измерений лучше!»). А именно в такой ситуации и нужны статистики для выводов. В частности, такие ситуации нередки в системе показателей деятельности компании .

Однако те, кто не знает теории измерений, постоянно используют среднее арифметическое для измерений по порядковым шкалам. Всегда ли они ошибаются? Точнее, в каких случаях среднее арифметическое коварно и может привести к ошибке? А когда оно безобидно? Оказывается, можно в какой-то мере реабилитировать среднее арифметическое, если перейти к вероятностной постановке и удовлетвориться результатами для больших объёмов выборок [2].

Если средний балл больше, то это не значит, что объект измерений лучше!

Результаты измерений в порядковых шкалах должны интерпретироваться не так, как мы привыкли. В книге [2] приводится социологическое исследование, послужившее поводом к развитию одного из направлений отечественных исследований по теории измерений. При изучении привлекательности различных профессий для выпускников новосибирских школ был составлен список из 30 профессий. Опрашиваемых просили оценить каждую из этих профессий одним из баллов 1, 2,..., 10 по правилу: чем больше нравится, тем выше балл .
Для получения социологических выводов необходимо было дать единую оценку привлекательности определённой профессии для совокупности выпускников школ. В качестве такой оценки использовалось среднее арифметическое баллов, выставленных профессии опрошенными школьниками. Заметим, что так обычно и поступают люди, не знакомые с теорией измерений. В частности, физика получила средний балл 7,69, а математика — 7,50. Поскольку 7,69 больше, чем 7,50, был сделан вывод, что физика более предпочтительна для школьников, чем математика. Однако этот вывод противоречит данным другого исследования, согласно которым ленинградские (дело было в СССР) школьники средних классов больше любят математику, чем физику.
Как объяснить это противоречие? Есть много подходов к выяснению причин различия выводов новосибирских и ленинградских исследователей. Одно из возможных объяснений этого противоречия основано на теории измерений. С точки зрения теории измерений обработка статистических порядковых данных о предпочтениях выпускников школ с помощью среднего арифметического неверна.
Дело в том, что баллы 1, 2,..., 10 введены конкретными исследователями, то есть субъективно. Если одна дисциплина оценена в 10 баллов, а вторая — в 2, то из этого нельзя заключить, что первая ровно в 5 раз привлекательней второй. Другой коллектив социологов мог бы принять иную систему баллов, например, «школьную» (1, 2, 3, 4, 5), и тогда «дистанция» между оценками профессий, а также средняя оценка дисциплин очевидно изменились бы. Естественно предположить, что упорядочивание профессий по привлекательности, присущее школьникам, не должно зависеть от того, какой системой баллов им предложит пользоваться социолог. Это лишний раз подтверждает вывод об ошибочности использования среднего арифметического (а также среднего геометрического, гармонического и квадратичного) для анализа результатов этих измерений.

Врезка «Выбор порядковой шкалы влияет на выводы, получаемые по средним оценкам» показывает, что проблема адекватности измерений может быть важной для построения системы показателей. Хотя эта проблема явно и не основная. Тем не менее, надо понять, какие статистические показатели измерений по порядковым шкалам будут корректными для использования в системе показателей.

Итак, средним арифметическим в порядковой шкале пользоваться нельзя. Чем же заменить среднее арифметическое в качестве адекватной меры среднего значения измерений в порядковых шкалах? Медиана в качестве среднего даёт удовлетворительную оценку. Эта оценка не смещается при выборе разных видов порядковой шкалы. Это значит, что «медианный показатель» при любой шкале один и тот же. В этом плюс медианы. В примере во врезке «Выбор порядковой шкалы влияет на выводы, получаемые по средним оценкам» при любых порядковых шкалах медиана — оценка «удовлетворительно». Понятно, что минусы у медианы тоже есть. Но, по крайней мере, она не смещается при пересмотре шкал. Поэтому медиану математики рекомендуют в качестве среднего при измерениях по порядковым шкалам.

Выбор порядковой шкалы влияет на выводы, получаемые по средним оценкам

Кому не известна пятибалльная шкала? И все знают один её недостаток: единицей в школе практически не пользуются. А насколько достоверны измерения по такой шкале? И что будет, если немного изменить порядковую шкалу? Попробуем разобраться.
Рассмотрим три порядковые балльные шкалы:

• обычную «школьную» шкалу: 2, 3, 4, 5 — «неуд.», «уд.», «хор.», «отл.»;

• скорректированную «школьную» шкалу: 1, 3, 4, 5 — «неуд.», «уд.», «хор.», «отл.» (один учитель предложил исправить обычную «школьную» шкалу, введя оценку 1 за неудовлетворительные знания);

• модифицированную «школьную» шкалу: 0, 3, 4, 5 — «неуд.», «уд.», «хор.», «отл.» (другой учитель считает, что неудовлетворительные знания эквивалентны отсутствию знаний и потому предложил использовать такую шкалу).

Предположим, школьник получил 3 оценки: «неуд.», «уд.», «хор.».
Средняя оценка по первой шкале: 3. Вывод: в среднем ученик учится на «удовлетворительно». Это не очень правильный вывод. Ведь по одному из предметов наш школьник не удовлетворил требованиям — получил «неуд», а средняя оценка это скрыла.
Средняя оценка по второй шкале: 2,67. Вывод: в среднем ученик учится в интервале от «неудовлетворительно» до «удовлетворительно», но ближе к «удовлетворительно». Вам нравится такой вывод?
Средняя оценка по третьей шкале: 2,33. Вывод: в среднем ученик учится в интервале от «неудовлетворительно» до «удовлетворительно», но ближе к «неудовлетворительно». Итак, по одним и тем же простейшим данным, заданным в порядковой шкале, мы получили три варианта вывода. То есть:
Использование среднего арифметического в порядковых шкалах приводит к ошибкам. Выбор порядковой шкалы влияет на выводы, получаемые по средним оценкам.
Возражение практика: мы всегда используем одну и ту же обычную шкалу. Поэтому все выводы стандартизированы и в любой школе в описанной ситуации вывод будет одинаковым. И это хорошо.
Доводы эксперта — отлично, что выводы одинаковы, однако:

• при построении системы показателей мы сами выбираем шкалы. Поэтому в одной фирме (в один момент времени на одной и той же фирме) используется одна шкала, в другой фирме (в другой момент времени на одной и той же фирме) применяют иную шкалу. Ситуации на фирмах могут быть одинаковы, а выводы разными;

• даже при использовании общепринятых шкал выводы могут быть некорректными. Пример: в приведённом примере мнения учителей о шкале были разными.

Справедливости ради отметим, что не только медианами оцениваются измерения по порядковым шкалам. Меры близости в порядковых шкалах оцениваются разными коэффициентами корреляции. Термин «корреляция» означает «связь». Допустимые меры близости в порядковых шкалах должны быть инвариантными относительно допустимых преобразований порядковой шкалы, то есть остаются постоянными при любом строго возрастающем преобразовании шкалы измерения результатов наблюдений. Самой популярной мерой близости в порядковых шкалах является коэффициент ранговой корреляции Спирмена, который определяет степень близости между двумя ранжировками.

Есть и другие коэффициенты корреляции. Самый известный из них — коэффициент тау Кендалла для ранговой корреляции. Но оценка корреляции в системе показателей компании — это баловство. Мне неизвестны примеры, когда использование коэффициентов корреляции было бы критически важно. Поэтому мы не будем рассматривать коэффициенты корреляции.

Какие средние можно использовать для измерений по количественным шкалам?

В количественных шкалах осмысленными и допустимыми являются действия сложения и вычитания. Казалось бы, ситуация тут привычная и понятная, можно использовать все средние величины. Однако традиция использования среднего арифметического может приводить к экономически ошибочным выводам. Причина — неравномерность распределения результатов по шкале.

Пример. Пусть 5 работников имеют такие зарплаты в у. е.: 100, 100, 200, 500, 600. Для этих показателей имеем три средние величины: моду (100 у. е.), медиану (200 у. е.) и среднее арифметическое (300 у. е.). Они разные, и какое из них правильно использовать как показатель зарплаты всей группы работников? Ответ «среднее арифметическое», который дают многие, неверен.

Доход выше среднего арифметического доступен немногим. Это объясняется наличием очень богатых людей (пусть и немногих), которые сильно влияют на среднее арифметическое. Показатель среднего арифметического доходов всех людей очень чувствителен к увеличению или уменьшению доли высокодоходных или низкодоходных групп населения. Это хорошо показано во врезках «Марш карандашей» и «Сравнение оценок среднего дохода».

Марш карандашей

Для того чтобы лучше понять и ощутить, как правильно описывать распределение дохода, используют аналогию голландского профессора Пена (Pen's analogy), в которой каждый человек представлен своим доходом в виде карандаша . Чем больше доход, тем больше карандаш. Если мы примем, что «средний человек» — это целый карандаш, тогда «медианный человек» — это совсем небольшой карандашик.
Мысленно устроим «парад карандашей», допустим, в течение часа. Сначала пойдут самые маленькие карандашики и первые 2 — 3 минуты вам будет трудно их рассмотреть, через пять минут они вырастут до размеров сигаретного фильтра. В течение следующих 25 минут идут, постепенно увеличиваясь, небольшие карандашики, шествие которых оканчивается «медианным человеком» (то есть прошла ровно половина). Следующие 20 минут долго и нудно проходят карандаши размером от половины до почти целого, и только за 10 минут до конца парада появляется «средний человек» — целый карандаш. После этого картина быстро меняется. Появляются всё более и более длинные карандаши: сначала юристы примерно по 18 футов, затем высококвалифицированные медики и ведущие бухгалтеры длиной от 7 до 8 ярдов и управляющие по 20 и более ярдов. И, наконец, пройдёт Поль Гетти — самый богатый в то время человек — «длиной в 20 миль».
Таким образом, мы видим, что оценка «средний человек» почти ничего не говорит о характере распределения доходов.

Математически средний доход можно вычислить разными методами. Это и среднее арифметическое, и мода, то есть интервал с наибольшим представительством, или медиана, меньше и больше которой лежит половина значений. Но экономически корректнее медиана. Слева от «медианного дохода» лежат значения доходов 50% людей и справа от «медианного заработка» лежат 50%. «Медианный доход» наиболее точен с экономической точки зрения для оценки среднего заработка (см. врезку «Сравнение оценок среднего дохода»). Именно поэтому в статистике доходов большинства развитых стран для характеристики среднего и, соответственно, общего уровня доходов приводится не средний, а медианный их уровень, то есть уровень, выше и ниже которого получает доход одинаковое число семей.

Сравнение оценок среднего дохода

Среднее арифметическое значение дохода завышено за счёт наличия очень богатых людей.
Пример. Допустим в 2000 году 11 человек еле-еле сводили концы с концами, зарабатывая по 3000 руб. в месяц, а один «выбился в люди» — его месячный доход составляет 147 000 руб. Средняя зарплата этой группы высокая — 15 000 руб., что значительно выше прожиточного минимума в то время.
Зачем используется подобная статистика? Для того чтобы, опираясь на неё, маркетологи могли давать дельные советы. Теперь представьте себе коммерсанта, ориентирующегося на среднюю зарплату. Его товары, рассчитанные на «средний класс», не найдут сбыта среди наших 11 человек, так как одним они не по карману, а другим не нужны. Очевидно, что за оценку средней зарплаты следует принять 3000 руб. (а это и есть медиана), и тогда коммерсант не промахнётся.
Мода тоже плохо отражает распределение заработка. Модой в нашем случае называют интервал, в который попало больше всего людей. За счёт произвольности выбора деления на интервалы мода сильно меняется. При таком выборе больше влияние случая, в том числе за счёт «двугорбых» распределений зарплаты, столь характерных в условиях размывания среднего класса в России. Допустим, что имеется следующее распределение годового заработка:

Мода по этим данным даёт неточный результат — 300 000 руб., смещая среднюю оценку в нижнюю точку. При этом существование второго «горба», ближе к 700 000, игнорируется.
Медиана даёт экономически наиболее точный результат. В нашем примере всего указаны доходы 61 человека. «Медианный человек» — 31-й по порядку снизу вверх, у него годовой доход 500 000 руб. Это гораздо корректнее отражает заработок группы.

Интересно, что для наблюдающихся в реальной жизни распределений доходов и заработной платы справедлива следующая закономерность: мода меньше медианы, а медиана меньше среднего арифметического (см. врезку «Распределение заработка — зависимость, которую не удаётся объяснить»).

Значение математической теории измерений

Итак, мы видим, что для каждого показателя есть своё корректное среднее. Например, для инфляции настоящее «среднее» — это среднее геометрическое, для средней зарплаты в компании — это медиана, для курса доллара на бирже — это средневзвешенное.

Приведённые выше выводы, касающиеся средних величин, широко применяются, причём не только в экономике, менеджменте, теории экспертных оценок или социологии, но и в инженерном деле, например, для анализа методов агрегирования датчиков в АСУ ТП доменных печей. Велико прикладное значение теории измерений в задачах стандартизации и управления качеством.

Распределение заработка — зависимость, которую не удаётся объяснить

Экономическая наука состоит из теоретических законов,
которые никто не может верифицировать, и эмпирических
законов, которые никто не может объяснить.
М. Калецки

Распределение заработка даёт прекрасный пример зависимости, которую никто не может объяснить. Оно показывает долю тех, кто зарабатывает в единицу времени (как правило, за год) известное количество денег. При этом измеряют не точную денежную сумму, а её попадание в небольшой интервал.
Оказывается, распределение заработка по группам населения почти не зависит от страны, региона, времени и других очень существенных факторов. Казалось бы, этого не может быть. Но тем не менее, это так.
Для наглядности будем описывать распределение непрерывной функцией распределения. С экономико-математической точки зрения наиболее точно типичное распределение заработка описывается кривой распределения, показанной на рисунке, сглаженной с правой стороны (окончание кривой получило название «парето-хвост», по имени итальянского экономиста Вильфредо Парето).

Рис. 1. Типичная кривая распределения заработка.

Казалось бы, в разные времена и в разных странах могут быть самые разнообразные распределения заработка. Но... фантастика! Если привести все распределения к одной (относительной) системе координат, то окажется, что распределение практически едино для всех времен и народов.

Теория измерений способна дать практические рекомендации:

• по выбору шкал измерений;

• по выбору адекватных статистических показателей и различного рода средних для агрегирования информации и сопоставления результатов измерений;

• по определению сравнительной достоверности и информативности измерений, привести к выбору шкал с нужными параметрами достоверности и информативности.

1. 1. Орлов А. И. Устойчивость в социально-экономических моделях. — М.: Наука, 1979. — 296 с.
2. 2. Орлов А. И. Нечисловая статистика. — М.: МЗ-Пресс, 2004.
3. 3. Пфанцагль И. Теория измерений/ Пер. с нем. — М.: Мир, 1976. — 165 с.
4. 4. Фишберн П. Измерение относительных ценностей. — в кн.: Статистическое измерение качественных характеристик. —ика, 1972, — с. 35 — 94.

https://tinyurl.com/yu3zfmpd

Управленческая теория измерений. Часть 3. Принципы обработки измерений.

 

Андрей Мицкевич

Различные измерения и показатели используются в каждой фирме, в любой организации. Выбор подходов к оценке степени достижения некоторого показателя (например, плана продаж) огромен. Задача этой статьи — не придумывать что-то своё, а попытаться классифицировать доминирующее большинство существующих подходов к измерению показателей.
Обработка результатов измерений используется для получения выводов. Хорошая обработка результатов измерений — это достоверная система оценок (термин квалиметрии, принятый нами на вооружение). А какими математическими свойствами она должна обладать? Есть ли общенаучный ответ на этот вопрос?

Один из возможных подходов к обработке результатов измерений статистический, на нём и концентрируется теория измерений.

Статистический подход — это получение различных средних, медиан, порядковых статистик, дисперсий, коэффициентов корреляции и прочих величин для подведения итогов и интерпретации результатов.

Статистические величины важны для практичеких аспектов системы показателей, и о них мы поговорим чуть ниже 1. Начнём с математическо-статистической основы — она более значима для социологии, но и в менеджменте будет не лишней. Хотя бы потому, что социлогические техники опросов присутствуют и в этой сфере.

Теоретический минимум — допустимые операции

Использование чисел в жизни и хозяйственной деятельности людей отнюдь не всегда предполагает, что эти числа можно складывать и умножать, производить иные арифметические действия. Что бы вы, например, сказали о человеке, который занимается умножением телефонных номеров? В экспертизе, в управлении компанией применение чисел существенно более ограничено, чем принято в арифметике. Это явление в теории информации называется ограничения на допустимые арифметические действия или допустимые операции.

Менеджеры при разработке системы показателей, как правило, не замечают явных логических нестыковок. Причина очевидна: не хватает специальной математической подготовки и экономических знаний.

При анализе допустимых действий следует помнить о том, по какой шкале измерений получены исследуемые величины.

Общее правило допустимых преобразований: выводы, сделанные на основе данных, измеренных в шкале определённого типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных.

Иначе говоря, выводы, сделанные на основе данных, измеренных в шкале определённого типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных.

Пример. Расстояния можно измерять в аршинах, метрах, микронах, милях, парсеках и других единицах измерения. Массу (вес) — в пудах, килограммах, фунтах и др. Переход от одной единицы измерений к другой выводов не меняет. Значит, это допустимые преобразования.

Подчеркнём очень важное, хотя и вполне очевидное, обстоятельство: выбор показателей и единиц измерения зависит от исследователя, то есть субъективен. И здесь кроется корень возможных ошибок, вызванный абсолютным незнанием менеджерами теории информации.

Главная прикладная цель теории измерений (она же и главная проблема) — борьба с субъективизмом исследователя (в нашем случае менеджера и, в частности, разработчика системы показателей), когда он приписывает численные значения реальным объектам.

Причём здесь действует следующее общее правило:

Алгоритм, применимый к более слабой шкале, применим и к более сильной. Обратное неверно.

Напомним последовательность шкал, расположив их от более слабой к более сильной:

• номинальная шкала;
• порядковая или ранговая шкала;
• количественные шкалы: шкала интервалов, шкала степеней, шкала отношений;
• шкала разностей, абсолютная шкала.

Допустимые операции с величинами, измеренными по номинальной шкале. Номинальная шкала сопоставляет каждый объект с определённым признаком, то есть описывает качественную информацию (характеристики, признаки объекта измерений). Какие операции возможны с качественными характеристиками?

1. Нахождение частот распределения результатов измерений по градациям шкалы в процентах или в натуральных единицах. Например, «доля квалифицированных специалистов — 78%».
2. Определение моды — значения (градации), встречающегося наиболее часто.
3. Установление взаимосвязи между рядами качественных характеристик с помощью перекрёстных таблиц. Самым сильным способом количественного анализа результатов измерений по номинальной шкале является установление взаимосвязи между рядами качественных характеристик, расположенных неупорядоченно. С этой целью составляют перекрёстные таблицы. Помимо простой процентовки, в таблицах перекрёстной классификации можно подсчитать критерий сопряжённости признаков по Пирсону: хи-квадрат (х2). Это простейший показатель обоснованности вывода о наличии или отсутствии связи между сопоставляемыми характеристиками, то есть связанности качественных характеристик. Коэффициент Чупрова (Т-коэффициент) позволит по той же таблице определить напряжённость связи, если хи-квадрат показывает, что связь имеет место.

Все эти операции, согласно общему правилу, применимы и к любой другой шкале.

Допустимые операции с величинами, измеренными по порядковой (ранговой) шкале. Порядковые шкалы учитывают, к какой категории принадлежит та или иная измеряемая характеристика объекта и в каком отношении она находится с характеристиками других объектов. Результат измерений по порядковой шкале выражается числами 1, 2, 3,..., но с этими числами нельзя делать привычные арифметические операции. Например, в арифметике 1 + 2 = 3, но в ранговой шкале нельзя утверждать, что для объекта, стоящем на третьем месте, интенсивность изучаемой характеристики равна сумме интенсивностей объектов с рангами 1 и 2.

Пример. Один из видов оценивания по порядковой шкале — оценки учащихся. Вряд ли кто-то будет утверждать, что знания отличника равны сумме знаний двоечника и троечника (хотя 5 = 2 + 3), хорошист соответствует двум двоечникам (2 + 2 = 4), а между отличником и троечником такая же разница, как между хорошистом и двоечником (5 – 3 = 4 – 2).

Очевидно, что для анализа качественных данных (измерений по ранговой шкале) необходима не всем известная арифметика, а другая система действий, дающая базу для разработки, изучения и применения корректных систем показателей. Мы уже видим, что некоторые действия некорректны в порядковой (ранговой) шкале. Какие же действия корректны? В порядковых шкалах допустимы:

• сравнения типа лучше — хуже, важнее, справедливее и т. п.
• установление взаимосвязи между величинами с помощью коэффициентов ранговых корреляций.

Допустимые операции с величинами, измеренными по количественным шкалам. Это самая привычная нам ситуация: в количественных шкалах осмысленными, логически допустимыми являются действия сложения и вычитания. Очевидно, что и сравнения больше — меньше тоже допустимы.

Использование средних величин

Все статистические показатели требуют использовать те или иные операции над измеренными величинами. Тогда какие из показателей можно использовать для характеристики измерений по разным шкалам?

Очевидно, что статистические выводы могут быть адекватны реальности только тогда, когда они не зависят от того, какую единицу измерения предпочтёт менеджер и разработчик системы показателей (то есть когда эти выводы инвариантны относительно допустимого преобразования шкалы). Оказывается, сформулированное условие является достаточно сильным требованием и из многих привычных алгоритмов анализа данных ему удовлетворяют лишь некоторые. Покажем это на примере анализа корректности использования самой популярной статистики — средних величин — для измерений в разных шкалах.

Для чего в экономике используются средние величины? Обычно для того, чтобы заменить совокупность результатов измерений одним числом и затем получить возможность сравнивать эти числа. Зададимся вопросом: а что такое среднее? Ответ прост. Допустим, есть результаты некоторого процесса (по дням, например). В среднем — это значит, что если подставить это «среднее» вместо каждого ежедневного значения, то итоговый за месяц результат процесса не изменится.

Виды средних величин. Существуют различные виды средних величин:

• среднее арифметическое;
• средневзвешенное (среднее арифметическое взвешенное);
• медиана;
• мода;
• среднее геометрическое;
• среднее гармоническое;
• среднее квадратическое.

Замечу, что среднее арифметическое и средневзвешенное формально очень похожи, но на бытовом уровне люди иногда путают их (см. врезку «Вероятность встретить динозавра на Невском проспекте»).

Определение средних величин

Приведём строгие формулировки для основных средних величин. Пусть x1, x2,…, xn — показатели некоторой величины количеством n.

Среднее арифметическое — это средний уровень изучаемой величины:

Наряду с простым средним арифметическим применяют и среднее арифметическое взвешенное. Его используют, когда, к примеру, значения вариантов встречаются по нескольку раз или каждое значение ряда имеет какой-то определённый индивидуальный вес.

Среднее арифметическое взвешенное — это оценка среднего с учётом весов величин:

где wi — вес величины.

Среднее геометрическое нескольких положительных вещественных чисел — это такое число, которым можно заменить каждое из данных чисел, чтобы их произведение не изменилось:

Среднее гармоническое — это число (у), обратное которому есть арифметическое среднее чисел, обратных данным числам (а1, a2, …, an): y = n : (1/a1 + 1/a2 + ... + 1/an).

Среднее квадратическое (квадратичное) — число s, равное квадратному корню из среднего арифметического квадратов данных неотрицательных чисел а1, a2, …, an:

Среднее квадратическое — частный случай среднего степенного и потому подчиняется неравенству о средних. В частности, для любых чисел оно не меньше среднего арифметического:

Средние величины по Колмогорову для чисел x1, x2, …, xn вычисляются по формуле

G{(F(X1) + F(X2) + ... F(Xn)) / n},

где F — строго монотонная функция (то есть строго возрастающая или строго убывающая), G — функция, обратная к F. Среди средних по Колмогорову — много хорошо известных персонажей (х > 0):

• если F(x) = x, то среднее по Колмогорову — это среднее арифметическое;
• если F(x) = ln x, то среднее по Колмогорову — это среднее геометрическое;
• если F(x) = 1/x, то среднее по Колмогорову — это среднее гармоническое;
• если F(x) = x2, то среднее по Колмогорову — это среднее квадратическое.

Кроме перечисленных средних, для относительной характеристики величины и внутреннего строения её показателей пользуются так называемыми структурными средними, которые представлены, в основном, модой и медианой.

Медиана — это такое значение величины, которое делит все показатели пополам. Если размерность выборки нечётная (N = 2n+1), то медианой является (n+1)-й элемент выборки. Если размерность выборки чётная (N = 2n), то медианой строго говоря является любое число, лежащее между n-м и (n+1)-й элементами выборки, включая эти элементы, которые иногда называют левой и правой медианами. В экономической статистике чаще всего в качестве медианы используется среднее значение между n-м и (n+1)-й элементами выборки.

Мода — это наиболее часто встречающееся значение величины.

В разных случаях необходимо использовать различные средние величины. Чаще всего для оценки среднего значения используют среднее арифметическое. Его применение настолько привычно, что второе слово в термине часто опускают. И говорят о средней зарплате, среднем доходе и других средних для конкретных экономических данных, подразумевая под «средним» именно среднее арифметическое. Но не всегда среднее арифметическое подходит для оценок (см. врезку «Расчёт среднегодовой инфляции»).

Перечень допустимых операций, а также статистических показателей в разных шкалах сведён в таблице 3.

Таблица 3. Характеристики шкал и допустимых операций.

Тип шкалы	Отношения между шкальными значениями	Наличие нуля и единиц измерения	Допустимые преобразования шкалы (операции)	Допустимые статистические показатели
Номинальная шкала	Тождественно — нетождественно	Нет нуля, нет единиц измерения.	Установление взаимооднозначных соответствий.	Процент, доля, мода, а также тетрахорические и полихорические коэффициенты корреляции.
Порядковая (ранговая) шкала	Есть иерархия признаков, сравнение, отношение неравенства. Больше — меньше, равно — не равно.	Нет нуля, нет единиц измерения.	Те, которые сохраняют порядок.	Процент, доля, мода, медиана. Коэффициенты ранговой корреляции.
Интервальная шкала	Равенство — неравенство, больше — меньше, больше на…, меньше на…. Отношения между интервалами.	Условный ноль, есть единицы измерения.	Можно менять единицу измерения и условный ноль.	Процент, доля, мода, медиана, среднее арифметическое, дисперсия, среднеквадратическое отклонение. Классические методы корреляции.
Шкала отношений	Равенство — неравенство, больше — меньше, больше в…, меньше в….	Абсолютный ноль, есть единицы измерения.	Можно менять единицы измерения ,ноль переносить нельзя.	Процент, доля, мода, медиана, среднее арифметическое, дисперсия, среднеквадратическое отклонение. Классические методы корреляции.

* * *

В этой части статьи мы описали теорию и принципы обработки результатов измерений. Вроде бы всё это известно. Но дело в том, что ошибки при выводах, сделанных на основе средних величин, в порядковых шкалах случались не раз. В следующей части статьи мы проанализируем наиболее распространённые ошибки.

https://tinyurl.com/ymy76zct