Управленческая теория измерений. Часть 4. Ошибки обработки измерений

 

Андрей Мицкевич

Есть ложь, есть наглая ложь и есть статистика.
Марк Твен

Различные измерения и показатели используются в каждой фирме, в любой организации. Выбор подходов к оценке степени достижения некоторого показателя (например, плана продаж) огромен. Задача этой статьи — не придумывать что-то своё, а попытаться классифицировать доминирующее большинство существующих подходов к измерению показателей.
Обработка результатов измерений используется для получения выводов. Хорошая обработка результатов измерений — это достоверная система оценок (термин квалиметрии, принятый нами на вооружение). Увы, мой опыт показывает, что менеджеры часто не замечают явных логических нестыковок. Причина очевидна: не хватает специальной математической подготовки и экономических знаний. Поэтому в этой части статьи мы проанализируем наиболее распространённые ошибки.

Какие средние можно использовать для измерений по порядковым шкалам?

Ошибки при выводах, сделанных на основе средних величин, в порядковых шкалах случались не раз. В спорте, в социологии, в психологии они известны (примеры смотрите ниже). В менеджменте они тоже случаются, просто не публикуются и потому не обсуждаются. То, что со средними величинами для анализа измерений по порядковым шкалам надо быть очень аккуратным, показывает врезка «Средний балл не всегда показывает однозначно, кто лучше учится».

Теория измерений выносит жёсткий приговор среднему арифметическому: использовать его для анализа измерений в порядковой шкале нельзя.

Заметим, что если один набор измерений „лежит над другим”, то это означает, что эксперты полностью согласны между собой. Например, из двух оцениваемых объектов один лучше для всех экспертов. Тогда и среднее не нужно, всё и так ясно: первый объект лучше.

Однако в любой более сложной ситуации обычные средние, кроме моды и медианы, могут вызывать ошибки (см. врезку «Если средний балл больше, то это не значит, что объект измерений лучше!»). А именно в такой ситуации и нужны статистики для выводов. В частности, такие ситуации нередки в системе показателей деятельности компании .

Однако те, кто не знает теории измерений, постоянно используют среднее арифметическое для измерений по порядковым шкалам. Всегда ли они ошибаются? Точнее, в каких случаях среднее арифметическое коварно и может привести к ошибке? А когда оно безобидно? Оказывается, можно в какой-то мере реабилитировать среднее арифметическое, если перейти к вероятностной постановке и удовлетвориться результатами для больших объёмов выборок [2].

Если средний балл больше, то это не значит, что объект измерений лучше!

Результаты измерений в порядковых шкалах должны интерпретироваться не так, как мы привыкли. В книге [2] приводится социологическое исследование, послужившее поводом к развитию одного из направлений отечественных исследований по теории измерений. При изучении привлекательности различных профессий для выпускников новосибирских школ был составлен список из 30 профессий. Опрашиваемых просили оценить каждую из этих профессий одним из баллов 1, 2,..., 10 по правилу: чем больше нравится, тем выше балл .
Для получения социологических выводов необходимо было дать единую оценку привлекательности определённой профессии для совокупности выпускников школ. В качестве такой оценки использовалось среднее арифметическое баллов, выставленных профессии опрошенными школьниками. Заметим, что так обычно и поступают люди, не знакомые с теорией измерений. В частности, физика получила средний балл 7,69, а математика — 7,50. Поскольку 7,69 больше, чем 7,50, был сделан вывод, что физика более предпочтительна для школьников, чем математика. Однако этот вывод противоречит данным другого исследования, согласно которым ленинградские (дело было в СССР) школьники средних классов больше любят математику, чем физику.
Как объяснить это противоречие? Есть много подходов к выяснению причин различия выводов новосибирских и ленинградских исследователей. Одно из возможных объяснений этого противоречия основано на теории измерений. С точки зрения теории измерений обработка статистических порядковых данных о предпочтениях выпускников школ с помощью среднего арифметического неверна.
Дело в том, что баллы 1, 2,..., 10 введены конкретными исследователями, то есть субъективно. Если одна дисциплина оценена в 10 баллов, а вторая — в 2, то из этого нельзя заключить, что первая ровно в 5 раз привлекательней второй. Другой коллектив социологов мог бы принять иную систему баллов, например, «школьную» (1, 2, 3, 4, 5), и тогда «дистанция» между оценками профессий, а также средняя оценка дисциплин очевидно изменились бы. Естественно предположить, что упорядочивание профессий по привлекательности, присущее школьникам, не должно зависеть от того, какой системой баллов им предложит пользоваться социолог. Это лишний раз подтверждает вывод об ошибочности использования среднего арифметического (а также среднего геометрического, гармонического и квадратичного) для анализа результатов этих измерений.

Врезка «Выбор порядковой шкалы влияет на выводы, получаемые по средним оценкам» показывает, что проблема адекватности измерений может быть важной для построения системы показателей. Хотя эта проблема явно и не основная. Тем не менее, надо понять, какие статистические показатели измерений по порядковым шкалам будут корректными для использования в системе показателей.

Итак, средним арифметическим в порядковой шкале пользоваться нельзя. Чем же заменить среднее арифметическое в качестве адекватной меры среднего значения измерений в порядковых шкалах? Медиана в качестве среднего даёт удовлетворительную оценку. Эта оценка не смещается при выборе разных видов порядковой шкалы. Это значит, что «медианный показатель» при любой шкале один и тот же. В этом плюс медианы. В примере во врезке «Выбор порядковой шкалы влияет на выводы, получаемые по средним оценкам» при любых порядковых шкалах медиана — оценка «удовлетворительно». Понятно, что минусы у медианы тоже есть. Но, по крайней мере, она не смещается при пересмотре шкал. Поэтому медиану математики рекомендуют в качестве среднего при измерениях по порядковым шкалам.

Выбор порядковой шкалы влияет на выводы, получаемые по средним оценкам

Кому не известна пятибалльная шкала? И все знают один её недостаток: единицей в школе практически не пользуются. А насколько достоверны измерения по такой шкале? И что будет, если немного изменить порядковую шкалу? Попробуем разобраться.
Рассмотрим три порядковые балльные шкалы:

• обычную «школьную» шкалу: 2, 3, 4, 5 — «неуд.», «уд.», «хор.», «отл.»;

• скорректированную «школьную» шкалу: 1, 3, 4, 5 — «неуд.», «уд.», «хор.», «отл.» (один учитель предложил исправить обычную «школьную» шкалу, введя оценку 1 за неудовлетворительные знания);

• модифицированную «школьную» шкалу: 0, 3, 4, 5 — «неуд.», «уд.», «хор.», «отл.» (другой учитель считает, что неудовлетворительные знания эквивалентны отсутствию знаний и потому предложил использовать такую шкалу).

Предположим, школьник получил 3 оценки: «неуд.», «уд.», «хор.».
Средняя оценка по первой шкале: 3. Вывод: в среднем ученик учится на «удовлетворительно». Это не очень правильный вывод. Ведь по одному из предметов наш школьник не удовлетворил требованиям — получил «неуд», а средняя оценка это скрыла.
Средняя оценка по второй шкале: 2,67. Вывод: в среднем ученик учится в интервале от «неудовлетворительно» до «удовлетворительно», но ближе к «удовлетворительно». Вам нравится такой вывод?
Средняя оценка по третьей шкале: 2,33. Вывод: в среднем ученик учится в интервале от «неудовлетворительно» до «удовлетворительно», но ближе к «неудовлетворительно». Итак, по одним и тем же простейшим данным, заданным в порядковой шкале, мы получили три варианта вывода. То есть:
Использование среднего арифметического в порядковых шкалах приводит к ошибкам. Выбор порядковой шкалы влияет на выводы, получаемые по средним оценкам.
Возражение практика: мы всегда используем одну и ту же обычную шкалу. Поэтому все выводы стандартизированы и в любой школе в описанной ситуации вывод будет одинаковым. И это хорошо.
Доводы эксперта — отлично, что выводы одинаковы, однако:

• при построении системы показателей мы сами выбираем шкалы. Поэтому в одной фирме (в один момент времени на одной и той же фирме) используется одна шкала, в другой фирме (в другой момент времени на одной и той же фирме) применяют иную шкалу. Ситуации на фирмах могут быть одинаковы, а выводы разными;

• даже при использовании общепринятых шкал выводы могут быть некорректными. Пример: в приведённом примере мнения учителей о шкале были разными.

Справедливости ради отметим, что не только медианами оцениваются измерения по порядковым шкалам. Меры близости в порядковых шкалах оцениваются разными коэффициентами корреляции. Термин «корреляция» означает «связь». Допустимые меры близости в порядковых шкалах должны быть инвариантными относительно допустимых преобразований порядковой шкалы, то есть остаются постоянными при любом строго возрастающем преобразовании шкалы измерения результатов наблюдений. Самой популярной мерой близости в порядковых шкалах является коэффициент ранговой корреляции Спирмена, который определяет степень близости между двумя ранжировками.

Есть и другие коэффициенты корреляции. Самый известный из них — коэффициент тау Кендалла для ранговой корреляции. Но оценка корреляции в системе показателей компании — это баловство. Мне неизвестны примеры, когда использование коэффициентов корреляции было бы критически важно. Поэтому мы не будем рассматривать коэффициенты корреляции.

Какие средние можно использовать для измерений по количественным шкалам?

В количественных шкалах осмысленными и допустимыми являются действия сложения и вычитания. Казалось бы, ситуация тут привычная и понятная, можно использовать все средние величины. Однако традиция использования среднего арифметического может приводить к экономически ошибочным выводам. Причина — неравномерность распределения результатов по шкале.

Пример. Пусть 5 работников имеют такие зарплаты в у. е.: 100, 100, 200, 500, 600. Для этих показателей имеем три средние величины: моду (100 у. е.), медиану (200 у. е.) и среднее арифметическое (300 у. е.). Они разные, и какое из них правильно использовать как показатель зарплаты всей группы работников? Ответ «среднее арифметическое», который дают многие, неверен.

Доход выше среднего арифметического доступен немногим. Это объясняется наличием очень богатых людей (пусть и немногих), которые сильно влияют на среднее арифметическое. Показатель среднего арифметического доходов всех людей очень чувствителен к увеличению или уменьшению доли высокодоходных или низкодоходных групп населения. Это хорошо показано во врезках «Марш карандашей» и «Сравнение оценок среднего дохода».

Марш карандашей

Для того чтобы лучше понять и ощутить, как правильно описывать распределение дохода, используют аналогию голландского профессора Пена (Pen's analogy), в которой каждый человек представлен своим доходом в виде карандаша . Чем больше доход, тем больше карандаш. Если мы примем, что «средний человек» — это целый карандаш, тогда «медианный человек» — это совсем небольшой карандашик.
Мысленно устроим «парад карандашей», допустим, в течение часа. Сначала пойдут самые маленькие карандашики и первые 2 — 3 минуты вам будет трудно их рассмотреть, через пять минут они вырастут до размеров сигаретного фильтра. В течение следующих 25 минут идут, постепенно увеличиваясь, небольшие карандашики, шествие которых оканчивается «медианным человеком» (то есть прошла ровно половина). Следующие 20 минут долго и нудно проходят карандаши размером от половины до почти целого, и только за 10 минут до конца парада появляется «средний человек» — целый карандаш. После этого картина быстро меняется. Появляются всё более и более длинные карандаши: сначала юристы примерно по 18 футов, затем высококвалифицированные медики и ведущие бухгалтеры длиной от 7 до 8 ярдов и управляющие по 20 и более ярдов. И, наконец, пройдёт Поль Гетти — самый богатый в то время человек — «длиной в 20 миль».
Таким образом, мы видим, что оценка «средний человек» почти ничего не говорит о характере распределения доходов.

Математически средний доход можно вычислить разными методами. Это и среднее арифметическое, и мода, то есть интервал с наибольшим представительством, или медиана, меньше и больше которой лежит половина значений. Но экономически корректнее медиана. Слева от «медианного дохода» лежат значения доходов 50% людей и справа от «медианного заработка» лежат 50%. «Медианный доход» наиболее точен с экономической точки зрения для оценки среднего заработка (см. врезку «Сравнение оценок среднего дохода»). Именно поэтому в статистике доходов большинства развитых стран для характеристики среднего и, соответственно, общего уровня доходов приводится не средний, а медианный их уровень, то есть уровень, выше и ниже которого получает доход одинаковое число семей.

Сравнение оценок среднего дохода

Среднее арифметическое значение дохода завышено за счёт наличия очень богатых людей.
Пример. Допустим в 2000 году 11 человек еле-еле сводили концы с концами, зарабатывая по 3000 руб. в месяц, а один «выбился в люди» — его месячный доход составляет 147 000 руб. Средняя зарплата этой группы высокая — 15 000 руб., что значительно выше прожиточного минимума в то время.
Зачем используется подобная статистика? Для того чтобы, опираясь на неё, маркетологи могли давать дельные советы. Теперь представьте себе коммерсанта, ориентирующегося на среднюю зарплату. Его товары, рассчитанные на «средний класс», не найдут сбыта среди наших 11 человек, так как одним они не по карману, а другим не нужны. Очевидно, что за оценку средней зарплаты следует принять 3000 руб. (а это и есть медиана), и тогда коммерсант не промахнётся.
Мода тоже плохо отражает распределение заработка. Модой в нашем случае называют интервал, в который попало больше всего людей. За счёт произвольности выбора деления на интервалы мода сильно меняется. При таком выборе больше влияние случая, в том числе за счёт «двугорбых» распределений зарплаты, столь характерных в условиях размывания среднего класса в России. Допустим, что имеется следующее распределение годового заработка:

Мода по этим данным даёт неточный результат — 300 000 руб., смещая среднюю оценку в нижнюю точку. При этом существование второго «горба», ближе к 700 000, игнорируется.
Медиана даёт экономически наиболее точный результат. В нашем примере всего указаны доходы 61 человека. «Медианный человек» — 31-й по порядку снизу вверх, у него годовой доход 500 000 руб. Это гораздо корректнее отражает заработок группы.

Интересно, что для наблюдающихся в реальной жизни распределений доходов и заработной платы справедлива следующая закономерность: мода меньше медианы, а медиана меньше среднего арифметического (см. врезку «Распределение заработка — зависимость, которую не удаётся объяснить»).

Значение математической теории измерений

Итак, мы видим, что для каждого показателя есть своё корректное среднее. Например, для инфляции настоящее «среднее» — это среднее геометрическое, для средней зарплаты в компании — это медиана, для курса доллара на бирже — это средневзвешенное.

Приведённые выше выводы, касающиеся средних величин, широко применяются, причём не только в экономике, менеджменте, теории экспертных оценок или социологии, но и в инженерном деле, например, для анализа методов агрегирования датчиков в АСУ ТП доменных печей. Велико прикладное значение теории измерений в задачах стандартизации и управления качеством.

Распределение заработка — зависимость, которую не удаётся объяснить

Экономическая наука состоит из теоретических законов,
которые никто не может верифицировать, и эмпирических
законов, которые никто не может объяснить.
М. Калецки

Распределение заработка даёт прекрасный пример зависимости, которую никто не может объяснить. Оно показывает долю тех, кто зарабатывает в единицу времени (как правило, за год) известное количество денег. При этом измеряют не точную денежную сумму, а её попадание в небольшой интервал.
Оказывается, распределение заработка по группам населения почти не зависит от страны, региона, времени и других очень существенных факторов. Казалось бы, этого не может быть. Но тем не менее, это так.
Для наглядности будем описывать распределение непрерывной функцией распределения. С экономико-математической точки зрения наиболее точно типичное распределение заработка описывается кривой распределения, показанной на рисунке, сглаженной с правой стороны (окончание кривой получило название «парето-хвост», по имени итальянского экономиста Вильфредо Парето).

Рис. 1. Типичная кривая распределения заработка.

Казалось бы, в разные времена и в разных странах могут быть самые разнообразные распределения заработка. Но... фантастика! Если привести все распределения к одной (относительной) системе координат, то окажется, что распределение практически едино для всех времен и народов.

Теория измерений способна дать практические рекомендации:

• по выбору шкал измерений;

• по выбору адекватных статистических показателей и различного рода средних для агрегирования информации и сопоставления результатов измерений;

• по определению сравнительной достоверности и информативности измерений, привести к выбору шкал с нужными параметрами достоверности и информативности.

1. 1. Орлов А. И. Устойчивость в социально-экономических моделях. — М.: Наука, 1979. — 296 с.
2. 2. Орлов А. И. Нечисловая статистика. — М.: МЗ-Пресс, 2004.
3. 3. Пфанцагль И. Теория измерений/ Пер. с нем. — М.: Мир, 1976. — 165 с.
4. 4. Фишберн П. Измерение относительных ценностей. — в кн.: Статистическое измерение качественных характеристик. —ика, 1972, — с. 35 — 94.

https://tinyurl.com/yu3zfmpd

Управленческая теория измерений. Часть 3. Принципы обработки измерений.

 

Андрей Мицкевич

Различные измерения и показатели используются в каждой фирме, в любой организации. Выбор подходов к оценке степени достижения некоторого показателя (например, плана продаж) огромен. Задача этой статьи — не придумывать что-то своё, а попытаться классифицировать доминирующее большинство существующих подходов к измерению показателей.
Обработка результатов измерений используется для получения выводов. Хорошая обработка результатов измерений — это достоверная система оценок (термин квалиметрии, принятый нами на вооружение). А какими математическими свойствами она должна обладать? Есть ли общенаучный ответ на этот вопрос?

Один из возможных подходов к обработке результатов измерений статистический, на нём и концентрируется теория измерений.

Статистический подход — это получение различных средних, медиан, порядковых статистик, дисперсий, коэффициентов корреляции и прочих величин для подведения итогов и интерпретации результатов.

Статистические величины важны для практичеких аспектов системы показателей, и о них мы поговорим чуть ниже 1. Начнём с математическо-статистической основы — она более значима для социологии, но и в менеджменте будет не лишней. Хотя бы потому, что социлогические техники опросов присутствуют и в этой сфере.

Теоретический минимум — допустимые операции

Использование чисел в жизни и хозяйственной деятельности людей отнюдь не всегда предполагает, что эти числа можно складывать и умножать, производить иные арифметические действия. Что бы вы, например, сказали о человеке, который занимается умножением телефонных номеров? В экспертизе, в управлении компанией применение чисел существенно более ограничено, чем принято в арифметике. Это явление в теории информации называется ограничения на допустимые арифметические действия или допустимые операции.

Менеджеры при разработке системы показателей, как правило, не замечают явных логических нестыковок. Причина очевидна: не хватает специальной математической подготовки и экономических знаний.

При анализе допустимых действий следует помнить о том, по какой шкале измерений получены исследуемые величины.

Общее правило допустимых преобразований: выводы, сделанные на основе данных, измеренных в шкале определённого типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных.

Иначе говоря, выводы, сделанные на основе данных, измеренных в шкале определённого типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных.

Пример. Расстояния можно измерять в аршинах, метрах, микронах, милях, парсеках и других единицах измерения. Массу (вес) — в пудах, килограммах, фунтах и др. Переход от одной единицы измерений к другой выводов не меняет. Значит, это допустимые преобразования.

Подчеркнём очень важное, хотя и вполне очевидное, обстоятельство: выбор показателей и единиц измерения зависит от исследователя, то есть субъективен. И здесь кроется корень возможных ошибок, вызванный абсолютным незнанием менеджерами теории информации.

Главная прикладная цель теории измерений (она же и главная проблема) — борьба с субъективизмом исследователя (в нашем случае менеджера и, в частности, разработчика системы показателей), когда он приписывает численные значения реальным объектам.

Причём здесь действует следующее общее правило:

Алгоритм, применимый к более слабой шкале, применим и к более сильной. Обратное неверно.

Напомним последовательность шкал, расположив их от более слабой к более сильной:

• номинальная шкала;
• порядковая или ранговая шкала;
• количественные шкалы: шкала интервалов, шкала степеней, шкала отношений;
• шкала разностей, абсолютная шкала.

Допустимые операции с величинами, измеренными по номинальной шкале. Номинальная шкала сопоставляет каждый объект с определённым признаком, то есть описывает качественную информацию (характеристики, признаки объекта измерений). Какие операции возможны с качественными характеристиками?

1. Нахождение частот распределения результатов измерений по градациям шкалы в процентах или в натуральных единицах. Например, «доля квалифицированных специалистов — 78%».
2. Определение моды — значения (градации), встречающегося наиболее часто.
3. Установление взаимосвязи между рядами качественных характеристик с помощью перекрёстных таблиц. Самым сильным способом количественного анализа результатов измерений по номинальной шкале является установление взаимосвязи между рядами качественных характеристик, расположенных неупорядоченно. С этой целью составляют перекрёстные таблицы. Помимо простой процентовки, в таблицах перекрёстной классификации можно подсчитать критерий сопряжённости признаков по Пирсону: хи-квадрат (х2). Это простейший показатель обоснованности вывода о наличии или отсутствии связи между сопоставляемыми характеристиками, то есть связанности качественных характеристик. Коэффициент Чупрова (Т-коэффициент) позволит по той же таблице определить напряжённость связи, если хи-квадрат показывает, что связь имеет место.

Все эти операции, согласно общему правилу, применимы и к любой другой шкале.

Допустимые операции с величинами, измеренными по порядковой (ранговой) шкале. Порядковые шкалы учитывают, к какой категории принадлежит та или иная измеряемая характеристика объекта и в каком отношении она находится с характеристиками других объектов. Результат измерений по порядковой шкале выражается числами 1, 2, 3,..., но с этими числами нельзя делать привычные арифметические операции. Например, в арифметике 1 + 2 = 3, но в ранговой шкале нельзя утверждать, что для объекта, стоящем на третьем месте, интенсивность изучаемой характеристики равна сумме интенсивностей объектов с рангами 1 и 2.

Пример. Один из видов оценивания по порядковой шкале — оценки учащихся. Вряд ли кто-то будет утверждать, что знания отличника равны сумме знаний двоечника и троечника (хотя 5 = 2 + 3), хорошист соответствует двум двоечникам (2 + 2 = 4), а между отличником и троечником такая же разница, как между хорошистом и двоечником (5 – 3 = 4 – 2).

Очевидно, что для анализа качественных данных (измерений по ранговой шкале) необходима не всем известная арифметика, а другая система действий, дающая базу для разработки, изучения и применения корректных систем показателей. Мы уже видим, что некоторые действия некорректны в порядковой (ранговой) шкале. Какие же действия корректны? В порядковых шкалах допустимы:

• сравнения типа лучше — хуже, важнее, справедливее и т. п.
• установление взаимосвязи между величинами с помощью коэффициентов ранговых корреляций.

Допустимые операции с величинами, измеренными по количественным шкалам. Это самая привычная нам ситуация: в количественных шкалах осмысленными, логически допустимыми являются действия сложения и вычитания. Очевидно, что и сравнения больше — меньше тоже допустимы.

Использование средних величин

Все статистические показатели требуют использовать те или иные операции над измеренными величинами. Тогда какие из показателей можно использовать для характеристики измерений по разным шкалам?

Очевидно, что статистические выводы могут быть адекватны реальности только тогда, когда они не зависят от того, какую единицу измерения предпочтёт менеджер и разработчик системы показателей (то есть когда эти выводы инвариантны относительно допустимого преобразования шкалы). Оказывается, сформулированное условие является достаточно сильным требованием и из многих привычных алгоритмов анализа данных ему удовлетворяют лишь некоторые. Покажем это на примере анализа корректности использования самой популярной статистики — средних величин — для измерений в разных шкалах.

Для чего в экономике используются средние величины? Обычно для того, чтобы заменить совокупность результатов измерений одним числом и затем получить возможность сравнивать эти числа. Зададимся вопросом: а что такое среднее? Ответ прост. Допустим, есть результаты некоторого процесса (по дням, например). В среднем — это значит, что если подставить это «среднее» вместо каждого ежедневного значения, то итоговый за месяц результат процесса не изменится.

Виды средних величин. Существуют различные виды средних величин:

• среднее арифметическое;
• средневзвешенное (среднее арифметическое взвешенное);
• медиана;
• мода;
• среднее геометрическое;
• среднее гармоническое;
• среднее квадратическое.

Замечу, что среднее арифметическое и средневзвешенное формально очень похожи, но на бытовом уровне люди иногда путают их (см. врезку «Вероятность встретить динозавра на Невском проспекте»).

Определение средних величин

Приведём строгие формулировки для основных средних величин. Пусть x1, x2,…, xn — показатели некоторой величины количеством n.

Среднее арифметическое — это средний уровень изучаемой величины:

Наряду с простым средним арифметическим применяют и среднее арифметическое взвешенное. Его используют, когда, к примеру, значения вариантов встречаются по нескольку раз или каждое значение ряда имеет какой-то определённый индивидуальный вес.

Среднее арифметическое взвешенное — это оценка среднего с учётом весов величин:

где wi — вес величины.

Среднее геометрическое нескольких положительных вещественных чисел — это такое число, которым можно заменить каждое из данных чисел, чтобы их произведение не изменилось:

Среднее гармоническое — это число (у), обратное которому есть арифметическое среднее чисел, обратных данным числам (а1, a2, …, an): y = n : (1/a1 + 1/a2 + ... + 1/an).

Среднее квадратическое (квадратичное) — число s, равное квадратному корню из среднего арифметического квадратов данных неотрицательных чисел а1, a2, …, an:

Среднее квадратическое — частный случай среднего степенного и потому подчиняется неравенству о средних. В частности, для любых чисел оно не меньше среднего арифметического:

Средние величины по Колмогорову для чисел x1, x2, …, xn вычисляются по формуле

G{(F(X1) + F(X2) + ... F(Xn)) / n},

где F — строго монотонная функция (то есть строго возрастающая или строго убывающая), G — функция, обратная к F. Среди средних по Колмогорову — много хорошо известных персонажей (х > 0):

• если F(x) = x, то среднее по Колмогорову — это среднее арифметическое;
• если F(x) = ln x, то среднее по Колмогорову — это среднее геометрическое;
• если F(x) = 1/x, то среднее по Колмогорову — это среднее гармоническое;
• если F(x) = x2, то среднее по Колмогорову — это среднее квадратическое.

Кроме перечисленных средних, для относительной характеристики величины и внутреннего строения её показателей пользуются так называемыми структурными средними, которые представлены, в основном, модой и медианой.

Медиана — это такое значение величины, которое делит все показатели пополам. Если размерность выборки нечётная (N = 2n+1), то медианой является (n+1)-й элемент выборки. Если размерность выборки чётная (N = 2n), то медианой строго говоря является любое число, лежащее между n-м и (n+1)-й элементами выборки, включая эти элементы, которые иногда называют левой и правой медианами. В экономической статистике чаще всего в качестве медианы используется среднее значение между n-м и (n+1)-й элементами выборки.

Мода — это наиболее часто встречающееся значение величины.

В разных случаях необходимо использовать различные средние величины. Чаще всего для оценки среднего значения используют среднее арифметическое. Его применение настолько привычно, что второе слово в термине часто опускают. И говорят о средней зарплате, среднем доходе и других средних для конкретных экономических данных, подразумевая под «средним» именно среднее арифметическое. Но не всегда среднее арифметическое подходит для оценок (см. врезку «Расчёт среднегодовой инфляции»).

Перечень допустимых операций, а также статистических показателей в разных шкалах сведён в таблице 3.

Таблица 3. Характеристики шкал и допустимых операций.

Тип шкалы	Отношения между шкальными значениями	Наличие нуля и единиц измерения	Допустимые преобразования шкалы (операции)	Допустимые статистические показатели
Номинальная шкала	Тождественно — нетождественно	Нет нуля, нет единиц измерения.	Установление взаимооднозначных соответствий.	Процент, доля, мода, а также тетрахорические и полихорические коэффициенты корреляции.
Порядковая (ранговая) шкала	Есть иерархия признаков, сравнение, отношение неравенства. Больше — меньше, равно — не равно.	Нет нуля, нет единиц измерения.	Те, которые сохраняют порядок.	Процент, доля, мода, медиана. Коэффициенты ранговой корреляции.
Интервальная шкала	Равенство — неравенство, больше — меньше, больше на…, меньше на…. Отношения между интервалами.	Условный ноль, есть единицы измерения.	Можно менять единицу измерения и условный ноль.	Процент, доля, мода, медиана, среднее арифметическое, дисперсия, среднеквадратическое отклонение. Классические методы корреляции.
Шкала отношений	Равенство — неравенство, больше — меньше, больше в…, меньше в….	Абсолютный ноль, есть единицы измерения.	Можно менять единицы измерения ,ноль переносить нельзя.	Процент, доля, мода, медиана, среднее арифметическое, дисперсия, среднеквадратическое отклонение. Классические методы корреляции.

* * *

В этой части статьи мы описали теорию и принципы обработки результатов измерений. Вроде бы всё это известно. Но дело в том, что ошибки при выводах, сделанных на основе средних величин, в порядковых шкалах случались не раз. В следующей части статьи мы проанализируем наиболее распространённые ошибки.

https://tinyurl.com/ymy76zct

Управленческая теория измерений. Часть 2. Шкалы и накладываемые ими ограничения

 

Андрей Мицкевич

Различные измерения и показатели используются в каждой фирме, в любой организации. Выбор подходов к оценке степени достижения некоторого показателя (например, плана продаж) огромен: тут сколько людей, фирм, ситуаций, видов работ, столько и мнений. Задача этой статьи не придумывать что-либо своё, а попытаться классифицировать доминирующее большинство существующих подходов к измерению показателей.
В соответствии с теорией измерений при моделировании реального явления следует прежде всего установить типы шкал, в которых измеряются или должны быть измерены те или иные переменные. Что такое шкала? Какими они бывают? Какие ограничения накладываются на числа, используемые для измерений? Как правильно пользоваться шкалами, чтобы получить достоверные первичные измерения? Какие интегральные и комплексные показатели могут быть построены на множестве измерений, выполненных в различных шкалах?

Шкалы и их классификации

Шкалы используются как для первичных измерений, так и для перевода разных измерений (в нашем случае — различных показателей) в единую шкалу. Как выбрать единую шкалу? Начнём с трёх определений.

Шкалой называют систему чисел или иных элементов и отношений между ними, принятых для измерения или оценки каких-либо величин (объектов, качеств и т. д.).

Шкалирование — это:

• выбор шкалы для первичных измерений;
• перевод измерения из одной шкалы в другую.

Нормирование (или единообразное шкалирование) — это перевод всех переменных, показателей, отражающих разные объекты измерений, в одну шкалу.

Первая классификация шкал была предложена С. Стивенсом в 1946 г. и от современной общепринятой классификации принципиально не отличается.
Шкалы, как правило, объединяют в три основные группы:

•  номинальные — для качественных измерений;
•  порядковые — для отражения отношения порядка (больше, лучше, важнее, проще, правильнее и т. п.);
•  количественные — оперируют с числами так, как мы привыкли со школьных времен (например, 10 в 2 раза больше, чем 5).

Иногда все шкалы измерения делят на два класса:

•  шкалы качественных признаков (порядковая шкала и шкала наименований);
•  шкалы количественных признаков (количественные шкалы).

Далее мы последовательно разберём все типы шкал.

Номинальные шкалы

Номинальная шкала (nominal scale), или шкала наименований 1, сопоставляет каждый объект с определённым признаком. В результате объект либо обладает этим признаком, либо нет. Номинальная шкала состоит из названий — это самое простое и в то же время верное понимание номинальной шкалы.
Пример. Красное или чёрное — это измерение в некой цветовой гамме. Многие классификации, ответы на вопросы анкеты — всё это примеры номинальных измерений. С них начинается работа создателей сбалансированной системы показателей, а закончиться она должна цифрами. Но здесь важно не переборщить и оставить номинальные измерения только там, где они предпочтительнее формальной оцифровки.

Как правильно пользоваться шкалами, чтобы получить достоверные первичные измерения? Это не такой простой вопрос, как кажется на первый взгляд.

Допустимые преобразования. В номинальной шкале допустимыми преобразованиями (см. врезку) являются все взаимно-однозначные преобразования 2. Например, red — это «красный». Никаких отношений, кроме «равно» и «неравно», здесь нет. В этой шкале числа используются лишь как метки (как, например, при сдаче белья в прачечную), то есть лишь для различения объектов.

Порядковые шкалы

Порядковая шкала отражает более высокий уровень измерений, учитывающий, к какой категории принадлежит объект и в каком отношении он находится с другими объектами. В порядковой шкале числа используются не только для различения объектов, но и для установления порядка между ними.
Пример. Простейшим примером порядковой шкалы служат оценки знаний учащихся. Символично, что в средней школе применяются оценки 2, 3, 4, 5, а в высшей школе тот же смысл выражается словесно — «неудовлетворительно», «удовлетворительно», «хорошо», «отлично». Этим подчёркивается «нечисловой» характер оценок знаний студентов.
Фактически измерение по порядковой шкале представляет собой операцию упорядочения. Предполагаются сравнения «больше — меньше» или «лучше — хуже». Например, мнения экспертов часто выражаются в порядковой шкале, то есть эксперт может сказать (и обосновать), что один показатель качества продукции важнее, чем другой; первый технологический объект опаснее, чем второй, и т. д. Но он не в состоянии сказать, во сколько раз или насколько он более важен, или, соответственно, более опасен.
Допустимые преобразования. Порядковая шкала допускает любое возрастающее преобразование, то есть такое, которое не меняет порядок шкалы.
Типы порядковых шкал. Используют два типа порядковых шкал, которые различны с практической точки зрения:

• ранговая шкала, которая предполагает присвоение объектам рангов (ранжирование);
• балльная шкала, в которой применяются баллы.

Обдумывание измерений некоторых показателей следует начать с выбора между ранговым и балльным типами шкал.

Ранговые порядковые шкалы

Ранговые шкалы — это шкалы, где числа служат только для присвоения мест. Экспертов часто просят ранжировать (упорядочить) объекты экспертизы, то есть расположить их в порядке возрастания (или убывания) интенсивности исследуемой характеристики. Ранг — это номер объекта экспертизы в упорядоченном ряду значений характеристики у различных объектов. Формально ранги выражаются числами 1, 2, 3.... Важно помнить, что измерения 1, 2, 3 и 6, 10, 50 означают одно и то же: первая альтернатива заняла первое место, вторая — второе место и т. д. В ранговых шкалах нет информации о величине различий между оцениваемыми объектами. Такие шкалы используются тогда, когда объект трудно описать несколькими характеристиками, которые потом оцениваются качественно (баллами, например) или количественно. В практике менеджмента рейтинги часто основаны на ранговых шкалах.

Ранговые измерения (процедуры ранжирования). Различают несколько основных типов алгоритмов ранжирования:

1. процедура непосредственного ранжирования, когда эксперт должен просто упорядочить объекты. При ранжировании он располагает объекты в порядке предпочтения, руководствуясь знаниями, собственными соображениями и пр. — по сути, расставляет объекты в определённом порядке, пользуясь своим собственным алгоритмом и не объсняя, почему он выбрал именно этот вариант;
2. процедура опосредованного ранжирования, когда эксперт должен упорядочить объекты и дать пояснения;
3. процедура последовательного непосредственного ранжирования, когда эксперт сначала должен отнести объекты к одному из нескольких классов, которым заранее присвоил ранги, а затем упорядочить объекты внутри каждого класса. Метод используется при большом количестве объектов ранжирования;
4. «метод пузырька» взят из программирования, где он применятется для сортировок. Эксперт должен найти место (N+1)-ого объекта в ряду уже упорядоченных N-объектов. Такая процедура весьма экономна и точна;
5. процедура парных сравнений заключается в том, что эксперт устанавливает порядок объектов путём сравнения всех возможных их пар. Это самый точный, но и самый трудоёмкий метод. Перевод результатов таких парных сравнений в ранги не так прост, пример неверного перевода результатов парных сравнений в ранги приведен во врезке.

Корректные методы перевода результатов парных сравнений в шкалу интервалов. Они существуют. Считая предпочтение некоторой случайной величиной, отражающей истинное соотношение характеристик объектов сравнения, можно решить задачу определения вероятности истинного соотношения сравниваемых объектов (модели Брэдли-Терри, Терстоуна-Мостеллера, Льюса и др.). Пример такого корректного перевода дан во врезке. Большого практического значения он не имеет, и чтобы понять его суть, надо хорошо знать математическую статистику 3. Но важно понимать, что такие методы существуют и у них есть обоснование, пусть и небесспорное. В результате метод парных сравнений позволяет определить значимость различий положения тех или иных объектов в иерархии, а также решать другие сходные задачи.

Балльные порядковые шкалы

Балльные шкалы используются очень часто, примеры мы уже приводили. Однако важно понимать, что каждому баллу необходимо присвоить качественную характеристику, в противном случае может пострадать корректность. Приведу пример: в конце 1990-х гг. я был назначен ответственным преподавателем (качество, контроль, апелляции) на устном экзамене по экономике для абитуриентов НИУ ВШЭ. Только что на ректорате ввели 10-балльную шкалу. Экспромт не удался — первый блин, как обычно, вышел комом. Моя работа заключалась, в том числе, и в „обеспечении справедливости”, то есть чтобы за примерно одни и те же ответы преподаватели в разных комиссиях ставили одинаковые баллы. Разброс в оценках оказался ужасающим — от 4 до 7 за похожие ответы. Буквально на следующий день ошибка в дефиниции шкалы была исправлена, а получившаяся шкала (см. таблица 2) успешно работает до сих пор (с небольшим изменением). Многие вузы взяли её на вооружение. Обращаю внимание читателей, что в соответствии со спецификой каждого предмета преподаватель конкретизирует шкалу.

Таблица 2. Пример 10-балльной шкалы для оценки успеваемости студентов.

Балл	Качественная характеристика
10	Пять с плюсом — исключительные знания (кое-что из ответа студента даже преподаватель не знал)
9	Отлично, твёрдая пятёрка
8	Пять с минусом
7	Четыре с плюсом
6	Четыре, твёрдая четвёрка
5	Четыре с минусом
4	Три с плюсом
3	Три, твёрдая оценка «удовлетворительно»
2	Три с минусом
1	Неудовлетворительно

Важный вопрос: какова идеальная размерность балльной шкалы? Ответ: сколько качеств, столько и баллов. Баллы обозначают упорядоченные качества, и каждому качеству присваивают свой балл. Обратное неверно: если взять за основу 10-балльную шкалу и каждому баллу попытаться „присвоить” определённое качество, то можно столкнуться с ситуацией, что качеств может оказаться не 10, а всего 7. Поэтому следует отталкиваться именно от количества качеств, которые вы можете выделить.

Если нет обоснования логики присвоения баллов, будем считать измерение некорректным. Это необходимо для корректного выставления балльных оценок.

Балльные измерения. Балльные измерения формально просты, но коварны возможностью допустить необоснованные оценки и тем самым всё испортить. Существует два подхода к выставлению балльных оценок:

1. непосредственная балльная оценка представляет собой приписывание объектам баллов на основании субъективного представления. Такая оценка используется в социологии, но в управлении компанией применяться не должна (за исключением, пожалуй, начальной стадии разработки системы показателей). Причина проста — слишком произвольно баллы приписываются объектам, трудно объяснить, почему мы по 10-балльной шкале ставим 5, а не 6, например;
2. балльная оценка с обоснованием — это процедура приписывания объектам баллов на основании степени близости к описанным баллами качествам. На мой взгляд, это необходимо для корректного выставления балльных оценок. Примем следующее правило если нет обоснования логики присвоения баллов, будем считать измерение некорректным.

Перевод результатов балльных оценок в весовые коэффициенты. Если такой перевод делается одним экспертом — это операция сомнительная, но популярная. Во врезке приведён один из популярных методов — метод последовательных сравнений.

Перевод рангов в весовые коэффициенты одним экспертом. Метод последовательных сравнений

Продолжим пример, приведённый во врезке. Итак, эксперт проводит оценку четырёх целей, связанных с решением кадровой проблемы. Варианты ранжируются таким образом: Z1, Z3, Z4, Z2.
Шаг 1. Все оцениваемые объекты располагаются в порядке убывания их важности. Назначаются предварительные оценки важности, сумма которых отличается от 100. При этом первый объект массива получает оценку 100, остальные — в соответствии с их важностью. Выставляем предварительные оценки (условные баллы):
p1 = 100, p3 = 60, p4 = 40, p2 = 10.
Шаг 2. Первый объект массива сравнивается со всеми возможными комбинациями нижестоящих объектов, причём в каждой комбинации берётся по два таких объекта. Считается, что комбинацию можно рассматривать как сумму, то есть оба объекта „реализуются”. При необходимости оценка первого объекта корректируется.
Выполним сравнение целей и корректировку их оценок: Z1 сравниваем с (Z3 и Z4) (то есть цель Z1 сравниваем с комбинацией Z3 и Z4), затем Z1 сравниваем с (Z3 и Z2) и так далее. Допустим, эксперт полагает, что Z1 лучше, чем Z3 и Z4 вместе взятые, но Z3+Z4 в сумме составляют 100 условных баллов, поэтому корректируем оценку: p1 = 125.
Шаг 3. Второй объект массива сравнивается со всеми возможными комбинациями нижестоящих объектов, причём в каждой комбинации снова берётся только по два таких объекта. При необходимости корректируется оценка второго объекта и т. д.
Например, Z3 сравниваем с (Z4 и Z2). Остальные сравнения не приносят ничего нового.
Шаг 4. Производятся нормирование скорректированных оценок и расчёт на их основе весов объектов. Запишем скорректированные оценки и вычислим веса целей:
p1 = 125; p3 = 60; p4 = 40; p2 = 10;
v1 = 125/сумма всех оценок = 0,54; v3 = 0,25; v4 = 0,17; v2 = 0,04.
Теперь эти веса можно использовать в аддитивной функции полезности 4.
Корректность вычислений вам предстоит оценить позже, после знакомства с количественными шкалами и оценками, получаемыми на основе измерений в них.

Количественные шкалы

Количественные шкалы отражают более высокий уровень измерений, учитывающий не только то, в каком отношении измеряемый объект находится с другими объектами, но и степень их различия. Примеры использования количественных шкал мы видим повсюду.
Допустимые преобразования. Количественные шкалы определены с точностью до преобразований, которые не меняют единицы измерения (линейных или иных функциональных преобразований).
Типы количественных шкал. Различают количественные шкалы:

• интервалов;
• степеней;
• отношений;
• разностей;
• абсолютную шкалу.

Расположение шкал в этом списке не случайно. Первая (шкала интервалов) — самая слабая по информативности и самая сильная в плане надёжности оценок, последняя (абсолютная шкала) — наиболее информативная (измерения могут быть очень надёжными), но при этом допускающая наименее надёжные оценки. Оценка степени соответствия некоторому идеалу максимально затруднена — помните разницу между оценкой и измерением?
Шкала интервалов (интервальная шкала) точно определяет величину интервала между точками на шкале. Для проведения измерений необходимо задать интервал (2 точки). Допустимыми преобразованиями в шкале интервалов являются линейные возрастающие преобразования вида: F(Х) = а · Х + b, где а > 0. 

Шкала степенная. Шкала степеней (степенная) допускает степенное преобразование (F(Х) = АХВ). В области техники она вполне адекватна — у неё тоже две степени свободы, как у шкалы интервалов. В экономике она, напротив, является исключением, поэтому подробно рассматривать её не будем.

Шкала интервалов — самая слабая по информативности и дающая самые надёжные оценоки. Абсолютная шкала — наиболее информативная, но допускающая наименее надёжные оценки. Оценка степени соответствия некоторому идеалу в абсолютной шкале максимально затруднена — помните разницу между оценкой и измерением?

Шкала отношений. Из количественных шкал в науке и практике наиболее распространены шкалы отношений. В них есть естественное начало отсчёта — ноль (то есть отсутствие величины), но нет естественной единицы измерения.
Примеры использования шкалы отношений:

• измерение большинства физических единиц: массы тела, длины, а также цены в экономике;
• любое процентное соотношение — это измерение в шкале отношений;
• простые индексы типа Выручка текущего года/Выручка прошлого года также представляют собой измерение в шкале отношений.

Шкала отношений допускает преобразования, изменяющие только масштаб, то есть преобразования подобия: F(Х) = аХ, где а > 0 (линейные возрастающие преобразования без свободного члена).
Примеры преобразования шкалы отношений:

• пересчёт цен из одной валюты в другую по фиксированному курсу;
• перевод массы из килограмм в фунты.

Базовая точка в шкале отношений одна — «единица». Эта условная «единица» может быть, например, 100 (проценты) или 1 (доли). Таким образом, измерения в долях и процентах эквивалентны, что очевидно и без всякой теории.
Однако выводы, которые делаются по результатам процентных измерений, могут быть ошибочными (см. врезку). Возникают сопутствующие вопросы:

• встречаются ли в практике управления подобные сравнения?
• какие проценты можно сравнивать друг с другом и для чего?
• какие действия с процентами можно производить?
• какие действия можно производить с индексами?

Корректность процентных измерений. Рейтинг путина vs стоимость свинины

•  Рейтинг путина: в январе 2014 — 60,6%, в июне 2014 — 87,4%.
•  Цена свинины: в январе — 116 руб/кг, в июне — 195 руб/кг.

Вывод: по темпам роста (в научной терминологии «прироста») свинина побеждает путина: 44% vs 68%.
Корректны ли эти измерения? Решите сами и объясните (что гораздо сложнее). Точно сформулировать, насколько такие сравнения корректны, удается лишь 10% слушателей программ МВА. Это ещё один довод в пользу изучения шкал. Хотя бы на уровне знакомства.

Шкала разностей допускает преобразование сдвига: F(Х) = Х + в. В такой шкале есть естественная единица измерения, но нет естественного начала отсчета. Базовая точка в шкале разностей тоже одна — условный „ноль”, своеобразная точка отсчёта. Пример: по шкале разностей измеряется время, если естественной единицей измерения принимаем год (или сутки — от полудня до полудня). На современном уровне знаний естественное начало отсчёта указать нельзя. Даже дату сотворения мира различные авторы рассчитывают по-разному, как и дату рождения Иисуса Христа.
Абсолютная шкала — это шкала, которая запрещает преобразования 5. Только для абсолютной шкалы результаты измерений (числа) используются в привычном смысле именно как числовые значения. В качестве примера измерений по абсолютной шкале можно привести число работников компании или выручку. При этом оценка выручки может отличаться от самой выручки (допустим, 20 млн руб. — „хорошо”, 24,5 млн руб. — „отлично”).
Кроме перечисленных шести основных типов количественных шкал, иногда используют и иные шкалы.

Степени свободы шкал

Для проведения измерений в шкалах отношений и разностей мы должны задавать одну точку. В шкале отношений она „играет роль единицы”, то есть соответствует переводу базового эмпирического элемента в единицу действительной оси. Для шкалы разностей это „нулевая точка”, то есть нужно задать отношение таким образом, чтобы „точка отсчёта” эмпирической системы превращалась в числовой ноль.
В этой связи математики различают шкалы по степеням свободы:

• 2 степени свободы имеют шкалы интервалов, степеней;
• 1 степень — шкалы отношений и разностей;
• 0 степеней — абсолютная шкала.

Иерархия шкал измерений

Напомним, что все шкалы делят на две большие группы: качественные и количественные. Наиболее распространённая классификация шкал — континуальная (рис. 3). В ней шкалы упорядочены по мере повышения их способности удовлетворять требованиям информативности и надёжности проведения оценок. Слева — самая слабая по информативности и самая надёжная, справа — наиболее информативная и наименее надёжная.

Рис. 3. Иерархия шкал измерений

https://tinyurl.com/mpt5zkym

Часть 1 - https://bit.ly/4ojmRoh