Дуглас Хаббард. Как измерить всё, что угодно. Оценка стоимости нематериального в бизнесе

Среди людей бытует мнение, что многие вещи в мире не поддаются количественной оценке. Это широко распространенное заблуждение наносит существенный ущерб экономике, общественному благосостоянию, окружающей среде и даже национальной безопасности. В результате убежденности в невозможности измерения таких «нематериальных активов», как качество, отношение к делу, удовлетворенность клиентов, бренд и т. п., принимаемые решения часто оказываются необоснованными, а порой и ошибочными.

Дуглас Хаббард является автором прикладной информационной экономики (Applied Information Economics). Дополнительные материалы к книге размещены на сайте автора http://howtomeasureanything.com/

Книга расскажет о том, как измерить в своем бизнесе то, что вы до сих пор считали не поддающимся количественной оценке, например, удовлетворенность потребителей, организационную гибкость, связанный с новой технологией риск и доходность инвестиций в технологию.

Фрагменты отзывов о книге:

• …проводя поиск показателей в процессе решения проблемы, мы на самом деле пытаемся узнать об интересующем нас предмете больше, чем знаем сейчас
• …это обязательное чтение для всех специалистов, кто когда-либо восклицал: «Конечно, этот показатель очень важен, но можно ли его рассчитать?»

Глава 1. Нематериальное и проблемы его измерения

Если вы можете измерить то, о чем говорите, и выразить это в цифрах, значит, вы что-то об этом предмете знаете. Но если вы не можете выразить это количественно, ваши знания крайне ограниченны и неудовлетворительны. Возможно, это начальный этап, но еще не подлинно научное знание.Лорд Кельвин

Когда какой-либо объект или явление удается наблюдать тем или иным образом, значит, существует метод для его измерения. Каким бы приблизительным ни было это измерение, оно все равно будет им, если расскажет больше, чем вы знали до сих пор.

Цель данной книги состоит в том, чтобы продемонстрировать два положения:

• нематериальные явления и факторы, представляющиеся абсолютно неизмеряемыми, измерить можно;
• подобные измерения можно провести экономически обоснованным способом.

Глава 2. Интуитивное умение измерять всё: Эратосфен, Энрико и Эмили

Эратосфен, библиотекарь Александрийской библиотеки, живший в III в. до н.э., определил радиус земного шара. Его результат составил примерно 6300 км, что отличается от современного значения меньше, чем на 5%. Схема рассуждений Эратосфена такова (рис. 2.1). В полдень в день летнего солнцестояния в г. Сиене (ныне Асуан) Солнце находилось в зените и предметы не отбрасывали тени. В тот же день и в то же время в г. Александрии, находившемся в 5000 стадиях от Сиены, Солнце отклонялось от зенита примерно на 7°. Это составляло примерно 1/50 полного круга (360°), откуда получалось, что окружность Земли равна 250 000 стадиям.

Рис. 2.1. Схема измерений Эратосфеном радиуса Земли (http://fiz.1september.ru/2002/48/no48_2.htm)

Энрико Ферми, лауреат Нобелевской премии практиковал «вопросы Ферми». Самым известным таким вопросом является определение числа настройщиков пианино в Чикаго:

Число настройщиков пианино в Чикаго = (Численность населения / Число членов одной семьи) * Процент семей, пользующихся услугами настройщиков * Число настроек в году / (Число пианино, настраиваемых одним настройщиком в день * Число рабочих дней в году)

Подход Ферми (разложение на составляющие) позволял людям, производившим расчеты, понять, откуда берется неопределенность. Какие переменные характеризовались наибольшей неопределенностью – процент семей, регулярно пользующихся услугами настройщиков пианино, частота настроек, число инструментов, которые можно настроить за день, или что-то еще? Самый крупный источник неопределенности указывал на то, какие измерения позволят максимально снизить ее.

Не считайте неопределенность неустранимой и не поддающейся анализу, спросите себя: а что же вы все-таки знаете о проблеме? Как мы увидим позже, оценка имеющейся количественной информации о предмете — очень важный этап измерения явлений, которые выглядят неизмеряемыми.

«Вопросы Ферми» для нового предприятия

Чак Макей из Wizard of Ads всячески поощряет компании использовать «вопросы Ферми» для оценки размера своего рынка в том или ином районе. Недавно один страховой агент попросил Чака дать совет, стоит ли его компании открывать офис в Уичита-Фоллз (штат Техас), где до сих пор у неё не было представительства. Будет ли на данном рынке спрос на услуги ещё одного страховщика? Чтобы проверить реализуемость плана, Макей покопался в Интернете в поисках ответов на ряд «вопросов Ферми». Как и тот, Макей начал с проблемы численности населения.

По данным City-Data.com, жители Уичита-Фоллз владели 62 172 автомашинами. А согласно Институту страховой информации, средняя годовая автомобильная страховая премия в штате Техас составляла $ 837,4. Макей предположил, что почти все машины застрахованы, поскольку это обязательное требование, поэтому общая выручка от страхования составляла ежегодно $ 52 млн. дол. Агент узнал, что средняя комиссионная ставка составляет 12%, так что все годовое комиссионное вознаграждение составляло $ 6,2 млн. дол. По сведениям Switchboard.com, в городе действовали 38 страховых агентств. Если разделить все комиссионное вознаграждение на 38 агентств, то окажется, что годовые комиссионные одного из них составляют в среднем $ 165 тыс. дол. Рынок, по всей видимости, был уже достаточно насыщен, поскольку, по сведениям City-Data.com, численность населения Уичита-Фоллз сократилась со 104 197 человек в 2000 г. до 99 846 человек в 2005 г. Кроме того, на данном рынке уже работало несколько крупных фирм, поэтому доходы нового агентства были бы еще меньше — и все это без учета накладных расходов.

Вывод Макея: скорее всего, новое агентство в этом городе вряд ли будет прибыльным, поэтому от плана следует отказаться.

* * *

Бизнес может извлечь из этого несколько уроков. Во-первых, даже такие кажущиеся эфемерными вещи, как расширение полномочий сотрудников, креативность или согласованность со стратегией, должны иметь поддающиеся обнаружению последствия, если только они вообще имеют какое-то значение. Я вовсе не утверждаю, что эти вещи «паранормальны», но здесь действуют те же правила.

А во-вторых, эксперимент Эмили продемонстрировал эффективность простых методов, традиционно используемых в научных исследованиях, таких как эксперимент в контролируемых условиях, выборка (даже если она невелика), рандомизация и испытания «вслепую», позволяющих избежать необъективности со стороны испытуемого или исследователя.

Правило Дилберта: повышение всегда получает самый некомпетентный сотрудник

Если качество и инновационность действительно возросли, то разве эта разница не должна, по крайней мере, чувствоваться? Если те, кому положено об этом судить, то есть потребители, в ходе испытания вслепую не смогут заявить, что исследования после внедрения ПО стали качественнее или инновационнее, чем до внедрения, то это будет означать, что данная информационная структура никак не влияет на удовлетворенность клиентов, а следовательно, и на доходы. Если такие преимущества ПО, как качество, инновационность и любые другие, невозможно обнаружить, то они не имеют значения.

Руководители часто говорят: «Ни о чем подобном мы не могли бы даже догадываться». Они заранее пасуют перед неопределенностью. Вместо того чтобы, по меньшей мере, попытаться провести измерения, они бездействуют, обескураженные кажущейся невозможностью устранить ее. Ферми в подобном случае мог бы сказать: «Да, вы многого не знаете, но что-то же вы все-таки знаете?»

Представление об измерении как об уменьшении погрешности — главная идея данной книги.

…ценность подхода Ферми состоит, прежде всего, в том, что оценка современного уровня наших знаний о предмете — необходимое условие последующих измерений.

Глава 3. Почему неизмеримость нематериального – всего лишь иллюзия

Обычно люди считают вещи неизмеримыми по трем причинам:

• Сущность измерения. Многие неверно понимают саму идею измерения. Если бы люди осознали, что она означает на самом деле, то гораздо больше вещей стали бы для них измеримыми.
• Объект измерения. Зачастую объект измерения бывает определен недостаточно четко. Измерению мешают неточность и неоднозначность используемых терминов.
• Методы измерения. Многие техники эмпирического наблюдения известны недостаточно хорошо. Будь люди лучше с ними знакомы, стало бы очевидно, что многие вещи, считающиеся неизмеримыми, не только могут быть, но и уже кем-то количественно оценены.

Определение измерения. Измерение — это совокупность снижающих неопределенность наблюдений, результат которых выражается некой величиной.

Таким образом, измерение — это не только полное устранение, но и частичное сокращение неопределенности. Факт присутствия ошибки, избежать которой полностью не удастся, при том что полученный результат все равно станет шагом вперед по сравнению с прежними представлениями, — ключевая идея проведения экспериментов, опросов и прочих научных измерений.

Шеннон предложил математическое определение информации как снижения неопределенности в сигнале, которое он обсуждает в терминах энтропии, сокращаемой данным сигналом.

Стивенс описал различные шкалы измерения, включая номинальную (шкалу наименований) и порядковую. Номинальные измерения просто показывают принадлежность объекта к той или иной категории, например пол эмбриона — мужской или женский, или наличие у объекта того или иного заболевания. Шкалы наименований не предполагают ранжирования или сравнения, в частности по размерам. Объект просто относят к той или иной категории. Порядковые шкалы позволяют утверждать, что одна величина «больше» другой, не уточняя, однако, на сколько. Примером может служить 4-звездочная система оценки кинофильмов или шкала твердости минералов по Моосу. В обеих шкалах 4 больше, чем 2, но не обязательно вдвое.

В бизнесе решения принимаются в условиях неопределенности. Когда такая неопределенность велика и касается важных, рискованных решений, ее снижение играет большую роль.

Объект измерения

Ничто так не мешает прогрессу знания, как расплывчатость терминологии.
Томас Рейд (1710—1769), шотландский философ

На семинарах я часто прошу присутствующих поставить передо мной максимально сложную задачу, связанную с измерением. Как-то мне предложили измерить наставничество, и я сказал: «Что ж, такая проблема может возникнуть в реальной жизни. Первое, что я заметил бы, — это: больше наставничества всегда лучше, чем меньше наставничества. Я знаю людей, которые тратят на это деньги, поэтому не удивлюсь, если кому-то потребуется оценить данное явление. Однако что вы имеете в виду под наставничеством?» Слушатель ответил, не задумываясь: «Не уверен, что смогу это сформулировать», на что я заметил: «Вот поэтому, наверное, вам и трудно его измерить. Сначала необходимо сформулировать, что такое наставничество».

Цепочка уточнений — это просто короткий ряд ассоциаций, помогающий представить себе нематериальный объект как материальный. Сначала мы осознаем, что если объект X имеет для нас значение, то он, по определению, должен в чем-то проявляться. Разве могли бы такие реальности, как качество, риск, безопасность или репутация, иметь для нас какую-то ценность, не проявляй они себя прямо или косвенно? Если возникает причина интересоваться неизвестной величиной, значит, мы думаем, что она каким-то образом приводит к желательным или нежелательным последствиям.

Когда цепочка уточнения не срабатывает, я провожу мысленный эксперимент. Представьте себе, что вы иностранный ученый, способный клонировать не только овец и людей, но даже целые организации. Предположим, предметом вашего исследования является конкретная сеть предприятий экспресс-питания и вас интересует, как на ее работу повлияет такая нематериальная вещь, как расширение полномочий сотрудников. Вы создаете два клона изучаемой организации, один из которых называете тестируемой, а второй — контрольной группой. При этом сотрудники тестируемой группы получают дополнительные полномочия, а в контрольной группе все остается по-прежнему. Какие изменения — прямые или косвенные — вы наблюдаете в первой организации? Ожидаете ли вы, что решения будут приниматься на более низком организационном уровне? Станут ли решения качественнее и будут ли они приниматься быстрее? Приводит ли передача полномочий к ослаблению контроля над работниками? Означает ли это, что теперь структура организации станет более «плоской» и накладные расходы на управление сократятся? Если удастся обнаружить хотя бы одно различие между двумя клонами, то вопрос о способе измерения вашего объекта будет наполовину решен.

Правило пяти. Существует 93%-ная вероятность того, что в любой случайной выборке медиана для всей совокупности находится в интервале от между наименьшим и наибольшим значениями.

…когда наблюдение сообщает нам нечто, чего мы раньше не знали, это означает, что произведено измерение.

Статистик Дэвид Мур, возглавлявший в 1998 г. Американскую статистическую ассоциацию (American Statistical Association), как-то сказал следующее: «Измеряйте, даже если не знаете, что измерять. Тогда вы и узнаете, что вам нужно измерить».

Четыре полезные предпосылки измерения

1. Ваша проблема совсем не так уникальна, как вы думаете.
2. У вас гораздо больше информации, чем зам кажется.
3. Вам нужно меньше данных, чем вы предполагаете.
4. Существует удобный способ измерения, который намного проще, чем вы представляете.

Отнеситесь к измерению как к итеративному процессу. Начните измерять то, что вам нужно. Получив первые результаты, вы всегда сможете скорректировать свой метод. Обычно для измерения большинства вещей, называемых нематериальными, не хватает вовсе не передовых замысловатых способов. Как правило, неопределенность в отношении подобных объектов так велика, что уменьшить ее позволяют и базовые методы измерения.

Ключевой этап прикладной информационной экономикой / applied information economics, AIE (и этим объясняется название метода) — расчет экономической стоимости информации.

ЗНАЧЕНИЕ ИМЕЮТ ЛИШЬ НЕСКОЛЬКО ВЕЩЕЙ. В каждом случае лишь несколько ключевых переменных имеют значение, оправдывающее усилия по их определению. Информационная ценность остальных равна или практически равна нулю.

Универсальный подход к измерению:

1. Что вы пытаетесь измерить? Что на самом деле представляет собой этот якобы неизмеримый объект?
2. Почему вы хотите его измерить? Какое решение будет принято по результатам измерения, и каким должно быть «пороговое значение» определяемого показателя?
3. Что вам известно сейчас — какие интервалы или вероятности представляют нынешнюю неопределенность?
4. Какую ценность имеет данная информация? К каким последствиям приведет ошибка, какова ее вероятность и какие усилия, связанные с измерением, будут оправданы с экономической точки зрения?
5. Какие наблюдения, затраты на которые будут оправданы ценностью требуемой информации, позволят подтвердить или исключить различные возможности? Что именно мы должны увидеть сразу, если сбудется тот или иной сценарий?
6. Как учесть такие ошибки при измерении, которых можно избежать (опять при условии, что затраты оправдаются ценностью информации)?

Измерение — один из основных инстинктов человека, однако этот инстинкт подавляется в условиях, когда люди предпочитают создавать комитеты и добиваться консенсуса вместо того, чтобы делать простые наблюдения.

Глава. 4. Формулирование задачи по измерению

Прежде чем приступить к измерению, задайте себе следующие пять вопросов:

1. Какое решение будет принято с учетом результатов данного измерения?
2. Что на самом деле представляет собой объект измерения?
3. Почему данное измерение необходимо для принятия решения?
4. Что мы знаем об объекте измерения в настоящий момент?
5. Какова ценность проведения дальнейших измерений?

Первые три вопроса помогают понять, что представляет собой объект оценки в рамках решений, которые планируется принимать по результатам измерения. Если эти результаты вообще имеют значение, то только потому, что они понятным образом влияют на решения и линию поведения. Когда не удается установить, какие решения будут затронуты итогами задуманного измерения и способ их воздействия, значит, это измерение просто не имеет никакой ценности.

Какую ценность имеют многочисленные отчеты, составляемые еженедельно и ежемесячно? Когда я попросил их назвать хотя бы одно решение, принимаемое на основе каждого отчета, они обнаружили, что многие из них вообще не используются. Информационная ценность этих отчетов оказалась нулевой.

Неопределенность, риск и их показатели:

• Неопределенность. Отсутствие полной определенности, то есть существование более чем одной возможности. «Истинный» результат (состояние, последствие, стоимость) неизвестен.
• Показатель неопределенности. Ряд вероятностей, приписанных ряду возможностей. Например: «Есть 60%-ная вероятность того, что данный рынок за пять лет более чем удвоится, З0%-ная вероятность того, что он вырастет не так заметно, и 10%-ная вероятность того, что за тот же период рынок сократится».
• Риск. Такое состояние неопределенности, когда в число возможностей входят убытки, катастрофы или другие нежелательные исходы.
• Показатель риска. Набор возможностей с приписанными ими количественными вероятностями и количественно определенным ущербом. Например, «мы полагаем: существует 40%-ная вероятность того, что нефтяная скважина окажется сухой, и в результате мы понесем убытки в размере 12 млн. дол. в виде затрат на разведочное бурение».

* * *

Специалисты решили, что повышение безопасности означает снижение частоты определенных нежелательных событий и уменьшение ущерба от них.

Оказывается, способность человека оценить шансы можно калибровать – точно так же, как любой научный инструмент калибруется для получения правильных показаний.

Глава 5. Калиброванные оценки: что вам известно уже сейчас?

Один из способов показать неточность определения величины — выразить ее в виде интервала возможных значений. В статистике интервал, в котором с некоторой вероятностью может содержаться правильный ответ, называется доверительным интервалом (confidence interval, CI); 90%-ный доверительный интервал — это диапазон значений, содержащий правильное с вероятностью 90%.

ДВЕ КРАЙНОСТИ СУБЪЕКТИВНОЙ ОЦЕНКИ

• Чрезмерная уверенность наблюдается, когда человек постоянно переоценивает точность своих знаний и оказывается правым реже, чем ожидает. Например, когда такого специалиста просят оценить что-то в виде 90%-ного доверительного интервала, в его пределах оказываются гораздо меньше, чем 90%, правильных ответов.
• Недостаточная уверенность проявляется, когда человек постоянно недооценивает точность своих знаний и оказывается правым намного чаще, чем ожидает. Например, когда такого специалиста просят оценить в виде 90%-ного доверительного интервала, в его пределы попадают гораздо больше, чем 90%, правильных ответов.

Теоретические исследования доказали, что если людей специально учат преодолевать систематические ошибки и необъективность, их оценки становятся существенно точнее. Оказалось, что оценка неопределенности — это навык, который можно приобрести и который можно совершенствовать.

Пройдите тест на калибровку (рис. 5.1). Отвечая на каждый вопрос, укажите верхнюю и нижнюю границы интервала. Помните: интервал должен быть таким широким, чтобы вы были на 90% уверены, что правильный ответ попадет в него. Ответы расположены в конце заметки.

Рис. 5.1. Тест  «Калибровка».

Методы повышения точности калибровки вероятности

Метод	Содержание
1. Повторение и обратная связь	Выполните подряд несколько тестов, оценивая результаты каждого, и повторите их, чтобы улучшить в следующий раз
2. Эквивалентные ставки	Придумайте эквивалентную ставку для каждой оценки, чтобы проверить, действительно ли предложенный диапазон значений или вероятность отражает неопределенность
3. Перечисление двух доводов «за» и двух «против»	Приведите, по крайней мере, две причины, по которым вы уверены в своей оценке, и две причины, по которым вы могли ошибиться
4. Преодоление зацикленности	Представьте проблему диапазона оценки в виде двух бинарных вопросов типа: «Уверен ли я на 95%, что истинное значение лежит выше нижней (ниже высшей) границы предложенного мною диапазона?»

Пат Планкетт, менеджер по оценке эффективности информационных технологий Министерства жилищного строительства (США) сказал: «Калибровка открыла нам глаза. Многие, включая меня самого, обнаружили, что излишне оптимистичны, делая оценки. Калибровка делает вас другим человеком. Вы приобретаете обостренную способность оценивать степень неопределенности».

Глава 6. Оценка риска: введение в моделирование методом Монте-Карло[1]

ПАРАДОКС РИСКА. Если организация и применяет количественный анализ рисков, то обычно это делается для принятия повседневных оперативных решений. Самые серьезные и опасные решения (чаще всего) формулируются при минимальном использовании полноценного анализа риска.

Почти все самые сложные методы анализа риска применяются при принятии простых решений, почти не влекущих серьезных негативных последствий, однако решения о слияниях, крупных инвестициях в ИТ, финансировании научных исследований и т.д. обычно формируются без этой процедуры. Почему так происходит? Может быть, из-за существующего мнения о том, что оперативные решения (одобрение кредита или расчет страховой премии) количественно оценить намного проще в отличие от действительно сложных проблем, связанных с рисками, которые с трудом поддаются точному расчету. Это серьезное заблуждение. Как я уже показал, в важных решениях нет ничего «неизмеримого». Метод в середине XX века разработал математик Станислав Улам (см. Станислав Улам. Приключения математика).

Глава 7. Оценка стоимости информации

Главные причины тому, что информация имеет свою стоимость для бизнеса:

• информация снижает неопределенность в связи с решениями, имеющими экономические последствия;
• она влияет на поведение людей, и это также имеет экономические последствия;
• иногда информация сама обладает собственной рыночной стоимостью.

Вероятность ошибиться и цена ошибки: ожидаемые потери от упущенных возможностей

Более 50 лет назад в теории игр — области, понятной лишь посвященным, — была разработана такая формула стоимости информации, которую можно не только вывести математически, но и уяснить интуитивно. Снижение неопределенности (то есть проведение измерений) позволяет делать более удачные ставки (то есть принимать более обоснованные решения). Знать стоимость измерений необходимо, чтобы определить, как можно измерить что-либо и следует ли этим заниматься вообще.

Чтобы не усложнять, рассмотрим бинарную ситуацию: вы либо преуспеете, либо провалитесь — вариантов больше нет. Предположим, что вы заработаете 40 млн. дол., если реклама сработает, и потеряете 5 млн. дол. (затраты на проведение кампании) в другом случае. Допустим также, что ваши калиброванные эксперты говорят, что существует вероятность провала рекламы 40%. Обладая этой информацией, вы можете составить таблицу 7.1.

Таблица 7.1. Простейший пример расчета потерь от упущенных благоприятных возможностей

Успех                       Провал

Вероятность                                                                          60%                          40%

План проведения кампании одобрен                     40 млн. дол.         –5 млн. дол.

План проведения кампании отвергнут                   0 дол.                      0 дол.

Потери от упущенных благоприятных возможностей (opportunity loss, OL) — это просто те затраты, которые мы понесем, если выберем путь, который окажется ошибочным. Ожидаемые потери от упущенных возможностей (expected opportunity loss, EOL) для той или иной стратегии можно рассчитать путем умножения вероятности допустить ошибку на цену ошибки. В нашем примере мы получим такие ответы:

OL (план проведения кампании одобрен)            5 млн. дол.

OL (план проведения кампании отвергнут)          40 млн. дол.

EOL (план проведения кампании одобрен)          5 млн. дол. * 40% = 2 млн. дол.

EOL (план проведения кампании отвергнут)       40 млн. дол. * 60% = 24 млн. дол.

Ожидаемые потери от упущенных благоприятных возможностей возникают из-за того, что вы не знаете, какова вероятность негативных последствий принимаемого решения. Сумей вы снизить данную неопределенность, уменьшится и EOL. Именно это и позволяет сделать измерение.

Все измерения, результаты которых имеют некую стоимость, приводят к снижению неопределенности в отношении показателя, влияющего на решение, чреватое экономическими последствиями. Чем сильнее уменьшаются ожидаемые потери от упущенных благоприятных возможностей, тем больше стоимость информации, полученной путем измерения. Разница между значениями EOL до и после измерения называется ожидаемой стоимостью информации (expected value of information, EVI).

Расчет ожидаемой стоимости информации, получаемой в ходе измерений, до их проведения требует от нас предварительной оценки ожидаемого снижения неопределенности. Иногда это бывает довольно трудно сделать из-за сложности определения некоторых переменных, но возможен и упрощенный подход. Легче всего рассчитать ожидаемую стоимость полной информации (expected value of perfect information, EVPI). Если бы существовала возможность полного устранения неопределенности, то значение EOL уменьшилось бы до нуля. Таким образом, EVPI — это просто EOL выбранного вами варианта. В нашем примере решение, принимаемое без осуществления измерений, заключается в одобрении плана проведения рекламной кампании, тогда ожидаемые потери от упущенных благоприятных возможностей составляют 2 млн. дол. Таким образом, стоимость устранения любой неопределенности относительно успешности планируемой акции просто равна 2 млн. дол. Если удается не устранить, а только уменьшить неопределенность, то ожидаемая стоимость информации несколько сокращается.

Стоимость информации

Ожидаемая стоимость информации (EVI) = Сокращение ожидаемых потерь от упущенных благоприятных возможностей (EOL): EVI = EOL (до измерений) – EOL (после измерений),
где EOL — вероятность ошибиться, умноженная на цену ошибки.

Ожидаемая стоимость полной информации (EVPI) = EOL до измерений (если информация точна и полна, то EOL после измерений равна 0).

Стоимость информации для переменных величин

Предположим, что в нашем примере с рекламой возможны не два исхода, а результат в виде интервала значений. Калиброванный маркетолог на 90% уверен, что эта рекламная кампания поможет увеличить продажи на 100 тыс. — 1 млн. единиц продукции. Однако чтобы достичь точки безубыточности нашей кампании, нужно продать некий объем продукции. Допустим, что с учетом затрат на проведение рекламной акции и валовой прибыли от продукта мы определили наступление точки безубыточности при реализации – 200 тыс. единиц товара. Продав меньше, мы понесем чистые убытки, причем чем меньше объем реализации, тем крупнее эти убытки. Продав ровно 200 тыс. единиц продукции, мы не получим ни прибыли, ни убытков. А если реализовать товар не удастся вообще, то мы потеряем деньги, израсходованные на рекламную кампанию, а именно 5 млн. дол. (вы можете сказать, что этим убытки фирмы не ограничатся, но для простоты будем учитывать только их).

Другая точка зрения состоит в том, что на каждой не проданной нами единице продукции, которую надо реализовать для достижения безубыточности, мы потеряем 25 дол. Какова в этой ситуации стоимость снижения неопределенности результата кампании?

Чтобы рассчитать EVPI для подобных интервалов значений, необходимо:

1. разбить распределение значений на сотни или тысячи мелких сегментов;
2. рассчитать потери от упущенных благоприятных возможностей для медианы каждого сегмента;
3. рассчитать вероятность для каждого сегмента;
4. умножить потери от упущенных возможностей в каждом сегменте на их вероятности;
5. суммировать произведения, полученные на этапе 4 для всех сегментов.

Лучше всего создать для этой цели макрос на базе Excel или написать программу, которая разбила бы распределение значений примерно на 1000 фрагментов, а затем выполнила требуемые расчеты. Так мы гарантированно рассмотрим все важные ситуации и исключения. Чтобы упростить задачу, я уже проделал за вас основную работу. Теперь все, что вам нужно, — это использовать пару следующих графиков и выполнить несколько несложных арифметических расчетов.

Прежде чем приступить к делу, нужно решить, какую из границ 90-процентного доверительного интервала (верхнюю или нижнюю) считать лучшей (best bound, ВВ), а какую — худшей (worst bound, WB). Ясно, что иногда лучше самое большое число (если, например, речь идет о доходах), а порой — самое маленькое (если мы говорим о затратах). В примере с рекламной кампанией маленькое число — это плохо, то есть WB — 100 тыс., а ВВ — это 1 млн. единиц продукции. По этим данным мы рассчитаем показатель, который я называю «условным порогом» (relative threshold, RT); он указывает, где находится порог относительно остальных значений интервала. Графически RT представлен на рисунке 7.1.

Рис. 7.1. Пример «условного порога»

Мы используем условный порог для четырехэтапного расчета ожидаемой стоимости полной информации:

1. рассчитаем условный порог: RT = (Порог – WB) / (ВВ – WB). Или (1 000 000 — 200 000) / (200 000 – 100 000) = 0,11;
2. найдем местоположение RT на вертикальной оси рисунка 7.2;
3. двигаясь вправо от значения RT, мы видим две серии кривых: одну (слева) для нормальных и другую (справа) для равномерных распределений. Поскольку в нашем примере распределение является нормальным, найдем точку пересечения кривой для нормальных распределений с прямой, проведенной через значение RT параллельно горизонтальной оси. Я назову эту величину фактором ожидаемых потерь от упущенной благоприятной возможности (expected opportunity loss factor, EOLF). В данном случае EOLF равняется 15;
4. рассчитаем EVPI: EVP = EOLF / 1000 * OL на единицу продукции * (ВВ – WB). В нашем примере EVPI = 15/1000 * 25 * (1 000 000 –– 100 000) = 337 500 дол.

Рис. 7.2. График фактора ожидаемых потерь от упущенной благоприятной возможности (EOLF)

Расчет показывает, что максимально допустимые затраты на проведение измерения не должны превышать 337 500 дол. (это число определено исходя из предпосылки, что измерение полностью устранит неопределенность).

Мир несовершенен: стоимость частичного снижения неопределенности

В последнем примере с ожидаемой стоимостью полной информации мы оценили затраты на полное устранение неопределенности, а не ее снижение. Расчет EVPI полезен сам по себе, поскольку, по крайней мере, позволяет узнать потолок стоимости информации, который не должен быть превышен при осуществлении измерений. Однако нередко приходится довольствоваться простым снижением неопределенности, особенно когда речь идет о прогнозе, например, роста продаж в результате проведения рекламных кампаний. В таких случаях полезно знать не только максимальную сумму, которую можно израсходовать в идеальных условиях, но и во что обойдется измерение в реальной жизни (обязательно сопровождаемое реальной погрешностью). Иными словами, нам надо знать ожидаемую стоимость информации, а не ожидаемую стоимость полной информации. Для этого полезно мысленно представить себе, как выглядит график зависимости EVI от объема информации (рис. 7.3).

Рис. 7.3. Кривая ожидаемой стоимости информации

Инверсия измерений

• Стоимость информации о подавляющем большинстве переменных равна нулю, то есть существующий уровень неопределенности для них вполне приемлем и дальнейшие измерения были бы экономически нецелесообразными (рис. 7.4).
• Особенно высока стоимость информации о тех переменных, которые обычно не оцениваются.
• Стоимость информации о переменных, на определение которых обычно тратится больше всего времени и средств, очень невелика или просто равна нулю (то есть крайне маловероятно, чтобы их уточнение влияло на принимаемые решения).

Рис. 7.4. Инверсия измерений

Чему нас учит расчет стоимости информации

• Измерения — процесс итеративный. Самую ценную информацию мы получаем на начальном этапе измерений, поэтому разбейте весь процесс на несколько этапов и подведите итоги каждого из них.
• Стоимость информации имеет значение. Не определив заранее эту стоимость, вы, скорее всего, измерите не то и не так.

Глава 8. Переход от объекта в методу измерения

Разложите объект измерения на составляющие. Многие измерения начинаются с разложения неизвестной величины на составляющие с целью выявления того, что можно наблюдать непосредственно и что легче поддается количественной оценке.

Эффект разложения на составляющие состоит в том, что сам процесс нередко обеспечивает такое значительное снижение неопределенности, что дальнейшие наблюдения становятся ненужными.

Вторичные исследования: предположим, что до вас этот объект уже измеряли. Исследование начинается с вторичных исследований, то есть с анализа результатов, полученных до вас. Все исследователи считают само собой разумеющимся, что проблемой уже кто-то занимался. Анализ имеющейся литературы, похоже, еще не вошел у менеджеров в привычку.

Источники Интернета. Если предмет мне совершенно незнаком, то я начинаю вовсе не с Google, а с онлайновой энциклопедии Wikipedia. Ищите по слова, которые ассоциируются с исследованиями и количественным анализом. Помните, что в Интернете есть не только поисковые машины, но и хранилища специальной информации: сайт Бюро переписи населения США, Министерства торговли, ЦРУ («World Fact Book» — «Всемирная книга фактов ЦРУ» — место, где я всегда нахожу самые разнообразные данные международной статистики). Используйте несколько поисковых машин. Найдя исследования не совсем по своей теме, в которых, тем не менее, упоминается интересующий вас вопрос, обязательно посмотрите библиографию.

НЕКОТОРЫЕ ОСНОВНЫЕ ПРАВИЛА НАБЛЮДЕНИЯ

• Идите по следу, как заправский детектив. Проводите «криминалистический анализ» уже имеющейся у вас информации.
• Используйте непосредственное наблюдение. Начните смотреть, подсчитывать и по возможности делайте выборочные оценки.
• Если до сих пор объект не оставлял после себя следов, «пометьте» его, чтобы следы наконец появились.
• Если выйти на след никак не удается, создайте условия, в которых появится возможность наблюдать за объектом (проведите эксперимент).

Не измеряйте точнее, чем нужно.

КРАТКИЙ ГЛОССАРИЙ ПОГРЕШНОСТИ

• Систематическая ошибка, или систематическое отклонение (смещение) — неотъемлемое свойство процесса измерения давать определенный результат; постоянное отклонение.
• Случайная ошибка — ошибка, непредсказуемая для отдельного наблюдения, непостоянная и не зависящая от известных величин (хотя в своей массе такие ошибки подчиняются законам вероятности).
• Точность — характеристика измерений, дающих низкую систематическую ошибку, то есть таких, когда искомое значение не занижается и не завышается на постоянной основе.
• Достоверность — характеристика измерений, дающих низкую случайную ошибку, то есть таких, которые дают аналогичные результаты, пусть и далекие от истинного значения.

Ошибку, не исключаемую путем усреднения (систематическую ошибку), называют также отклонением, или смещением. Есть три основных типа отклонений, которые можно ожидать при проведении измерений: отклонение ожидания, отклонение выбора, отклонение наблюдателя.

Глава 9. Выборочная реальность: как наблюдение за частью рассказывает нам о целом [2]

Итак, мы установили, что:

• когда исходная неопределенность высока, для ее существенного снижения достаточно изучить несколько объектов из генеральной совокупности;
• калиброванные эксперты сумели снизить неопределенность, отобрав из генеральной совокупности всего один объект, чего не может традиционная параметрическая статистика;
• оценки калиброванных экспертов обоснованны, но осторожны; чтобы снизить неопределенность еще больше, нужно провести дополнительные расчеты.

Как это можно применить в бизнесе исследование статистики серийных номеров танков разведкой англичан? « Серийные номера» (то есть последовательные серии) можно найти в современном мире где угодно. Так, компании бесплатно предоставляют конкурентам информацию о своем объеме производства, просто указывая на товарах серийные номера, которые может увидеть любой покупатель. (Однако чтобы быть случайной, такая выборочная совокупность должна состоять из товаров, купленных в разных магазинах.) Аналогичным образом несколько страниц из выброшенного отчета конкурента или цифр из квитанции могут многое рассказать об остальных страницах отчета или обо всех квитанциях за данный день. Я вовсе не призываю вас копаться в отбросах, но исследование содержимого мусорных контейнеров нередко позволяет решить интересные задачи по измерению.

Корреляционный анализ и регрессионное моделирование.

Глава 10. Кое-что о Байесе

Парадокс предварительного знания:

1. Вся традиционная статистика исходит из того, что наблюдатель ранее не располагал никакой информацией об объекте наблюдения.
2. В реальном мире данное допущение почти никогда не выполняется.

Проблему прежних знаний изучает так называемая байесовская статистика. Автор этого метода — Томас Байес, британский математик и пресвитерианский священник XVIII века. Байесовская статистика занимается вопросом: как мы корректируем свое предварительное знание с учетом новой информации? Байесовский анализ начинается с того, что известно сейчас, и затем рассматривает, как это знание изменится с получением новых сведений. А небайесовская статистика, преподаваемая в большинстве курсов по методам выборочного наблюдения, исходит из следующего: все, что известно о некоей группе объектов, — это выборка, которую вы только что из нее сделали.

Теорема Байеса гласит, что вероятность наступления «события» при условии проведения «наблюдения» равна произведению вероятности наступления события и вероятности проведения наблюдения при условии наступления события, деленному на безусловную вероятность проведения наблюдения (рис. 10.1).

Рис. 10.1. Теорема Байеса

Используйте свой природный байесовский инстинкт:

1)      сначала дайте объекту (явлению) свою калиброванную оценку;

2)      затем соберите дополнительную информацию (проведите опрос, изучите работы других исследователей и т.д.);

3)      далее чисто субъективно скорректируйте свою калиброванную оценку без дополнительных расчетов.

Неоднородный бенчмаркинг и его использование для оценки «ущерба бренду». Люди корректируют свои оценки потому, что, как мы теперь знаем, все они, особенно калиброванные оценщики, являются интуитивными байесианцами. Они склонны довольно рационально обновлять первоначальную информацию, которой обладали, учитывая новые сведения, даже если те носят качественный характер или имеют к оцениваемому объекту отдаленное отношение.

Представление о порядке величин. Неоднородный бенчмаркинг — метод, при котором калиброванным экспертам, оценивающим неизвестную величину, предоставляют в качестве ориентиров другие количественные показатели, даже если связь между ними и кажется отдаленной. Пример: прогнозирование продаж нового продукта на основе информации о сбыте других товаров или аналогичных конкурентных продуктов.

Избегайте «инверсии наблюдения». Многие задают вопрос: «Какой вывод я могу сделать из этого наблюдения?» Но Байес показал нам, что нередко полезнее задать вопрос: «Что я должен наблюдать, если будет соблюдаться условие X?» Ответ на последний вопрос позволяет разобраться с первым.

Глава 11. Предпочтения и подходы: «мягкие» аспекты измерения

Количественное определение склонности к риску. На рис. 11.1 представлена кривая риска, на который инвесторы готовы пойти, чтобы получить данную доходность. Когда потенциальная доходность инвестиций высока, инвесторы обычно готовы смириться с более высоким риском. Если же инвестиции малорискованны, то чаше всего инвесторы соглашаются и на более низкую доходность.

Рис. 11.1 Инвестиционная граница

Не будет преувеличением сказать, что инвестиции в разработку программного обеспечения обычно входят в число самых рискованных проектов вложения средств, которые реализуют компании.

Кривая инвестиционной границы — пример тех кривых полезности, с которыми будущие менеджеры компаний знакомятся на первом курсе университета. К сожалению, большинство из них, по-видимому, считают полученные знания чисто теоретическими и не имеющими никакого практического значения. Но кривые полезности — идеальный инструмент, позволяющий определять, какой частью одного стоит пожертвовать ради получения другого. Разнообразные виды кривых полезности помогают тем, кто принимает решения, детально выяснять, какой компромисс для них приемлем.

Могу ли я считать, что тот, кто делает всю работу вовремя и почти без ошибок, работает эффективнее того, кто постоянно получает больше положительных отзывов клиентов? На самом деле это не проблема измерения, а вопрос документального оформления субъективных компромиссов. Это проблема отражения множества разнородных наблюдений в едином «индексе». И здесь, чтобы такое обобщение оказалось логичным, мы можем воспользоваться кривыми полезности. С их помощью достаточно просто показать, как сформулировать компромиссы.

Можно составить график, отражающий все возможные компромиссы, по аналогии с определением желаемого соотношения «риск/доходность». Рисунок 11.2 представляет собой график с несколькими кривыми полезности. Он иллюстрирует гипотетический пример оценки руководством компромиссов между качеством работы и пунктуальностью выполнения заказов.

Рис. 11.2. Гипотетические «кривые полезности»

Глава 12. Решающий инструмент измерения: людские суждения

Человеческий мозг не просто машина для вычисления. Это сложная система, познающая окружающую среду и приспосабливающаяся к ней путем выработки разнообразных упрощающих правил. Практически все эти правила приносят правду в жертву простоте, а многие даже противоречат друг другу. Те, что не вполне обоснованны, но, тем не менее, полезны на практике, называются эвристикой. А те из них, что явно противоречат здравому смыслу, называются заблуждениями.

Примеры когнитивного искажения экспертами-оценщиками:

• зацикленность; если просто думать о какой-то цифре, пусть и не имеющей отношения к вопросу, то это может повлиять на ваш ответ (пример вопроса с «якорем»);
• эффект ореола; если люди сначала замечают некий факт, который настраивает их за или против какого-то варианта решения, то, получив в дальнейшем новую информацию, каким бы ни было ее содержание, они обычно воспринимают ее как аргумент в пользу сделанного ими первого заключения;
• стадный эффект, или эффект группового давления; оказывается, что если вы хотите выяснить мнение экспертов, то лучше опрашивать их по отдельности, а не всех вместе, поскольку в последнем случае возникает дополнительная погрешность (пример с «подсадными утками»);
• изменение предпочтений; как только люди начинают склоняться к одному варианту, они фактически меняют свои предпочтения по поводу дополнительной информации; они настраиваются на те сведения, которые поддерживают их первоначальное решение.

Первое, что необходимо сделать – признать само существовании е проблемы с искажением восприятия.

Значение систематизации.

Одно время я категорически отрицал ценность метода взвешенных коэффициентов, уподобляя его астрологии. Однако последующие исследования убедили меня, что он всё-таки имеет определенные преимущества.

Важнейшее правило измерения. Самое главное – никогда не используйте метод, способный увеличить ошибку первоначальной оценки.

Два весьма распространенных метода измерения: анализ «затраты / выгоды» и метод субъективных взвешенных показателей только увеличивают неопределенность. Когда эксперты выбирают веса по пятибалльной шкале, они вовсе не имеют в виду, что балл 4 вдвое важнее балла 2. Из-за этой неоднозначности пятибалльная (семибалльная или какая угодно другая) шкала только добавляет ошибку к процессу оценки. На мой взгляд, единственное наблюдаемое достоинство систем условных взвешенных коэффициентов то, что менеджерам обычно хватает здравого смысла игнорировать полученные таким образом результаты. 

Существует только один ограничивающий критерий, позволяющий с уверенностью сказать, являются ли методы анализа «затрат/выгод» или расчета взвешенных коэффициентов способами измерения; результатом должно стать повышение предыдущего уровня знания. Если использованный метод только увеличивает прежнюю ошибку, то это не измерение. Если его считают формализованным и систематизированным, но без научных доказательств уменьшения ошибки и принятия более удачных решений, это не измерение. На проведение псевдоизмерений организации нередко тратят больше времени и сил, чем потребовалось бы на применение способов, гарантированно снижающих неопределенность. Зачем же тогда, спрашивается, даже думать об использовании методов, которые фактически не уменьшают неопределенность?

Глава 13. Новые инструменты измерения для менеджеров

RFID-технологии, GPS + Google Earth. Если вы хотите знать, сколько раз название вашей фирмы находят с помощью различных поисковиков можете подписаться на Google Alerts. Существует несколько «мэш апов» (от англ. to mash up — смешивать; программное приложение, интегрирующее данные из нескольких источников и представляющее его на одной странице), которые собирают данные из многочисленных источников и , например, наносят сведения о компаниях, недвижимости, движении транспорта и т.п. на карты таких сайтов, как MapQuest или Google Earth.

Рынки предсказаний.

Глава 14. Универсальный метод измерения: прикладная информационная экономика

Подведем итоги:

1. Если нечто действительно важно, значит, вы можете это определить. Если нечто, по вашему мнению, вообще существует, значит, вы это уже каким-то образом наблюдали.
2. Если нечто является и важной, и неизвестной величиной, то существует вероятность ошибки в ее оценке и понесения затрат в случае такой ошибки.
3. Текущую неопределенность вы можете выразить количественно с помощью калиброванных оценок.
4. Рассчитать стоимость дополнительной информации можно, определив пороговое значение интересующего вас показателя, то есть такое его значение, при котором принимаемое решение будет отличаться от решения, возможного в отсутствие этих сведений.
5. Установив, что параметр заслуживает количественной оценки, вы сможете выбрать метод измерения и решить, сколько времени и сил следует потратить на его проведение.
6. Даже поверхностное знакомство с несколькими методами случайной выборки, управляемыми экспериментами или даже просто способами уточнения экспертных оценок позволяет существенно снизить неопределенность.

Ответы на тест 5.1. Калибровка.

[1] Методу Монте-Карло я посвятил отдельную заметку

[2] Т-статистике я посвятил фрагмент заметки