Самые важные метрики QA. Что такое метрика

29.01.14 24.9K

Хорошо известно, что именно Яндекс является наиболее популярной поисковой системой Рунета. Исходя из этого, инструмент, который позволяет следить за статистикой посещения сайтов, созданный специалистами Яндекса, обладает огромной эффективностью.

Таким инструментом является Яндекс.Метрика , сервис, разработанный специально для администраторов сайтов и веб-мастеров.

Что такое Яндекс. Метрика?

Данный сервис позволяет не только анализировать посещаемость веб-сайта, но и максимально достоверно оценивать действия посетителей. Яндекс.Метрика поддерживает интеграцию с другими сервисами компании Яндекс.

Например, Яндекс.Маркет и Яндекс.Директ . Помимо всего прочего в рамках метрики реализована функция мониторинга, которая позволяет узнать об имеющихся проблемах доступности вашего сайта с помощью SMS.

Также стоит отметить, что массив данных, собираемых сервисом Яндекс.Метрика, имеет прямое влияние на стоимость перехода по ссылкам в «Рекламной сети Яндекс » (РСЯ).

Зачем нужна метрика от Яндекса?

Грамотное использование сервиса Яндекс.Метрика позволяет:

  • Провести детальный анализ трафика, поступающего на сайт из разных источников;
  • Формировать индивидуальные аналитические отчеты на основе данных, собранных системой;
  • Детально проанализировать поведение пользователей, приходящих на сайт;
  • Оценить эффективность проводимых рекламных и маркетинговых кампаний;
  • Выделить и проанализировать всевозможные характеристики целевой аудитории сайта.

Сервис веб-аналитики от компании Яндекс помогает грамотно и эффективно вести работу по развитию и раскрутке сайта, а также оптимизировать затраты на рекламу.

Совершенно очевидно, что в том случае, если с определённых порталов не происходит притока посетителей, смысла тратить деньги на рекламу нет. Таким образом, Яндекс.Метрика не только экономит ваши средства, но и помогает в продвижении сайта.

Как зарегистрироваться в сервисе Яндекс. Метрика?

Для того чтобы пользоваться сервисом, необходимо зарегистрироваться либо авторизоваться в системе Яндекс:


В том случае, если вы ещё не зарегистрированы в системе, вам следует пройти простой процесс регистрации, после чего вы получите доступ ко всем сервисам и функциям Яндекса, а также бесплатный электронный почтовый ящик.


Пройдя авторизацию и нажав кнопку «Добавить » на главной странице системы Яндекс. Метрика вы попадёте на страницу добавления сайта в систему статистики.

Как установить и настроить Яндекс Метрику?

В интерфейсе Яндекс.Метрики ориентироваться довольно просто.

Можно выделить три основных функции: «Отчёты », «Конструктор », «Мои счётчики ». В последней отражается список сайтов, по которым отслеживаются данные в рамках вашей учётной записи.


С помощью кнопки «Добавить счетчик » можно подключить данный сервис для новых сайтов. Вся необходимая настройка осуществляется в несколько шагов:

Первая функция необходима для того чтобы снизить излишнюю нагрузку на сайт со стороны поискового робота за счёт запрета отправки на индексацию автоматически генерированных страниц сайта.

Вебвизор - удобная функция Яндекс. Метрики для слежения за действиями пользователей сайта. Благодаря ему вебмастер может отобразить процесс посещения сайта в онлайн-режиме в виде видеофайла.

С помощью вебвизора вы можете увидеть:

  • Какой текст посетитель выделял;
  • Какие кнопки и баннеры были нажаты;
  • Как именно посетитель прокручивал страницы;
  • Движение курсора мыши пользователя, что позволяет проанализировать эффективность и скорректировать дизайн сайта;
  • Тип браузера, операционной системы и IP адрес сервера.

Страница настроек счётчика должна выглядеть приблизительно следующим образом:


В том случае, если вы хотите, чтобы статистику посещений сайта видели другие пользователи, Яндекс.Метрика позволяет включить гостевой и публичный доступ. Сделать это можно в разделе настроек счётчика во вкладке «Доступы »:

Что такое цели в Яндекс Метрике и как их настроить?

Для одного сайта в рамках данного сервиса можно задавать до 10 различных целей.
В Яндекс.

Метрике существует четыре типа целей:


Для того чтобы добавить цель, напротив нужного сайта в списке ваших счётчиков кликните на зелёную кнопку справа, которая называется «Редактировать счётчик ».

Во вкладке с настройками выбранного счётчика в подвкладке «Цели » нажмите «Добавить цель ».

Добавление счётчика Яндекс.Метрики на свой сайт

Настроив все указанные параметры под свои цели, сохраните настройки и скопируйте код счётчика на свой сайт, поместив его внутрь тега .


Для установки счётчика Яндекс.Метрики на сайт, работающий под управлением CMS WordPress, откройте в административной панели вкладку «Внешний вид », и кликните по пункту «Редактор ».


В появившемся списке выберите файл «footer.php », и в самом его конце (перед закрывающимся тегом ) вставьте код, предоставленный сервисом Яндекс.Метрика:


Осталось только сохранить настройки, нажав кнопку «Обновить файл », и на этом установка счётчика для сайта на WordPress будет завершена.

Для того чтобы установить аналогичный счётчик на сайт, работающий под управлением CMS Joomla , в административной панели кликните на «Расширения », затем на «Менеджер модулей » и «Создать ».

Очень часто во многих стартапах складывается такая ситуация: все работают, процесс создания идет успешно, а потом оказывается, что пользователей мало, и те, которые есть, недовольны Вашим продуктом. Эту ситуацию проходит много стартапов, и немаловажное значение для выхода из кризиса имеет настойчивость и упорство основателей, а также умение влиять на команду, поддерживая "боевой настрой". Но до такой ситуации можно и не доводить, если воспользоваться опытом предыдущих команд.

В стартапе на любой стадии необходимы четкие метрики, которые подскажут вам, в каком направлении вы двигаетесь и двигаетесь ли вообще.

В английском языке есть слово "traction ". В переводе оно означает:

  • тяга; тяговое усилие;
  • поддержка, шансы на успех; ситуация, когда кто-то или что-то имеет своих сторонников.

Заметьте, что второе значение по смыслу связано с первым. Лидеру проекта нужно отслеживать "traction ". Его описывают, как значимую обратную связь от ваших клиентов. Одним из классических определений понятия "traction " в бизнесе является следующее: "quantitative evidence of market demand ", т.е. явное количественное доказательство того, что продукт или услуга, которые предлагает ваш стартап, на самом деле имеет спрос на рынке.

Проще говоря, это фактическое, притом массовое, а не единичное, подтверждение нужности конечному (целевому) потребителю создаваемого вами проекта.

Как измерять "traction "? Существуют разные метрики. Начнём с неправильных. Вот несколько примеров:

Чем плохи эти метрики? Это так называемые, "метрики тщеславия" - термин, введённый Эриком Райсом. Они хорошо влияют на наше самолюбие, но, по сути, ничем не отличаются от "лайков" в социальных сетях. Обратите внимание:

  • эти метрики будут расти в любом случае;
  • они не позволяют понять, что привело к изменению показателей, а, следовательно, не могут помочь стартаперам в принятии решений.

Правильные метрики должны быть точными. Они могут быть сравнительными (сравниваем показатель X1 с показателем X2) и/или относительными, т.е. выраженными в процентах. Ещё они должны быть понятны широкому кругу людей, по крайней мере - вашей команде. Исходя из методологии CDM ( Customer Development Methodology ) и Lean Startup, метрики должны влиять на поведение основателей стартапа, служить призывом к действию.

AARRR - Startup Metrics for Pirates

Теперь о правильных метриках. Дейв Маклюр, один из основателей акселератора-инкубатора (в портфолио около 450 компаний) стартапов "500 Startups", предложил систему метрик AARRR - Startup Metrics for Pirates.

AARRR - это аббревиатура, сформированная из названий стадий, через которые проходит пользователь в вашей воронке продаж:

  • Acquisition (приобретение пользователей, их привлечение на ресурс). Это посетители вашего сайта, которые пришли из разных мест. Кто-то по рекламным каналам, кто-то через поиск, кто-то через ссылку в твиттере.
  • Activation (активация). Посетителям понравился их первый визит. Они не закрыли сразу ваш сайт, они что-то на нем прочитали, поняли, в чем суть и совершили необходимое действие - подписались на рассылку, зарегистрировались, заказали обратный звонок и т.д.
  • Retention (удержание). Ваши посетители возвращаются на ваш сайт, потому что он им чем-то нравится, и совершают там какие-либо действия.
  • Referral (передача). Посетителям нравится ваш сайт настолько, что они рассказывают о нем, привлекая новых пользователей, которые в свою очередь тоже проходят стадию активации (это важно).
  • Revenue (доход). Ваши посетители превратились в клиентов, которые платят вам деньги.

В разных источниках 4-ый и 5-ый этапы часто меняются местами. Это логично, т.к. в классической схеме продаж пользователи сначала становятся клиентами, а потом начинают говорить о продукте.

Теперь поговорим о каждом этапе более подробно.

Привлечение (Acquisition)

Первый этап. Люди приходят к вам из разных каналов: социальные сети, SEO (поисковая оптимизация, от англ. search engine optimization), SEM (поисковый маркетинг, от англ. search engine marketing), E-mail, блоги, контекстная реклама, офлайн (события не в онлайне), партнерские программы и прочие. Основной показатель - соотношение переходов на сайт и затраченных денег/просмотров рекламы.

Активация (Activation)

Пользователи попали на ваш сайт. Как понять, что произошла активация?

Пользователь:

  • провел на сайте 10-30 и более секунд.
  • посмотрел 2-3 и более страниц.
  • сделал 3-5 кликов.
  • воспользовался одной ключевой функцией.

Что может быть ключевой функцией или действием, которое считается активацией?

Для того, чтобы активация была успешна, требуется создавать множество "landing page" ("посадочных" страниц). В стартапах обычно используют от 4 до 16 "landing page", но можно и больше. После этого необходимо проводить A/B тестирование, т.е. делать разные страницы и отслеживать конверсию. Делать это нужно быстро.

Ключевые метрики данного этапа:

  • Количество просмотренных страниц за визит.
  • Время на сайте.
  • Конверсия.

Метрики быстро становятся самым главным фактором измерения и управления производительностью в связи с целями организации. Однако организации вступают на опасный путь, если они не понимают до конца, что собой представляют и о чем действительно говорят метрики.

Управление производительностью и эффективностью процессов находится сегодня в фокусе внимания многих компаний. Независимо от того, как называть подобные практики - управлением производительностью предприятия, корпорации или же бизнеса (Business, Corporate или Enterprise Performance Management), - все они основаны на метриках, описывающих ход тех или иных процессов в компании. К сожалению, за массой используемых слов часто исчезает понимание того, что представляют собой метрики, каким образом они должны определяться и каким образом можно установить их уместность и полезность.

Метрики

Метрики - суть системы измерений. Нельзя управлять тем, что нельзя измерить. Тот, кто подвергает сомнению правдивость этого утверждения, движется совершенно случайным образом, если вообще в этом случае можно говорить о движении. В контексте управления эффективностью процессов метрики - это измерения элементов процесса относительно некоторой точки отсчета. Системы метрик представляют собой несколько метрик, объединенных с целью отражения функций или процессов.

Сами по себе метрики лишь описывают параметры процессов. Эти процессы могут происходить в области исследований, производства, финансов, операций, маркетинга, услуг или же в любой другой. Очевидно, что чем более детально определен процесс, тем точнее будут результаты его измерений. В общем, метрики можно определить для всех процессов, кроме наиболее аморфных.

Стандарты для точек отсчета бывают двух типов: внутренние и внешние. Внутренние точки отсчета устанавливают целевые значения, которые должны быть достигнуты в бизнес-процессах. Они представляют условия "как есть", но могут использоваться и для измерения прогресса в сторону желательного состояния "как должно быть".

Внешние точки отсчета позволяют сравнивать внутренние метрики компании с метриками других компаний, чтобы понять, как компания выглядит на фоне наиболее успешной практической деятельности в отрасли. Внешние стандарты важны для понимания относительной производительности труда в конкретной отрасли.

В идеале предприятия устанавливают точки отсчета, используя статистические методы. В некоторых случаях (например, при введении совершенно нового процесса) менеджеры произвольно устанавливают первоначальный уровень - возможно, во взаимодействии с консультантами и экспертами в соответствующей области. Но установленный таким образом уровень постепенно будет модифицироваться с учетом действительных измерений и статистических данных.

Управление производительностью

Метрики должны выбираться так, чтобы давать наибольший объем информации при использовании наименьшего объема ресурсов. Выбор метрик, соответствующих задачам бизнеса, лежит в основе успеха стратегии управления производительностью процессов. При использовании метрик на всех участках предприятия факторы, способствующие высокой эффективности бизнеса, становятся очевидными. Без хороших метрик инициативы управления производительностью могут скорее навредить, чем помочь.

Многие компании считают себя слишком занятыми текущими проблемами выживания, чтобы обращаться к "корневым" вопросам качества. "У нас нет времени для теоретических дискуссий", - заявляют они. Эти компании отказываются понять, что если они не сделают попытки вернуть себе контроль, то скоро не станет бизнеса, который нужно сохранять. Но внедрение подходов Six Sigma и других инициатив, связанных с качеством, просветили многие компании и позволили им снова контролировать свой бизнес. Основой их успеха явились метрики, обеспечивающие прозрачность течения бизнес-процессов. Метрики позволили обнаружить, идентифицировать и устранить основные причины: плохое качество, узкие места, дублирующие или конфликтующие процессы, ограничения и другие факторы. General Electric является примером того, какими экстраординарными могут быть результаты: компания получила почти 300%-ную прибыль от вложений благодаря инициативе Six Sigma, показавшей значение метрик для корпорации. Давление конкуренции, финансовой эффективности и усиливающегося регулирования заставляет компании выжимать все из своих процессов.

Соответствие и правильность

То, что источником всех метрик являются цели бизнеса, должно быть аксиомой. Для каждой цели компания должна иметь метрику, чтобы оценить свою эффективность в связи с данной целью. Отсюда - первая необходимая характеристика метрики, соответствие, которое показывает, поддерживает ли метрика цели бизнеса. Если нет, то она бесполезна и не должна использоваться. Проект разработки метрик для предприятия не будет иметь успеха, если будет идти по принципу "снизу вверх". Необходим подход "сверху вниз", решение, какие метрики необходимы для поддержки корпоративного бизнес-плана. Предприятие должно иметь набор хорошо определенных требований к метрикам, связанных с корпоративным бизнес-планом, начиная с уровня топ-менеджмента и ниже.

Есть и вторая необходимая характеристика - правильность и обоснованность самого процесса измерения метрики. Метрика может быть подходящей с точки зрения исходной задачи ее создания, но на деле оказаться неправильной. Она может просто неправильно измеряться и не показывать в реалиях того, чего от нее ждут. Это представляет такую же опасность для бизнеса, как неисправные измерительные приборы в самолете. Ошибочные индикаторы иногда оказываются фатальными для компании. Правильность проведения измерения - это отнюдь не банальный вопрос, особенно в случае с системами метрик. Поэтому специалистами был разработан специальный процесс подтверждения правильности метрик. Он состоит из пяти пунктов:

1. Соотнести метрику с теми целями, которых нужно достичь. Действительна ли связь? Имеет ли она смысл? Какие другие метрики соотносимы с данной целью?

2. Оценить каждый компонент составной метрики (функции, весовые значения, измерения) с точки зрения корректности и приемлемости. Если разложить составные метрики на компоненты, то будет видно, какие из них оказывают сильное влияние на данную метрику. Очень полезно проверить правильность компонентов во всех возможных сценариях. Если используются весовые значения, нужно проверить, нуждаются ли они со временем в корректировке. Если да, то когда в последний раз они корректировались, и какой процесс был использован, чтобы получить и подтвердить весовые значения? Документирован ли этот процесс?

3. Проверить качество и применимость всех входных данных для метрики . Так же, как анализ метрики, компонент за компонентом нужно оценить используемые входные данные. "Что посеешь - то и пожнешь" - эта пословица здесь актуальна как никогда. Несомненно, что это соображение должно также привести к анализу метрик, находящихся раньше по ходу процесса и генерирующих данные.

4. Проверить применимость результата метрики для других метрик . Применимость результата метрики, находящейся раньше по ходу процесса, влияет на текущую метрику. Значит, вы, доказав корректность метрики в этой точке процесса, должны будете проверить, приложима ли данная метрика к метрикам, находящимся дальше по ходу процесса.

5. Выполнить анализы на чувствительность метрики. Оказывают ли входные данные линейное или экспоненциальное влияние на значение метрики? Влияют ли данные на весовые значения, присвоенные компонентам метрики? Повторяемы ли результаты?

Сначала может показаться, что некоторые из этих шагов повторяются. До какой-то степени это действительно так. Здесь важно понять, что качество метрики не ограничено одним шагом, оно важно на протяжении всего процесса. Анализ отдельной метрики должен осуществляться в контексте цепочки метрик для этого процесса.

Жизненный цикл метрик

Отдельно стоит сказать об изменениях метрик. Казалось бы, разработав и испытав метрику, зачем нужно постоянно подтверждать ее? Но ведь то, что справедливо сегодня, завтра может стать неуместным. Бизнес приспосабливается, а адаптация влияет на те предположения, на основе которых действует бизнес. Изменение в одной области будет иметь эффект на всем предприятии. Метрики, используемые в областях, в которых происходили изменения, окажут влияние на подчиненные метрики, используемые в других местах. Влияния могут чувствоваться либо не прямо - например, через метрику для процессов, находящихся ниже по течению, - либо непосредственно, когда результаты метрики служат ключевым компонентом в системе метрик.

Хорошая стратегия использования метрик - это использование концепции жизненного цикла метрик (MML - metrics management life-cycle). MML определяет процедуры и средства контроля в области анализа проектирования, разработки, мониторинга, корректировки/модификации и, наконец, отмены каждой метрики. Таким образом можно поддерживать соответствие и правильность метрики, быть уверенным, что индикаторы действительны и точны, а действия, предпринимаемые на основе метрик, правильны.

Выбор метрик

Просуммировав опыт нескольких проектов, можно привести некоторые универсальные рекомендации по выбору метрик внутри организации.

1. Стоимость метрики . Стоимость проекта выбора метрик часто игнорируется. Стоимость каждой метрики - это сумма издержек на постоянный сбор, компиляцию, хранение, обсуждение, анализ, управление и поддержку коллекции метрик и ее хранилища. Ожидаемая стоимость каждой метрики не только влияет на разработку первоначальной стратегии выбора метрик, но и остается важным фактором на протяжении всего цикла жизни метрик.

Получение преимуществ благодаря использованию метрик связано с экономией времени и затрат, а также с повышением качества и эффективности. В идеале еще до начала программы выбора метрик необходимо определить стандарты точек отсчета, чтобы возврат от вложений (либо какая-то другая приемлемая единица) мог количественно обозначить полученную прибыль. Если нет таких стандартов точек отсчета, оценки могут оказаться неприемлемыми.

2. Допуски в метриках . Понятно, что в измерении любой метрики есть допуски. Будучи определены слишком свободно, допуски могут становиться источником проблем. С другой стороны, если допуски определены слишком строго, это может привести к чрезмерным и ненужным предупреждениям или даже остановкам процесса.

3. Поведенческие факторы . Задача метрик состоит в том, чтобы помочь найти ответы на вопросы типа "кто, что, где, когда (как часто), почему и как". Поэтому при определении системы измерений имеют большое значение конкретность и недвусмысленность, которые позволяют избежать манипулирования метриками с целью искажения результатов. Чем конкретнее будет указано, что является правильной и надежной метрикой, тем меньше гибкости будет для интерпретации результатов. Кроме того, эксперты дают ряд советов, как избежать поведенческих проблем.

Первый совет - использовать несколько метрик (две или более, комплиментарные по своему характеру) в отношении отдельного процесса. Это обеспечит контроль и баланс метрик. Примером может служить тройное ограничение по стоимости, времени и качеству в проектном управлении: нельзя воздействовать на одно из них, не задевая одновременно и два других.

Второй - применять метрики к процессу так, чтобы они отражали то, как воздействуют изменения подчиненных процессов на данный процесс. Например: "Процесс А нельзя повернуть назад во избежание затрат, не оказав отрицательного влияния на доступность материала в процессе В, находящемся ниже по течению. Это приведет к исключению процесса В".

Портфель метрик

Портфель метрик - это хранилище, архив данных, в котором однозначно идентифицируются все метрики с их атрибутами, используемые предприятием.

Как правило, портфель метрик должен включать следующие атрибуты:

  • имя метрики;
  • контекст метрики, идентифицирующий группу, к которой относится данная метрика, - например, отдел, отделение или группу/рабочий центр (заметим, что некоторые метрики могут найти применение в нескольких контекстах);
  • описание функциональности метрики;
  • входная информация, процессы и данные, которые поступают непосредственно в метрику (включая те, что взяты из метрик, находящихся ранее по ходу процесса);
  • формулы, описывающие внутренний процесс обработки, осуществляемый данной метрикой;
  • выходные данные, информация, полученная в результате использования метрики, а также непосредственные нисходящие зависимости метрики.

Опыт показывает, что портфель метрик - это очень удобный способ работы с метриками. Когда предлагаются новые метрики, можно просмотреть портфель, чтобы проверить, не существует ли метрика в той же самой или подобной форме. Если она существует в идентичной форме, то понятно, что предлагаемая метрика - это всего лишь другое применение старой или другой контекст. И опять же необходимо гарантировать, чтобы метрики сохраняли свою независимость. Если предлагаемая метрика подобна уже существующей, то следует рассмотреть возможность объединения двух вариантов в одну метрику, которую впоследствии можно будет использовать в разных контекстах. Таким образом мы по возможности избежим появления дубликатов и близких вариантов. Бизнес приближается к тому, чтобы управление процессами и отчетность осуществлялись в реальном масштабе времени. По мере этого активная работа с портфелем метрик будет становиться все более важной для стандартизации, координирования и управления правильным использованием метрик на предприятии.

Проект по созданию метрик

Реализация программы, имеющей целью создание портфеля метрик, может представлять серьезную проблему. Люди противятся изменению, такова человеческая природа. В среднем программа создания метрик состоит из следующих шагов.

1. Согласование определений . Без этого шага чрезвычайно трудно осуществлять связь между разными контекстами, используемыми на предприятии. Слово "определение" используется здесь в рамках бизнес-процессов и их атрибутов: метрика, измерение, объект (организационная единица, единица данных), деятельность, задача и т. п. Чтобы "согласовать" определение, необходимо идентифицировать контекст, в котором используется слово. Затем идентифицировать антонимы и синонимы и сделать эти определения совместными внутри контекста. Наконец, начать отражение в другие контексты. Таким образом, согласованными являются определения, данные словам или стандартизированным группам слов, которые делают их совместимыми или переводимыми из одного контекста в большое число других контекстов.

2. Разработка структуры и атрибутов портфеля или архива метрик . Это источник документации и определений метрик. Архив позволяет сохранять в базе данных историю измерений, что может оказаться важным впоследствии. Сохранение этой информации в центральном архиве, доступном для всех, позволяет обеспечить гарантии совместимости и достоверности метрик.

3. Моделирование бизнес-процессов . Это должно быть отдельным проектом, причем в нем метрикам уделяется мало внимания. Полученная модель будет критическим компонентом инфраструктуры, необходимой для идентификации и собирания соответствующих метрик. Независимо от того, будет ли использоваться методология IDEF1x, Business Process Management Initiative (BPMI) или что-то другое, процесс моделирования должен быть стандартным и формальным для всей организации. В противном случае - компанию ждет дорогостоящий трудный процесс отображения одной методологии в другую, и, скорее всего, провал усилий по созданию метрик.

4. Идентификация благоприятных возможностей применения . По завершении первых трех шагов откроется множество возможностей для сбора и применения метрик. Во время процесса идентификации не следует выпускать из вида как затраты, так и преимущества, связанные с использованием метрик. Появится много возможностей, которые необходимо будет оценить и приоритезировать в соответствии с такими критериями, как, например, потенциальная экономия или ROI.

5. Запуск пилотного проекта . Пилотный проект должен быть небольшим, но оказывать заметное влияние. Этот проект начнет формальный процесс разработки и использования метрик на предприятии и продемонстрирует их преимущества. Первым шагом пилотного проекта должно быть измерение текущего состояния характеристики процесса, с тем чтобы можно было показать эффективность программы использования метрик.

6. Разработка BI-политики . Портфель метрик может облегчить анализ данных на всем предприятии. Частью проекта по разработке метрик, как правило, является выявление наиболее эффективных методов, процессов и форматов для представления метрик пользователям всей организации. Именно поэтому разработка метрик обычно инициирует последующие BI-проекты.

CIO и метрики предприятия

Ясно, что получение метрики - это прямая функция информационных технологий. CIO хорошо осведомлены о том давлении, которое оказывается на их бизнес. Они понимают, что если ИТ-отдел не может удовлетворить потребность в создании метрик или слишком медленно принимает новые технологии, то CIO несдобровать. Вместе с тем создание метрик оказывает влияние на ИТ-инфраструктуру предприятия. Основных направлений два: время и ресурсы; квалификация.

1. Время и ресурсы . Прежде всего речь идет о затратах времени, связанных с созданием инфраструктуры и образованием портфеля метрик. ИТ-ресурсы играют важную роль в решении задач, связанных с метриками. Потребуются средства, а также персонал, чтобы собрать, объединить и представить информацию по метрикам для своей организации. Кроме того, как только метрики начнут вычисляться, пойдет поток запросов к базам данных предприятия. По мере накопления запросов возникают модели, указывающие на сходство типов запросов и поставляющих их групп. CIO должны будут организовать анализ этих запросов в рамках предприятия. Один из результатов - разработка повторно используемых компонентов для множества метрик с перекрещивающимися функциями.

2. Квалификация . Несмотря на то что IT-профессионалы должны неплохо разбираться в бизнесе компании, их основной интерес находится в сфере технологии. Они имеют общее представление о бизнесе и его экосистеме, но, как правило, их знания в области финансов, операций и в других специфических областях бизнеса недостаточно глубоки. Однако опыт показывает, что проект по созданию метрик предприятия ведет к повышению бизнес-квалификации CIO. Компании, которые реализовали в своих организациях принципы Six Sigma, повсеместно включали ИТ-менеджеров в проектные команды. И это вполне оправданно, ведь работа с метриками требует еще более тесной связи между ИТ и бизнесом. Это важно для достижения не только довольно общей цели - облегчения понимания ИТ-специалистами задач и стратегий бизнеса. Преследуется и более специфическая цель: более тесная привязка к задачам бизнеса поможет ИТ-специалистам приобрести основательные знания KPI-метрик (key performance indicator- ключевые показатели эффективности).

Разрабатывая портфель метрик для вашей организации, вы предпринимаете шаги, конечная цель которых - прозрачность хода процессов предприятия - достигается нелегко. И поначалу, подавляющее большинство таких проектов сталкивается с проблемами, обусловленными непониманием персонала, явным и неявным сопротивлением и т.д. Но как только пользователи предприятия увидят преимущества прозрачности процессов, которая становится возможной благодаря портфелю метрик, интерес к этому проекту чрезвычайно возрастет. И если в этот момент провести соответствующее обучение персонала, то у проекта будет очень большой шанс на успех.

Термин "метрика" имеет далеко не единственное значение. Коснемся их в общем, заострив внимание на наиболее актуальном на сегодня - "Яндекс.Метрике".

Что такое метрика

Понятие имеет несколько толкований в словарях:

  • сокращенное образование от термина "метрический тензор";
  • функция, которая призвана определять расстояния в метрическом пространстве;
  • ПО-метрика - выраженное в числах значение каких-либо свойств определенного программного обеспечения;
  • в поэзии: учение древних греков о ритмике, строении стихотворной речи;
  • в теории музыки: специальный раздел, посвященный изучению величины, измеряющей различные ритмические построения, - метру музыкальному;
  • синоним свидетельства о рождении, метрический реестр, дворянская родословная книга;
  • числовая величина, которая влияет на выбор маршрута следования информации в компьютерных сетях.

Также "Метрика" - это название российской сети строительных гипермаркетов, книга математика Герона Александрийского.

"Яндекс.Метрика"

Сегодня слово чаще всего фигурирует в названии одного из сервисов "Яндекса". В данном ключе "метрика" - это инструмент веб-аналитики, широко используемый в электронной коммерции. В частности, он предоставляет анализ:

  • аудитории сайта;
  • поведения посетителей на нем;
  • выручки и конверсии ресурса;
  • источников трафика;
  • скорости работы сайта, а также его доступности;
  • эффективности той или иной рекламной кампании.

Отчеты "Яндекс.Метрики"

"Метрика" - это сервис, формирующий отчеты:

  1. Общей картины посещаемости сайта.
  2. Распределения посетителей по (запросы в поисковых системах, ссылка из соцсетей, реклама).
  3. Демографической характеристики посетивших сайт.
  4. Взаимодействия визитеров с отдельными элементами сайта - переходами по ссылкам, загрузкой контента, просмотром определенных страниц.
  5. Воспроизведения маршрута действий посетителя, анализа заполнения тех или иных форм.
  6. Сведений о ПО, устройствах, с которых были произведены просмотры.
  7. О результатах проверки доступности ресурса системой, о его нагрузке.
  8. Для интернет-маркетов: подробная информация о всех заказах, сделанных на сайте.

Все перечисленные опции бесплатны. В "Метрике" всего одна платная функция - "Целевой звонок". Это сводная статистика звонков потенциальных потребителей, которым стал известен номер определенного пользователя из ряда внешних источников.

Метрика - это понятие, определяющее самые разные явления действительности. В свете современных реалий многие в первую очередь ассоциируют слово с одноименным сервисом "Яндекса".

Метрики - это фуфло, скажите Вы, и будете правы. В чём-то.

Действительно, если речь заходит о метриках, то самая первая первая метрика, которая приходит на ум - посещаемость.

Многие любят медитировать часами глядя на график посещаемости своего сайта.

Как же это круто, наблюдать как скачет линия - туда-сюда, туда-сюда… А еще круче, когда посещаемость сайта растет непрерывно.

Тогда блаженное тепло разливается по всему телу и разум воспаряет к небесам в ожидании манны небесной.

Ах, какая радость, какое блаженство!

И даже если картина печальная…

От графика все равно не оторвать глаз, так он затягивает.

Кажется, что в графике скрыт тайный смысл. Еще немного, и картинка раскроет свои секреты и расскажет невероятно простой и эффективный способ привлечения огромного количества клиентов. И тогда-то деньги точно потекут рекой.

Но на самом деле, посещаемость - типичная “слащавая (тщеславная) метрика”, не несущая в себе полезного смысла.

И таких метрик большинство. В основном все метрики, которые Вы увидите - слащавые. И именно поэтому за метриками сложилась дурная слава бессмысленной траты времени и сил.

Но на самом деле это совсем не так. Правильные метрики дают крайне важную, а порой бесценную информацию для бизнеса и проекта.

Главный бонус и назначение метрик - это то, что они дают возможность управлять Вашим бизнесом или проектом.

Как определить, что метрика плохая?

Давайте рассмотрим очень простой пример - скорость автомобиля.

Скажите, пожалуйста, что обозначает скорость…

100 км/ч?

Так что же она обозначает?

Думаю, Вы, наверное, и сами догадались, что… ничего не обозначает!

Ок. Теперь второй вопрос:

100 км/ч это хорошо или плохо?

Ни то ни другое?

Скорость - совершенно бесполезная и бестолковая метрика. Если, конечно, её использовать саму по себе. В купе с другими метриками она, конечно, может что-то сказать, но сама по себе - точно нет.

Посещаемость сайта - ровно та же самая скорость.

Именно поэтому зависать перед графиком посещаемость сайта нет совершенно никакого смысла. Он не раскроет Вам тайну жизни. Понимаете теперь?

А какие метрики тогда хорошие?

Например, Churn rate. Эта метрика говорит сколько клиентов ушло из компании/сайта навсегда с течением времени.

Churn rate = 1% говорит, что мы теряем всего 1% клиентов. Т.е. почти никого не теряем.

Если же Churn rate = 90%, то это означает, что мы теряем почти всех своих клиентов. Это ужасно!

Видите отличие этой метрики от скорости?

Churn rate - наполненная смыслом метрика, которая отвечает на вопрос, хорошо это или плохо. И Вам не нужно гадать, что она обозначает.

Это метрика, говорящая сама за себя!

И теперь мы готовы предпринять срочные действия, чтобы уменьшить отток клиентов.

Именно поэтому такие метрики называют действенными. Потому что они побуждают к действию.

Критерий “слащавости” метрик

Есть очень простой способ определить, что метрика “слащавая / тщеславная” (англ. vanity).

Большинство абсолютных метрик , таких, например, как посещаемость, количество скачиваний, количество ретвитов, количество email-ов/подписчиков, количество лайков и т.д. являются слащавыми .

Относительные, взвешенные, метрики часто бывают действенными. Но не все!

Что касается качественных метрик, то тут однозначности нет, т.к. качественная оценка сама по себе не может быть точной и однозначной.

Но с другой стороны, оценивать удобство программы можно и нужно именно по уровню восприятия конечных пользователей и никак иначе.

Как подступиться к метрикам в целом?

Первым делом нужно перевернуть мозг.

Без шуток.

Каждый(!) кто сталкивается с метриками, первым делом начинает искать в них причину бытия. Но они ее не покажут, к сожалению.

Метрики - это просто как обычная линейка с помощью которой мы измеряем все, что хотим.

Вы же не ищете причину бытия в обычной деревянной линейке, верно?

Поиск смысла жизни в линейке - это то, что называется “подход снизу-вверх”.

Для правильной работы с метриками нужно сменить парадигму и начать работать наоборот, сверху-вниз.

Т.е. сначала делать какое-то действие, а потом уже с помощью метрик измерять получившийся от него эффект.

Следует использовать метрики как обычный предмет для измерений и не более.

Вдумайтесь в эти слова.

Измеряйте с помощью метрик эффект от Ваших действий, а не придумывайте действия на основании показаний деревянной линейки.

Такой подход ещё называют “Гипотеза->Измерение”.

Ок, с этим понятно.

Вопрос № 2: “А что именно измерять? Как найти правильные метрики?”

Как составить свой набор метрик?

Полазив по Интернету Вы наверняка найдете десятки, а то и сотни различных метрик на одну и ту же тему.

Например, метрик качества ПО можно найти около сотни. Это и стандарты ГОСТР-ИСО, и метрики, рассчитываемые в SonarQube, и какие-то самописные варианты, и даже “качественные” метрики, основанные на отзывах пользователей.

Так какие же стоит использовать, а какие нет?

Самый лучший подход - руководствоваться “основной ценностью”.

OMTM (One Metric That Matters)

Давайте рассмотрим пример.

Понятно, что если Вы хотите улучшить качество Вашего программного продукта, то измерить это качество можно разными путями.

Качество - это не только количество ошибок. Если смотреть на качество в целом, то это:

Количество инцидентов в проме,
удобство использования и простота восприятия,
быстрота работы,
полнота и своевременность реализации запланированного функционала,
безопасность.

Критериев много и работать сразу со всеми невозможно. Поступают очень просто: выбирают один, самый важный в данный текущий момент критерий, и работают только с ним.

Такой подход называется OMTM (One Metric That Matters) - Одна (Единственная) Важная Метрика.

ОМТМ качества ПО логично выбрать количество серьезных (важных и критических) инцидентов в промышленной среде.

Для интернет-магазинов над OMTM вообще думать не надо - это объем продаж или прибыль (в зависимости от Вашего решения).

Эта Одна Важная Метрика и будет основной ценностью для Вашего набора метрик. И именно от неё будет зависеть их финальный набор.

Ценность Inside

Составлять набор метрик часто начинают “от балды”, порывшись в Интернете и выбрав из найденного лучшие варианты по принципу: “О! Это нам подойдет!”

Как Вы понимаете, это не лучший способ, верно?

Но как решить, какую метрику брать, а какую нет?

Например, часто измеряют различного рода конверсии пользователей.

Но почему измеряют именно пользователей, а не что-нибудь еще? Вы не задумывались над этим вопросом?

Естественно, ответ есть.

Давайте рассмотрим интернет-магазин как самый простой для понимания пример.

Допустим, Вы хотите увеличить объем продаж. Какие метрики Вам для этого понадобятся? Как к этому подойти?

Есть один простой, логичный и работающий способ. Всё встаёт на свои места, когда Вы отвечаете на вопрос:

КТО ПРОИЗВОДИТ ЦЕННОСТЬ?

Мы ведь работаем надо объемом продаж, так? Хотим его увеличить, верно?

На кого и на что нужно повлиять, чтобы увеличить объем продаж?

Конечно,

нужно влиять на причину -
на того, кто “производит” ценность.

Кто производит деньги в интернет-магазине? Откуда появляются деньги?

Очень просто: от клиентов.

Где именно в интернет-магазине можно повлиять на клиентов?

Да где угодно!
Верно. На каждом этапе жизненного цикла клиента.

Для представления жизненного цикла удобно строить т.н. “воронку” движения клиента по процессу.

Пример воронки интернет-магазина:

Почему именно так? Потому что клиенты теряются именно при переходах с одного шага воронки на другой.

Увеличивая количество клиентов на каком-либо уровне воронки, мы автоматически увеличиваем результирующий объем продаж.

Простой пример.

Метрика “Процент брошенных корзин” по сути показывает конверсию при переходе от товарной корзины к оформленному заказу.

Допустим, при первом замере Вы обнаружили, что теряется 90% корзин, т.е. из 10 корзин делается только 1 заказ.

С товарной корзиной явно что-то не так, верно?

В результате доработки корзины, процент брошенных корзин уменьшился на 10%, до 80%. Как это выглядит в цифрах?

Из 10 корзин стали оформлять 2 заказа. 100 руб * 2 = 200 руб.

Но это же увеличение объема продаж на 100%! Бинго!

Увеличив конверсию шага всего на 10% Вы увеличили объем продаж на 100%.

Фантастика!

Но именно так это и работает.

Понимаете теперь в чём прелесть правильно построенных метрик?

С их помощью можно добиться фантастического влияния на Ваши процессы.

С интернет-магазином всё довольно просто, а вот как это всё переложить, например, на качество программного продукта? Да точно также:

  1. Выбираем основную ценность над которой работаем. Например, сокращаем количество инцидентов в проме.
  2. Понимаем, кто и что производит эту ценность. Например, исходный код.
  3. Строим воронку жизненного цикла исходного кода и расставляем метрики на каждом шаге воронки. Всё.

Вот, например, какие метрики качества могли бы получиться (на вскидку)…

Показатель ценности:

  • плотность дефектов прома на 1000 строк кода

Метрики исходя из жизненного цикла исходного кода:

  • доля неудачных компиляций,
  • охват автотестами,
  • доля неудачных автотестов,
  • доля неудачных развертываний.

Метрики исходя из жизненного цикла дефектов:

  • динамика обнаружения дефектов,
  • динамика исправления,
  • динамика переоткрытий,
  • динамика отклонений дефектов,
  • среднее время ожидания исправления,
  • среднее время исправления.

Как видите, тема метрик реально очень важная, нужная и интересная.

Как правильно подобрать метрики:

Выбирайте OMTM, продумывайте её основную ценность и измеряйте производителей этой ценности.

Метрики стройте на основании воронки жизненного цикла производителя.

Старайтесь не использовать абсолютные метрики.

Тема метрик стала популярна на волне движения Lean Startup, поэтому лучше всего начать чтение с первоисточников - книг “Lean Startup” (перевод на русский - “Бизнес с нуля. Метод Lean Startup” на Ozon) и “Lean Analytics” (перевода нет, но книга на английском продается на Ozon).

Кое-какую информацию можно найти в Интернете даже на русском языке, но всеобъемлющего учебника, к сожалению, пока найти не удалось даже в западном сегменте.

Кстати, сейчас появились даже отдельные специалисты “продуктологи”, задачей которых является построение правильной системы метрик для своего продукта и предложение путей по их улучшению.

На этом всё.

Если статья помогла Вам лучше понять суть вопроса, автор будет признателен за “лайк” и перепост.