Методы визуализации. Визуализация данных в науке и технике

Которая занимается проектированием пользовательских интерфейсов. В общих чертах Юрий рассказывает о набирающих в последнее время популярность дизайнерских методиках — визуализации и инфографике, о сферах их применения и классификации, процессе создания, инструментах и примерах из практики.

Тема визуализации информации и инфографики регулярно всплывает при работе, да и в целом интересна как практика проектирования и дизайна. Хотя мы в компании работаем над веб-системами, где большинство задач решается стандартными средствами конструирования вроде форм или информационных блоков, иногда требуется емко и компактно подать большое количество информации. Часто это достаточно специфичные задачи, на продумывание интерфейса которых уходит немало времени. Правда, и задачи эти — одни из самых интересных.

У практики отображения информации в графическом виде много синонимов, но в последнее время чаще всего используются два: визуализация данных и инфографика. Существуют эти подходы уже достаточно давно , литературы по этому поводу написано много (среди наиболее известных авторов и дизайнеров: Edward Tufte, Stephen Few, Ben Fry), но в первую очередь интересно, где и как используется инфографика.

Применение

Сейчас существует множество интересных примеров визуализации, но многие из них — скорее объекты искусства, чем практически полезные носители информации. И для тех, и для других можно выделить следующие области использования:

Статистика и отчеты

Самодостаточный жанр, когда данные за некий период времени показываются вместе. Например, статической картинкой в приложении к отчету или настраиваемым графиком в сервисе статистики, с возможностью изменения параметров его отображения.

Справочная информация

Дополнение к основному тексту, наглядно иллюстрирующее его упоминаемыми данными. Скажем, дать общее представление о динамике одного из показателей, либо отобразить какой-то процесс и его этапы; может быть — показать структуру некого явления.

Интерактивные сервисы

Продукты и проекты, в которых инфографика является частью функциональности. Так, в качестве средства навигации по сервисам со сложным workflow может выступать диаграмма процесса. Почти все, что связано с работой с картами и вовсе редко обходится без смешения инфографики и интерактивности, не говоря уже о специализированных системах вроде диспетчерских и большей части компьютерных игр.

Иллюстрации

Не совсем чистый жанр — скорее, использование практик и подходов красивого отображения данных для создания самостоятельных иллюстраций. Они несут некий смысл, но это не основная их задача — основной ценностью является качество исполнения.

Эксперименты и искусство

Визуализация данных без особого практического смысла, скорее в качестве экспериментов или инсталляций. Чаще всего это сложные и громоздкие изображения, которые сложно «прочитать» бегло — объем данных и взаимосвязей между ними таков, что нужно разбираться с картинкой по частям; либо просто абстрактные изображения, автоматически сгенерированные. В последнее время направление все более популярно и периодически выходит за рамки компьютерной графики — например, в виде графиков-скульптур.

(внимание! более 9 мегабайт)

Классификация

Набор инструментов визуализации достаточно обширен — от простейших линейных графиков до сложных отображений множества связей. Разбить их можно на несколько типов:

Графики

Показывают зависимость данных друг от друга. Строятся по осям X и Y, хотя могут быть и трехмерными.

Линейный график (line chart, area chart)

Наиболее распространенный случай. Объединяет линией набор точек, соответствующих значениям по осям. Например, ежедневная посещаемость сайта за месяц. Может показывать сразу несколько наборов данных — например, статистику просмотров для 3 наиболее популярных страниц.

График рассеивания (scatterplot)

Показывает распределение ограниченного набора точек, соответствующих значениям по осям. Между точек часто рисуется выравнивающая кривая — она наглядно показывает закономерности среди значений. Например, связь между стажем работы и производительностью труда среди 50 сотрудников компании (просто соединить полученные точки в виде линейного графика нельзя — и смысл искажается, и линия будет дерганой).

Диаграммы сравнения

Показывают соотношения набора данных. Во многих случаях строятся вокруг осей, хотя и необязательно.

Столбиковая диаграмма (bar chart)

Показывает один или несколько наборов данных, сравнивая их между собой. Существует два варианта отображения в случае нескольких наборов: либо в виде нескольких стоящих рядом столбиков, либо в виде одного, но поделенного внутри в соответствии с долями значений. Например, ежегодная прибыль трёх компаний за последние 5 лет или их доли рынка за это же время.

Круговая диаграмма (pie chart)

Отображает процент, занимаемый каждым значением внутри набора данных, в виде разбитого на части круга. Например, доли рынка сотовых операторов. Может отображать сразу несколько наборов данных — в этом случае диаграммы наложены друг на друга, причем каждая из них меньше предыдущей. Например, доли рынка сотовых операторов за последение 3 года.

Площадная диаграмма (bubble chart)

Смесь графика и диаграммы — по двум осям расставлен набор точек, соответствующий значениям. При этом сами точки не соединены и имеют различную величину, которая задается третьим параметром. Например, сравнение количества купленных товаров, общей стоимости покупки и величины общего бюджета покупателя.

Кольцевая диаграмма (ring chart)

Показывает процент от максимального количества, которое занимает одно из значений в наборе данных, в виде частично закрашенного кольца. Например, количество завоеванных на чемпионате медалей относительно максимального. Часто используется сразу несколько таких диаграмм, сравнивающих разные значения.

Диаграмма разброса (span chart)

Показывает минимальную и максимальную величину значений внутри набора данных в виде урезанной столбиковой диаграммы. Начало столбика лежит не на горизонтальной оси, а в точке минимального значения по вертикали. Например, разброс стоимости квадратного метра жилья в разных районах города.

Лепестковая диаграмма (radar chart)

Сравнивает величины нескольких значений, каждая из которых соответствует точке на оси. Количество осей соответствует количеству значений, а точки объединены линями. Например, сравнение рентабельности каждого из 8 направлений деятельности компании.

Облако тегов (tag cloud)

Сравнивает ключевые слова или фразы (значения), содержащиеся внутри фрагмента текста (набора данных), задавая каждому из них свой размер шрифта. Размер шрифта зависит от величины параметра. Например, 25 самых часто упоминаемых в газетах слов за декабрь 2008 года.

Тепловая диаграмма (heat map)

Сравнивает значения внутри набора данных, закрашивая их одним из цветов в заранее выбранном спектре. Основой является изображение или другая диаграмма, на которой расставлены значения. Цвет зависит от величины параметра и чаще всего накладывается в виде пятен. Например, элементы главной страницы сайта, по которым пользователи кликают чаще всего.

Деревья и структурные диаграммы

Показывают структуру набора данных и взаимосвязи между его элементами.

Дерево (tree)

Показывает иерархию набора данных, в которой элементы являются родительскими или дочерними по отношению друг к другу. Выстраивается в виде соединенных линиями узлов, как правило, сверху вниз. Узел обычно отображается кругом или прямоугольником. Например, карта сайта.

Ментальная карта (mind map)

Показывает состав и структуру явления или понятия в виде дерева, в котором каждый узел имеет один или несколько дочерних элементов. Это частный случай дерева, с той разницей, что ветви расходятся из узла, расположенного в центре изображения. Например, конспект книги по управлению проектами, который отражает ее содержание и основные понятия.

Формализованные структурные диаграммы

Показывают состав и структуру системы или ее части в виде карточек, которые описаны с разной степенью детализации и связаны друг с другом как родительские и дочерние.
Отображается в стандартизованном виде — например, с помощью UML (Unified Modeling Language) или IDEFIX (Integration Definition for Information Modeling). Например, все сущности, необходимые для работы одного из модулей программной системы.

Диаграмма Венна-Эйлера (Venn/Euler diagram)

Показывает отношения между значениями набора данных в виде накладывающихся друг на друга кругов (чаще всего трёх). Область, в которой пересекаются все круги, показывает общее между ними. Например, пересечением соблюдения сроков, бюджета и поставленных задач является успех проекта.

Плоское дерево (tree map)

Показывает иерархию набора данных, в которой элементы являются родительскими или дочерними по отношению друг к другу. Отображается в виде набора вложенных прямоугольников, каждый из которых является ветвью дерева, а находящиеся внутри него — дочерними элементами и ветвями. Прямоугольники различаются по размеру в зависимости от параметра и имеют цвет, который задается другим параметром. Например, детальная структура бюджета компании, в котором цветом показан процент изменения каждого пункта по сравнению с предыдущим годом.

ВИЗУАЛИЗАЦИЯ РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ

(Томск, Томский политехнический университет)

Введение. Область применения и возможности численного экспериментов растут вместе с развитием вычислительной техники. Увеличиваются сложности и многообразие решаемых задач. Огромный объём получаемой в ходе эксперимента информации требует адекватных способов её представления. Вместо массивов числовых данных и простых графиков всё шире используются наглядные визуальные образы, облегчающие полноценное и своевременное осмысление получаемых результатов.

Визуализация данных – задача, с которой сталкивается в своей работе любой исследователь. К задаче визуализации данных сводится проблема представления в наглядной форме данных эксперимента или результатов теоретического исследования. Традиционные инструменты в этой области – графики и диаграммы – плохо справляются с задачей визуализации, когда возникает необходимость изобразить более трех взаимосвязанных величин. С другой стороны, существует мощнейший инструмент изображения информации, привязанной к географической сетке координат. Это очень быстро развивающийся сегодня арсенал ГИС-технологий (ГИС – геоинформационные системы). К сожалению, как только исчезает подложка для изображения информационных слоев – географическая карта – все методы ГИС остаются не у дел.

Основные принципы визуализации информации. Для оптимального отображения информации в приводится ряд рекомендаций, которые могут быть использованы при разработке подсистем визуализации:

1. Состав и форма отображаемой информации, а также задачи и цели подсистемы визуализации определяются целями и задачами системы. В информационные модели должны быть представлены только те свойства отношения, связи управляемых объектов, которые существенны и имеют определенное функциональное значение. Объем, состав, форма предъявленной информации должна соответствовать как решаемым задачам, так и психофизиологическим возможностям человека.

2. Модель должна быть наглядной, т. е. оператор должен иметь возможность воспринимать сведения быстро и без кропотливого анализа. Таким образом, модель может давать наглядное представление о пространственном расположении объектов, что означает быть геометрически подобной их действительному расположению. В этом случае оператор будет иметь наглядное представление о таких свойствах управляемых объектов, как расстояние между ними, их принадлежность к какой-либо территориальной группе и т. п.

Достоинства наглядных моделей заключаются в том, что процесс восприятия такой же, как процесс восприятия реального объекта. Основная задача при разработке наглядных информационных моделей заключается в определении признаков, которые целесообразно отобразить наглядно и в допустимой степени схематизации. Но наглядность информационных моделей не всегда легко достижима, так как нередки случаи, когда объекты управления не обладают наглядными признаками. В этих случаях приходится решать задачи, близкие к тому, что в методологии науки определяется как визуализация понятий. Информационные модели, построенные по данному принципу, называются абстрактными, Достоинства абстрактных моделей заключается в том, что они отображают свойства объекта, которые недоступны непосредственному наблюдателю.

3. Достижением легкой воспринимаемости отображаемой информации обеспечивается правильной организацией ее структуры. Это означает, что в информационной модели должны быть представлены не коллекция или пара сведений, так или иначе упорядоченных, а находящиеся к определенном и очевидном взаимодействии. Одним из средств достижения оптимальной структуры является хорошая компоновка информационной модели. В этом смысле разработка отображения на экране представляет собой задачу в какой-то степени эквивалентную задаче хорошей компоновки картины.

4. Важнейшим психическим процессом при слежении за сложными динамическими образами является антиципация , т. е. возможность прогнозирования развития ситуации оператором, для обеспечения которой следует наглядно графически отображать изменения параметров. Данное положение обеспечивается, если при проектировании информационной модели предусмотрено:

Отображение конкретных изменений свойств элементов ситуации, которые происходят при их взаимодействии. В этих случаях изменения свойств отдельных элементов воспринимаются не изолированно, а в контексте ситуации в целом. Более того, изменение свойств одного элемента воспринимается как симптом изменения ситуации в: целом;

Отображение динамических отношений управляемых объектов. При этом связи и взаимодействия информационной модели должны отображаться в развитии;

Отображение конфликтных отношений, в которые вступают элементы ситуации.

5. Компоновка информации на экране должна учитывать, что горизонтальные движения глаз совершаются наиболее легко и быстро. Скорость движения глаз по кривым зависит от формы, и с помощью выбора формы можно варьировать время фиксации взгляда в той или иной области экрана. В местах расположения наиболее важных данных для процесса управления помещают структурные элементы, при движении по которым снижается скорость движения глаз.

Кодирование информации формой. Наиболее информативным обозначением тождественности информации является кодирование данных формой. Известно, что время декодирования и период латентной реакции на предметное изображение минимально по сравнению с другими методами кодирования (среднее время реакции на предмет – 0,4с, на цветное изображение – 0,9с, время фиксации взгляда па простых геометрических фигурах – 0,18мс, на буквах и цифрах – 0,3мс).

Основное значение при восприятии формы человеком имеет отношение "фигура-фон". Данное отношение имеет несколько видов описания:

Фигура имеет форму, фон относительно бесформен, фигура имеет характер вещи, фон же выглядит как неоформленный материал;

Фигура имеет, тенденцию выступать вперед, фон - отступать назад, фон кажется непрерывно продолжающимся позади фигуры;

Фигура производит большее впечатление, чем фон и легче запоминается.

В психологии эмпирически выявлены некоторые принципы организации поля сигналов, пользуясь которыми можно влиять на отношение "фигура-фон".

1. Чем меньшую замкнутую площадь занимает какая-либо конфигурация, тем больше тенденция именно этому изображению выступать в роли фигуры.

2. В качестве фигуры, прежде всего, выделяются замкнутые конфигурации.

3. Симметричные конфигурации легче воспринимаются как фигуры, чем конфигурации ассиметричные.

4. В том случае, когда поле изображения заполнено однородными элементами, фигуру образуют те из них, которые пространственно расположены ближе друг к другу.

5. Если поле изображения заполнено разнородными элементами, то фигура образуется, прежде всего, теми из них, которые имеют сходство по форме или цвету.

6. Если те или иные элементы перемещаются по полю изображения в одном направлении и с одинаковой скоростью, то именно они выделяются как фигура.

7. Если расположить часть элементов в определенном порядке, то можно создать у наблюдателя установку, которая повлияет на восприятие остальных элементов.

Решающий момент выделения фигуры из фона имеет восприятие контура. Именно восприятие контура обеспечивает возможность дифференцированного восприятия формы, известного единства строения, пропорций и взаимосвязи частей. При восприятии контура наиболее информативными являются точки, в которых происходит резкое изменение направления линий.

Чем сильнее контраст между фоном и фигурой, тем легче и быстрее происходит выделение фигуры. Контур любой фигуры - это комбинации элементарных форм: прямая линия, угол и т. д. Вырез в фигуре или контуре различается лучше, чем выступ. Достаточно хорошо глаз воспринимает также величины углов. Чем сложнее контур фигуры, чем больше информации получает при восприятии человек. Процент ошибки опознания для симметричных фигур меньше, чем для несимметричных. Но при этом необходимо учитывать, что на сложном фоне правильность опознании контуров уменьшается. При кодировании данных формой используются следующие типы или методы: числом точек, линий, величиной площади фигуры, пространственной конфигурации изображения.

Кодирование числом точек используется для обозначения числа объектов в группе или числа групп; при этом можно вместо точек использовать простые геометрические фигуры. Человек без счета может определить количество точек, расположенных в случайном порядке, если их не более пяти. Если же количество точек больше пяти, то число ошибок опознании резко увеличивается. Группировка точек в определенные схемы увеличивает точность оценки их количества. Если точки предъявляются на фоне других групп, сходных по структуре, то опознавание таких конфигураций резко понижается.

Размер или область, занятая какой-то конфигурацией, также может эффективно представлять значение данных, хотя подобно длине это плохая размерность стимула для кодирования тождественности данных. Эффективное разрешение при кодировании размером меньше, чем при кодировании длиной, потому что для кодирования размером требуется большая область отображения в пересчете ни единицу данных. Однако, такое кодирование оказывает большой психологический эффект. Достаточно хорошо идентифицируется 4-5 градаций фигур но площади. Использование изображений объемных тел нецелесообразно, так как при оценке величины человек обычно ориентируется на площадь фигуры, а не на ее объем. При сравнении с некоторыми эталонами, находящимися в информационном поле оператора, точность оценки величины площади фигуры резко возрастает. Кроме всего сказанного можно добавить, что само изменение площади фигуры несет в себе некоторую информацию, а размещение изображения в определенном месте поля зрения оператора может нести определенную смысловую нагрузку.

Представление информации в виде образов. Наиболее эффективным и несущим наибольший объем информации является представление данных в виде образов или картин. Восприятие человека устроено гак, что его мозг, взаимодействуя с внешним миром, воспринимая и осмысливая поступающую информацию, настраивается на определенные образы или эталоны, которые легко, без необходимого приспособления и тренировки, воспринимаются им и требуют дополнительного кодирования.

Основными преимуществами метода образного кодирования являются:

Возможность согласования большого потока информации с пропускной способностью сенсорных анализаторов человека;

Значительное сокращение объема ненужной информации;

Существенное снижение необходимости в априорных сведениях об изучаемом объекте;

Компактность в отношении занимаемой площади; .

Широкие возможности перестройки для обслуживания объектов различного назначения.

Поскольку человек - существо социальное, то наибольшее значение для него приобретают контакты с другими людьми. Это приводит к тому, что человек обучается распознавать огромное количество лиц. По выражению лица, мимике мы мгновенно определяем эмоциональнее состояние человека, но на ряду с основными эмоциональными состояниями мы различаем десятки их оттенков. Причем малейшие изменения. Этим определяется высокая информативность как самого лица, так и его выражения. Эта информативность лица передается в фотографиях, рисунках, карикатурах и т. д.

Анализ графической информации базируется на способности индивида интуитивно находить сходство и различия в объектах, при этом особенно хорошо запоминаются и распознаются черты лица. Указанные особенности человеческого восприятия эффективно используются в диаграммах "лица Чернова". Каждый объект представляет собой схематичное изображение лица, определенным чертам которого (ширине лица, длине носа, изгибу бровей, форме рта и т. д.) соответствуют относительные значения выбранных переменных (рис 1).

Рис.1. Примеры визуализации информации с помощью алгоритма Чернова.

Область применения системы лица разнообразна, но особенно перспективным является применение подобной системы для отображения медицинской информации, поскольку ряд физиологических характеристик человека непосредственно проявляется в чертах лица. Так по лицу можно с большой вероятностью правильно определить возраст человека, наличие избыточного веса, эмоциональное состояние, пол и т. п. Использование таких прямых ассоциаций резко сокращает время декодирования, т. е. перехода от изображения к исходному кодируемому значению параметра. Применение компьютерной графики, для синтеза изображения лиц из физиологических данных позволяет получать физиологический портрет испытуемого в прямом смысле этого слова.

Визуализация экспериментальных данных, представленных в виде числовых таблиц. В медико-психологических исследованиях результаты эксперимента часто представлены в виде числовых таблиц. Методы визуализации такого рода информации основаны, как правило, на переходе от многомерной к двумерной системе координат (метод главных компонент , методы структурного упорядочения, предложенные с соавторами ).

Рассмотрим алгоритм формирования координат объектов в методе начального упорядочения .

Для оценки рассогласования структур в RL и R2 вычисляется матрица взаимных расстояний dnk между элементами Xn и Xk из выборки X:

В n-й строке такой матрицы записаны расстояния от некоторого n-го элемента Xn до всех остальных (N-1) элементов множества https://pandia.ru/text/78/605/images/image004_27.gif" width="48" height="29 src="> до некоторого k-го элемента. Любую n-ю строку матрицы DN(X) можно рассматривать как результат упорядочения элементов относительно n-го элемента Xn путем отображения этого множества на числовую ось действительных чисел . Задавая на оси положение n-го элемента и принимая его за начало отсчета (точку Yn, координата которой на оси равна нулю), можно упорядочить образы выборки X на оси относительно n-го элемента, используя в качестве меры упорядочения расстояние от элемента Xn до всех остальных (N-1) элементов. Из точки Yn https://pandia.ru/text/78/605/images/image005_23.gif" width="23" height="24 src=">) построим перпендикулярно к оси другую числовую ось при этом k-й элемент выборки X расположим в точке пересечения осей https://pandia.ru/text/78/605/images/image008_14.gif" width="23" height="24 src=">.gif" width="48" height="29 src=">, подобно тому как это было осуществлено для оси . Координаты элементов на оси представляют собой расстояния от k-го элемента до всех остальных (N-1) элементов и позволяют судить о группируемости векторов около вектора Xk..gif" width="23" height="24 src="> определят некоторую псевдоплоскость . оценки и мониторинга психофизиологического состояния беременных женщин .

Эффективность данного метода зависит от “хорошего” выбора строк матрицы DN(X), который не должен быть совсем случаен. Выбор близких в RL элементов Xn и Xk в качестве центров упорядочения остальных (N-1) элементов на осях и нерационален, так как не дает существенно новой информации об упорядоченности выборки X, так что необходимо выбирать элементы X, относительно удаленные друг от друга. Поэтому в качестве центров упорядочения нами были выбраны «эталонный» объект и объект, имеющий наихудшие параметры (рис. 2).

Заключение. Суть приведенных методов - пути решения проблемы рационального обобщения и повышения наглядности отображаемой информации с целью создания оптимальных и комфортных условий труда оператора, с целью высвобождения его для решения задач высших уровней управления объектом или общей оценки задачи и условий функционирования на данном этапе принятия решений.

Результаты междисциплинарных исследований позволяют уверенно утверждать, что визуализация является одним из наиболее перспективных направлений повышения эффективности методов анализа и представления информации.

В работе представлены различные подходы к визуализации результатов экспериментальных социальных и медико-психологических исследований.

Работа выполнена при финансовой поддержке РГНФ (проект № в) и РФФИ (проект № а).

ЛИТЕРАТУРА

1. Зиновьев многомерных данных. - Красноярск: Изд. Красноярского государственного технического университета, 2000. - 180 с.

2. Современные методы представления и обработки биомедицинской информации: учебное пособие / Томский политехнический университет; Сибирский государственный медицинский университет; Под ред. ; . - Томск: Изд-во ТПУ, 2004. - 336 с.

3. , . Современные методы когнитивной визуализации многомерных данных - Томск: Некоммерческий фонд развития региональной энергетики, 2007. - 216 с.

4. , Эммануэль В. Информационные технологии в медико-биологических исследованиях. – СПб: Питер, 2003. – 528 с.

5. , . Аналитические исследования в медицине, биологии и экологии: учебное пособие - М. : Высшая школа, 2003. - 279 с.

6. , Шаропин система выявления групп риска среди беременных женщин //Информатика и системы управления, 2008, - № 2(16). - c. 22-23

Тема визуализации информации и инфографики регулярно всплывает при работе, да и в целом интересна как практика проектирования и дизайна. Хотя мы в компании работаем над веб-системами, где большинство задач решается стандартными средствами конструирования вроде форм или информационных блоков, иногда требуется емко и компактно подать большое количество информации. Часто это достаточно специфичные задачи, на продумывание интерфейса которых уходит немало времени. Правда, и задачи это одни из самых интересных.

У практики отображения информации в графическом виде много синонимов, но в последнее время чаще всего используются два — визуализация данных и инфографика. Существуют эти подходы уже достаточно давно , литературы по этому поводу написано много. Среди известных авторов и дизайнеров — Edward Tufte , Stephen Few , Ben Fry . Но в первую очередь интересно, где и как используется инфографика.

Применение

Сейчас существует множество интересных примеров визуализации, но многие из них скорее объекты искусства, чем практически полезные носители информации. Я вижу следующие области использования:

  • Статистика и отчеты . Самодостаточный жанр, когда данные за некий период времени показываются вместе. Например, статической картинкой в приложении к отчету или настраиваемым графиком в сервисе статистики, с возможностью изменения параметров его отображения.
  • Справочная информация . Дополнение к основному тексту, наглядно иллюстрирующее его упоминаемыми данными. Скажем, дать общее представление о динамике одного из показателей, либо отобразить какой-то процесс и его этапы; может быть — показать структуру некого явления.
  • Интерактивные сервисы . Продукты и проекты, в которых инфографика является частью функциональности. Так, в качестве средства навигации по сервисам со сложным workflow может являться диаграмма процесса. Почти все, что связано с работой с картами и вовсе редко обходится без микса инфографики и интерактивности, не говоря уже о специализированных системах вроде диспетчерских и большей части компьютерных игр.
  • Иллюстрации . Не совсем чистый жанр — скорее, использование практик и подходов красивого отображения данных для создания самостоятельных иллюстраций. Они несут некий смысл, но это не основная их задача — основной ценностью является качество исполнения.
  • Чертежи и схемы . Специализированные документы, показывающие структуру и процесс работы сложных инженерных и природных систем. Помимо различных карт, зачастую это редко использующиеся в повседневной жизни вещи вроде схем печатных плат.
  • Эксперименты и искусство . Визуализация данных без особого практического смысла, скорее в качестве экспериментов или инсталляций. Чаще всего это сложные и громоздкие изображения, которые сложно “прочитать” бегло — объем данных и взаимосвязей между ними таков, что нужно разбираться с картинкой по частям; либо просто абстрактные изображения, автоматически сгенерированные. В последнее время направление все более популярно и периодически выходит за рамки компьютерной графики — например, в виде графиков-скульптур.

Классификация

Набор инструментов визуализации достаточно обширен — от простейших линейных графиков до сложных отображений множества связей. Разбить их можно на несколько типов:

Графики

Показывают зависимость данных друг от друга. Строятся по осям X и Y, хотя могут быть и трехмерными.


(line chart, area chart). Наиболее распространенный случай. Объединяет линией набор точек, соответствующих значениям по осям. Например, ежедневная посещаемость сайта за месяц. Может показывать сразу несколько наборов данных — например, статистику просмотров для 3 наиболее популярных страниц.
Примеры: © BFM.ru , SmartMoney , TeleGeography Research
(scatterplot). Показывает распределение ограниченного набора точек, соответствующих значениям по осям. Между точек часто рисуется линия тренда — она наглядно показывает закономерности среди значений. Например, связь между стажем работы и производительностью труда среди 50 сотрудников компании (просто соединить полученные точки в виде линейного графика нельзя — и смысл искажается, и линия будет будет дерганой).
Примеры: © Statcon
Другие примеры в галерее паттернов

Диаграммы сравнения

Показывают соотношения набора данных. Во многих случаях строятся вокруг осей, хотя и необязательно.

(bar chart). Показывает один или несколько наборов данных, сравнивая их между собой. Существует два варианта отображения в случае нескольких наборов — либо в виде нескольких стоящих рядом столбиков, либо в виде одного, но поделенного внутри в соответствии с долями значений. Например, ежегодная прибыль трех компаний за последние 5 лет или доли рынка трех компаний за это же время.
Примеры: © SmartMoney
Другие примеры в галерее паттернов
(histogram). Показывает распределение набора данных внутри выборки в виде столбиков. Например, количество сотрудников компании в нескольких возрастных группах.
Примеры: © Студия Артемия Лебедева , Большая Советская Энциклопедия
Другие примеры в галерее паттернов
(pie chart). Отображает процент, занимаемый каждым значением внутри набора данных, в виде разбитого на части круга. Например, доли рынка сотовых операторов. Может отображать сразу несколько наборов данных — в этом случае диаграммы наложены друг на друга, причем каждая из них меньше предыдущей. Например, доли рынка сотовых операторов за последение 3 года.
Примеры: © Candy Chang , Density Design , GraphJam
Другие примеры в галерее паттернов
(bubble chart). Микс графика и диаграммы — по двум осям расставлен набор точек, соответствующий значениям. При этом сами точки не соединены и имеют различную величину, которая задается третьим параметром. Например, сравнение количества купленных товаров, общей стоимости покупки и величины общего бюджета покупателя.
Примеры: © (автор неизвестен), Секрет Фирмы , Коммерсантъ.Деньги
Другие примеры в галерее паттернов
(ring chart). Показывает процент от максимального количества, которое занимает одно из значений в наборе данных, в виде частично закрашенного кольца. Например, количество завоеванных на чемпионате медалей относительно максимального. Часто используется сразу несколько таких диаграмм, сравнивая разные значения.
Примеры: © Wired , New York Times
Другие примеры в галерее паттернов
(span chart). Показывает минимальную и максимальную величину значений внутри набора данных в виде урезанной столбиковой диаграммы. Начало столбика лежит не на горизонтальной оси, а в точке минимального значения по вертикали. Например, разброс стоимости квадратного метра жилья в разных районах города.
Примеры: © Potsdam University of Applied Sciences
Другие примеры в галерее паттернов
(radar chart). Сравнивает величины нескольких значений, каждая из которых соответствует точке на оси. Количество осей соответствует количеству значений, а точки объединены линями. Например, сравнение рентабельности каждого из 8 направлений деятельности компании.
Примеры: © Секрет Фирмы , Pedro Monteiro , Main Library at Queen Mary (University of London)
Другие примеры в галерее паттернов
(tag cloud). Сравнивает ключевые слова или фразы (значения), содержащиеся внутри фрагмента текста (набора данных), задавая каждому из них свой размер шрифта. Размер шрифта зависит от величины параметра. Например, 25 самых часто упоминаемых в газетах слов за декабрь 2008 года.
Примеры: © Flickr , Martin Ignacio Bereciartua
Другие примеры в галерее паттернов
(heat map). Сравнивает значения внутри набора данных, закрашивая их одним из цветов в заранее выбранном спектре. Основой является изображение или другая диаграмма, на которой расставлены значения. Цвет зависит от величины параметра и чаще всего накладывается в виде пятен. Например, страны мира с наиболее высоким атмосферным давлением или элементы главной страницы сайта, по которым пользователи кликают чаще всего.
Примеры: © Dylan Vester , CrazyEgg
Другие примеры в галерее паттернов

Деревья и структурные диаграммы

Показывают структуру набора данных и взаимосвязи между его элементами.

Граф и дерево (graph, tree). Показывает иерархию набора данных, в которой элементы являются родительскими или дочерними по отношению друг к другу. Выстраивается в виде соединенных линиями узлов либо сверху вниз, либо из центра композиции. Узел обычно отображается кругом или прямоугольником. Например, карта сайта.
Примеры: © Concept Draw , Karen Leech, (автор неизвестен)
Другие примеры в галерее паттернов
(mind map). Показывает состав и структуру явления или понятия в виде графа, в котором каждый узел имеет один или несколько дочерних элементов. Это частный случай графа, с той разницей что ветви обычно симметрично расходятся из узла, расположенного в центре изображения. Например, конспект книги по управлению проектами, который отражает ее содержание и основные понятия.
Примеры: © Adaptive Path , Ethan Hein , Comic vs Audience
Другие примеры в галерее паттернов
Формализованные структурные диаграммы . Показывают состав и структуру системы или ее части в виде карточек, которые описаны с разной степенью детализации и связаны друг с другом как родительские и дочерние. Отображается в стандартизованном виде — например, с помощью UML (Unified Modeling Language) или IDEF1X (Integration Definition for Information Modeling). Например, все сущности, необходимые для работы одного из модулей программной системы.
Примеры: © Concept Draw , Wikipedia
Другие примеры в галерее паттернов
(Venn/Euler diagram). Показывает отношения между значениями набора данных в виде накладывающихся друг на друга кругов (чаще всего трех). Область, в которой пересекаются все круги, показывает общее между ними. Например, пересечением соблюдения сроков, бюджета и поставленных задач является успех проекта.
Примеры: © Phil Glockner , Dan Saffer
Другие примеры в галерее паттернов
(tree map). Показывает иерархию набора данных, в которой элементы являются родительскими или дочерними по отношению друг к другу. Отображается в виде набора вложенных прямоугольников, каждый из которых является ветвью дерева, а находящиеся внутри него — дочерними элементами и ветвями. Прямоугольники различаются по размеру в зависимости от параметра и имеют цвет, который задается другим параметром. Например, детальная структура бюджета компании, в котором цветом показан процент изменения каждого пункта по сравнению с предыдущим годом.
Примеры: © Tableau Software , Panopticon , Panopticon
Другие примеры в галерее паттернов

Диаграммы визуализации процесса

Показывают процесс, состоящий из последовательности действий. Может включать один или несколько сценариев развития событий.

(block diagram). Показывает ключевые шаги, которые проходит процесс, в виде связанных друг с другом однонаправленными стрелками блоков. Отображается в стандартизированном формате, где вид блока зависит от его роли в процессе. Например, схема процесса утверждения и публикации статьи внутри редакции.
Примеры: © Density Design , Allen Holub , Concept Draw
Другие примеры в галерее паттернов
(block diagram). Показывает ключевые шаги, которые проходит процесс, в виде связанных друг с другом стрелками блоков. Отображается в свободной форме, когда шаги показаны произвольными фигурами, а стрелки могут быть двунаправленными или вообще не иметь направления. Кроме того, блоки могут быть объединены в группы. Например, упрощенная схема передвижения средств при SMS-платежах.
Примеры: © Tapulous , Секрет Фирмы , David Armano
Другие примеры в галерее паттернов
. Показывает ключевые шаги процесса, который содержит набор повторяющихся действий. Циклическая часть отображается в виде кольца, которое образуют соединенные стрелками шаги. А начало и окончание процесса — входящей и выходящей из круга стрелками. Например, последовательность процесса проверки качества, который проходит во время работы над программным продуктом.
Примеры: © Fruitful, eStrara, Idiagram
Другие примеры в галерее паттернов
(Sankey diagram). Показывает ключевые шаги процесса и интенсивность его протекания на каждом из участков. Отображается без узлов, в виде соединяющихся и разветвляющихся линий разной толщины (в зависимости от величины параметра). Имеет любое количество начальных и конечных точек, а значит и множество сценариев развития. Например, процесс передачи тепла от ТЭЦ к бойлерной станции, включая его потери по различным причинам.
Примеры: © , Sankey-diagrams.com , IBM
Другие примеры в галерее паттернов

Матрицы

Сопоставляют между собой значения внутри набора данных в виде таблицы.

Таблица (matrix). Показывает набор данных в виде заполненных его значениями ячеек, которые образуют собой строки и столбцы. Каждому столбцу и строке соответствует параметр, который определяет конкретную ячейку для значения. Например, бюджет отделов компании за каждый год ее существования.
Примеры: © Известия , PresseBox , Elliance
Другие примеры в галерее паттернов
. Частный случай таблицы. Показывает календарный месяц по номерам и дням недели.
Примеры: © thenonhacker , Yahoo! UI Patterns Library
Другие примеры в галерее паттернов

Диаграммы времени

Показывают распределение данных в зависимости от времени.

(timeline). Показывает значения из набора данных на горизонтальной оси, которая соответствует времени. Отрезки между значениями могут быть любой величины. Например, линия годов XX века, на которой отмечены крупные военные конфликты.
Примеры: © Секрет Фирмы , Rodrigo Ronda Leon , GOOD Magazine
Другие примеры в галерее паттернов
(Gantt diagram). Показывает последовательность, длительность, а также время начала и окончания этапов и конкретных задач, необходимых для выполнения проекта. Отображается в виде “водопада” из одного или нескольких каскадов — соединенных стрелками блоков, выстроенных по диагонали сверху вниз, слева направо (т.е. “лестницей”). Причем длина блока зависит от необходимого для выполнения времени. Например, задачи, которые нужно выполнить для написания, подготовки к печати и выпуска книги. Диаграмму можно также отнести и к группе визуализирующих процесс, но обе ее части (длительность и последовательность действий) одинаково важны, поэтому тут уже дело вкуса.
Примеры: © MS Project , Todd R. Warfel
Другие примеры в галерее паттернов

Карты

Показывают данные, зависимые от географии или архитектуры некого объекта.

. Показывает в схематичном виде состав и расположение частей географического объекта. Например, мир в целом или остров.
Примеры: © Google Maps , TeleGeography Research , Flowing Data
Другие примеры в галерее паттернов
. Показывает географический объект в виде фотографии со спутника или самолета. Например, мир в целом или город.
Примеры: © Google Maps , Яндекс.Карты
Другие примеры в галерее паттернов
. Показывает в схематичном виде трассы, магистрали, железные и другие дороги, наложенные на очертания географических объектов. Например, автомобильная карта дорог области.
Примеры: © MapQuest , Яндекс.Карты
Другие примеры в галерее паттернов
. Показывает различные объекты в виде маркеров на карте мира, страны или города. Объектами чаще всего являются те, что построены человеком: дома, магазины, памятники, объекты инфраструктуры и т.п. на карте города; либо города на карте страны; либо страны на карте мира. Основой может являться практически любая карта, но обычно используются географическая, фотографическая, дорожная или топографическая карты. Например, расположение офисов компании на карте города.
Примеры: © Яндекс.Карты , Автокадабра
Другие примеры в галерее паттернов
(cartogram). Показывает в виде схематичной карты набор данных, каждое из значений которого привязано к географическому объекту. При этом размер и форма объекта зависит от величины значения. Например, карта мира, на которой величина страны зависит от количества ее населения.
Примеры: © Density Design , (автор неизвестен), Manuel Marino
Другие примеры в галерее паттернов
(floor plan). Показывает в схематичном виде форму и внутреннее строение одного из этажей здания или другого архитектурного сооружения. Также может показывать расстановку мебели и других предметов наполнения помещений. Например, план помещений двухкомнатной квартиры.
Примеры: © Christian’s of Bucks Point , (автор неизвестен), (автор неизвестен)
Другие примеры в галерее паттернов
. Показывает остановки общественного транспорта в виде одной или нескольких пересекающихся линий разного цвета. Линия соответствует заранее определенной последовательности станций. В некоторых случаях накладывается на упрощенную географическую карту. Например, карта метро.
Круговая диаграмма связей (network diagram, arc diagram). Показывает связи внутри набора данных в виде кольца, на котором расставлены значения. Значения связаны дугами или линиями, находящимися во внутренней области круга. При большом количестве значений они могут находиться и внутри кольца, хотя это менее наглядно. Связи также могут иметь направление. Например, являются ли взаимными друзьями участники группы в социальной сети.
Примеры: © Ethan Hein , Ethan Hein , Josef Muller-Brockmann
Другие примеры в галерее паттернов
. Показывает связи внутри набора данных в виде линии, на которой расставлены значения. Значения связаны дугами, находящимися сверху и снизу линии. Связи также могут иметь направление. Это альтернативный вариант отрисовки круговой диаграммы связей — смысл и задачи у них одинаковые.
Примеры: © Martin Dittus , Andreas Koller & Philipp Steinweber , TeleGeography Research
Другие примеры в галерее паттернов
. Показывает связи внутри набора данных в виде земного шара или географической карты, на которой расставлены значения. Значения связаны дугами, если изображение трехмерное, или линиями, если карта плоская. Связи также могут иметь направление. Например, маршруты всех находящихся сейчас в воздухе самолетов.
Примеры: © National Science Foundation , Ensci , MIT Senseable City Lab
Другие примеры в галерее паттернов
(dendrogram). Показывает близость значений набора данных по одному из параметров, используя ось Y для расстановки самих значений, а ось X — величины параметра. Отображается в виде набора соединяющихся друг с другом горизонтальных линий, которые соединяются, если значения совпадают по параметру. Причем чем раньше совпадение значений находится по оси X, тем ближе они друг к другу. Например, сравнение годовой выручки 30 предприятий.
Примеры: © GUI.ru , New York Times , Kate Jones
Другие примеры в галерее паттернов

Иллюстрации

Показывают процесс или явление в неформализованном виде.

. Показывает ключевые шаги, которые проходит процесс, в виде изображенного на картинке сюжета. Либо структуру явления в виде визуальной метафоры. По сути является аналогом графика, диаграммы или неформальной блок-схемы. Например, изображение круговорота воды в природе в книге по природоведению.
Примеры: © Athletics NYC , Christian Montenegro , журнал «Популярные Финансы»
Другие примеры в галерее паттернов
. Показывает ключевые шаги последовательного процесса или явления в виде набора картинок, каждая из которых показывает один из его этапов в виде небольшого сюжета. Например, три этапа процесса параллельной парковки в инструкции для водителей.
Примеры: © Scenic Valley Driving School , Elliance
Другие примеры в галерее паттернов

С возрастанием количества накапливаемых данных, даже при использовании сколь угодно мощных и разносторонних алгоритмов Data Mining, становится все сложнее "переваривать" и интерпретировать полученные результаты. А, как известно, одно из положений Data Mining - поиск практически полезных закономерностей. Закономерность может стать практически полезной, только если ее можно осмыслить и понять.

В 1987 году по инициативе ACM SIGGRAPH IEEE Computer Society Technical Committee of Computer Graphics, в связи с необходимостью использования новых методов, средств и технологий данных, были сформулированы соответствующие задачи направления визуализации. К способам визуального или графического представления данных относят графики, диаграммы, таблицы, отчеты, списки, структурные схемы, карты и т.д. Визуализация традиционно рассматривалась как вспомогательное средство при анализе данных, однако сейчас все больше исследований говорит о ее самостоятельной роли.

Традиционные методы визуализации могут находить следующее применение:

Ø представлять пользователю информацию в наглядном виде;

Ø компактно описывать закономерности, присущие исходному набору данных;

Ø снижать размерность или сжимать информацию;

Ø восстанавливать пробелы в наборе данных;

Ø находить шумы и выбросы в наборе данных.

Визуализация инструментов Data Mining

Каждый из алгоритмов Data Mining использует определенный подход к визуализации. В ходе использования каждого из методов, рассмотренных выше, а точнее, их программных реализаций, мы получали некие визуализаторы, при помощи которых удавалось интерпретировать результаты, полученные в результате работы соответствующих методов и алгоритмов.

Ø Для деревьев решений это визуализатор дерева решений, список правил, таблица сопряженности.

Ø Для карт Кохонена: карты входов, выходов, другие специфические карты.

Ø Для линейной регрессии в качестве визуализатора выступает линия регрессии.

Ø Для кластеризации: дендрограммы, диаграммы рассеивания.

Диаграммы и графики рассеивания часто используются для оценки качества работы того или иного метода.

Все эти способы визуального представления или отображения данных могут выполнять одну из функций:

Ø являются иллюстрацией построения модели (например, представление структуры (графа) нейронной сети);

Ø помогают интерпретировать полученный результат;

Ø являются средством оценки качества построенной модели;

Ø сочетают перечисленные выше функции (дерево решений, дендрограмма).

Визуализация Data Mining моделей



Первая функция (иллюстрация построения модели), по сути, является визуализацией Data Mining модели. Существует много различных способов представления моделей, но графическое ее представление дает пользователю максимальную "ценность". Пользователь, в большинстве случаев, не является специалистом в моделировании, чаще всего он эксперт в своей предметной области. Поэтому модель Data Mining должна быть представлена на наиболее естественном для него языке или, хотя бы, содержать минимальное количество различных математических и технических элементов.

Таким образом, доступность является одной из основных характеристик модели Data Mining. Несмотря на это, существует и такой распространенный и наиболее простой способ представления модели, как "черный ящик". В этом случае пользователь не понимает поведения той модели, которой пользуется. Однако, несмотря на непонимание, он получает результат - выявленные закономерности. Классическим примером такой модели является модель нейронной сети.

Другой способ представления модели - представление ее в интуитивном, понятном виде. В этом случае пользователь действительно может понимать то, что происходит "внутри" модели. Таким образом, можно обеспечить его непосредственное участие в процессе. Такие модели обеспечивают пользователю возможность обсуждать ее логику с коллегами, клиентами и другими пользователями, или объяснять ее.

Понимание модели ведет к пониманию ее содержания. В результате понимания возрастает доверие к модели. Классическим примером является дерево решений. Построенное дерево решений действительно улучшает понимание модели, т.е. используемого инструмента Data Mining.

Кроме понимания, такие модели обеспечивают пользователя возможностью взаимодействовать с моделью, задавать ей вопросы и получать ответы. Примером такого взаимодействия является средство "что, если". При помощи диалога "система-пользователь" пользователь может получить понимание модели.

Примерами средств визуализации, при помощи которых можно оценить качество модели, являются диаграмма рассеивания, таблица сопряженности, график изменения величины ошибки:

Ø Диаграмма рассеивания представляет собой график отклонения значений, прогнозируемых при помощи модели, от реальных. Эти диаграммы используют для непрерывных величин. Визуальная оценка качества построенной модели возможна только по окончанию процесса построения модели.

Ø Таблица сопряженности используется для оценки результатов классификации. Такие таблицы применяются для различных методов классификации. Оценка качества построенной модели возможно только по окончанию процесса построения модели.

Ø График изменения величины ошибки. График демонстрирует изменение величины ошибки в процессе работы модели. Например, в процессе работы нейронных сетей пользователь может наблюдать за изменением ошибки на обучающем и тестовом множествах и остановить обучение для недопущения "переобучения" сети. Здесь оценка качества модели и его изменения может оцениваться непосредственно в процессе построения модели.

Примерами средств визуализации, которые помогают интерпретировать результат, являются: линия тренда в линейной регрессии, карты Кохонена, диаграмма рассеивания в кластерном анализе.

Методы визуализации

Методы визуализации, в зависимости от количества используемых измерений, принято классифицировать на две группы:

1. Представление данных в одном, двух и трех измерениях

К этой группе методов относятся хорошо известные способы отображения информации, которые доступны для восприятия человеческим воображением. Практически любой современный инструмент Data Mining включает способы визуального представления из этой группы.

В соответствии с количеством измерений представления это могут быть следующие способы:

Ø одномерное измерение, или 1-D;

Ø двумерное измерение, или 2-D;

Ø трехмерное или проекционное измерение, или 3-D.

Следует заметить, что наиболее естественно человеческий глаз воспринимает двухмерные представления информации.

При использовании двух- и трехмерного представления информации пользователь имеет возможность увидеть закономерности набора данных:

Ø его кластерную структуру и распределение объектов на классы (например, на диаграмме рассеивания);

Ø топологические особенности;

Ø наличие трендов;

Ø информацию о взаимном расположении данных;

Ø существование других зависимостей, присущих исследуемому набору данных.

Если набор данных имеет более трех измерений, то возможны такие варианты:

ü использование многомерных методов представления информации (они рассмотрены ниже);

ü снижение размерности до одно-, двух- или трехмерного представления. Существуют различные способы снижения размерности. Для снижения размерности и одновременного визуального представления информации на двумерной карте используются самоорганизующиеся карты Кохонена.

2. Представление данных в 4 + измерениях

Представления информации в четырехмерном и более измерениях недоступны для человеческого восприятия. Однако разработаны специальные методы для возможности отображения и восприятия человеком такой информации.

"Говорят, один рисунок стоит тысячи слов, и это действительно так, но при условии, что рисунок хороший." Боумена

С возрастанием количества накапливаемых данных, даже при использовании сколь угодно мощных и разносторонних алгоритмов Data Mining, становится все сложнее "переваривать" и интерпретировать полученные результаты. А, как известно, одно из положений Data Mining - поиск практически полезных закономерностей. Закономерность может стать практически полезной, только если ее можно осмыслить и понять.

В 1987 году по инициативе ACM SIGGRAPH IEEE Computer Society Technical Committee of Computer Graphics, в связи с необходимостью использования новых методов, средств и технологий данных, были сформулированы соответствующие задачи направления визуализации.

К способам визуального или графического представления данных относят графики, диаграммы, таблицы, отчеты, списки, структурные схемы, карты и т.д.

Визуализация традиционно рассматривалась как вспомогательное средство при анализе данных, однако сейчас все больше исследований говорит о ее самостоятельной роли.

Традиционные методы визуализации могут находить следующее применение:

представлять пользователю информацию в наглядном виде;

компактно описывать закономерности, присущие исходному набору данных;

снижать размерность или сжимать информацию;

восстанавливать пробелы в наборе данных;

находить шумы и выбросы в наборе данных.

Визуализация инструментов Data Mining

Каждый из алгоритмов Data Mining использует определенный подход к визуализации. В предыдущих лекциях мы рассмотрели ряд методов Data Mining. В ходе использования каждого из методов, а точнее, его программной реализации, мы получали некие визуализаторы, при помощи которых нам удавалось интерпретировать результаты, полученные в результате работы соответствующих методов и алгоритмов.

Для деревьев решений это визуализатор дерева решений, список правил, таблица сопряженности.

Для нейронных сетей в зависимости от инструмента это может быть топология сети, график изменения величины ошибки, демонстрирующий процесс обучения.

Для карт Кохонена: карты входов, выходов, другие специфические карты.

Для линейной регрессии в качестве визуализатора выступает линия регрессии.

Для кластеризации: дендрограммы, диаграммы рассеивания.

Диаграммы и графики рассеивания часто используются для оценки качества работы того или иного метода.

Все эти способы визуального представления или отображения данных могут выполнять одну из функций:

являются иллюстрацией построения модели (например, представление структуры (графа) нейронной сети);

помогают интерпретировать полученный результат;

являются средством оценки качества построенной модели;

сочетают перечисленные выше функции (дерево решений, дендрограмма).

Визуализация Data Mining моделей

Первая функция (иллюстрация построения модели), по сути, является визуализацией Data Mining модели. Существует много различных способов представления моделей, но графическое ее представление дает пользователю максимальную "ценность". Пользователь, в большинстве случаев, не является специалистом в моделировании, чаще всего он эксперт в своей предметной области. Поэтому модель Data Mining должна быть представлена на наиболее естественном для него языке или, хотя бы, содержать минимальное количество различных математических и технических элементов.

Таким образом, доступность является одной из основных характеристик модели Data Mining. Несмотря на это, существует и такой распространенный и наиболее простой способ представления модели, как "черный ящик". В этом случае пользователь не понимает поведения той модели, которой пользуется. Однако, несмотря на непонимание, он получает результат - выявленные закономерности. Классическим примером такой модели является модель нейронной сети.

Другой способ представления модели - представление ее в интуитивном, понятном виде. В этом случае пользователь действительно может понимать то, что происходит "внутри" модели. Таким образом, можно обеспечить его непосредственное участие в процессе.

Такие модели обеспечивают пользователю возможность обсуждать ее логику с коллегами, клиентами и другими пользователями, или объяснять ее.

Понимание модели ведет к пониманию ее содержания. В результате понимания возрастает доверие к модели. Классическим примером является дерево решений. Построенное дерево решений действительно улучшает понимание модели, т.е. используемого инструмента Data Mining.

Кроме понимания, такие модели обеспечивают пользователя возможностью взаимодействовать с моделью, задавать ей вопросы и получать ответы. Примером такого взаимодействия является средство "что, если". При помощи диалога "системапользователь" пользователь может получить понимание модели.

Теперь перейдем к функциям, которые помогают интерпретировать и оценить результаты построения Data Mining моделей. Это всевозможные графики, диаграммы, таблицы, списки и т.д.

Примерами средств визуализации, при помощи которых можно оценить качество модели, являются диаграмма рассеивания, таблица сопряженности, график изменения величины ошибки.

Диаграмма рассеивания представляет собой график отклонения значений, прогнозируемых при помощи модели, от реальных. Эти диаграммы используют для непрерывных величин. Визуальная оценка качества построенной модели возможна только по окончанию процесса построения модели.

Таблица сопряженности используется для оценки результатов классификации. Такие таблицы применяются для различных методов классификации. Они уже использовались нами в предыдущих лекциях. Оценка качества построенной модели возможно только по окончанию процесса построения модели.

График изменения величины ошибки . График демонстрирует изменение величины ошибки в процессе работы модели. Например, в процессе работы нейронных сетей пользователь может наблюдать за изменением ошибки на обучающем и тестовом множествах и остановить обучение для недопущения "переобучения" сети. Здесь оценка качества модели и его изменения может оцениваться непосредственно в процессе построения модели.

Примерами средств визуализации, которые помогают интерпретировать результат, являются: линия тренда в линейной регрессии, карты Кохонена, диаграмма рассеивания в кластерном анализе.

Методы визуализации

Методы визуализации, в зависимости от количества используемых измерений, принято классифицировать на две группы :

представление данных в одном, двух и трех измерениях;

представление данных в четырех и более измерениях.

Представление данных в одном, двух и трех измерениях

К этой группе методов относятся хорошо известные способы отображения информации, которые доступны для восприятия человеческим воображением. Практически любой современный инструмент Data Mining включает способы визуального представления из этой группы.

В соответствии с количеством измерений представления это могут быть следующие способы:

одномерное (univariate) измерение, или 1-D;

двумерное (bivariate) измерение, или 2-D;

трехмерное или проекционное (projection) измерение, или 3-D.

Следует заметить, что наиболее естественно человеческий глаз воспринимает двухмерные представления информации.

При использовании двух- и трехмерного представления информации пользователь имеет возможность увидеть закономерности набора данных:

его кластерную структуру и распределение объектов на классы (например, на диаграмме рассеивания);

топологические особенности;

наличие трендов;

информацию о взаимном расположении данных;

существование других зависимостей, присущих исследуемому набору данных.

Если набор данных имеет более трех измерений, то возможны такие варианты:

использование многомерных методов представления информации (они рассмотрены ниже);

снижение размерности до одно-, двухили трехмерного представления. Существуют различные способы снижения размерности, один из них - факторный анализ - был рассмотрен в одной из предыдущих лекций. Для снижения размерности и одновременного визуального представления информации на двумерной карте используются самоорганизующиеся карты Кохонена.

Представление данных в 4 + измерениях

Представления информации в четырехмерном и более измерениях недоступны для человеческого восприятия. Однако разработаны специальные методы для возможности отображения и восприятия человеком такой информации.

Наиболее известные способы многомерного представления информации:

параллельные координаты;

∙ "лица Чернова";

лепестковые диаграммы.

Параллельные координаты

В параллельных координатах переменные кодируются по горизонтали, вертикальная линия определяет значение переменной. Пример набора данных, представленного в декартовых координатах и параллельных координатах, дан на рис. 16.1 . Этот метод представления многомерных данных был изобретен Альфредом Инселбергом (Alfred Inselberg) в 1985 году.