В общем случае для объяснения корреляционной матрицы потребуется не один, а несколько факторов. Каждый фактор характеризуется столбцом, каждая переменная - строкойматрицы . Фактор называется генеральным, если все его нагрузки значительно отличаются от нуля и он имеет нагрузки от всех переменных. Генеральный фактор имеет нагрузки от всех переменных и схематически такой фактор изображен на рис.1. столбцом .Фактор называется общим , если хотя бы две его нагрузки значительно отличаются от нуля. Столбцы , на рис. 1. представляют такие общие факторы. Они имеют нагрузки от более чем двух переменных. Если у фактора только одна нагрузка, значительно отличающаяся от нуля, то он называется характерным фактором (см. столбцы на рис. 1. ) Каждый такой фактор представляет только одну переменную. Решающее значение в факторном анализе имеют общие факторы. Если общие факторы установлены, то характерные факторы получаются автоматически. Число высоких нагрузок переменной на общие факторы называется сложностью . Например, переменная на рис.1. имеет сложность 2, а переменная - три.

Рис. 1. Схематическое изображение факторного отображения. Крестик означает высокую факторную нагрузку.

Итак, построим модель

, (4)

где - ненаблюдаемые факторы m < k ,

Наблюдаемые переменные (исходные признаки),

Факторные нагрузки,

Случайная ошибка связанная только с с нулевым средним и дисперсией :

И - некорpелированы,

Некоррелированные случайные величины с нулевым средним и единичной дисперсией .

(5)

Здесь - i -ая общность представляющая собой часть дисперсии , обусловленная факторами, - часть дисперсии , обусловленная ошибкой. В матричной записи факторная модель примет вид:

(6)

где - матрица нагрузок, - вектор факторов, - вектор ошибок.

Корреляции между переменными, выраженные факторами, можно вывести следующим образом:

где - диагональная матрица порядка , содержащая дисперсии ошибок[i]. Основное условие: - диагональная, - неотрицательно определенная матрица. Дополнительным условием единственности решения является диагональность матрицы .

Имеется множество методов решения факторного уравнения. Наиболее ранним методом факторного анализа является метод главных факторов , в котором методика анализа главных компонент используется применительно к редуцированной корреляционной матрице с общностями на главной диагонали. Для оценки общностей обычно пользуются коэффициентом множественной корреляции между соответствующей переменной и совокупностью остальных переменных.

Факторный анализ проводится исходя из характеристического уравнения, как и в анализе главных компонент:

(8)

Решая которое, получают собственные числа λ i и матрицу нормированных (характеристических) векторов V, и затем находят матрицу факторного отображения:

Для получения оценок общностей и факторных нагрузок используется эмпирический итеративный алгоритм, который сходится к истинным оценкам параметров. Сущность алгоритма сводится к следующему: первоначальные оценки факторных нагрузок определяются с помощью метода главных факторов. На основании корреляционной матрицы R формально определяются оценки главных компонент и общих факторов:

(9)

где - соответствующее собственное значение матрицы R;

Исходные данные (вектор-столбцы);

Коэффициенты при общих факторах;

Главные компоненты (вектор-столбцы).

Оценками факторных нагрузок служат величины

Оценки общностей получаются как

На следующей итерации модифицируется матрица R - вместо элементов главной диагонали подставляются оценки общностей, полученные на предыдущей итерации; на основании модифицированной матрицы R с помощью вычислительной схемы компонентного анализа повторяется расчет главных компонент (которые не являются таковыми с точки зрения компонентного анализа), ищутся оценки главных факторов, факторных нагрузок, общностей, специфичностей. Факторный анализ можно считать законченным, когда на двух соседних итерациях оценки общностей меняются слабо.

Примечание. Преобразования матрицы R могут нарушать положительную определенность матрицы R + и, как следствие, некоторые собственные значения R + могут быть отрицательными.

Факторный анализ - это ветвь математической статистики. Его цели, как и цель других разделов математической статистики, заключается в разработке моделей, понятий и методов, позволяющих анализировать и интерпретировать массивы экспериментальных или наблюдаемых данных вне зависимости от их физической формы.

Одной из наиболее типичных форм представления экспериментальных данных является матрица, столбцы которой соответствуют различным параметрам, свойствам, тестам и т.п., а строки - отдельным объектам, явлениям, режимам, описываемым набором конкретных значений параметров. На практике размеры матрицы оказываются достаточно большими: так, число строк этой матрицы может колебаться от нескольких десятков до нескольких сотен тысяч (например, при социологических обследованиях), а число столбцов - от одного - двух до нескольких сотен. Непосредственный, “визуальный”, анализ матриц такого размера невозможен, поэтому в математической статистике возникло много подходов и методов, предназначенных для того, чтобы “сжать” исходную информацию, заключенную в матрице, до обозримых размеров, извлечь из исходной информации наиболее “существенное”, отбросив “второстепенное”, “случайное”.

При анализе данных, представленных в форме матрицы, возникают два типа задач. Задачи первого типа имеют целью получить “короткое описание” распределения объектов, а задачи второго - выявить взаимоотношения между параметрами.

Следует иметь в виду, что основной стимул для появления указанных задач заключается не только и не столько в желании коротко закодировать большой массив чисел, а в значительно более принципиальном обстоятельстве, имеющем методологический характер: коль скоро удалось коротко описать большой массив чисел, то можно верить, что вскрыта некая объективная закономерность, обусловившая возможность короткого описания; а ведь именно поиск объективных закономерностей и является основной целью, ради которой, как правило, и собираются данные.

Упомянутые подходы и методы обработки матрицы данных отличаются тем, какого типа задачи обработки данных они предназначены решать, и тем, к матрицам какого размера они применимы.

Что же касается проблемы короткого описания связей между параметрами при среднем числе этих параметров, то в данном случае соответствующая корреляционная матрица содержит несколько десятков или сотен чисел и сама по себе она еще не может служить “коротким описанием” существующих связей между параметрами, а должна с этой целью подвергнуться дальнейшей обработке.

Факторный анализ как раз и представляет собой набор моделей и методов, предназначенных для “сжатия” информации, содержащейся в корреляционной матрице. В основе различных моделей факторного анализа лежит следующая гипотеза: наблюдаемые или измеряемые параметры являются лишь косвенными характеристиками изучаемого объекта или явления, на самом же деле существуют внутренние (скрытые, не наблюдаемые непосредственно) параметры или свойства, число которых мало и которые определяют значения наблюдаемых параметров. Эти внутренние параметры принято называть факторами. Задача факторного анализа - представить наблюдаемые параметры в виде линейных комбинаций факторов и, может быть, некоторых дополнительных, “не существенных” величин - “помех”. Замечательным является тот факт, что, хотя сами факторы не известны, такое разложение может быть получено и, более того, такие факторы могут быть определены, т.е. для каждого объекта могут быть указаны значения каждого фактора.

Факторный анализ, независимо от используемых методов, начинается с обработки таблицы интеркорреляций, полученных на множестве тестов, известной как корреляционная матрица, а заканчивается получением факторной матрицы, т.е. таблицы, показывающей вес или нагрузку каждого из факторов по каждому тесту. Таблица 1 представляет собой гипотетическую факторную матрицу, включающую всего два фактора.

Факторы перечисляются в верхней строке таблицы от более значимого к менее значимому, а их веса в каждом из 10 тестов даны в соответствующих столбцах.

Таблица 1

Гипотетическая факторная матрица

Оси координат. Принято представлять факторы геометрически в виде осей координат, относительно которых каждый тест может быть изображен в виде точки. Рис. 1 поясняет эту процедуру. На этом графике каждый из 10 тестов, приведенных в табл.1, отображен в виде точки относительно двух факторов, которые соответствуют осям I и II. Так, тест 1 представлен точкой с координатами 0,74 по оси I и 0,54 по оси II. Точки, представляющие остальные 9 тестов, построены аналогичным способом, с использованием значений весов из табл. 1.

Следует заметить, что положение осей координат не фиксировано данными. Исходная таблица корреляций определяет лишь положение тестов (т.е. точек на рис. 1) относительно друг друга. Те же точки можно нанести на плоскость с любым положением координатных осей. По этой причине при проведении факторного анализа обычно вращают оси до тех пор, пока не получают наиболее приемлемого и легко интерпретируемого отображения.

Рис. 1. Гипотетическое факторное отображение, показывающее веса двух групповых факторов по каждому из 10 тестов.

На рис. 1 полученные после вращения оси I" и II" показаны пунктирными линиями. Это вращение выполнено в соответствии с предложенными Терстоуном критериями положительного многообразия и простой структуры. Первый предполагает вращение осей до положения, при котором исключаются все значимые отрицательные веса. Большинство психологов считают отрицательные факторные нагрузки логически несоответствующими тестам способностей, так как такая нагрузка означает, что чем выше оценка индивидуума по специфическому фактору, тем ниже будет его результат по соответствующему тесту. Критерий простой структуры, в сущности, означает, что каждый тест должен иметь нагрузки по как можно меньшему числу факторов.

Выполнение обоих критериев дает факторы, которые можно наиболее легко и однозначно интерпретировать. Если тест имеет высокую нагрузку по одному фактору и не имеет значимых нагрузок по другим факторам, мы можем кое-что узнать о природе этого фактора, изучив содержание данного теста. Напротив, если тест имеет средние или низкие нагрузки по шести факторам, то он мало что скажет нам о природе любого из них.

На рис. 1 хорошо видно, что после вращения осей координат все вербальные тесты (1-5) располагаются вдоль или очень близко к оси I", а числовые тесты (6-10) тесно группируются вокруг оси II". Новые факторные нагрузки, измеренные относительно повернутых осей, приведены в табл. 2. Факторные нагрузки в табл. 2 не имеют отрицательных значений, за исключением пренебрежительно малых величин, явно относимых к ошибкам выборки. Все вербальные тесты имеют высокие нагрузки по фактору I" и практически нулевые - по фактору II". Числовые тесты, напротив, имеют высокие нагрузки по фактору II" и пренебрежимо низкие - по фактору I". Таким образом, вращение координатных осей существенно упростило идентификацию и называние обоих факторов, а также описание факторного состава каждого теста. На практике число факторов часто оказывается больше двух, что, разумеется, усложняет их геометрическое представление и статистический анализ, но не изменяет существа рассмотренной процедуры.

Таблица 2

Факторная матрица после вращения

Некоторые исследователи руководствуются теоретической моделью как принципом вращения осей. Кроме того, принимается в расчет неизменность, или подтверждение одних и тех же факторов в независимо выполненных, но сравнимых исследованиях.

Интерпретация факторов. Получив после процедуры вращения факторное решение (или, проще говоря, факторную матрицу), мы можем переходить к интерпретации и наименованию факторов. Этот этап работы скорее требует психологической интуиции, нежели статистической подготовки. Чтобы понять природу конкретного фактора, нам ничего не остается, как изучить тесты, имеющие высокие нагрузки по этому фактору, и попытаться обнаружить общие для них психологические процессы. Чем больше оказывается тестов с высокими нагрузками по данному фактору, тем легче раскрыть его природу. Из табл. 2, к примеру, сразу видно, что фактор I" вербальный, а фактор II" числовой. Приведенные в табл. 2 факторные нагрузки отображают к тому же корреляцию каждого теста с фактором.

ЭТАПЫ ВЫПОЛНЕНИЯ ФАКТОРНОГО АНАЛИЗА

Можно выделить девять этапов факторного анализа. Для наглядности представим эти этапы на схеме, а затем дадим им краткую характеристику.

Этапы выполнения факторного анализа приведены на рис.

Рис.

ФОРМУЛИРОВКА ПРОБЛЕМЫ И ПОСТРОЕНИЕ КОРРЕЛЯЦИОННОЙ МАТРИЦЫ

Формулировка проблемы. Необходимо четко определить цели факторного анализа. Переменные, подвергаемые факторному анализу, задаются исходя из прошлых исследований, теоретических выкладок либо по усмотрению исследователя. Необходимо, чтобы переменные измерялись в интервальной или относительной шкале. Опыт показывает, что объем выборки должен быть больше в четыре - пять раз, чем число переменных.

Построение корреляционной матрицы. В основе анализа лежит матрица корреляции между переменными. Целесообразность выполнения факторного анализа определяется наличием корреляций между переменными. Если же корреляции между всеми переменными небольшие, то факторный анализ проводить бесполезно. Переменные, тесно взаимосвязанные между собой, как правило, тесно коррелируют с одним и тем же фактором или факторами.

Для проверки целесообразности использования факторной модели существует несколько статистик. С помощью критерия сферичности Бартлетта проверяется нулевая гипотеза об отсутствии корреляции между переменными в генеральной совокупности. Это значит, что рассматривается утверждение о том, что корреляционная матрица совокупности - это единичная матрица, в которой все диагональные элементы равны единице, а все остальные равны нулю. Проверка с помощью критерия сферичности основана на преобразовании детерминанта корреляционной матрицы в статистику хи-квадрат. При большом значении статистики нулевую гипотезу отклоняют. Если же нулевую гипотезу не отклоняют, то выполнение факторного анализа нецелесообразно. Другая полезная статистика - критерий адекватности выборки Кайзера-Мейера-Олкина (КМО). Данный коэффициент сравнивает значения наблюдаемых коэффициентов корреляции со значениями частных коэффициентов корреляции. Небольшие значения КМО - статистики указывают на то, что корреляции между парами переменных нельзя объяснить другими переменными, а это значит, что использование факторного анализа нецелесообразно.

Следующий пример основан на вымышленных данных, относящихся к изучению удовлетворенности жизнью. Предположим, что вопросник был направлен 100 случайно выбранным взрослым. Вопросник содержал 10 пунктов, предназначенных для определения удовлетворенности на работе, удовлетворенности своим хобби, удовлетворенностью домашней жизнью и общей удовлетворенностью в других областях жизни. Ответы на вопросы были введены в компьютер и промасштабированы таким образом, чтобы среднее для всех пунктов стало равным приблизительно 100.

Результаты были помещены в файл данных Factor.sta. Открыть этот файл можно с помощью опции Файл - Открыть; наиболее вероятно, что этот файл данных находится в директории /Examples/Datasets. Ниже приводится распечатка переменных этого файла (для получения списка выберите Все спецификации переменных в меню Данные).

Цель анализа . Целью анализа является изучение соотношений между удовлетворенностью в различных сферах деятельности. В частности, желательно изучить вопрос о числе факторов, "скрывающихся" за различными областями деятельности и их значимость.

Выбор анализа. Выберите Факторный анализ в меню Анализ - Многомерный разведочный анализ для отображения стартовой панели модуля Факторный анализ. Нажмите на кнопку Переменные на стартовой панели (см. ниже) и выберите все 10 переменных в этом файле.

Другие опции . Для выполнения стандартного факторного анализа в этом диалоговом окне имеется все необходимое. Для получения краткого обзора других команд, доступных из стартовой панели, вы можете выбрать в качестве входного файла корреляционную матрицу (используя поле Файл данных). В поле Удаление ПД вы можете выбрать построчное или попарное исключение или подстановка среднего для пропущенных данных.

Задайте метод выделения факторов. Нажмем теперь кнопку OK для перехода к следующему диалоговому окну с названием Задайте метод выделения факторов. С помощью этого окна диалога вы сможете просмотреть описательные статистики, выполнить множественный регрессионный анализ, выбрать метод выделения факторов, выбрать максимальное число факторов, минимальные собственные значения, а также другие действия, относящиеся к специфике методов выделения факторов. А теперь перейдем во вкладку Описательные.

Просмотр описательных статистик. Теперь нажмите на кнопку Просмотреть корр./средние/ст.откл. в этом окне для того, чтобы открыть окно Просмотр описательных статистик.

Теперь вы можете рассмотреть описательные статистики графически или с помощью таблиц результатов.

Вычисление корреляционной матрицы. Нажмите на кнопку Корреляции во вкладке Дополнительно для того, чтобы отобразить таблицу результатов с корреляциями.

Все корреляции в этой таблице результатов положительны, а некоторые корреляции имеют значительную величину. Например, переменные Hobby_1 и Miscel_1 коррелированны на уровне 0.90. Некоторые корреляции (например, корреляции между удовлетворенностью на работе и удовлетворенностью дома) кажутся сравнительно малыми. Это выглядит так, как будто матрица имеет некоторую отчетливую структуру.

Метод выделения. Теперь нажмем кнопку Отмена в диалоговом окне Просмотр описательных статистик для того, чтобы вернуться в диалоговое окно Задайте метод выделения факторов. Вы можете сделать выбор из нескольких методов выделения во вкладке Дополнительно (см. вкладку Дополнительно диалогового окна Задайте метод выделения факторов для описания каждого метода, а также Вводный обзор с описанием метода Главных компонент и метода Главных факторов). В этом примере по умолчанию принимается метод Главных компонент, поле Макс. число факторов содержит значение 10 (максимальное число факторов в этом примере) и поле Мин. собств. значение содержит 0 (минимальное значение для этой команды).

Для продолжения анализа нажмите кнопку OK.

Просмотр результатов. Вы можете просмотреть результаты факторного анализа в окне диалога Результаты факторного анализа. Сначала выберите вкладку Объясненная дисперсия.

Отображение собственных значений . Назначение собственных значений и их полезность для пользователя при принятии решения о том, сколько следует оставить факторов (интерпретировать) были описаны в Вводном обзоре. Теперь нажмем на кнопку Собственные значения, чтобы получить таблицу с собственными значениями, процентом общей дисперсии, накопленными собственными значениями и накопленными процентами.

Как видно из таблицы, собственное значение для первого фактора равно 6.118369; т.е. доля дисперсии, объясненная первым фактором равна приблизительно 61.2%. Заметим, что эти значения случайно оказались здесь легко сравнимыми, так как анализу подвергаются 10 переменных, и поэтому сумма всех собственных значений оказывается равной 10. Второй фактор включает в себя около 18% дисперсии. Остальные факторы содержат не более 5% общей дисперсии. Выбор числа факторов. В разделе Вводный обзор кратко описан способ, как полученные собственные значения можно использовать для решения вопроса о том, сколько факторов следует оставить в модели. В соответствии с критерием Кайзера (Kaiser, 1960), вы должны оставить факторы с собственными значениями большими 1. Из приведенной выше таблицы следует, что критерий приводит к выбору двух факторов.

Критерий каменистой осыпи . Теперь нажмите на кнопку График каменистой осыпи, чтобы получить график собственных значений с целью применения критерия осыпи Кэттеля (Cattell, 1966). График, представленный ниже, был дополнен отрезками, соединяющими соседние собственные значения, чтобы сделать критерий более наглядным. Кэттель (Cattell) утверждает, основываясь на методе Монте-Карло, что точка, где непрерывное падение собственных значений замедляется и после которой уровень остальных собственных значений отражает только случайный "шум". На графике, приведенном ниже, эта точка может соответствовать фактору 2 или 3 (как показано стрелками). Поэтому испытайте оба решения и посмотрите, которое из них дает более адекватную картину.

Теперь рассмотрим факторные нагрузки.

Факторные нагрузки . Как было описано в разделе Вводный обзор, факторные нагрузки можно интерпретировать как корреляции между факторами и переменными. Поэтому они представляют наиболее важную информацию, на которой основывается интерпретация факторов. Сначала посмотрим на (неповернутые) факторные нагрузки для всех десяти факторов. Во вкладке Нагрузки диалогового окна Результаты факторного анализа в поле Вращение факторов зададим значение без вращения и нажмем на кнопку Факторные нагрузки для отображения таблицы нагрузок.

Вспомним, что выделение факторов происходило таким образом, что последующие факторы включали в себя все меньшую и меньшую дисперсию (см. раздел Вводный обзор). Поэтому не удивительно, что первый фактор имеет наивысшую нагрузку. Отметим, что знаки факторных нагрузок имеют значение лишь для того, чтобы показать, что переменные с противоположными нагрузками на один и тот же фактор взаимодействуют с этим фактором противоположным образом. Однако вы можете умножить все нагрузки в столбце на -1 и обратить знаки. Во всем остальном результаты окажутся неизменными.

Вращение факторного решения. Как описано в разделе Вводный обзор, действительная ориентация факторов в факторном пространстве произвольна, и всякое вращение факторов воспроизводит корреляции так же хорошо, как и другие вращения. Следовательно, кажется естественным повернуть факторы таким образом, чтобы выбрать простейшую для интерпретации факторную структуру. Фактически, термин простая структура был придуман и определен Терстоуном (Thurstone, 1947) главным образом для описания условий, когда факторы отмечены высокими нагрузками на некоторые переменные и низкими - для других, а также когда имеются несколько больших перекрестных нагрузок, т.е. имеется несколько переменных с существенными нагрузками на более чем один фактор. Наиболее стандартными вычислительными методами вращения для получения простой структуры является метод вращения варимакс, предложенный Кайзером (Kaiser, 1958). Другими методами, предложенными Харманом (Harman, 1967), являются методы квартимакс, биквартимакс и эквимакс (см. Harman, 1967).

Выбор вращения . Сначала рассмотрим количество факторов, которое вы желаете оставить для вращения и интерпретации. Ранее было решено, что наиболее правдоподобным и приемлемым числом факторов является два, однако на основе критерия осыпи было решено учитывать также и решение с тремя факторами. Нажмите на кнопку Отмена для того, чтобы возвратиться в окно диалога Задайте метод выделения факторов, и измените поле Максимальное число факторов во вкладке Быстрый с 10 на 3, затем нажмите кнопку OK для того, чтобы продолжить анализ.

Теперь выполним вращение по методу варимакс. Во вкладке Нагрузки диалогового окна Результаты факторного анализа в поле Вращение факторов установите значение Варимакс исходных.

Нажмем кнопку Факторные нагрузки для отображения в таблице результатов получаемых факторных нагрузок.

Отображение решения при вращении трех факторов. В таблице приведены существенные нагрузки на первый фактор для всех переменных, кроме относящихся к дому. Фактор 2 имеет довольно значительные нагрузки для всех переменных, кроме переменных связанных с удовлетворенностью на работе. Фактор 3 имеет только одну значительную нагрузку для переменной Home_1. Тот факт, что на третий фактор оказывает высокую нагрузку только одна переменная, наводит на мысль, а не может ли получиться такой же хороший результат без третьего фактора?

Обозрение решения при вращении двух факторов . Снова нажмите на кнопку Отмена в окне диалога Результаты факторного анализа для того, чтобы возвратиться к диалоговому окну Задайте метод выделения факторов. Измените поле Максимальное число факторов во вкладке Быстрый с 3 до 2 и нажмите кнопку OK для того, чтобы перейти в диалоговое окно Результаты факторного анализа. Во вкладке Нагрузки в поле Вращение факторов установите значение Варимакс исходных и нажмите кнопку Факторные нагрузки.

Фактор 1, как видно из таблицы, имеет наивысшие нагрузки для переменных, относящихся к удовлетворенности работой. Наименьшие нагрузки он имеет для переменных, относящихся к удовлетворенности домом. Другие нагрузки принимают промежуточные значения. Фактор 2 имеет наивысшие нагрузки для переменных, связанных с удовлетворенностью дома, низшие нагрузки - для удовлетворенности на работе средние нагрузки для остальных переменных.

Интерпретация решения для двухфакторного вращения . Можно ли интерпретировать данную модель? Все выглядит так, как будто два фактора лучше всего идентифицировать как фактор удовлетворения работой (фактор 1) и как фактор удовлетворения домашней жизнью (фактор 2). Удовлетворение своим хобби и различными другими аспектами жизни кажется относящимися к обоим факторам. Эта модель предполагает в некотором смысле, что удовлетворенность работой и домашней жизнью согласно этой выборке могут быть независимыми друг от друга, но оба дают вклад в удовлетворение хобби и другими сторонами жизни.

Диаграмма решения, основанного на вращении двух факторов . Для получения диаграммы рассеяния двух факторов нажмите на кнопку 2М график нагрузок во вкладке Нагрузки диалогового окна Результаты факторного анализа. Диаграмма, показанная ниже, попросту показывает две нагрузки для каждой переменной. Заметим, что диаграмма рассеяния хорошо иллюстрирует два независимых фактора и 4 переменных (Hobby_1, Hobby_2, Miscel_1, Miscel_2) с перекрестными нагрузками.

Теперь посмотрим, насколько хорошо может быть воспроизведена наблюдаемая ковариационная матрица по двухфакторному решению.

Воспроизведенная и остаточная корреляционная матрица. Нажмите на кнопку Воспроизведенные и остаточные корреляции во вкладке Объясненная дисперсия, для того чтобы получить две таблицы с воспроизведенной корреляционной матрицей и матрицей остаточных корреляций (наблюдаемых минус воспроизведенных корреляций).

Входы в таблице Остаточных корреляций могут быть интерпретированы как "сумма" корреляций, за которые не могут отвечать два полученных фактора. Конечно, диагональные элементы матрицы содержат стандартное отклонение, за которое не могут быть ответственны эти факторы и которые равны квадратному корню из единица минус соответствующие общности для двух факторов (вспомним, что общностью переменной является дисперсия, которая может быть объяснена выбранным числом факторов). Если вы тщательно рассмотрите эту матрицу, то сможете увидеть, что здесь фактически не имеется остаточных корреляций, больших 0.1 или меньшие -0.1 (в действительности только малое количество из них близко к этой величине). Добавим к этому, что первые два фактора включают около 79% общей дисперсии (см. накопленный % собственных значений в таблице результатов).

"Секрет" удачного примера . Пример, который вы только что изучили, на самом деле дает решение двухфакторной задачи, близкое к идеальному. Оно определяет большую часть дисперсии, имеет разумную интерпретацию и воспроизводит корреляционную матрицу с умеренными отклонениями (остаточными корреляциями). На самом деле реальные данные редко позволяют получить такое простое решение, и в действительности это фиктивное множество данных было получено с помощью генератора случайных чисел с нормальным распределением, доступного в системе. Специальным образом в данные были "введены" два ортогональных (независимых) фактора, по которым были сгенерированы корреляции между переменными. Этот пример факторного анализа воспроизводит два фактора такими, как они и были, (т.е. фактор удовлетворенности работой и фактор удовлетворенности домашней жизнью). Таким образом, если бы явление (а не искусственные, как в примере, данные) содержало эти два фактора, то вы, выделив их, могли бы кое-что узнать о скрытой или латентной структуре явления.

Другие результаты . Прежде, чем сделать окончательное заключение, дадим краткие комментарии к другим результатам.

Общности . Для получения общностей решения нажмите на кнопку Общности во вкладке Объясненная дисперсия диалогового окна Результаты факторного анализа. Вспомним, что общность переменной - это доля дисперсии, которая может быть воспроизведена при заданном числе факторов. Вращение факторного пространства не влияет на величину общности. Очень низкие общности для одной или двух переменных (из многих в анализе) могут указывать на то, что эти переменные не очень хорошо объяснены моделью.

Коэффициенты значений. Коэффициенты факторов могут быть использованы для вычисления значений факторов для каждого наблюдения. Сами коэффициенты представляет обычно малый интерес, однако факторные значения полезны при проведении дальнейшего анализа. Для отображения коэффициентов нажмите кнопку Коэффициенты значений факторов во вкладке Значения диалогового окна Результаты факторного анализа.

Значения факторов. Факторные значения могут рассматриваться как текущие значения для каждого опрашиваемого респондента (т.е. для каждого наблюдения исходной таблицы данных). Кнопка Значения факторов во вкладке Значения диалогового окна Результаты факторного анализа позволяет вычислить факторные значения. Эти значения можно сохранить для дальнейшего нажатием кнопки Сохранить значения.

Заключительный комментарий. Факторный анализ - это непростая процедура. Всякий, кто постоянно использует факторный анализ со многими (например, 50 или более) переменными, мог видеть множество примеров "патологического поведения", таких, как: отрицательные собственные значения и не интерпретируемые решения, особые матрицы и т.д. Если вы интересуетесь применением факторного анализа для определения или значащих факторов при большом числе переменных, вам следует тщательно изучить какое-либо подробное руководство (например, книгу Хармана (Harman, 1968)). Таким образом, так как многие критические решения в факторном анализе по своей природе субъективны (число факторов, метод вращения, интерпретация нагрузок), будьте готовы к тому, что требуется некоторый опыт, прежде чем вы почувствуете себя уверенным в нем. Модуль Факторный анализ был разработан специально для того, чтобы сделать легким для пользователя интерактивное переключение между различным числом факторов, вращениями и т.д., так чтобы испытать и сравнить различные решения.

Этот пример взят из справочной системы ППП STATISTICA фирмы StatSoft

Национальный исследовательский ядерный университет «МИФИ»
Факультет бизнес-информатики и управления
комплексными системами
Кафедра экономики и менеджмента
в промышленности (№ 71)
Математические и инструментальные методы обработки
статистической информации
Киреев В.С.,
к.т.н., доцент
Email:
Москва, 2017
1

Нормализация

Десятичное масштабирование
Минимаксная нормализация
Нормализация с помощью стандартного преобразования
Нормализация с помощью поэлементных преобразований
2

Десятичное масштабирование

Vi
"
Vi k , max (Vi) 1
10
"
3

Минимаксная нормализация

Vi
Vi min (Vi)
"
i
max (Vi) min (Vi)
i
i
4

Нормализация с помощью стандартного отклонения

Vi
"
V
V
Vi V
V
- выборочное
среднее
- выборочное среднее квадратическое
отклонение
5

Нормализация с помощью поэлементных преобразований

Vi f Vi
"
Vi 1
"
log Vi
, Vi log Vi
"
Vi exp Vi
"
Vi Vi , Vi 1 y
Vi
"
y
"
6

Факторный анализ

(ФА) представляет собой совокупность методов, которые на
основе реально существующих связей анализируемых признаков, связей самих
наблюдаемых объектов, позволяют выявлять скрытые (неявные, латентные)
обобщающие характеристики организационной структуры и механизма развития
изучаемых явлений, процессов.
Методы факторного анализа в исследовательской практике применяются главным
образом с целью сжатия информации, получения небольшого числа обобщающих
признаков, объясняющих вариативность (дисперсию) элементарных признаков (Rтехника факторного анализа) или вариативность наблюдаемых объектов (Q-техника
факторного анализа).
Алгоритмы факторного анализа основываются на использовании редуцированной
матрицы парных корреляций (ковариаций). Редуцированная матрица – это матрица, на
главной диагонали которой расположены не единицы (оценки) полной корреляции или
оценки полной дисперсии, а их редуцированные, несколько уменьшенные величины. При
этом постулируется, что в результате анализа будет объяснена не вся дисперсия
изучаемых признаков (объектов), а ее некоторая часть, обычно большая. Оставшаяся
необъясненная часть дисперсии - это характерность, возникающая из-за специфичности
наблюдаемых объектов, или ошибок, допускаемых при регистрации явлений, процессов,
т.е. ненадежности вводных данных.
7

Классификация методов ФА

8

Метод главных компонент

(МГК) применяется для снижения размерности
пространства наблюдаемых векторов, не приводя к существенной потере
информативности. Предпосылкой МГК является нормальный закон распределения
многомерных векторов. В МГК линейные комбинации случайных величин определяются
характеристическими
векторами
ковариационной
матрицы.
Главные
компоненты представляют собой ортогональную систему координат, в которой дисперсии
компонент характеризуют их статистические свойства. МГК не относят к ФА, хотя он имеет
схожий алгоритм и решает схожие аналитические задачи. Его главное отличие
заключается в том, что обработке подлежит не редуцированная, а обычная матрица
парных корреляций, ковариаций, на главной диагонали которой расположены единицы.
Пусть дан исходный набор векторов X линейного пространства Lk. Применение
метода главных компонент позволяет перейти к базису пространства Lm (m≤k), такому
что: первая компонента (первый вектор базиса) соответствует направлению, вдоль
которого дисперсия векторов исходного набора максимальна. Направление второй
компоненты (второго вектора базиса) выбрано таким образом, чтобы дисперсия исходных
векторов вдоль него была максимальной при условии ортогональности первому вектору
базиса. Аналогично определяются остальные векторы базиса. В результате, направления
векторов базиса выбраны так, чтобы максимизировать дисперсию исходного набора
вдоль первых компонент, называемых главными компонентами (или главными
осями).Получается, что основная изменчивость векторов исходного набора векторов
представлена несколькими первыми компонентами, и появляется возможность, отбросив
менее существенные компоненты, перейти к пространству меньшей размерности.
9

10. Метод главных компонент. Схема

10

11. Метод главных компонент. Матрица счетов

Матрица счетов T дает нам проекции исходных образцов (J –мерных
векторов
x1,…,xI)
на
подпространство
главных
компонент
(A-мерное).
Строки t1,…,tI матрицы T – это координаты образцов в новой системе координат.
Столбцы t1,…,tA матрицы T – ортогональны и представляют проекции всех образцов на
одну новую координатную ось.
При исследовании данных методом PCA, особое внимание уделяется графикам
счетов. Они несут в себе информацию, полезную для понимания того, как устроены
данные. На графике счетов каждый образец изображается в координатах (ti, tj), чаще всего
– (t1, t2), обозначаемых PC1 и PC2. Близость двух точек означает их схожесть, т.е.
положительную корреляцию. Точки, расположенные под прямым углом, являются
некоррелироваными, а расположенные диаметрально противоположно – имеют
отрицательную корреляцию.
11

12. Метод главных компонент. Матрица нагрузок

Матрица нагрузок P – это матрица перехода из исходного пространства
переменных x1, …xJ (J-мерного) в пространство главных компонент (A-мерное). Каждая
строка матрицы P состоит из коэффициентов, связывающих переменные t и x.
Например, a-я строка – это проекция всех переменных x1, …xJ на a-ю ось главных
компонент. Каждый столбец P – это проекция соответствующей переменной xj на новую
систему координат.
График нагрузок применяется для исследования роли переменных. На этом
графике каждая переменная xj отображается точкой в координатах (pi, pj), например
(p1, p2). Анализируя его аналогично графику счетов, можно понять, какие переменные
связаны, а какие независимы. Совместное исследование парных графиков счетов и
нагрузок, также может дать много полезной информации о данных.
12

13. Особенности метода главных компонент

В основе метода главных компонент лежат следующие допущения:
допущение о том, что размерность данных может быть эффективно понижена
путем линейного преобразования;
допущение о том, что больше всего информации несут те направления, в которых
дисперсия входных данных максимальна.
Можно легко видеть, что эти условия далеко не всегда выполняются. Например,
если точки входного множества располагаются на поверхности гиперсферы, то никакое
линейное преобразование не сможет понизить размерность (но с этим легко справится
нелинейное преобразование, опирающееся на расстояние от точки до центра сферы).
Это недостаток в равной мере свойственен всем линейным алгоритмам и может быть
преодолен за счет использования дополнительных фиктивных переменных, являющихся
нелинейными функциями от элементов набора входных данных (т.н. kernel trick).
Второй недостаток метода главных компонент состоит в том, что направления,
максимизирующие дисперсию, далеко не всегда максимизируют информативность.
Например, переменная с максимальной дисперсией может не нести почти никакой
информации, в то время как переменная с минимальной дисперсией позволяет
полностью разделить классы. Метод главных компонент в данном случае отдаст
предпочтение первой (менее информативной) переменной. Вся дополнительная
информация, связанная с вектором (например, принадлежность образа к одному из
классов), игнорируется.
13

14. Пример данных для МГК

К. Эсбенсен. Анализ многомерных данных, сокр. пер. с англ. под
ред. О. Родионовой, Из-во ИПХФ РАН, 2005
14

15. Пример данных для МГК. Обозначения

Height
Рост: в сантиметрах
Weight
Вес: в килограммах
Hair
Волосы: короткие: –1, или длинные:
+1
Shoes
Обувь: размер по европейскому
стандарту
Age
Возраст: в годах
Income
Доход: в тысячах евро в год
Beer
Пиво: потребление в литрах в год
Wine
Вино: потребление в литрах в год
Sex
Пол: мужской: –1, или женский: +1
Strength
Сила: индекс, основанный на
проверке физических способностей
Region
Регион: север: –1, или юг: +1
IQ
Коэффициент интеллекта,
измеряемый по стандартному тесту
15

16. Матрица счетов

16

17. Матрица нагрузок

17

18. Объекты выборки в пространстве новых компонент

Женщины (F) обозначены кружками ● и ●, а
мужчины (M) – квадратами ■ и ■. Север (N)
представлен голубым ■, а юг (S) – красным
цветом ●.
Размер и цвет символов отражает доход – чем
больше и светлее, тем он больше. Числа
представляют возраст
18

19. Исходные переменные в пространстве новых компонент

19

20. График «каменистой осыпи» (scree plot)

20

21. Метод главных факторов

В парадигме метода главных факторов задача снижения размерности признакового
пространства выглядит так, что n признаков можно объяснить с помощью меньшего
количества m-латентных признаков - общих факторов, где m< исходными признаками и введёнными общими факторами (линейными комбинациями)
учитывают с помощью так называемых характерных факторов.
Конечная цель статистического исследования, проводимого с привлечением
аппарата факторного анализа, как правило, состоит в выявлении и интерпретации
латентных общих факторов с одновременным стремлением минимизировать как их
число, так и степень зависимости от своих специфических остаточных случайных
компонент.
Каждый признак
является результатом
воздействия m гипотетических общих и
одного характерного факторов:
X 1 a11 f1 a12 f 2 a1m f m d1V1
X a f a f a f d V
2
21 1
22 2
2m m
2
X n a n1 f1 a n 2 f 2 a nm f m d nVn
21

22. Вращение факторов

Вращение - это способ превращения факторов, полученных на предыдущем этапе,
в более осмысленные. Вращение делится на:
графическое (проведение осей, не применяется при более чем двухмерном
анализе),
аналитическое (выбирается некий критерий вращения, различают ортогональное и
косоугольное) и
матрично-приближенное (вращение состоит в приближении к некой заданной
целевой матрице).
Результатом вращения является вторичная структура факторов. Первичная
факторная структура (состоящая из первичных нагрузок (полученных на предыдущем
этапе) - это, фактически, проекции точек на ортогональные оси координат. Очевидно, что
если проекции будут нулевыми, то структура будет проще. А проекции будут нулевыми,
если точка лежит на какой-то оси. Таким образом, можно считать вращение переходом от
одной системы координат к другой при известных координатах в одной системе(
первичные факторы) и итеративно подбираемых координатах в другой системе
(вторичные факторы). При получении вторичной структуры стремятся перейти к такой
системе координат, чтобы провести через точки (объекты) как можно больше осей, чтобы
как можно больше проекции (и соответственно нагрузок) были нулевыми. При этом могут
сниматься ограничения ортогональности и убывания значимости от первого к последнему
факторам, характерные для первичной структуры.
22

23. Ортогональное вращение

подразумевает, что мы будем вращать факторы, но не
будем нарушать их ортогональности друг другу. Ортогональное вращение
подразумевает умножение исходной матрицы первичных нагрузок на ортогональную
матрицу R(такую матрицу, что
V=BR
Алгоритм ортогонального вращения в общем случае таков:
0. B - матрица первичных факторов.
1.
Ищем
ортогональную
матрицу
RT
размера
2*2
для
двух
столбцов(факторов) bi и bj матрицы B такую, что критерий для матрицы
R максимален.
2.
Заменяем столбцы bi и bj на столбцы
3.
Проверяем, все ли столбцы перебрали. Если нет, то переход на 1.
4.
Проверяем, что критерий для всей матрицы вырос. Если да, то переход на 1. Если
нет, то конец алгоритма.
.
23

24. Варимаксное вращение

Этот критерий использует формализацию
дисперсию квадратов нагрузок переменной:
сложности
фактора
через
Тогда критерий в общем виде можно записать как:
При этом, факторные нагрузки могут нормироваться для избавления от
влияния отдельных переменных.
24

25. Квартимаксное вращение

Формализуем понятие факторной сложности q i-ой переменной через
дисперсию квадратов факторных нагрузок факторов:
где r - число столбцов факторной матрицы, bij - факторная нагрузка j-го
фактора на i-ю переменную, - среднее значение. Критерий квартимакс старается
максимизировать сложность всей совокупности переменных, чтобы достичь
легкости интерпретации факторов (стремится облегчить описание столбцов):
Учитывая, что
- константа (сумма собственных чисел матрицы
ковариации) и раскрыв среднее значение (а также учтя, что степенная функция
растет пропорционально аргументу), получим окончательный вид критерия для
максимизации:
25

26. Критерии определения числа факторов

Главной проблемой факторного анализа является выделение и интерпретация
главных факторов. При отборе компонент исследователь обычно сталкивается с
существенными трудностями, так как не существует однозначного критерия выделения
факторов, и потому здесь неизбежен субъективизм интерпретаций результатов.
Существует несколько часто употребляемых критериев определения числа факторов.
Некоторые из них являются альтернативными по отношению к другим, а часть этих
критериев можно использовать вместе, чтобы один дополнял другой:
Критерий Кайзера или критерий собственных чисел. Этот критерий предложен
Кайзером, и является, вероятно, наиболее широко используемым. Отбираются только
факторы с собственными значениями равными или большими 1. Это означает, что если
фактор не выделяет дисперсию, эквивалентную, по крайней мере, дисперсии одной
переменной, то он опускается.
Критерий каменистой осыпи (англ. scree) или критерий отсеивания. Он является
графическим методом, впервые предложенным психологом Кэттелом. Собственные
значения возможно изобразить в виде простого графика. Кэттел предложил найти такое
место на графике, где убывание собственных значений слева направо максимально
замедляется. Предполагается, что справа от этой точки находится только
«факториальная осыпь» - «осыпь» является геологическим термином, обозначающим
обломки горных пород, скапливающиеся в нижней части скалистого склона.
26

27. Критерии определения числа факторов. Продолжение

Критерий значимости. Он особенно эффективен, когда модель генеральной
совокупности известна и отсутствуют второстепенные факторы. Но критерий непригоден
для поиска изменений в модели и реализуем только в факторном анализе по методу
наименьших квадратов или максимального правдоподобия.
Критерий доли воспроизводимой дисперсии. Факторы ранжируются по доле
детерминируемой дисперсии, когда процент дисперсии оказывается несущественным,
выделение следует остановить. Желательно, чтобы выделенные факторы объясняли
более 80 % разброса. Недостатки критерия: во-первых, субъективность выделения, вовторых, специфика данных может быть такова, что все главные факторы не смогут
совокупно объяснить желательного процента разброса. Поэтому главные факторы
должны вместе объяснять не меньше 50,1 % дисперсии.
Критерий интерпретируемости и инвариантности. Данный критерий сочетает
статистическую точность с субъективными интересами. Согласно ему, главные факторы
можно выделять до тех пор, пока будет возможна их ясная интерпретация. Она, в свою
очередь, зависит от величины факторных нагрузок, то есть если в факторе есть хотя бы
одна сильная нагрузка, он может быть интерпретирован. Возможен и обратный вариант -
если сильные нагрузки имеются, однако интерпретация затруднительна, от этой
компоненты предпочтительно отказаться.
27

28. Пример использования МГК

Пусть
имеются
следующие
показатели
экономической
деятельности
предприятия: трудоемкость (x1), удельный вес покупных изделий в продукции (x2),
коэффициент сменности оборудования (x3), удельный вес рабочих в составе предприятия
(x4), премии и вознаграждения на одного работника (x5), рентабельность (y). Линейная
регрессионная модель имеет вид:
y = b0 + b1*x1 + b2*x2 + b3*x3 + b4*x4 + b5*x5
x1
x2
x3
x4
x5
y
0,51
0,2
1,47
0,72
0,67
9,8
0,36
0,64
1,27
0,7
0,98
13,2
0,23
0,42
1,51
0,66
1,16
17,3
0,26
0,27
1,46
0,69
0,54
7,1
0,27
0,37
1,27
0,71
1,23
11,5
0,29
0,38
1,43
0,73
0,78
12,1
0,01
0,35
1,5
0,65
1,16
15,2
0,02
0,42
1,35
0,82
2,44
31,3
0,18
0,32
1,41
0,8
1,06
11,6
0,25
0,33
1,47
0,83
2,13
30,1
28

29. Пример использования МГК

Построение регрессионной модели в статистическом пакете показывает,
коэффициент X4 не значим (p-Value > α = 5%) , и его можно исключить из модели.
что
После исключения X4 снова запускается процесс построения модели.
29

30. Пример использования МГК

Критерий Кайзера для МГК показывает, что можно оставить 2 компоненты, объясняющие
около 80% исходной дисперсии.
Для выделенных компонент можно построить уравнения в исходной системе координат:
U1 = 0,41*x1 - 0,57*x2 + 0,49*x3 - 0,52*x5
U2 = 0,61*x1 + 0,38*x2 - 0,53*x3 - 0,44*x5
30

31. Пример использования МГК

Теперь можно построить в новых компонентах новую регрессионную модель:
y = 15,92 - 3,74*U1 - 3,87*U2
31

32. Метод сингулярного разложения (SVD)

Beltrami и Jordan считаются основателями теории сингулярного
разложения. Beltrami – за то, что он первым опубликовал работу о
сингулярном разложении, а Jordan – за элегантность и полноту своей
работы. Работа Beltrami появилась в журнале “Journal of Mathematics for
the Use of the Students of the Italian Universities” в 1873 году, основная
цель которой заключалась в том, чтобы ознакомить студентов с
билинейными формами.Суть метода в разложении матрицы A размера n
x m с рангом d = rank (M) <= min(n,m) в произведение матриц меньшего
ранга:
A =UDVT,
где матрицы U размера n x d и V размера m x d состоят из
ортонормальных столбцов, являющихся собственными векторами при
ненулевых собственных значениях матриц AAT и ATA соответственно и
UTU = V TV = I , а D размера d x d - диагональная матрица с
положительными диагональными элементами, отсортированными в
порядке убывания. Столбцы матрицы U представляют собой,
ортонормальный базис пространства столбцов матрицы A, а столбцы
матрицы V – ортонормальный базис пространства строк матрицы A.
32

33. Метод сингулярного разложения (SVD)

Важным свойством SVD-разложения является тот факт, что если
для k только из k наибольших диагональных элементов, а также
оставить в матрицах U и V только k первых столбцов, то матрица
Ak=UkDkVkT
будет являться лучшей аппроксимацией матрицы A относительно
нормы Фробениуса среди всех матриц с рангом k.
Это усечение во-первых уменьшает размерность векторного
пространства, снижает требования хранения и вычислительные
требования к модели.
Во-вторых, отбрасывая малые сингулярные числа, малые
искажения в результате шума в данных удаляются, оставляя
только самые сильные эффекты и тенденции в этой модели.