Имя материала: Эконометрика

Автор: А.И.Орлов

Пз-8. математические основы методов согласования ранжировок и классификаций

 

При использовании нескольких обобщенных показателей получаются, как правило, различающиеся ранжировки объектов. Как их согласовать с целью дальнейшего использования при классификации? В настоящем пункте формулируются и обосновываются методы решения этой задачи. В отличие от главы 12 дается строгое математическое изложение с доказательствами основных утверждений.

Взвешенные агрегированные показатели. Пусть Xi, Х2,..., Хк - частные (или групповые) числовые показатели. Пусть каждому из них приписан вес -Aj, А2, Ак соответственно, отражающий их относительную важность (оцененную экспертами или иным способом). Весовые коэффициенты неотрицательны и в сумме составляют 1.

Взвешенные агрегированные показатели можно определить следующим единообразным способом.

Введем (чисто формально) распределение вероятностей, приписывающее каждому значению Хм, М=,2,...,К, вероятность Ам- Для этого распределения обычным образом определим такие характеристики, как математическое ожидание, медиана, начальные моменты, мода и т.д., которые и будем использовать в качестве взвешенных агрегированных показателей или при их расчете.

При этом математическое ожидание дает взвешенное среднее арифметическое, медиана - взвешенную медиану (в частном случае, когда одна из ступенек функции распределения приходится на высоту 0,5, целесообразно ввести понятия левой и правой медиан - т.е. левого и правого концов указанной ступеньки соответственно).

Начальный момент р-то порядка после извлечения корня р-ож степени дает взвешенное степенное. Аналогичным образом получаем обобщенное среднее по Колмогорову общего вида.

Мода указывает на значение наиболее важного показателя.

В соответствии с методологией устойчивости (см. главу 10 выше) при анализе конкретной ситуации целесообразно одновременно использовать несколько обобщенных показателей, например, взвешенную медиане и взвешенное среднее арифметическое. Такая процедура предусмотрена в настоящей методике. Хотя согласно теории измерений (см. главу 3 выше) использование среднего арифметического некорректно, но приходится учитывать традиции (проблема учета традиций подробно обсуждалась в главе 12).

Согласование упорядочений по агрегированным показателям. Сопоставим упорядочения объектов по двум видам агрегированных оценок, например, по взвешенной медиане и по взвешенному среднему арифметическому. Для этого построим "квазитолерантность расхождений (КТР)", т.е. некоторое бинарное отношение (о теории бинарных отношений см., например, книгу [2]) на множестве объектов. (Как известно, бинарное отношение на данном множестве объектов можно отождествить с подмножеством множества пар объектов, т.е. с подмножеством декартова квадрата исходного множества объектов.)

По определению два объекта связаны отношением КТР (т.е. пара объектов входит в рассматриваемое подмножество) тогда и только тогда, когда два упорядочения - по взвешенной медиане и по взвешенному среднему арифметическому - для них противоречивы. Это возможно в двух случаях. Первый - средний взвешенный арифметический показателей для первого (из двух рассматриваемых) объектов больше (или равен) такового для второго объекта, а взвешенная медиана для первого, наоборот, меньше, чем для второго. Второй - средний взвешенный арифметический показателей для первого (из двух рассматриваемых) объектов меньше такового для второго вида, а взвешенная медиана для первого, наоборот, больше (или равна), чем для второго.

Отношение КТР является симметричным (если пара (А,В) входит в него, то входит и пара (В,А)) и антирефлексивным (ни одна пара (А,А) не входит в КТР). Свойством транзитивности это бинарное отношение, вообще говоря, не обладает (если пары (А,В) и (В,С) входят в него, то пара (А,С) может входить в КТР, а может и не входить).

Формально присоединим к КТР все пары вида (А,А). Получим рефлексивное симметричное отношение, т.е. толерантность (о толерантностях много написано в монографии [2]). Будем называть ее "толерантностью расхождений (TP)".

Построим новое бинарное отношение Зам(ТР) путем транзитивного замыкания (в смысле теории бинарных отношений, см., например, монографию [2,с.27]) "толерантности расхождений". Это означает, что подмножество пар объектов, входящих в толерантность TP, пополняется некоторыми новыми парами. А именно, если А, В и С - три объекта такие, что пара (А,В) и пара (В,С) входят в "толерантность расхождений", то пару (А,С) включаем в замыкание этой толерантности. Для полученного множества пар повторяем описанную операцию. Продолжаем так до тех пор, пока новые пары не перестанут добавляться (процесс не может продолжаться бесконечно, поскольку общее число пар конечно).

Бинарное отношение Зам(ТР) можно описать и по-другому: пара (А,В) входит в Зам(ТР) тогда и только тогда, когда либо она входит в TP, либо существует конечная последовательность объектов С, D, Е, Q такая, что пары (А,С), (C,D), (D,E), (Q,B) входят в TP, т.е. от А к В можно пройти за несколько шагов, каждый из которых - переход от первого элемента пары, входящей в TP, ко второму.

Последнее замечание подсказывает наглядную геометрическую интерпретацию операции замыкания. Представим себе объекты точками на плоскости. Пара (А,В) входит в TP тогда и только тогда, когда от А до В можно добраться по дороге. Тогда ясно, что пара (А,С) входит в Зам(ТР) в том и только в том случае, когда от А до С можно добраться по дороге, возможно, через несколько промежуточных пунктов (объектов).

Теорема о структуре замыкания. Описание структуры Зам(ТР) дает следующая теорема.

Теорема 1. Замыкание "толерантности расхождений" - отношение эквивалентности (рефлексивное симметричное транзитивное отношение), задающее разбиение объектов на кластеры (группы эквивалентных в рассматриваемом смысле объектов). Кластеры между собой упорядочены: все объекты одного кластера одновременно лучше (или одновременно хуже) всех объектов другого кластера одновременно по обоим используемым агрегированным показателям. Внутри же кластеров, состоящих более чем из одного элемента, имеются противоречия: для какого-то объекта есть другой из того же кластера такой, что упорядочение по одному агрегированному показателю противоречит упорядочению по другому агрегированному показателю.

Доказательство. Рефлексивность Зам(ТР) вытекает из рефлексивности TP -поскольку любая пара (А,А) входит в TP, то она входит и в Зам(Т,Р). Симметричность вытекает из симметричности TP: если из А в В можно добраться по цепочке С, D, Е, Q, то из В в А - по обратной цепочке Q,...,E, D,C, каждые два соседних элемента которой образуют пару, входящую в TP наряду с "симметричной" парой из прямой цепочки. Транзитивность вытекает из процедуры построения Зам(ТР). В теории бинарных отношений рефлексивное симметричное и транзитивное отношение, как известно, называется эквивалентностью (см., например, [2, с.54]).

Хорошо известно (см., например, теорему 2.1 в монографии [2, с.55-56]), что отношение эквивалентности задает разбиение множества объектов на кластеры (классы, группы, подмножества) такое, что пара (А,В) входит в Зам(ТР) тогда и только тогда, когда объекты А и В включены в один и тот же кластер.

Теперь введем упорядоченность кластеров.

Лемма. Пусть X = {А, В,...} и Y = {C,D,...} - два кластера. Пусть А меньше С при использовании одного из двух рассматриваемых видов агрегированных оценок (например, по взвешенной медиане или по взвешенному среднему арифметическому). Тогда А меньше

С и при сравнении по второй агрегированной оценке. Более того, любой объект из первого кластера меньше любого объекта из второго кластера в смысле любой из двух агрегированных оценок.

Докажем лемму. Если бы А было больше или равно С по второй оценке, то пара (А,С) входила бы в КТР и TP, а потому объекты А и С входили бы в один класс разбиения, соответствующего Зам(ТР), что противоречит исходному предположению. Это рассуждение показывает также, что для любых двух объектов В и D из разных кластеров упорядоченности по двум агрегированным оценкам совпадают.

Однако совпадает ли упорядоченность В и D (или даже В и С) с упорядоченностью А

и С?

Одну из упорядоченностей обозначим знаком < (т.е. "меньше"; знак > означает здесь "больше или равно"). Может ли быть так, что А<С, но В>С ? Тогда А<С<В. Вторую упорядоченность обозначим знаком //. Тогда в соответствии с рассуждениями предыдущего абзаца А//С//В, следовательно, пара (А,В) не может входить в КТР, а потому и в ТР.

Поскольку А и В лежат в одном кластере, то существует цепочка А(1)=А, А(2), А(3), А(К) = В такая, что пары (А(Р), А(Р+1)) входят в КТР, Р = 1, 2, З,..., К-1. Рассмотрим минимальное М такое, что А(М)<С, А(М+1)>С (такое М существует, поскольку А1<С, а АК>С). Тогда в рассуждениях предыдущего абзаца можно положить А=А(М), В=А(М+1). Получаем, что пара (А(М), А(М+1)) не входит в КТР, что противоречит определению Зам(ТР).

Итак, доказано, что из А<С вытекает В<С для любого В из кластера, включающего А. Аналогичным образом устанавливается, что B<D для любого D из кластера, включающего С. Лемма доказана.

Каждый из кластеров, порожденных Зам(ТР), может состоять из одного или нескольких элементов. Внутри кластера из одного элемента противоречий быть не может. Если в кластере несколько элементов, то хотя бы одна пара объектов из этого кластера входит в КТР. Однако некоторые пары могут и не содержать противоречий. Например, если упорядочения имеют вид А<В<С и С//А//В, то пары (В,С) и (А,С) входят в КТР, а пара (А,В) - нет. Если же второе упорядочение имеет вид С//В//А, то все три пары входят в квазитолерантность расхождений.

Теорема 1 доказана.

Развитие методики агрегирования. В результате описанной выше процедуры получаем ранжировку (упорядоченный ряд), элементами которой являются, вообще говоря, не отдельные объекты, а кластеры, состоящие из некоторого числа объектов (некоторые из кластеров могут состоять из одиночных объектов, для которых не оказалось рассматриваемых выше противоречий). Если построенное согласно описанной процедуре разбиение объектов на кластеры и полученный на его основе ранжировочный ряд удовлетворяет заказчика, то они и определяют итоговую ранжировку и итоговый агрегированный показатель (выражающийся, например, в номере кластера, в который входит рассматриваемый объект, в итоговой ранжировке). Если же нет (например, получился всего один класс), то требуется дополнительный анализ с привлечением экспертов. Он должен быть нацелен на уточнение предпочтений экспертов. Например, им могут быть предъявлены для сравнения пары объектов, входящих в "квазитолерантность расхождений". Это исследование может описаться на различные методики выявления предпочтений (в экономических терминах - функций полезности).

По ранжировке строится классификация путем разбиения области значений итогового агрегированного показателя на упорядоченные зоны. Границы между зонами задаются с помощью опроса экспертов с учетом процедуры дальнейшего использования этих зон.

Заметим, что описанная выше методика может применяться в различных вариантах. В облегченном варианте весовые коэффициенты не оцениваются. Например, они априори предполагаются равными или же задаются исследовательской группой, строящей агрегированный показатель.

В соответствии с общей схемой устойчивости (глава 10) целесообразно численно изучить устойчивость значений агрегированного показателя к малым отклонениям значений весовых коэффициентов, а также ответов экспертов. Развитие этой идеи ведет к разработке методики численного эксперимента, а также к применению и изучению интервальных экспертных оценок, когда ответ эксперта - интервал действительных чисел или интервал в порядковой шкале (несколько соседних градаций), и т.д. (см. главы 11 и 12).

Могут быть использованы и иные виды средних величин, кроме среднего арифметического и медианы, в частности, среднее геометрическое и другие виды средних по Колмогорову.

О согласовании классификаций. Пусть имеются две классификации HI и Н2, разбивающие множества объектов на кластеры Al, А2,..., АК и Bl, В2,..., ВМ соответственно. Рассмотрим новую классификацию Н, построенную на основе пересечений множеств AlxBl, А2хВ1,..., АКхВ 1, А1хВ2, А2хВ2,..., АКхВ2,..., AlxBM, А2хВМ,..., АКхВМ (здесь х - знак пересечения). Число кластеров в Н - не более КхМ, поскольку некоторые из выписанных пересечений могут оказаться пустыми. Классификация Н обладает тем свойством, что любые два элемента, входящие в один из ее кластеров, входят также в один кластер и в HI, и в Н2. Если же два элемента входят в разные кластеры Н, то либо в HI, либо в Н2, либо одновременно и в HI, и в Н2 они входят в разные кластеры. Поэтому можно сказать, что классификация Н согласует классификации HI и Н2.

Для классификаций с неупорядоченными кластерами сказанное в предыдущем абзаце решает проблему согласования. Для классификаций, кластеры которых строго линейно (или совершенно) упорядочены [2, с.119-120], т.е. порожденных склейкой одинаковых значений некоторого агрегирующего показателя на множестве объектов (существование такого показателя вытекает из теоремы 4.2 в [2, с.121-122]), можно продвинуться дальше.

Описанная выше процедура согласования классификаций, полученных различными способами на основе двух ранжировок, является общей. Она может быть применена для согласования любых двух классификаций, использующих строго линейно упорядоченные кластеры.

Сначала необходимо построить "квазитолерантность расхождений (КТР)", включающую те и только те пары объектов, упорядоченность которых в двух классификациях различна. Затем строим "толерантность расхождений (TP)", добавляя к КТР все пары вида (А,А). Затем строим Зам(ТР), транзитивно замыкая TP по правилам теории бинарных отношений [2, с.27]. Корректность этой процедуры обеспечивает следующая теорема.

Теорема 2. Замыкание толерантности расхождений Зам(ТР) задает классификацию на упорядоченные кластеры. При этом все объекты одного кластера одновременно лучше (или одновременно хуже) всех объектов другого кластера одновременно по обоим используемым агрегированным показателям. Внутри же кластеров, состоящих более чем из одного элемента, имеются противоречия: для какого-то объекта есть другой из того же кластера такой, что упорядочение по одному агрегированному показателю противоречит упорядочению по другому агрегированному показателю.

Доказательство. Как показано при доказательстве теоремы 1, Зам(ТР) является отношением эквивалентности, а потому задает некоторое разбиение множества объектов, т.е. классификацию.

Просматривая доказательство теоремы 1, нетрудно заметить, что в нем не используются какие-либо конкретные свойства взвешенной медианы или взвешенного среднего арифметического, а потому проведенные рассуждения верны для любых строгих совершенных (линейных) порядков. Это замечание и заканчивает доказательство теоремы 2.

Замечание. Расчет согласующей классификации как Зам (TP) не всегда дает приемлемые с практической точки зрения результаты. Пусть например, имеется 4 объекта, описываемые точками на плоскости А = (0,0), В = (0,1), С = (1, 0), Н = (1,1), первое упорядочение - по первой координате, второе - по второй (каждое из упорядочений имеет два варианта соответственно тому, как интерпретировать равенство, т.е. использовать отношение "меньше" или "меньше или равно"). Нетрудно проверить, что Зам(ТР) дает вырожденную классификацию - состоит из одного кластера. Между тем другие способы построения результирующего упорядочения, например, по сумме координат, могут оказаться более практически приемлемы.

Практический интерес представляет также задача расширения классификации по упорядоченным классам, заданной на части естественного множества определения, на все это множество. Решений, как правило, имеется несколько, и возникают проблемы описания всех возможных расширений и выбора из них наиболее адекватного с точки зрения рассматриваемой прикладной области, например, токсикологии как части экологического страхования.

Об алгоритмах нахождения согласующей кластеризованной ранжировки. Пусть дана конечная совокупность ранжировок моделей (возможно, со связями). Требуется построить согласующую ранжировку, возможно, кластеризованную (т.е. со связями).

Шаг 1. Находим все пары моделей, упорядочение которых хотя бы в двух исходных ранжировках противоречиво (в одной ранжировке первая модель строго лучше второй, а в другой ранжировке - наоборот, вторая модель строго лучше первой).

Шаг 2. Рассмотрим граф, вершины которого - модели из рассматриваемого семейства родственных моделей. Две вершины соединены ребром тогда и только тогда, когда они выделены на шаге 1. Выделяем связные компоненты этого графа.

Шаг 3. Устанавливаем строгий порядок между связными компонентами графа, выделенными на шаге 2 (кластерами). Получаем искомую согласующую ранжировку.

Программная реализация описанной схемы может быть осуществлена различными способами.

 

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 |