Имя материала: Исследование систем управления

Автор: А. С. Малин

7.3  метод дельфи

 

¨ классический метод экспертных оценок Дельфи

¨ метод структуризации принятия решений

 

Классический метод экспертных

оценок Дельфи

 

Сущность метода Дельфи состоит в последовательном анкетировании экспертов различных областей науки, техники и формировании массива информации, отражающего индивидуальные оценки экспертов, основанные на строго логическом опыте. Данный метод предполагает использование серии анкет, в каждой из которых содержатся информация и мнения, полученные из предыдущей анкеты.

Область применения метода: прогноз развития науки и техники, будущих открытий и изобретений, для которых нет достаточной теоретической базы в момент составления прогноза, а также составление картины будущего мира, долгосрочного прогнозирования, изучения ряда экономических и социальных проблем. Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта исследования производится исходя из следующих принципов:

¨ вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;

¨ опрос экспертов проводится в несколько этапов, на каждом последующем этапе вопросы и ответы все более уточняются;

¨ после каждого этапа всех опрашиваемых экспертов знакомят с результатами опроса;

¨ эксперты обосновывают оценки и мнения, отклоняющиеся от мнения большинства;

¨ статистическая обработка ответов производится последовательно, от этапа к этапу, с целью получения обобщающих характеристик.

Покажем, как используется метод при подготовке научно-технических прогнозов [7.1].

Опрос экспертов производится в четыре этапа с промежутками в два месяца.

Разумеется, еще до первого этапа должны быть проведены подготовительные мероприятия с экспертами.

Первый этап. Целью первого этапа является составление перечня событий для прогноза в определенной области науки и техники.

Первая анкета может быть полностью бесструктурной и допускать любые ответы.

Эксперты в письменной форме называют изобретения или научные открытия, которые, по их мнению, должны быть сделаны в последующие 50 лет (можно взять и другой период). При этом требуется доказать, что потребность в данных открытиях ощущается уже в настоящее время, поэтому их реализация должна осуществиться в течение 50 лет. В результате этого этапа эксперты называют определенное число событий (изобретений и открытий).

После того как прогнозы группы возвратились к организатору, он должен объединить их, идентифицировать и составить перечень, который становится основой второй анкеты.

Второй этап. Экспертам направляют сводный перечень событий и просят оценить даты, когда могут произойти эти события. Эксперты приводят соображения, по которым они считают свои оценки правильными, т.е. указать причины того, почему, по их мнению, то или иное событие не должно произойти раньше или позже прогнозируемой ими даты.

После того как прогнозы и оценки дат, сделанные членами группы, вернулись к организатору, последний должен подготовить статистическую сводку мнений, упоминая аргументы и доводы в пользу того, что рассматриваемое событие произойдет раньше или позже средней оценки.

Затем аналитики проводят статистическую обработку полученных оценок: уточняют перечень событий и анализируют характеристики ряда, т.е. рассчитывают медианы, моды, квартили и децили.

Под медианой понимается такое значение прогнозируемого признака (к примеру, времени реализации некоторого события), которым обладает центральный член ряда, составленного в порядке возрастания значений признака. Под модой понимается наиболее часто встречающееся в ранжированном ряду значение прогнозируемого признака. Квартилем называется значение прогнозируемого признака, которым обладают члены ряда под номером, представляющим 1/4 всего ряда (нижний квартиль) и 3/4 от всего ряда (верхний квартиль). Аналогично определяются децили.

Предположим, что от экспертов получено какое-либо число оценок, например 11. Эти оценки упорядочиваются, скажем, в порядке убывания. За медиану принимается средний член ряда (при нечетном числе экспертов), по отношению к которому число оценок с начала и с конца ряда будет одинаковым.

При четном числе экспертов медиана равна среднему из значений оценок двух центральных экспертов. В нашем случае — нечетное число экспертов 11, медиана будет совпадать с оценкой N6 (рис. 7.5). Затем определяются верхний и нижний квартили, т.е. интервалы N1Q1 и N11Q3. Величины этих квартилей в первом приближении равны значениям оценок ряда в интервале, равном 25\% от начала и 25\% от конца ряда. Таким образом, медиана и квартили образуют на оси ряда четыре интервала, среди которых два средних Q1Me и Q3Ме, считаются наиболее предпочтительными. Полученные таким образом показатели принимаются за характеристики распределения оценок: медиана служит характеристикой группового ответа, а предпочтительный интервал квартилей - показателем разброса индивидуальных оценок.

 

Каждому эксперту сообщаются значения этих характеристик. Экспертов, чьи оценки оказались в крайних квартилях, просят их мотивировать, т.е. обосновать причины расхождения с групповым мнением. Эксперты могут приводить любые аргументы или возражения, такие же, какие они приводят во время дискуссии. Разница заключается лишь в том, что эти аргументы анонимны. Они могут пересмотреть свои мнения и при желании исправить оценки.

С полученными обоснованиями знакомят остальных экспертов, не указывая при этом, чьи они. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми пренебрегли во время первого и второго этапа.

Третий этап. Третья анкета состоит из перечня событий, групповой медианы дат наступления события, верхнего и нижнего квартилей для каждого события, а также сводных данных (аргументов) о причинах более ранних или поздних оценок. Участники экспертизы вновь рассматривают аргументы и формулируют новые оценки по каждому событию. Если их новая оценка не попала в интервалы между квартилями, полученными на втором этапе опроса, то их просят обосновать свою точку зрения.

После того как пересмотренные оценки и новые аргументы возвратились к организатору, он опять должен суммировать оценки группы, рассчитав новые медианы и новые квартили, суммировать аргументы, представленные с обеих сторон, и подготовить на этой основе новые прогнозы.

Четвертый этап. Участникам экспертизы вновь передают перечень событий, статистическое описание оценок группы и аргументы обеих сторон.

Эксперты должны принять во внимание аргументы и их критику и составить новый прогноз.

Организатор рассчитывает медианы и квартили дат для каждого события. На этом заканчивается работа экспертов.

Процедуры, используемые в методе Дельфи, характеризуются тремя основными чертами: анонимностью, регулируемой обратной связью и групповым ответом. Анонимность достигается применением специальных вопросников или другими способами индивидуального опроса, регулируемая обратная связь осуществляется за счет проведения нескольких этапов опроса, причем результаты каждого этапа обрабатываются и сообщаются экспертам. С помощью статистических методов группового ответа уменьшается статистический разброс индивидуальных оценок и получается групповой ответ, в котором правильно отражено мнение каждого эксперта.

В последние годы разработан ряд модификаций метода Дельфи. В этих модификациях изменяются многие элементы методики, используемой в классическом методе Дельфи, но принцип группового ответа соблюдается. Метод структуризации относится к модифицированным методам Дельфи.

 

Метод структуризации принятия решений

 

Сущность метода структуризации состоит в построении "дерева решений" путем многоэтапного экспертного опроса с использованием так называемой дельфийской процедуры. В результате проведения каждого этапа экспертного опроса формируются элементы одного уровня "дерева решений", производится их сравнительная оценка, отбрасываются элементы, не соответствующие принятым показателям отбора. Оставшиеся элементы подвергаются дальнейшей структуризации на более низком уровне. Такой подход дает возможность наиболее полно учесть и оценить все предложения экспертов. Каждый раз экспертам предлагаются для оценки элементы только одного уровня "дерева", что уменьшает размерность задачи и повышает обоснованность суждений экспертов. При таком подходе ускоряется процесс построения "дерева решений", так как по принятым показателям отбора элементы каждого уровня оценивают, а элементы, не соответствующие им, отбрасывают и не учитывают в дальнейшем рассмотрении.

Рассмотрим применение метода структуризации принятия решения на примере определения состава работ по новым проблемам научно-производственной организации (НПО) [7.3].

Требуется:

¨ оценить возможные пути решения проблемы, т.е. определить, какие конкретно научно-исследовательские и проектные работы и организационные мероприятия следует выполнить;

¨ оценить требуемые для этого ресурсы, т.е. время и стоимость решения проблемы.

Для сравнения вариантов решения научно-технической проблемы могут быть использованы, например, две группы количественных и качественных показателей, приведенные в табл. 7.11, 7.12.

 

Таблица 7.11.

Показатели оценки элементов "дерева решений"

на уровне подпроблем

 

Показатель

Возможные значения

Оценка (баллы)

 

Соответствие научному профилю НПО h(1)

Соответствует

Не соответствует

1

0

 

Целенаправленность h (2)

Решает основную задачу проблемы

Содействует решению проблемы наравне с другими подпроблемами

Мало содействует решению проблемы

100

50

 

10

 

Новизна h(3)

Подпроблема представляет собой разработку нового объекта техники или научного исследования

Подпроблема представляет собой усовершенствование существующего объекта техники или научного исследования

100

50

 

Внсдряемость  h(4)

Результаты решения проблемы могут быть внедрены: в масштабах отрасли

на нескольких предприятиях отрасли

в конкретном НПО

100

 

50

10

Перспективность h(5)

Результаты решения подпроблемы послужат основой для новых НИР

Результаты имеют значение только для решения данной проблемы

100

 

50

 

Таблица 7.12.

Показатели оценки элементов "дерева решений" на уровне НИР

 

Показатель

Возможные значения

Оценка

Целенаправленность

Решает основную задачу подпроблемы

Содействует решению наравне с другими

Мало содействует решению подпроблемы

100 баллов

50 баллов

10 баллов

Предполагаемые затраты на проведение работ

 

тыс. руб.

Ожидаемая годовая экономия

 

тыс. руб.

Предполагаемая длительность

 

год

Вероятность получения результатов в заданное время

 

доля единиц

 

Процедура структуризации проблемы и ее оценки предусматривает реализацию следующих этапов:

этап ] — определение и описание проблемы;

этап 2 — структуризация проблемы на уровне подпроблемы;

этап 3 — структуризация подпроблем на уровне тем научных исследований;

 

• этап 4 — расчет технико-экономических характеристик элементов третьего уровня "дерева решений".

Определение и описание проблемы рассмотрены выше, поэтому перейдем к рассмотрению второго этапа.

 

Этап 2. Структуризация проблемы

 на уровне подпроблемы

 

Шаг 1. Формируется группа экспертов таким образом, чтобы в ней были представители всех основных направлений работ в данном НПО. Эксперты знакомятся с проблемой и формируют направления исследований и разработок (подпроблемы), которые могут привести к решению рассматриваемой проблемы.

Шаг 2. Вычисляется коэффициент компетентности экспертов.

Каждый эксперт указывает степень своей информированности о проблеме по десятибалльной шкале и источники аргументации своего мнения. Аргументированность эксперта определяется в результате суммирования баллов по эталонной табл. 7.1.

Эксперт получает такую таблицу без цифр и отмечает (знаком) степень влияния каждого источника на его мнение. После наложения эталонной таблицы подсчитывается сумма баллов по всем источникам, отмеченным экспертами.

Шаг 3. Составляется общий список подпроблем, представленных всеми экспертами (повторяющиеся исключаются). Вычисляется обобщенная экспертная оценка показателя соответствия j-й проблемы профилю НПО:

Если hj- (1) < ½, то j-я проблема исключается из дальнейшего рассмотрения.

Шаг 4. Получение от каждого эксперта оценки показателя целесообразности подпроблемы h(2) может принимать значения 100, 50, 10 (табл. 7.12). Для установления степени согласованности мнений экспертов о целесообразности выявленных проблем вычисляют коэффициент конкордации. Для этого эксперты ранжируют подпроблемы таким образом, что подпроблема, в наибольшей степени соответствующая решению проблемы, получает ранг, равный 1, следующая — ранг, равный 2, и т.д. Равнозначные, по мнению экспертов, подпроблемы получают ранг, равный среднеарифметическому значению. Степень согласованности мнений экспертов характеризуется коэффициентом конкордации w, который определяется по формулам:

где          s — сумма квадратов отклонений сумм рангов, полученных j-м направлением исследований, от среднего арифметического сумм рангов, полученных всеми направлениями исследований;

п — количество экспертов;

т — число направлений;

rj — ранг, присвоенный i-м экспертом j-му направлению;

r̅ — оценка математического ожидания.

При наличии связанных рангов коэффициент конкордации (w) вычисляется так:

где          Тi - показатель связанных рангов в i-й ранжировке;

Нi — число групп равных рангов в i-й ранжировке;

hK — число равных рангов в К-й. группе связанных рангов при ранжировании i-м экспертом.

Коэффициент конкордации w может принимать значения 0 £ w £ 1.

Если w < 0,5, то проводится повторное совещание экспертов для того, чтобы добиться одинакового понимания ими сущности подпроблем, при этом они могут изменить свой взгляд на подпроблему, и при пересчете значение w может увеличиться. Если w > 0,5, то переходим к следующему шагу.

Шаг 5. Вычисление обобщенной экспертной оценки показателя целенаправленности j-и подпроблемы hj- (2):

где          hj- (2)  — оценка i-го эксперта показателя целесообразности j-й подпроблемы, который может принимать значение 100, 50, 10 (табл. 7.11).

Если hj- (2)  < 30, т.е. большинство экспертов считают, что j -я подпроблема мало содействует решению проблемы, то она исключается из дальнейшего рассмотрения.

Шаг 6. Упорядочение экспертами значений коэффициентов новизны (h(3)), внедряемости (h(4)), перспективности (h(5)) в порядке убывания их значимости для выяснения, одинаков ли подход экспертов к оценке показателей. При этом вычисляется коэффициент конкордации для оценки данной проблемы, затем каждому из этих показателей назначаются весовые коэффициенты в долях единицы

 

Шаг 7. Вычисление среднего значения весовых коэффициентов для показателей новизны, внедряемости, перспективности ():

где l — номер показателя (l = 3, 4, 5);

qij — весовой коэффициент показателя h(1), даваемый i-м экспертом;

п — число экспертов.

Шаг 8. Оценка каждым экспертом подпроблемы по показателям h(3), h(4), h(5), при этом h(3), h(4) могут принимать значения 100, 50, 10, а h(5) принимает значения 100, 50 (см. табл. 7.11). Результаты опроса экспертов по показателям h(3), h4), h(5) удобно представить в виде табл. 7.13, где хijl — значение показателя h(1), присваиваемое j-й подпроблеме i-м экспертом.

Шаг 9. Вычисление показателя уровня значимости (х̅j), т.е. обобщенного значения оценки j-й подпроблемы по показателям h(3), h(4), h(5). На этом шаге оценивается групповое мнение экспертов о значении j-й подпроблемы в решении проблемы в целом:

Таблица 7.13.

Оценки эксперта по показателям h(1)

 

 

Подпроблема

Показатель

h(3)

h(4)

h(5)

1

2

m

x113

x123

x1m3

x114

x124

x1m4

x115

x125

x1m5

 

где          x̅̅j - уровень значимости j-й подпроблемы;

q̅̅j — среднее значение весовых коэффициентов для каждого показателя;

хijl — значение показателя h(1), присваиваемое j-й проблеме iм экспертом (100, 50, 10).

Шаг 10. Упорядочение в порядке убывания уровня значимости (x̅jmax =  100, x̅jmin = 10) и вычисление по каждой подпроблеме коэффициента важности Кbj (в долях единицы). Коэффициент важности показывает относительную важность j-й проблемы для решения исходной проблемы, при его вычислении учитывается уровень значимости j-й подпроблемы и степень ее целенаправленности:

где          x̅̅j  -- уровень значимости j-й подпроблемы;

hj- (2)  — среднее значение экспертной оценки целенаправленности j-й подпроблемы.

 

Этап 3. Структуризация подпроблем на уровне

 тем научных исследований

 

На данном этапе расчетов определяются элементы третьего уровня "дерева решений", т.е. непосредственно темы научных исследований. При этом возможно изменение состава экспертной группы. В нее включаются специалисты преимущественно тех областей деятельности, которые соответствуют выбранным для дальнейшего рассмотрения проблемам.

Шаг 1. Формирование экспертами по каждой j-й подпроблеме списка предполагаемых тем научных исследований и предполагаемых результатов. Эксперт может указывать темы научных исследований по одной или нескольким подпроблемам и оценивать Ки, Ка (коэффициенты информированности и аргументированности), как это делается в шаге 1 предыдущего этапа. Эти данные необходимы для определения коэффициента компетентности эксперта (см. шаг 2 предыдущего этапа). Кроме того, эксперт должен указать предполагаемого исполнителя (подразделение, ответственного исполнителя) по предложенным темам научных исследований.

Шаг 2. Анализ списка предлагаемых тем для выявления адекватных ожидаемым результатам и состава исполнителей для выявления адекватных исследованиям. В случае одинаковых по содержанию тем формулировка уточняется и в общий список тем включается одна из них.

Шаг 3. Оценка тем научных исследований по показателю целенаправленности (h(2)) К-й темы при решении j-й проблемы; h(2) может принимать значения 100, 50, 10 (табл. 7.11). Результаты опроса экспертов по показателю h(2> удобно представить в виде таблицы, где хijk - значение показателя h<2), присваиваемое К-й теме i-м экспертом по j-й подпроблеме (табл. 7.14).

Шаг 4. Определение групповой экспертной оценки целенаправленности К-й темы при решении j-й  подпроблемы (A̅jk):

где          х(2)ijk - оценка целенаправленности К-й темы при решении j-й подпроблемы, данная i-м экспертом;

Ki -- коэффициент компетентности i-го эксперта, нормированный к единице;

i — номер эксперта;

j — номер подпроблемы;

К — номер темы (К = 1, 2, ..., L);

A̅jKmax = 100,    A̅jKmin = 10.

 

Таблица 7.14.

Экспертные оценки целенаправленности

тем научных исследований

 

 

Темы научных исследований, у которых А̅jk =10, исключаются из дальнейшего рассмотрения для решения j-й подпроблемы.

Шаг 5. Вычисление показателя удельного веса (Кул.в.K) К-й темы для решения j-й подпроблемы (в долях единицы):

где          А̅jk - групповая экспертная оценка целенаправленности К-й темы для решения j-й проблемы;

 - общая суммарная оценка в баллах значений A̅jK для всех предложенных тем при решении подпроблемы.

Шаг 6. Вычисление значения коэффициента относительной значимости К-й темы для j-й подпроблемы и для проблемы в целом (K3Kj; K3K):

где          KЗКj - относительная значимость К-й темы для j-й подпроблемы;

Kbj - коэффициент важности j-й подпроблемы при решении проблемы в целом (определяется на 10-м шаге первого этапа расчетов);

K3K -  относительная значимость К-й темы для проблемы в целом.

Результаты расчета коэффициентов относительной значимости удобно представить в виде таблицы (см. табл. 7.15).

 

 

Таблица 7.15.

Таблица расчета коэффициентов относительной значимости

 

 

Этап 4. Расчет технико-экономических характеристик элементов третьего уровня "дерева решений"

 

Шаг 1. Проведение экспертного опроса и получение данных о длительности, стоимости, экономии, вероятности успешного завершения работ по каждой теме научных исследований.

Шаг 2. Вычисление усредненной экспертной оценки длительности выполнения К-й темы. Для этого необходимо все экспертные оценки упорядочить по оси времени. Средний член совокупности оценок, упорядоченной по оси времени, образует медиану, значение которой можно истолковать как показатель обобщенного мнения экспертов о длительности выполнения научных исследований. Затем следует определить значения нижнего и верхнего квартилей упорядоченной совокупности оценок. Этим следует определить значения нижнего и верхнего квартилей упорядоченной совокупности оценок. Эти значения выбираются так, чтобы 25\% всех оценок были самыми ранними и 25\% — наиболее поздними. Реалистическое время длительности научных исследований по теме определяется по формуле

где          Тн — наиболее низкие оценки длительности;

Те — наиболее высокие оценки длительности.

Если Tpeaл и Тсред близки по значению, то Тсред принимается за оценку длительности выполнения работ по теме.

Шаг 3. Вычисление усредненной экспертной оценки стоимости выполнения работ по теме:

где          Сiк — индивидуальные оценки стоимости К-й темы i-м экспертом.

Шаг 4. Вычисление усредненной экспертной оценки ожидаемой экономии:

где          Эiк — оценка годовой экономии, ожидаемой от внедрения результатов исследований по К-й теме, данная i-м экспертом.

Шаг 5. Вычисление экспертной оценки вероятности успешного завершения К-й темы:

где          PiK - оценка вероятности успешного завершения k-vl темы, данная i-м экспертом.

Шаг 6. Вычисление общего показателя (OK) экспертной оценки К-й темы. Это необходимо для сравнения и ранжирования элементов модели, с учетом количественных и качественных показателей. При расчете показателя ОK участвует коэффициент относительной значимости К-й темы, определенный на шаге 5 этапа 2 (К3H):

                       

 

Эприв — ожидаемая экономия от результатов внедрения темы, приведенная к первому году внедрения, тыс. руб.;

Кприв — предполагаемые затраты на проведение работ, приведенные к первому году внедрения, тыс. руб.;

р̅ — средняя оценка вероятности получения результатов за данное время;

КЗН — коэффициент относительной значимости К-й темы для решения проблемы в целом;

ЕНП — норматив для приведения разновременных затрат;

С0 — затраты данного года, тыс. руб.;

Тср — длительность разработки (длительность ведения работ по теме).

Шаг 7. Ранжирование тем научных исследований в порядке убывания общего показателя оценки тем (ОК).

Темы, имеющие более высокий показатель ОК должны иметь преимущества при составлении тематического плана НПО в случае, если директивные ограничения (финансовые, трудовые) не позволяют включить в план все темы научных исследований, обеспечивающие комплексное решение проблемы. Кроме того, когда одно и то же должностное лицо рекомендуется большинством экспертов в качестве ответственного исполнителя по нескольким темам, то следует закреплять за ним работы с более высоким ОК.

Шаг 8. Выработка рекомендаций по распределению ресурсов между темами научных исследований может быть произведена по формуле

где          SK — объем финансирования по K-й теме;

Soбщ - общий объем финансирования НИР и ОКР.

Итак, алгоритм построения модели "дерева решений" базируется на процедуре последовательного проведения нескольких туров независимых экспертных опросов, получения экспертных оценок и их обработки с использованием методов математической статистики и методов обработки экспертных оценок.

 

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 |