3.3. Методология экспертных оценок

К оглавлению
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 
17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 
34 35 36 37 38 

Современный этап развития научно-технического прогресса вызвал

ярко выраженную потребность в разработке экспертных методов оценки

проектов и исследовательских систел!.

В тех слзд1аях, когда совокупность объективных показателей не всегда

способна адекватно отобразить состояние исследуемой системы,

становится целесообразным оценивать качество проектов и, соответственно,

осуществлять их последу1бщий отбор на основе мнения специально

отобранных для этой цели специалистов-экспертов, владеющих

методологией экспертных оценок и имеющих богатый опыт в сфере

решения узловых проблемных задач.

Экспертные методы завоевывают популярность по мере увеличения

доли качественных критериев в отображении и оценке социальных

процессов. Одной из причин, вызвавших эту тенденцию, является необходимость

учета интуиции опытных экспертов, выносящих заключения

о целесообразности принятия того или иного варианта решения

в процессе разработки и реализации программы. Факт проникновения

субъективных подходов в плоскость объективной оценки рассматриваемых

альтернатив, лежащий в основе методологии экспертных

методов, призван обеспечить более точное и адекватное отображение

свойств и признаков оцениваемого объекта. Особое значение экспертные

методы начинают играть в условиях нестабильной экономики,

когда степень неопределенности в исходе различных социально-экономических

ситуаций становится все более значимой.

248 Исследование социально-эконоАлических и политических процессов

Как правило, экспертные методы используются для постижения

объектов, оценка которых не поддается однозначной интерпретации,

основанной на принципах математической формализации.

Отсутствие достоверной информации об объекте или ее неполнота

также способствуют обращению к использованию труда экспертов.

М. Горшков и Ф. Шереги выделяют четыре функции, которые

выполняет метод экспертной оценки в социологическом исследовании:

• оценка состояния;

• оценка причин явления или процесса;

• прогноз тенденций развития социальных процессов;

• выработка форм и методов решения социальной проблемы'.

Известный исследователь проблем стратегического управления

И. Ансофф рассматривал использование экспертны?с оценок в качестве

признака современного этапа в развитии стратегического менеджмента,

характеризующегося необходимостью формирования диверсифицированной

компанией объективных представлений о сути

происходящих в конкурентной среде изменениях, основанных на гибких

экспертных решениях [1].

Методология экспертных оценок применяется в решении следующих

задач:

• обоснование выбора варианта управленческого решения на основе

заложенных в основу оценки критериев;

• определение перспективных направлений использования имеющихся

в организации технологий;

• согласование мнения между различными уровнями управления;

• проведение полной и адекватной оценки ситуации, сложившейся

на предприятии, в отрасли и пр.

Для решения многих проблем важно не столько нахождение наиболее

правильного с технологической точки зрения варианта решения

проблемной ситуации, но и его способности быть реализованным в сложившихся

в организации условиях.

Эксперт соотносит для вынесения своего заключения множество

критериев, полагаясь на свою квалификацию и опыт. И поэтому при

' Горшков М., Шереги Ф. Прикладная социология: Учеб. пособие для вузов.

- М., 2003. - С. 143-144.

организации экспертного опроса много зависит от того, как правильно

будут подобраны эксперты для решения поставленной задачи.

Привлечение эксперта должно опираться на следующие профессиональные

качества, которым он должен соответствовать. Среди них

наиболее важными являются:

• квалификация и опыт;

• владение методами экспертной оценки;

• специализация;

• представление обо всех звеньев технологической цепочки и уровней

управления.

В процессе подбора экспертов организаторы опроса должны обеспечить

беспристрастность экспертов в оценке объекта, наделить его

всей необходимой для полного осмысления проблемы информацией.

Основным требованием к отбору эксперта выступает его квалификация.

Определить квалификацию эксперта можно по следующим

критериям.

1. Число переменных, которые, по его мнению, существенны для

принятия рещения. Эксперт использует меньще переменных, чем

не эксперт.

2. Оценка важности этих переменных с его точки зрения.

3. Скорость или эффективность идентификации экспертом качественных

различий между переменными.

4. Собственная оценка экспертом своих возможностей и квалификации.

5. Достоверность предыдущих заключений эксперта.

В качестве одной из форм объективной оценки качества эксперта,

его компетентности, может быть рассмотрен способ взаимной оценки

экспертов, на основе которой производится отбор наиболее компетентных

з^астников экспертной оценки.

Технология отбора представляет собой разновидность социометрического

опроса, в рамках которого каждый респондент должен выбрать

наиболее компетентного, с его точки зрения, специалиста, способного

произвести максимально объективную оценку исследуемого события.

Полученные результаты вносятся в таблицу, обозначив в ней номерами

от 1 до 10 экспертов, участвующих в процедуре взаимной оценки.

В клетках таблицы (табл. 3.8) число 1 обозначает выбор, тире — отсутствие

выбора (или отрицательная оценка).

250 Исследование социально-экономических и политических процессов

Таблица 3.8

Взаимные оценки экспертов

Кого

назвали

1

2

3

4

5

6

7

8

9

10

Итого

Кто назвал

1

0

1

-

1

1

-

I

-

-

1

5

2

-

0

1

1

1

-

I

-

1

5

3

-

1

0

-

1

1

1

-

1

5

4

1

1

-

0

1

-

I

1

-

5

5

1

-

1

-

0

1

1

-

1

5

6

-

0

-

5

7

-

1

1

1

1

0

-

1

5

8

1

1

1

-

1

-

0

-

1

5

9

-

1

-

1

1

1

-

0

1

5

10

1

1

1

--

I

1

-

0

5

Сколько

раз

назвали

5

8

2

5

J 1

5

8

2

5

3

50

С целью уточненной оценки необходим учет веса каждого эксперта,

которым заменяются единицы в таблице.

Таким образом, можно построить новую таблицу (табл. 3.9).

Таблица 3.9

Уточненные взаимные оценки экспертов

Кого

назвали

1

2

3

4

5

6

7

8

9

10

Кто назвал

1

-

5

-

5

5

-

5

--

5

2

--

8

8

8

-

8

-

8

3

-

2

-

-

2

2

2

-

2

4

5

5

--

5

-

5

5

-

5

7

-

7

--

7

7

-

7

б

5

5

-

-

5

-

5

-

5

7

-

8

-

8

8

8

-

-

8

8

2

2

-

2

-

2

-

-

-

2

9

-

5

-

-

5

5

5

-

-

5

10

3

3

-

3

-

3

3

-

-

Суммарная

оценка

22

35

15

26

38

24

40

8

30

12

Ранговая

оценка

7

3

8

5

2

6

1

10

4

9

Таким образом, если мы намерены отобрать из общего количества

кандидатов пять наиболее компетентных экспертов, используя данный

метод, то предпочтительными выглядят шансы 7,5,2,9,4 экспертов

[4].

Окончательный выбор эксперта может быть обоснован также с помощью

личной самооценки экспертом своих способностей вынесения

объективного заключения по рассматриваемому вопросу.

Основу методологии экспертных оценок составляют экспертные

методы анализа. Экспертные методы анализа — это исследование параметров

исследуемого объекта, основанное на принципах организации

коллективной мыследеятельности с использованием технологии

экспертного опроса. Цель экспертного анализа заключается в предварительном

тестировании объекта исследования, направленном на выявление

в нем внутренних свойств и связей, скрытых от исследователя.

Благодаря методам экспертного анализа, собирается необходимый

для вынесения экспертной оценки материал, обеспечивается его соответствие

принятым стандартам.

Технология проведения экспертного анализа предполагает прохождение

ряда этапов.

1. Подготовка экспертов.

Процедура подготовки экспертов включает в себя ознакомление их

с особенностями исследуемого объекта, требованиями организации

к его качеству и т. д. При распределении заданий необходимо учитывать

квалификацию, опыт и профессиональную принадлежность экспертов,

которые могут отличать одного эксперта от другого. В ходе

организации экспертного анализа необходимо обеспечение ряда условий:

создание общей рабочей атмосферы, объекты экспертных оценок

должны быть тщательно проранжированы по этапам экспертного анализа.

И, кроме того, работа экспертов должна предполагать введение

функции внешнего управления.

2. Выделение критериев и условий принятия экспертных решений.

Выделение критериев, положенных в основу проведения экспертного

анализа, предполагает разработку специального формуляра или

системы балльных оценок, при помощи которых эксперт будет оценивать

варианты различных решений, обосновывать выбор оптимальных

вариантов. С целью определения неравнозначности различных переменных,

используемых в процессе оценки рассматриваемых альтернатив,

допускается формулировка весовы?^ коэффициентов, призванных

иерархизировать переменные по степени их роли в достижении ожидаемого

результата.

3. Выбор оптимального метода экспертной оценки.

На выбор оптимального метода экспертной оценки оказывает влияние

состояние информационной базы, составляющей необходимое

условие для обоснованного и достоверного выбора варианта экспертного

решения. Для этого эксперт может непосредственно указать значение

показателя для оцениваемого объекта. Например, указывая стоимость

квартиры, при которой она может иметь конкурентоспособный

252 Исследование социально-экономических и политических процессов

спрос, эксперт способен помочь риэлтерской фирме определить емкость

рынка жилья и спрогнозировать спрос на различные его категории.

Однако совет может оказаться неудачным, если окажется, что

свои выводы эксперт сделал на основе своего уникального опыта, не

связанного с наметившимися тенденциями на рынке недвижимости,

подмеченными другими экспертами. Поэтому с целью повышения качества

экспертной оценки значительную роль имеет выбор метода ее

получения, основанного на определении необходимого числа экспертов,

способных обеспечить объективный и точный анализ сложившихся

тенденций.

Методы экспертной оценки

К сожалению, эксперты не всегда способны дать количественные

оценки значений оцениваемых показателей. Поэтому важнейшим

элементом экспертной оценки является способ качественной оценки

объектов экспертизы.

Своеобразие качественных методов проведения экспертной оценки

заключается в таком представлении объекта экспертизы, которое позволит

увидеть в нем скрытые до этого свойства.

В целом можно выделить две группы экспертных оценок: индивидуальные

и коллективные.

Индивидуальные методы основаны на использовании мнений экспертов,

независимых друг от друга. Информация, которую получает

заказчик от эксперта, отличается уникальностью и ориентацией на

проблему, имеющую локальный характер.

Несмотря на то, что знания отдельного эксперта являются ограниченными,

что не всегда дает возможность получить максимально достоверную

информации об объекте оценки, обращение к этим методам

является достаточно обоснованным. Преимущества этих методов заключены

не только в дешевизне индивидуальных экспертиз, но и в характере

самой процедуры, отличающейся глубиной и последовательностью

проникновения в предмет. Использование индивидуальных

методов позволяет исключить возможность межличностного влияния,

способного исказить достоверность экспертной оценки.

Ряд экспертных методов трудно отнести к индивидуальным или

коллективным. Кроме того, в процессе их применения также используются

как качественные, Так и количественные критерии. Таким образом,

можно выделить особую группу эвристических методов, значение

которых заключается в мобилизации творческого мышления

в решении сложных комплексных задач.

1. Метод гирлянд и ассоциаций, разработанный в 70-е г. советским

ученым Г. Бушем, предполагает изучение схожего по свойствам объекта,

на базе сличения которых выявляются особенности, характерные

для исследуемого объекта.

Метод предполагает прохождение следующих этапов.

1. Определение аналогов объекта.

2. Выбор случайных объектов.

3. Составление комбинаций из элементов гирлянд аналогов объекта

и слз^айных объектов.

4. Составление перечня или таблицы признаков случайных объектов.

5. Развитие идей посредством поочередного присоединения к объекту

и его аналогам признаков случайных объектов.

6. Генерирование гирлянд ассоциаций (поочередно из каждого признака

случайных объектов вырабатывается гирлянда «вторичных»

понятий и признаков).

7. Развитие новых идей путем попыток комбинирования элементов

гирлянды ассоциаций по признакам с элементами гирлянды аналогов

объекта.

8. Выбор альтернативы, то есть анализ полученного множества идей

и принятие решения о прекращении генерирования гирлянд ассоциаций

и комбинирования понятий.

9. Оценка и отбор рациональных вариантов идей.

10. Выбор предпочтительного варианта.

Сферой применения названного метода может стать сложная проблемная

ситуация, слабо изученная, в отношении которой нет сложившегося

мнения. Метод может быть реализован только при условии

большой предварительной работы, заключающейся в глубоком

изучении свойств аналогов исследуемого объекта, целесообразности

их привлечения, формировании психологической установки экспертов

и т. д.

2. Метод парных сравнений основан на простом сопоставлении экспертом

альтернативных вариантов, из которых он должен выбрать

наиболее предпочтительный. Метод позволяет з^итывать равноценность

или принципиальную несравнимость представленных альтернатив,

в связи с чем они исключаются из анализа.

В ходе такого сравнения эксперт не только отбирает лучшие варианты,

но и формулирует критерии, позволяющие осуществить такой

выбор, подчеркивая свойства и признаки отобранной альтернативы.

254 Исследование социально-эконолдических и политических процессов

3. При использовании метода векторов предпочтений эксперту

предъявляется весь набор оцениваемых альтернативных вариантов

и предлагается для каждого из них указать, сколько альтернативных

ему вариантов он опережает.

Полученную информацию можно изобразить в виде вектора, одним

из компонентов которого является число альтернативных вариантов,

превосходящих первый, вторым компонентом — число альтернатив,

которые превосходят второй и т. д. Примером векторного представления

10 альтернативных вариантов служит такая последовательность

(5,0,7,3,2,1,4,9,8,6).

Упоминая в системе предпочтения каждый из вариантов не более

одного раза, эксперт проводит строгое ранжирование представленных

вариантов на основе предварительно сформулированного критерия.

Использовать этот метод можно и при коллективной экспертизе, представляя

коллективный взгляд на соотношение рассматриваемых альтернатив.

4. Метод фокальных объектов, разработанный в 50-е гг. XX века

американским ученым Ч. Вайтингом, заключается в перенесении признаков

случайно отобранных аналогов на исследуемый объект. Отл-

чительным признако данного метода является то, что он совершенно

исключает количественный подход и нацелен, главным образом, на

концентрацию внимания исследователя на так называемом фокальном

объекте, служащим основой сопоставления с объектами, составляющими

поле направленного случайного поиска.

Фокальные точки спонтанно выбираются всеми индивидами в силу

особой роли первых в отношении социально однородной группы,

сформированной вокруг базовых ценностей, которые разделяют члены

таких групп.

Примером фокального объектд может служить примечательное для

данного территориального образования культовое здание, служащее

местом встреч.

В пользу использования этого метода при проведении экспертных

оценок говорит то обстоятельство, что значительная часть научных

открытий делается на основе обобщения фактов, находящихся на периферии

стратегии направленного поиска. Путем сопоставления фокального

объекта и группы случайных объектов производится сравнение

аналоговых признаков с признаками фокального объекта, по

результатам которого производится сравнение объектов и определяется

перечень мер по совершенствованию роли фокального объекта

в моделируемом процессе.

Процедура применения метода предполагает прохождение следующих

этапов.

1. Выбор фокального объекта.

2. Выбор трех-пяти случайных объектов.

3. Составление списков признаков для каждого случайного объекта.

4. Генерирование идей посредством присоединения к фокальному

объекту признаков случайных объектов.

5. Развитие полученных сочетаний путем свободных ассоциаций.

6. Оценка пол)П1енных идей и отбор полезных решений [5].

5. Индивидуальный экспертный опрос возможен в форме интервью

или в виде анализа экспертных оценок.

Метод интервью означает беседу заказчика с экспертом, в ходе которой

заказчик в соответствии с разработанной программой ставит

перед экспертом вопросы, ответы на которые значимы для достижения

программных целей.

Анализ экспертных оценок предполагает индивидуальное заполнение

экспертом (экспертами) разработанного заказчиком формуляра,

по результатам которого производится всесторонний анализ проблемной

ситуации и выявляются возможные пути в ее решении. Свои соображения

эксперт выносит в виде отдельного документа, составленного

на основе тщательного обследования объекта.

Анализ экспертных оценок может быть произведен на основе использования

ряда методов, в основе которых лежит выбор оптимальной

альтернативы в определении варианта решения.

6. Метод средней точки используется при большом количестве альтернативных

решений. Для этого формулируются два альтернативных

варианта решения, один из которых менее предпочтителен, второй —

наиболее. После этого эксперту предлагается подобрать третий альтернативный

вариант, оценка которого расположена между значениями

первой и второй альтернативы. Процедура завершается, когда определяется

сравнительная предпочтительность всех участвующих

в экспертизе альтернативных вариантов.

7. Метод Черчмена-Акоффа.

В соответствии с этим методом все альтернативные варианты ранжируются

по предпочтительности, и каждому из них эксперт назначает

количественные оценки. Если один вариант (al) по предпочтительности

выше другого (а2), то их значения суммируются (al + а2).

Эксперт сопоставляет по предпочтительности альтернативный вариант

(al) и сумму других альтернативных вариантов.

256 Исследование социально-экономических и политических процессов

Если (al) остается предпочтительным, то и его значение будет выше

суммарного значения других альтернативных вариантов, в противном

случае — наоборот.

Если альтернативный вариант (al) на каком-то этапе оказался

предпочтительнее суммы остальных вариантов и для оценок это соотношение

подтверждается, то (а 1) из дальнейших рассмотрений исключается.

Преимуществом данного метода является допущение экспертами

корректировок в ходе обсуждения альтернативных вариантов.

Например, в ходе оценки может определяться сумма наибольшего

числа альтернативных вариантов, исключающая менее предпочтительные,

которая меньше, чем (al). Если альтернативные варианты

правильно иерархизированы с точки зрения предпочтительности, т. е.

значение каждого предыдущего альтернативного варианта больше

суммы последующих, то в корректировке оценки экспертов нет необходимости.

В противном случае, корректировка экспертных оценок

является целесообразной.

8. Метод лотерей.

В соответствии с методом имеющиеся альтернативы распределяются

в порядке убывания предпочтительности, для обозначения которой

эксперт указывает такую вероятность (р), при которой альтернативный

вариант (а2) равноценен лотерее; альтернативный вариант (al)

встречается с вероятностью (р), а альтернативный вариант (аЗ) встречается

с вероятностью (1 -р).

На основе последовательной оценки альтернатив можно рассчитать

линейную функцию полезности, внеся в обозначение альтернативных

вариантов численные значения:

ulpi + u2p2 + ...ипрп,

где: р — вероятности, с которыми рассматриваются альтернативные

варианты al, а2, aN.

Коллективные методы (методы организации коллективной мысле-

деятельности) являются наиболее эффективными с точки зрения достижения

максимальной объективности экспертной оценки, поскольку

предполагают использование широкого и представительного круга

специалистов. Проведенные в университете Буффало исследования

форм коллективной мыследеятельности показали, что групповое

мышление производит на 70 % больше ценных новых идей, чем сумма

индивидуальных мышлений. Успехи команд «знатоков» в популярной

в 80-90-е г. российской телевизионной игре «Что? Где? Когда?» подтверждают

выводы американских ученых.

В целом методы организации коллективной генерации идей можно

разделить на несколько видов.

1. Мозговой штурм.

Рождение метода «мозгового штурма» принято связывать с именем

американского ученого А. Осборна, разработавшего его основы в 1957 г.

Использование метода позволяет находить выход из наиболее сложных

и запутанных ситуаций, в решении которых отсутствуют готовые

рецепты.

Главная цель «мозгового штурма» заключается в стимулировании

творческого процесса генерации идей, возможного в условиях коллективного

обсуждения. Метод позволяет в условиях неопределенной

ситуации разработать максимальное количество возможных решений,

концентрируя внимание участников на обсуждаемой проблеме.

Характерной чертой данного метода является процедура отделения стадии

генерации идей от стадии их оценки.

Участники аналитической группы, производящие оценку, как правило,

изолированы от участников обсуждения. В то же время необходимо

принимать во внимание ряд других требований к организации

процесса обсуждения, соблюдение которых позволит воспользоваться

всеми преимуществами данной технологии.

1. К процессу обсуждения должно быть допущено максимально

широкое число заинтересованных лиц, среди которых обеспечивается

представительство людей различных профессий, квалификаций,

специальностей. Вместе с тем, общее число членов такой

группы не должно превышать 10-15 человек. Ограничение

численности связано с необходимостью глубокого обсуждения

представленных версий решения проблемной ситуации.

2. Ответственный за проведение «мозгового штурма» организатор

должен обеспечить отсутствие административного воздействия на

мнение слушателей. На мнение выступающего ни в коем случае не

должен оказывать влияния авторитет стоящего над ним руководителя.

Участники «штурма» вольны высказывать любые, даже самые

безумные решения. Ни одна из идей не должна отметаться с

порога организаторами обсуждения и членами аналитической фуп-

пы. Чем больше сложившихся стереотипов может быть разрушено

в ходе такого обсуждения, тем больше вероятность, что решение

самой запутанной и сложной ситуации будет найдено.

258 Исследование социально-экономических и политических процессов

3. Одним из важных условий в использовании данного метода является

недопущение в ходе обсуждения критики представленных

подходов. Оценка сделанных предложений обычно производится

позднее. В ходе обсуждения опытный ведущий-методолог может

только направлять мнение участников, заостряя или меняя

тематическую направленность дискуссии. В случае неудачного

хода дискуссии ведущий вправе поставить вопрос о снятии проблемы

с обсуждения или целесообразности ее перенесения на

другой срок, другой состав.

4. Проведенная на заключительном этапе реализации метода оценка

предваряет возможность создания комбинации вынесенных

идей, являющихся продуктом коллективной мыследеятельности.

Главным преимуществом метода «мозгового штурма» является нацеленность

на нахождение нестандартных решений, способных реализоваться

при максимально открытом и свободном режиме обсуждения

проблемы. Такой режим обсуждения позволяет не только обозначить

возможные направления в решении актуальных проблем, но и сфор^

мировать группу людей, обладающих высокими креативными способностями,

что чрезвычайно важно для организации любого типа.

Несмотря на свою внешнюю простоту и доступность, метод «мозгового

штурма» является очень эффективной технологией генерирования

новаторских идей. Однако такая простота и доступность лежит в

основе недостатков, характерных для практического использования

этого метода. Основным из этих недостатков является невозможность

глубокого проникновения в предмет обсуждения всеми задействованными

в нем участниками. Отсюда, отдельные версии могут носить

неконкретный и поверхностный характер, что значительно снизит

эффект такого обсуждения. С целью преодоления этого недостатка

организаторам обсуждения нужно уделить главное внимание подбору

участников обсуждения и составу аналитической фуппы.

2. Методика судов.

Суть методики заключается в такой организации обсуждения проблемной

ситуации в группе, когда одна сторона разрабатывает самостоятельные

предложения, а другая — дает критику всем этим предложениям.

Использование этой методики воспроизводит сценарий суда, в котором

происходит состязание между обвинением и защитой.

Цель методики заключена в выявлении наиболее аргументированного

и оптимального решения, полученного в ходе обстоятельной экспертизы.

Характерной чертой методики судов является ее ролевое исполнение,

которое позволяет участникам обсуждения наиболее полно проявить

себя в организационном процессе, осознавая в нем не только

собственное место, но и место других служб и должностных функций.

3. Метод •«черного ящика».

Главным достоинством метода «черного ящика» является минимизация

возможного влияния заинтересованных лиц на принятие неэффективных

решений.

Метод нацеливает на выделение специального аналитического центра,

который делает заключение исключительно по разработкам независимых

экспертов, оценивающих перЬпективы принятия рещений по

определенному перечню проблем.

На первом этапе экспертам выдается информация о характере и структуре

проблемной ситуации. Эксперты самостоятельно разрабатывают

способы рещения данной проблемной ситуации и передают полученную

информацию в аналитический центр «black box», который на основе

анализа экспертных отчетов вырабатывает предложения по ре-

щению выявленных в ходе анализа проблем.

4. Метод эвристического прогнозирования.

Использование данного метода предполагает привлечение к работе

экспертов узкой специализации, которые на основе предварительно

разработанных анкет и таблиц должны разработать общую модель

исследуемого объекта. Основной трудностью в использовании этого

метода является процедура подбора экспертов, поскольку их специализация

и профиль должны обеспечить возможность целостного

представления объекта. Успешное выполнение этой задачи позволит

сформулировать ряд нормативных характеристик объекта, которые

могут послужить базой для определения вероятных путей их достижения.

Таким образом, метод эвристического прогнозирования можно рассматривать

как одну из технологий нормативного прогноза, характерной

чертой которой является предсказание возможных тенденций, ведущих

к предварительно сформулированному результату.

Особую роль метод эвристического прогнозирования играет, к примеру,

в слз^ае экспертной оценки перспектив понижения цен на нефть

на мировых рынках с точки зрения проявления факторов, приводящих

к этому понижению.

Удачно составленный экспертами нормативный прогноз позволит

изыскать превентивные меры для нейтрализации факторов, способных

вызвать неблагоприятный результат.

260 Исследование социально-экономических и политических процессов

5. Синектический метод.

Родоначальником синектического метода принято считать У. Гордона,

организовавшего в 1960 г. специальное предприятие, специализирующееся

на решении инновационных задач. Появление синектического

метода стало возможным в качестве реакции на недостатки

метода «мозгового штурма», обретшего в середине XX века широкую

популярность.

Главным недостатком метода «мозгового штурма», с точки зрения

У. Гордона, представлялся запрет на критику, ставший визитной карточкой

метода «мозгового штурма». Отсутствие критики в обсуждении

актуальных проблем не способствует их глубокому осознанию.

Преодолеть этот недостаток возможно путем формирования постоянных

групп: в них хорошо знающие друг друга сослуживцы не боятся

критики и реагируют на нее недостаточно спокойно. Руководитель,

координирующий процесс обсуждения, делает акцент на использование

аналогий исследуемой проблемной ситуации, что делает процесс

обсуждения более свободным и способствует более активной генерации

идей.

Одним из преимуществ синектического метода является возможность

в достижении консолидации между различными уровнями

управления, задействованными в процессе вынесения экспертной

оценки. Применение метода является целесообразным в силу того

обстоятельства, что в ходе принятия экспертных оценок обсуждение

проблем проходит между представителями одного уровня, что позволяет

им высказываться откровенно и взвешенно. При этом необходимо

учитывать мнение не только представителей высших звеньев управления,

которые зачастую могут иметь весьма общее представление об

объекте оценки, но и рядовых исполнителей, чьи знания об объекте

являются очень ценными и практически значимыми.

Технология метода предполагает прохождение двух этапов.

На начальном этапе аккумулируются мнения о решении проблемной

ситуации среди представителей различных уровней управления.

Использование синектического метода придает особое значение

этому этапу, где определяются основные параметры исследуемой проблемы.

На заключительном этапе собранные результаты анализируются,

группируются, и выстраивается общая модель поведения.

Синектический метод является значимым в практике японских

предприятий, где фактору причастности персонала к принятию решений

придается большое значение. Благодаря консолидации интересов

между экспертными уровнями, достигается не только социальная стабильность,

но выявляется уникальный способ осознания и разрешения

актуальных проблем.

6. Метод дневников.

Характерным признаком этого метода является его обезличенность

и предельная объективность. Реализация метода возможна лишь при

наличии документальных источников, по которым исключительно

и проводится акт экспертизы.

Чаще всего метод используется в структуре управления с жестко

регламентированной системой должностных инструкций.

Объектом экспертной оценки выступают, как правило, вахтовый

журнал, инструктивные документы, на основе которых вырабатываются

рекомендации по совершенствованию деятельности предприятий.

7. Метод Дельфы.

Метод Дельфы является, пожалуй, самым популярным из экспертных

методов, и его популярность напрямую связана с эвристическими

возможностями самого метода, позволяющими решать сложные комплексные

задачи.

Метод Дельфы был разработан в 1964 г. сотрудниками научно-исследовательской

корпорации РЭНД О. Хелмером и Т. Гордоном.

Сущность метода заключается в последовательном анкетировании

мнений экспертов по интересующей организаторов экспертизы проблеме.

Метод предполагает серию опросов экспертов, не имеющих возможности

вступать друг с другом в непосредственный контакт и получающих

информацию о заключениях других лишь по их письменным отчетам.

Цель метода заключается в вынесении объективной и точной оценки

существующих альтернатив с целью принятия оптимальных и социально

приемлемых решений.

На первом этапе экспертам предлагают дать заключение о целесообразности

выбора того или иного варианта решения проблемы, основанного

на логике доказательства такого выбора и интуиции эксперта.

На втором этапе (обсуждения) эксперты обмениваются заключениями

через координатора экспертизы, учитывая во втором варианте

собственного отчета доводы и аргументацию своих коллег.

Процесс экспертизы может продолжаться до тех пор, пока не будет

получена максимально консолидированная оценка экспертами сложившейся

проблемной ситуации и предложен наиболее оптимальный

и обоснованный способ ее решения.

262 Исследование социально-экономических и политических процессов

Использование метода возможно лишь при соблюдении ряда условий,

способных оказать влияние на его эффективное применение в отборе

наилучшей альтернативы.

Организационные требования к использованию метода Дельфы.

1. Группы экспертов должны быть стабильными и численность их

должна удерживаться в определенных рамках. Минимальное

число экспертов можно вычислить по формуле:

ЛГ^,„ = 0,5(3/6 + 5),

где: b означает __________ошибку результата, измеряемого в диапазоне экспертной

оценки от О до 1. При этом должна иметь место стабилизация

средней оценки исследуемой характеристики, когда

включение или исключение эксперта из группы не изменяет относительную

оценку искомой величины более, чем на (6).

2. Время между этапами опроса должно составлять не более месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и четко

сформулированы.

4. Число туров (этапов) должно быть достаточно, чтобы обеспечить

всем участникам возможность ознакомиться с причиной той или

иной оценки, а также и для критики этих причин.

5. Необходимо иметь самооценку компетенции экспертов по рассматриваемым

проблемам.

6. Необходима формула согласованности оценок, основанная на

данных самооценок.

7. Следует установить влияние различных видов передачи информации

экспертам по каналам обратной связи.

8. Необходимо установить влияние общественного мнения на экспертные

оценки и на сходность этих оценок.

9. В ходе реализации метода должен проводиться систематический

отбор экспертов, основанный на данных экспертизы по турам и самооценкам

[3].

Важнейшим достоинством метода является использование в нем

количественных показателей, позволяющих делать точные и аргументированные

заключения.

Технология проведения экспертного опроса по методу Дельфы

с использованием количественных методов.

Использовать метод Дельфы можно в нескольких вариантах, общность

которых обеспечивается путем сочетания критериев двух типов: точности

и согласованности между экспертами.

Вариант 1. Использование экспертных оценок с учетом средневзвешенного

интегрального коэффициента.

Строится таблица, в которую заносятся оценки экспертами вариантов

решения проблемной ситуации.

В таблице (в диапазоне 5-балльной шкалы) учитывается как общая

экспертная оценка альтернативы, так и ее весовая характеристика, означающая

значение этой альтернативы в ряду других (табл. 3.10).

Таблица 3.10

Вычисление средневзвешенного интегрального коэффициента

в экспертном опросе

Эксперт

1

2

3

4

5

Весомость

I

XI

4

4

5

5

4

10

220

Экспертная оценка по 5-балльной системе

Х2

3

3

2

2

3

7

91

ХЗ

3

4

4

3

4

4

72

Х4

2

2

3

2

2

8

88

Х5

4

4

4

5

4

63

Х6

3

3

3

3

2

3

42

Х7

5

4

4

5

5

б

144

Х8

4

4

4

5

5

8

166

Анализ таблицы целесообразно проводить с учетом средневзвешенного

интегрального коэффициента К^, вычисляемого по формуле:

К„-22;аД./п,

где: К^ — средневзвешенный интегральный показатель;

I — количество экспертов (а, Ь... п);

J — количество оцениваемых альтернатив (а, Ь... т);

а. — весомостьу-той альтернативы по 10-балльной системе;

Ь.. — оценка у-той альтернативы i-тым экспертом по 5-балльной

системе.

Подставляя в формулу значения из табл. 3.10, полз^аем:

К„ = 220 + 91 + 72 + 8 + 63 + 42 + 144 + 176 / 5 = 179.

Полученную сумму необходимо сравнить с минимальной и максимальной

границами условного диапазона.

Как можно видеть из таблицы, полученный коэффициент находится

ближе к максимальному полюсу, чем к минимальному. А это означает,

что степень согласованности между экспертами достаточно высокая

(около 0,7 по шкале Чеддока) (рис. 3.9).

264 Исследование социально-экономических и политических процессов

mm + max

42 179 —22I 0

Рис. 3.9. Определение степени согласованности между экспертами

Весомость экспертных параметров, вносимая при определении

средневзвешенного коэффициента, определяется по формуле:

а; = S( Bji / Bci) / п,

где: aj — весомость/'-того параметра объекта;

i — номер эксперта;

j — номер параметра объекта;

п — количество экспертов в группе;

Bji — балл, присвоенный^'-тому параметру г-тым экспертом;

Бс1 — сумма баллов, присвоенных i-тым экспертом всем параметрам

объекта.

Вариант 2. Использование экспертной оценки при попарном сравнении

признаков.

Используется при попарном сравнении исследуемых факторов друг

с другом. Параметры сравниваются, и если первый из них имеет больший

балл у г-того эксперта, то в таблицу заносится значение 2, если

баллы равны — 1, а если балл второго параметра больше — 0. Характер

количественного распределения экспертной оценки по данному варианту

иллюстрирует табл. 3.11.

Таблица 3.11

Попарное сравнение признаков в экспертном опросе

Соотношение

параметров

-Пи^2

А'1и;(гз

Х1иА'4

ЛГ2и;!ГЗ

^Г2и;1Г4

^ЗиЛ'4

Эксперты

2

2

2

1

2

2

2

1

2

0

2

2

2

2

2

0

0

2

2

2

2

0

1

2

2

1

2

0

2

2

Zбаллов

10

8

10

1

7

10

Средняя

оценка

2

1,6

2

0,2

1,4

2

В дальнейшем таблица уточняется в связи с обобщением данных

по каждому параметру. Средние оценки, полученные в предыдущей

таблице, заносятся в уточняющую таблицу следующим образом: на пересечении

строки XI и столбца Х2 ставится средняя оценка 2, а на пересечении

строки Х2 и столбца XI ставится О (из максимального значения

2 вычитается средняя оценка 2) (табл. 3.12).

Параметры

Х\

XI

Xi

ХА

XI

1

0

0,4

0

Х2

2

1

1,8

0,6

хз

1,6

0,2

1

0

265

Таблица 3.12

Уточняющая таблица

Х4

2

1,4

2

1

Z

6,6

2,6

5,2

1,6

Вариант 3. Использование экспертной оценки на основе правила

среднего арифметического.

Экспертная оценка выносится на основе использования правила

применения среднего арифметического.

Правило среднего арифметического можно применять, когда коэффициент

вариации не превышает 25 %.

К примеру, пять экспертов следующим образом оценили факт нехватки

оборотных средств в качестве основной причины неэффективной

деятельности предприятия: признание факта основной и главной

причиной оценивалось в 5 баллов, а отсутствие или слабое проявление

причинной связи оценивалось в 1 балл. По результатам опроса

были получены следующие данные (табл. 3.13).

Табл. 3.13

Распределение экспертных оценок на основе правила

среднего-арифметического

1 эксперт

5

2 эксперт

4

3 эксперт

3

4 эксперт

5

5 эксперт

4

Подставляя данные в формулу коэффициента вариации

n = dr/x<100%,

где: d — показатель дисперсии, получаем:

5^^1/{т-\)Щ-Х^)'

Х » 1/5(5+ 4+ 3 + 5+ 4) «4,2 ср.

d^2 = (1/(5 - 1)) [(5 - 4,2)2+ (4 - 4,2)2+ (3 - 4,2)2 + (5 - 4,2)^ +

(4-4,2)2] = 2,8/4-0,7

d^" V0,7 = 0,83 <5, = ^/0J = 0,83

0,83

V ='

4,2

-X100% = 20%.

266 Исследование социально-экономических и политических процессов

Поскольку коэффициент вариации меньше 25 %, то мнения экспертов

согласованны, а среднюю арифметическую сумму в 4,2 баллов можно

считать доказательством значимости выделенной выше причины [14].

Вариант 4. Использование экспертной оценки с учетом коэффициента

конкордации.

Множественный коэффициент корреляции или коэффициент конкордации

используется для измерения степени согласованности двух

или нескольких рядов проранжированных значений переменных.

Результаты анализа четырех исследуемых факторов (качеств) пятью

экспертами иллюстрирует табл. 3.14.

Таблица 3.14

Экспертная оценка с учетом коэффициента тесноты связей

Исследуемые

факторы

XI

Х2

ХЗ

Х4

Итого

1

1

2

3

4

Эксперты

2

1

2

3

4

3

1

2

3

4

4

1

2

3

4

5

1

3

2

4

Сумма

рангов по

каждому

признаку

5

11

14

20

50

Отклонение

суммы

рангов от

средней

суммы

-7,5

-1.5

1,5

7.5

Т, = 0

Квадрат

отклонения

суммы

КАП

56,2

2,25

2,25

56,2

116,9

Степень согласованности между экспертами можно определить с помощью

формулы коэффициента конкордации:

К. =• И

1/12 ( " * - " )

т

•ml Т.

/=1 ^

г д е : ; - 1;

ЦА^) — сумма квадратов отклонения суммы;

т — количество экспертов;

п — количество рассматриваемых параметров;

Tj — сумма отклонений суммы рангов от средней суммы.

С помощью коэффициента конкордации' определяем по полученным

данным степень согласованности мнений экспертов о значимости

рассмотренных факторов.

' Венецкий И., Венецкая В. Основные математико-статистические понятия

и формулы в экономическом анализе. — М.: Статистика, 1979.

К. =

116,9

1/12Г5^(4^-4)-5хО

= 0,9.

Значение коэффициента 0,9 свидетельствует о достаточно высокой

степени согласованности мнений экспертов по отношению к значимо^

сти исследуемых параметров.

Вместе с тем, измерить степень согласованности экспертов можно

с помощью критерия Х^ (Х-квадрат), вычисленного по формуле:

X

1/12 ,(« + !)-

1

п-1

т

S т.

У=1 '

По данным табл. 3.9 производим расчет, из которого следует, что

значение критерия составляет 14,08.

Соотнося данные по статистическим таблицам с фактическим значением

критерия, получаем, что Х^ > Х^ ^^^ (14,08 > 7,5). Эта разница

также свидетельствует в пользу высокой согласованности в оценке

мнений экспертов (табл. 3.15).

Таблица 3.15

Критические значения показателя Х^

ш

3

5

п

3

5,7

6,2

4

7,1

7,5

5

8,1

8,9

6

9,7

10,4

Подтвердить данные проведенных расчетов можно также с помощью

коэффициента тесноты связей, вычисляемого по формуле:

2

X

W = .

m(n-l)

Подставляя в формулу данные предыдущей задачи, вычисляем

значение коэффициента, который практически равен 1, что еще более

убеждает нас в высокой степени согласованности экспертов.

Таким образом, по величине коэффициентов конкордации, тесноты

связи, Х^ — распределения проверяется согласованность мнений

экспертов. Если коэффициент близок единице, то мнение максимально

согласованы друг с другом, если к нулю — то, напротив, рассогласованы.

В остальных случаях необходимо учитывать уровень значимо-

268 Исследование социально-экономических и политических процессов

сти а-показатель допустимой вероятности совершить ошибку при

проверке согласованности. Обычно а принимают равным 0,05, а по

таблице критических значений Пирсона определяют, насколько мнения

экспертов являются согласованными при данном уровне значимости.

Допустимым условием является соотношение, при котором Х^>Х ^.

Вариант 5. Использование экспертной оценки на основе качественного

отбора.

Наиболее простым способом использования методологии экспертной

оценки для обоснования выбора альтернативных проектов является

вариант, приведенный в табл. 3.16.

Таблица 3.16

Экспертная оценка на основе качественного отбора

Эксперты

А

В

С

Итого

Альтернатива

1

Р Б П

4 7 28

3 2 6

5 6 30

64

Альтернатива

2

Р Б П

3 8 24

3 7 21

3 6 18

63

Альтернатива

3

Р Б П

2 4 8

3 4 12

2 4 8

28

Альтернатива

4

Р Б П

3 4 12

4 4 16

3 6 18

46

В таблицу закладывается оценка важности той или иной альтернативы

с учетом ее практического внедрения, измеряемого при помощи

бальной характеристики:

Р — ранг альтернативы (по 5-балльной шкале);

Б — балл (степень возможности реализации данной альтернативы);

П — произведение Р и Б.

Особо следует рассмотреть технологию применения метода дельфийского

совещания (метода Турофа).

Особенность метода составляет попарное сравнение объектов оценки,

результаты которого можно представить в табл. 3.17.

Таблица 3.17

Схема попарного сравнения объектов оценки по методу ТУрофа

А

В

С

D

Итого

А

0

1

0

В

1

0

1

с

0

1

0

D

1

0

1

£

2

1

2

1

6

1'

4

1

4

1

10

Технология метода состоит в построении матрицы сравнения, столбцы

и строки которой соответствуют объектам, между которыми проводится

сравнение.

Способ заполнения матрицы:

Каждым экспертом производится выбор между каждой парой объектов:

если В хуже А, то в В ставим О, а в А — 1.

т(т-1)

Общая оценка по каждому эксперту проводится по формуле:

4(10-6)

и = — ^ = 1,3.

4(4-1)

В результате оценки каждым экспертом результатов сравнения

между сравниваемыми объектами высчитывается коэффициент, который

сравнивается с коэффициентом, вычисленным другим экспертом.

Итоговым результатом использования метода дельфийского совещания

является максимальное сближение коэффициентов по турам экспертного

опроса.