4. Методы экспертных оценок

Для успешного решения многоплановых и многоаспектных задач требуется обращение к опыту, знаниям и интуиции широкого круга квалифицированных специалистов. Проведение экспертного опроса нужно рассматривать как метод, с помощью которого можно объединить суждения специалистов в различных частных областях, чтобы получить обобщенные результаты, учитывающие отдельные мнения.

Методы экспертных оценок – это способы принятия решения, использующие обобщенный человеческий опыт («коллективную мудрость»).

Методы экспертных оценок подразделяют следующим образом [Тараканов В.К., 1974]:

1. По принципу использования экспертов:

        с использованием ответов отдельных экспертов;

        с использованием ответов группы экспертов.

2. По принципу подбора экспертов в группы:

        с использованием объектового принципа;

        с использованием принципа специализации.

3. По области применения методов:

        интуитивно-логические;

        логико-математические.

4. По способам организации работы экспертов:

        непосредственный анализ вопросов экспертов в явном виде;

        метод анкетного опроса;

        метод комиссий;

        метод «мозговой атаки».

5. По способам проведения экспертного опроса и получения результатов:

        метод анкетирования и его разновидности;

        метод «экспертная оценка – точный метод»;

        метод экспертной оценки качественных параметров;

        метод экспертной оценки количественных параметров.

6. По способам обработки экспертных данных:

        метод ранжировки;

        метод парных сравнений;

        метод шкальных оценок;

        оценка относительной важности;

        оценка времени свершения определенного события;

        оценка удельного веса различных видов решений;

        присоединение к одному из альтернативных суждений.

Отдельные эксперты могут быть использованы в качестве:

      полезного источника информации при решении ряда вопросов;

      советника при руководителе, принимающего решение;

      лица, анализирующего данные;

      разработчика сценариев.

Группы экспертов могут использоваться:

      для коллективной работы «за круглым столом»;

      для участия в оперативных играх;

      для разработки сценариев;

      для сбора данных методом анкетирования.

Кратко рассмотрим некоторые широко используемые методы экспертных оценок [Тараканов В.К., 1974].

Метод «развертки» проблем. Идея метода заключается в последовательном расчленении проблем некоторого уровня на подпроблемы, составляющие элементы следующего уровня. В результате такого последовательного расчленения формируется «развертка» подпроблем. При этом важно, чтобы соблюдалась причинно-следственная связь: проблемы низших уровней должны обусловливаться проблемами высших уровней. Причинно-следственная связь достигается многоэтапным целенаправленным экспертным опросом вплоть до полного согласования мнений экспертов, т.е. до полной стабилизации «развертки» проблем.

Метод «развертки» проблем предполагает использование групп экспертов. При формировании «развертки» проблем состав групп экспертов на каждом уровне формирования может меняться. Применение метода носит итеративный характер.

Метод свертки проблем. Идея метода заключается в последовательном сведении проблем низших уровней к проблемам более высоких уровней. В результате применения метода «свертки» проблем формируется проблема, решение которой необходимо в будущем. Применение данного метода предполагает использование групп экспертов и носит итеративный характер.

Метод сценариев. Этот полуаналитический метод применяется для описания вероятного развития событий в будущем, чтобы на этом фоне прогнозировать решения, если события сложатся по тому или иному варианту сценария, т.е. он применяется для создания искусственных ситуаций в том случае, когда отсутствую реальные факты.

Сценарий начинается с рассмотрения существующего положения в мире, затем последовательно, шаг за шагом, он показывает один или несколько вариантов возможного развития положения в будущем и каким образом может возникнуть та или иная ситуация. Как правило, «сценарии» разрабатываются для крупных проблем, но в отдельных случаях сценарий может использоваться для исследования какого-либо элемента проблемы. Сценарий особенно удобен для одновременного рассмотрения нескольких аспектов проблемы и позволяет рассматривать ситуации с учетом широкого диапазона возможностей. Он заставляет прогнозиста учитывать детали и динамику, освещать взаимную связь многих факторов, наглядно в упрощенном виде представлять сложную действительность, притом многовариантную. Сценарий стимулирует и дисциплинирует мышление прогнозиста. При использовании относительно сложного сценария лицо, ведущее анализ, может учесть развитие событий, включая и побочные явления, зависящие от выбранного решения.

Метод сценариев, как правило, базируется на анализе результатов, получаемых методом «развертки» («свертки») проблем. В результате такого анализа выбирается один опорный сценарий или их минимально возможное число. Эти сценарии обладают универсальностью для множества вариантов развития событий в будущем. Сценарий может представлять собой результат труда отдельного эксперта либо группы экспертов.

Большое значение в практическом использовании сценариев имеет метод оперативных игр.

Метод оперативных игр. Оперативные игры являются частным случаем моделирования. Модель отражает реальную ситуацию, в которой участвуют конфликтующие стороны. Эксперты в оперативных играх не только дают оценку ситуаций, но и принимают решения, играя роль лиц, принимающих подобные решения в реальном конфликте; они вынуждены с гораздо большим вниманием, чем в рассмотренных ранее методах, учитывать обстановку и все действующие факторы.

Важно, что в ходе оперативной игры проверяется целесообразность и правильность принятия решений на отдельных ее этапах. С этой точки зрения желательно участие в игре не только экспертов, но и лиц, ответственных за принятие решений.

Опыт работы с имитационными моделями показывает, что они являются хорошим средством, которое побуждает участников исследований к эффективной взаимной связи, к более глубокому изучению существа проблемы путем использования точек зрения других людей, имеющих различные знания и опыт, и, кроме того, позволяют получить обобщенные взгляды на проблему в целом.

В игре могут быть представлены две или более сторон, интересы которых сталкиваются хотя бы частично. Решения принимаются по определенным правилам или по усмотрению участников игры. Формализованная структура оперативных игр построена так, что любое понятие или теория автоматически подвергается критическому разбору: игроки вынуждены активно играть свои роли, осуществлять специфические и конкретные действия в складывающихся ситуациях. При использовании игр необходимо учитывать их ограниченность, свойственную любым методам искусственного воспроизведения реальной обстановки.

Для проведения оперативных игр создается группа экспертов; каждый эксперт «играет» за одну из сторон и формулирует свои цели и задачи, не зная заранее решений своих «противников». Его решения вводятся в ЭВМ, которая и выдает результаты. Каждый из экспертов анализирует их с учетом действий другой стороны и формирует свою политику. Эти результаты снова вводятся в ЭВМ, которая рассчитывает результат, и т.д. При многократном «проигрывании» подобных ситуаций становится более или менее очевидным возможное развитие событий и может быть получена реалистическая оценка своих возможностей.

Перечисленные, эвристические методы при решении определенных задач целесообразно применять в совокупности. Например, для реализации какой-то проблемы в будущем методом «развертки» проблем следует рассматривать различные варианты ее решения. Метод сценариев позволяет из «развертки» проблем выбрать некоторые ветви как наиболее целесообразные, приводящие наилучшим образом к решению проблем, т.е. разрабатывается определенный сценарий. Правильность выбранного «сценария», очевидно, наиболее успешно может быть проверена методом оперативной игры.

Метод эвристических сетей. Данный метод основан на последовательном применении метода «развертки» («свертки») проблем с последующей оценкой элементов «развертки» методом экспертных оценок. В результате последовательного применения указанных методов формируется эвристическая сеть. Эта сеть характеризуется наличием критических и подкритических ветвей, а также, возможно, и наличием в ней незаконченных (тупиковых) ветвей, для которых не удалось сформулировать конечные проблемы (решение конечных проблем должно привести к решению основной проблемы). Эти обстоятельства требуют последующего анализа сети, как на содержательном уровне, так и с применением известного математического аппарата сетевого планирования и управления.

Метод «экспертная оценка - точный метод» является смешанным методом, когда вся информация или часть ее на входе математической модели определена методом экспертных оценок и дальнейшее решение задачи допускает применение точного метода.

Метод экспертной оценки количественных параметров применим к широкому классу задач, где параметры могут иметь количественную оценку.

Метод экспертной оценки качественных параметров заключается в том, что различные варианты качественных параметров не могут быть измерены, но можно измерить различие между ними. Отсюда вытекает возможность сопоставить с этими вариантами числа при условии, что парам различных вариантов будут соответствовать пары различных чисел. Это обстоятельство дает серьезное основание для того, чтобы применять некоторые методы исчисления, пригодные в случае количественных, а также качественных параметров.

Метод анкетирования и его разновидности. В настоящее время разработано много конкретных методик проведения экспертных оценок. К одной из методик, использующих коллектив компетентных специалистов, относится широко применяемый «метод комиссий». Его успех во многом зависит от подбора состава соответствующей комиссии и уровня организации её работы.

К числу подобных подходов относится и специальный метод организации творческой работы коллектива экспертов, называемый методом отнесенной оценки («мозговой атаки»). Сущность принятой здесь процедуры обсуждения состоит в том, что в ней периоды свободной творческой дискуссии отделены от этапа критической оценки полученной информации, а сама оценка производится в такой форме, что не связывает, а стимулирует дальнейшее творческое обсуждение вопросов.

Данный метод несколько устраняет недостатки «метода комиссий», но также имеет слабые стороны. Так, например, на мнение большинства специалистов могут оказать решающее влияние высказывания наиболее авторитетных или активных специалистов, что в значительной степени обесценивает проводимое мероприятие. С другой стороны, иногда сказывается психологическая черта: эксперт не стремится выделяться из среды большинства или, высказав свою точку зрения, старается отстаивать ее.

Одной из попыток разрешить эти проблемы является процедура заочного опроса экспертов с помощью специально разработанных анкет-вопросников.

Метод анкетирования можно считать одним из наиболее перспективных разрабатываемых подходов к решению проблем с социальным, политическим и военным содержанием. Данный метод можно применить для непосредственного использования суждений и интуиции экспертов в некоторой формализованной структуре. В этих случаях в зависимости от сложности, степени неопределенности, конкретных аспектов и динамики проблемы используют соответствующие методы или их сочетания.

Основное содержание метода анкетирования состоит в том, что эксперту предлагается анкета, в которой в виде вопросов ставятся прогнозируемые события (альтернативы, варианты) и условия, их характеризующие. Эксперт заполняет анкету лично, основываясь на своих знаниях, опыте, интуиции и приведенных в анкете условиях. Прогнозируемые события рассматриваются как случайные величины, отражением закона распределения которых являются индивидуальные мнения (оценки) экспертов. При этом считается, что эксперт способен дать количественную оценку некоторым характерным точкам распределения, исходя из которых строится математическая модель этой величины. Обработка экспертных данных ведется различными способами, в результате которых можно получить обобщенные мнения (оценки) и определить степень согласованности экспертных заключений.

Эксперты, входящие в состав различных организаций, объединяются в несколько групп, что позволяет упростить административное руководство работой. В каждой группе назначается исполнитель, несущий ответственность за организацию работы своей группы. Работу исполнителей можно организовать и иначе, т.е. разбить весь состав экспертов на функциональные группы по специальностям.

Метод анкетирования как упорядоченный и систематизированный процесс выявления в определенной последовательности мнений специалистов открывает реальные возможности для углубленного изучения тех проблем, к которым неприменимы другие методы исследования. Как источник получения информации, данный метод достаточно объективен, надежен и вполне пригоден, особенно в совокупности с другими методами.

Однако прежде чем приступить к проведению процедуры экспертного опроса, необходимо решить ряд важных задач, связанных с организацией и проведением коллективных экспертных оценок. Прежде всего, требуется разработать систематизированные методы непосредственного привлечения специалистов для решения поставленных задач. Эффективное использование группы экспертов связано, в частности, с постановкой и решением таких вопросов, как определение необходимого количества и состава экспертов, выбор рациональной схемы организации работы экспертов, оценка правильности решения поставленной перед ними задачи и т.д. Все эти вопросы должны решаться на этапе подготовки эксперимента, который предполагает использование группы экспертов.

Сложность проблемы, для которой осуществляется эмпирическое исследование, требует создания междисциплинной группы, в состав которой должны входить специалисты из различных областей. Это связано не только с тем, что учитываются самые различные факторы, не укладывающиеся в рамки одной дисциплины. Более важным является тот факт, что эти проблемы должны рассматриваться с различных точек зрения, например экономистом, социологом, политиком, математиком и др. Такой разносторонний подход к проблеме позволяет найти более качественное ее решение, так как в этом случае особое внимание будет уделено одновременному рассмотрению всех факторов, имеющих отношение к данному явлению.

При составлении анкеты исследователь должен четко представлять себе цель опроса, а также провести необходимую предварительную работу, включающую ознакомление с относящейся к проблеме литературой и сбором необходимой информации.

При наличии многоплановых вопросов, на которые необходимо получить ответы, целесообразно использовать поэтапный подход к решению задачи. Сущность его заключается в том, что все оцениваемые вопросы разбиваются на ряд специфических групп, объединяющихся в этапы. Эксперимент проводится по этапам в очередности, обеспечивающей использование результатов предыдущих этапов.

Под этапом понимается совокупность операций по сбору и обработке экспертных заключений (мнений и оценок), заканчивающаяся получением окончательного результата по определенной части проводимого эксперимента. Каждый этап проводится в несколько туров. Количество туров на каждом этапе определяется сложностью и количеством взаимосвязанных вопросов, а также необходимой степенью сходства экспертных заключений при получении окончательного результата по оцениваемому вопросу.

Под туром понимается цикл работ с экспертами, включающий постановку задачи экспертам, сбор и обработку мнений (оценок) экспертов. При анкетировании можно достигнуть непосредственного использования суждений и интуиции экспертов в некоторой формализованной структуре, что облегчает машинную обработку анкет и получение согласованного мнения по различным вопросам проводимой экспертизы. Для этого необходимо чтобы разрабатываемая форма анкет обеспечивала удобство ручной обработки информации и ввода ее в ЭВМ.

Предлагаемая схема проведения экспертной оценки делает возможным использование различных подходов к организации оценок на каждом этапе и позволяет организаторам эксперимента целенаправленно управлять процессом сбора экспертных данных.

В анкетах следует предусмотреть стандартный перечень вопросов или событий, на которые эксперты должны дать свои заключения. Вопросы в анкетах необходимо составлять таким образом, чтобы наряду с качественной можно было дать количественную характеристику ответам экспертов. Поскольку опрос экспертов может проводиться в несколько туров, то анкеты должны предусматривать возможность уточнения вопросов и ответов, т.е. используется серия анкет, где в каждой последующей анкете содержатся информация и мнения, полученные их предыдущей анкеты.

Одно из основных требований, предъявляемое к составлению анкеты, заключается в установлении общности языка, терминологии, общих исходных понятий. Возникает трудность в четкой формулировке вопросников, т.е. стремление к максимальной точности приводит к усложнению фразеологии, вызывающей отрицательную реакцию у отвечающих на анкету. Здесь необходимо найти оптимум между четкостью и лаконичностью вопроса, чтобы все участники эксперимента одинаково интерпретировали поставленные перед ними вопросы. В связи с этим процессу анкетирования должна предшествовать постановочная часть, где кратко излагаются цель эксперимента, методика опроса, основные определения для достижения общности понятий и некоторые возможные способы ответов на поставленные вопросы. Постановка задачи на эксперимент или его часть доводится до эксперта заранее, чтобы каждый из участников эксперимента мог подготовиться к его проведению.

Чтобы экспертные заключения обеспечивали объективность информации, при составлении анкет необходимо предусмотреть включение ряда показателей компетентности экспертов в отношении каждой из произведенной ими оценок.

В зависимости от цели тура и содержания, поставленных в анкете вопросов ответы экспертов могут строиться исходя из следующих методов.

Логический метод - эксперт на основе логических рассуждений, синтезируя имеющиеся в его распоряжении материалы, определяет ответ на поставленный вопрос.

Качественный метод - эксперт, выделяя наиболее важные признаки и исследуя уже существующую их градуировку, строит обобщенный ответ на основе нескольких признаков.

Комплексный метод является синтезом двух предыдущих методов и заключается в том, что помимо качественной одновременно производится и логическая градация.

Катализационный метод предусматривает наличие исходной информации, которую эксперт должен оценить и дополнить. Исходная информация формируется рабочей группой исследователей на основе анализа существующих материалов в исследуемой области. Данная исходная информация выступает в этом случае в качестве катализатора при сборе мнений экспертов.

Эксперты свободны в выборе метода для выдачи заключений по тому или иному вопросу анкеты, но должны руководствоваться основными положениями и определениями, изложенными в постановке задачи на эксперимент.