В настоящее время не существует научно обоснованной общепринятой классификации методов и технологий экспертных оценок и тем более - однозначных рекомендаций по их применению. По нашему мнению, наиболее продвинутые результаты в рассматриваемой области были получены в результате работы неформального научного коллектива вокруг комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика", организованной в 70-х годах. Статья подготовлена в рамках методологии, созданной этим научным коллективом.

Классические методы экспертных оценок. Экспертные оценки активно использовались с незапамятных времен. После Второй мировой войны в рамках мощного научного движения, на знаменах которого сверкали модные 50 лет назад термины "кибернетика", "исследование операций", "системный подход", выделилась самостоятельная научно-практическая дисциплина - экспертные оценки. Сложились методы сбора и анализа экспертных оценок, которые мы сейчас называем классическими. В 60-70-е гг. они освоены в нашей стране, доработаны и успешно применены. И только потом, в 70-е гг., начались активные самостоятельные научные исследования, была сформирована полностью оригинальная отечественная научная школа в области экспертных оценок. Нашей стране принадлежит мировой приоритет в целом ряде направлений, о некоторых из которых речь пойдет ниже.

Вполне естественно, что сначала в нашей стране появились публикации о классических методах экспертных оценок (см., например, [1-3]). Речь идет о простейших методах, не требующих развитого математического аппарата.

С одной стороны, такие публикации были полезны, позволив широким массам специалистов познакомиться с основными идеями экспертных оценок. До сих пор классические методы активно используются в практической работе и излагаются в учебной литературе.

С другой стороны, как обычно бывает во многих областях деятельности, первоначальные достаточно тривиальные соображения широко распространились, вошли в массовое сознание инженеров и управленцев (менеджеров) и стали тормозом на пути внедрения более новых продвинутых результатов в области экспертных оценок, описанных, например, в работах [4-9].

Вспомним слова великого физика Макса Планка, создателя квантовой теории света: "Новая научная идея редко внедряется путем постепенного убеждения и обращения противников, редко бывает, что Савл становится Павлом. В действительности дело происходит так, что оппоненты постепенно вымирают, а растущее поколение с самого начала осваивается с новой идеей". Необычность рассматриваемой ситуации в области экспертных оценок состоит в том, что новые научные идеи появились всего через несколько лет после широкого распространения в нашей стране классических методов экспертных оценок. Но - головы возможных пользователей были уже оккупированы тривиальностями. В результате многие превосходные с научной точки зрения и высокоэффективные в приложениях результаты отечественных исследователей остаются малоизвестными, хотя получены еще в 70-е годы.

Центром исследований является всесоюзный (ныне всероссийский) научно-исследовательский семинар "Экспертные оценки и анализ данных". Он работает с 1973 г., сначала в МГУ им. М.В. Ломоносова, а затем в Институте проблем управления РАН. В разные годы им руководили д.ф.-м.н. Ю.Н. Тюрин, д-ра техн. наук Б.Г. Литвак, А.И. Орлов, А.А. Дорофеюк, Ф.Т. Алескеров, Д.А. Новиков, Ю.В. Сидельников. В работе семинара участвовали сотни исследователей.

Научные результаты мирового уровня. Участники неформального научного коллектива участников семинара обычно начинали с освоения современных зарубежных идей, переходя затем к самостоятельным исследованиям, приводящим, как правило, к новым научным результатам мирового значения. Рассмотрим несколько сюжетов.

Так, освоив проблематику теории измерений, участники семинара перешли к изучению инвариантных алгоритмов. Основной полученный результат мирового уровня - характеризация средних величин шкалами измерения. Найдены необходимые и достаточные условия, выделяющие средние величины, результат сравнения которых инвариантен относительно допустимых преобразований в тех или иных шкалах. Цикл теорем о средних величинах - наиболее важное достижение в теории измерений, полученное в нашей стране.

В теории нечеткости также был получен принципиально важный результат мирового уровня - найден способ сведения теории нечетких множеств к теории случайных множеств. Это - основное отечественное достижение в теории нечеткости.

Большое влияние на развитие исследований в области экспертных оценок оказали работы американского математика Джона Кемени, прежде всего книга [10]. В ней был предложен подход к аксиоматическому введению расстояний между нечисловыми ответами экспертов (на примере упорядочений) и дан метод нахождения итогового мнения комиссии экспертов как решения оптимизационной задачи. Участники семинара по примеру Кемени построили аксиоматику для введения расстояний между различными объектами нечисловой природы. В обзоре [11] сведены вместе результаты более чем 150 исследований. В честь Дж. Кемени расстояния между элементами различных пространств бинарных отношений сейчас называют расстояниями Кемени, а введенные на их основе средние в этих пространствах - медианами Кемени.

Большое внимание уделялось различным вариантам парных и множественных сравнений. Если на Западе рассматривалась параметрическая теория (модели Льюса, Бредли-Терри, Терстоуна), то в нашей стране была построена не имеющая аналогов непараметрическая теория парных сравнений (люсианов), причем в асимптотике растущей размерности.

Итоги первого этапа работы семинара. В 70-е гг. было выпущено три сборника статей [12 - 14], содержащих научные труды участников семинара "Экспертные оценки и анализ данных". Эти сборники до сих пор являются актуальными, включенные в них работы содержат заметно более продвинутые научные результаты, чем публикации по "классическим методам экспертных оценок", поскольку последние опираются на идеи 40-60-х гг. Прошедшие десятилетия позволили более четко выявить смысл разработанных тогда подходов. Например, с современной точки зрения "дискретный анализ экспертных оценок" и "статистические методы" представляют собой не разные виды математических задач анализа экспертных данных, а последовательные этапы анализа одних и тех же данных, соответственно, начальный и опирающийся на вероятностно-статистические модели.

Полученные результаты были обобщены в ряде монографий, написанных руководителями и участниками семинара [15-18], и прежде всего в неоднократно изданном программном докладе пяти наиболее активных и продуктивных исследователей [19-20]. К сожалению, этот принципиально важный доклад не был развернут в подробную монографию. "Доклад пяти" - веха в развитии отечественных исследований в области экспертных оценок. Закончился период становления самостоятельной научно-прикладной дисциплины. К концу 70-х гг. экспертные оценки получили и организационное оформление - в рамках комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика".

Восьмидесятые годы. Научные исследования развивались вглубь и вширь. Регулярно выпускались сборники статей [21 - 24], проводились всесоюзные конференции [25 - 26]. Разумеется, работы по экспертным оценкам публиковались не только в изданиях семинара, но и во многих иных. Укажем для примера на работы руководителей семинара А.А. Дорофеюка [27] и Ю.В. Сидельникова [28], на монографии по многомерному шкалированию экспертных и иных данных [29, 30]. Авторы "доклада пяти" защитили докторские (Б.Г. Литвак, А.И. Орлов, Ю.Н. Тюрин) и кандидатские (Г.А. Сатаров, Д.С. Шмерлинг) диссертации.

Были выполнены многочисленные прикладные работы. В частности, разработаны комплексы нормативно-методических документов по экспертным методам управления качеством продукции (ГОСТы, методические указания и др.) и по экспертизе научно-исследовательских работ в медицине и биологии (методические рекомендации по проведению экспертной оценки планируемых и законченных научных работ в области медицины и по подготовке и проведению конкурса проектов исследований и разработок в области физико-химической биологии и биотехнологии).

Исследования по экспертным оценкам шли в тесном контакте с работами в области прикладной статистики и других статистических методов [31, 32], многокритериальной оптимизации [33, 34], математических методов в социологии [35] и т.п. В литературе экспертные оценки иногда выступают под теми или иными "псевдонимами". Например, академик РАН Н.Н. Моисеев в своих выдающихся научно-публицистических книгах [7, 36, 37] использовал термин "неформальные процедуры".

Статистика нечисловых данных. Основным отечественным достижением последней четверти ХХ в. в области статистических методов анализа данных является создание статистики нечисловых данных (в других терминах, нечисловой статистики, статистики объектов нечисловой природы). Ныне статистика нечисловых данных - одна из четырех основных областей прикладной статистики, наряду со статистикой числовых величин, многомерным статистическим анализом и статистикой временных рядов [31, 32].

Для нас важно, что именно необходимость разработки адекватных методов анализа экспертных мнений стимулировала развитие статистики нечисловых данных. Не случайно основополагающая статья [38], излагающая программу построения новой области статистики, опубликована в одном из первых сборников трудов семинара.

Кратко обсудим суть статистики нечисловых данных. Сначала напомним, что исходный объект в прикладной статистике - это выборка, т.е. совокупность независимых одинаково распределенных случайных элементов. Какова природа этих элементов? В классической математической статистике элементы выборки - это числа. В многомерном статистическом анализе - вектора. А в нечисловой статистике элементы выборки - это объекты нечисловой природы, которые нельзя складывать и умножать на числа. Объекты нечисловой природы лежат в пространствах, не имеющих векторной структуры.

Примеры объектов нечисловой природы:

- значения качественных признаков, т.е. результаты кодировки объектов экспертизы с помощью заданного перечня категорий (градаций);

- упорядочения (ранжировки) экспертами образцов продукции (при оценке её технического уровня и конкурентоспособности)) или заявок на проведение научных работ (при проведении конкурсов на выделение грантов);

- классификации, т.е. разбиения объектов экспертизы на группы сходных между собой (кластеры);

- толерантности, т.е. бинарные отношения, описывающие сходство объектов между собой, например, сходства тематики научных работ, оцениваемого экспертами с целью рационального формирования экспертных советов внутри определенной области науки;

- результаты парных сравнений или контроля качества продукции по альтернативному признаку ("годен" - "брак"), т.е. последовательности из 0 и 1;

- множества (обычные или нечеткие), например, зоны, пораженные коррозией, или перечни возможных причин аварии, составленные экспертами независимо друг от друга;

- слова, предложения, составленные из них тексты;

- векторы, координаты которых - совокупность значений разнотипных признаков, например, результат составления статистического отчета о научно-технической деятельности организации (т.н. форма No. 1-наука) или анкета эксперта, в которой ответы на часть вопросов носят качественный характер, а на часть - количественный;

- ответы на вопросы экспертной, маркетинговой или социологической анкеты, часть из которых носит количественный характер (возможно, интервальный), часть сводится к выбору одной из нескольких подсказок, а часть представляет собой тексты; и т.д.

Интервальные данные тоже можно рассматривать как пример объектов нечисловой природы, а именно, как частный случай нечетких множеств. А именно, если характеристическая функция нечеткого множества равна 1 на некотором интервале и равна 0 вне этого интервала, то задание нечеткого множества эквивалентно заданию интервала. Напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств [16, 17].

С 70-х гг. в основном на основе запросов теории экспертных оценок (а также технических исследований, экономики, социологии и медицины) развивались конкретные направления статистики объектов нечисловой природы. Были установлены основные связи между конкретными видами таких объектов, разработаны для них базовые вероятностные модели. Итоги подведены в монографии [16], в предисловии к которой впервые появился термин "статистика объектов нечисловой природы".

Следующий этап (80-е гг.) - выделение статистики нечисловых данных в качестве самостоятельной дисциплины, ядром которой являются методы статистического анализа данных произвольной природы. Для работ этого периода характерна сосредоточенность на внутренних проблемах нечисловой статистики. Основные результаты коллективного труда подведены в сборнике научных работ [39]. Он подготовлен совместно подкомиссией "Статистика объектов нечисловой природы" комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" и Институтом социологических исследований АН СССР.

К 90-м гг. статистика объектов нечисловой природы с теоретической точки зрения была достаточно хорошо развита, основные идеи, подходы и методы были разработаны и изучены математически, в частности, доказано достаточно много теорем. Однако она оставалась недостаточно апробированной на практике. И в 90-е гг. наступило время перейти от математико-статистических исследований к применению полученных результатов на практике. К этому периоду относится публикация большой серии статей в рамках раздела "Математические методы исследования" журнала "Заводская лаборатория" (основного места публикации в СССР и РФ работ по прикладной статистике), посвященных теории и практике нечисловой статистики.

В статистике объектов нечисловой природы одна и та же математическая схема может с успехом применяться во многих областях, а потому ее лучше всего формулировать и изучать в наиболее общем виде, для объектов произвольной природы.

Основные идеи статистики объектов нечисловой природы. В чем принципиальная новизна нечисловой статистики? Для классической математической статистики характерна операция сложения. При расчете выборочных характеристик распределения (выборочное среднее арифметическое, выборочная дисперсия и др.), в регрессионном анализе и других областях этой научной дисциплины постоянно используются суммы. Математический аппарат - законы больших чисел, Центральная предельная теорема и другие теоремы - нацелены на изучение сумм. В нечисловой же статистике нельзя использовать операцию сложения, поскольку элементы выборки лежат в пространствах, где нет операции сложения. Методы обработки нечисловых данных основаны на принципиально ином математическом аппарате - на применении различных расстояний в пространствах объектов нечисловой природы.

Кратко рассмотрим несколько идей, развиваемых в статистике объектов нечисловой природы для данных, лежащих в пространствах произвольного вида. Они нацелены на решение классических задач описания данных, оценивания, проверки гипотез - но для неклассических данных, а потому неклассическими методами.

Первой обсудим проблему определения средних величин. В рамках теории измерений удается указать вид средних величин, соответствующих тем или иным шкалам измерения. В классической математической статистике средние величины вводят с помощью операций сложения (выборочное среднее арифметическое, математическое ожидание) или упорядочения (выборочная и теоретическая медианы). В пространствах произвольной природы средние значения нельзя определить с помощью операций сложения или упорядочения. Теоретические и эмпирические средние приходится вводить как решения экстремальных задач. Теоретическое среднее определяется как решение задачи минимизации математического ожидания (в классическом смысле) расстояния от случайного элемента со значениями в рассматриваемом пространстве до фиксированной точки этого пространства (минимизируется указанная функция от этой точки). Для эмпирического среднего математическое ожидание берется по эмпирическому распределению, т.е. берется сумма расстояний от некоторой точки до элементов выборки и затем минимизируется по этой точке. При этом как эмпирическое, так и теоретическое средние как решения экстремальных задач могут быть не единственными элементами рассматриваемого пространства, а являться некоторыми множествами таких элементов, которые могут оказаться и пустыми. Тем не менее удалось сформулировать и доказать законы больших чисел для средних величин, определенных указанным образом, т.е. установить сходимость (в специально определенном смысле) эмпирических средних к теоретическим.

Оказалось, что методы доказательства законов больших чисел допускают существенно более широкую область применения, чем та, для которой они были разработаны. А именно, удалось изучить асимптотику решений экстремальных статистических задач, к которым, как известно, сводится большинство постановок прикладной статистики. В частности, кроме законов больших чисел установлена и состоятельность оценок минимального контраста, в том числе оценок максимального правдоподобия и робастных оценок. К настоящему времени подобные оценки изучены также и в статистике интервальных данных.

В статистике в пространствах произвольной природы большую роль играют непараметрические оценки плотности, используемые, в частности, в различных алгоритмах регрессионного, дискриминантного, кластерного анализов. В нечисловой статистике предложен и изучен ряд типов непараметрических оценок плотности в пространствах произвольной природы, в том числе в дискретных пространствах. В частности, доказана их состоятельность, изучена скорость сходимости и установлен примечательный факт совпадения наилучшей скорости сходимости в произвольном пространстве с той, которая имеет быть в классической теории для числовых случайных величин. Известна роль непараметрических оценок плотности при построении бинарных рейтингов.

Дискриминантный, кластерный, регрессионный анализы в пространствах произвольной природы основаны либо на параметрической теории - и тогда применяется подход, связанный с асимптотикой решения экстремальных статистических задач - либо на непараметрической теории - и тогда используются алгоритмы на основе непараметрических оценок плотности.

Для анализа нечисловых, в частности, экспертных данных весьма важны методы классификации. С другой стороны, наиболее естественно ставить и решать задачи классификации, основанные на использовании расстояний или показателей различия, в рамках статистики объектов нечисловой природы. Это касается как распознавания образов с учителем (другими словами, дискриминантного анализа), так и распознавания образов без учителя (т.е. кластерного анализа).

Для проверки гипотез могут быть использованы статистики интегрального типа, в частности, типа омега-квадрат. Любопытно, что предельная теория таких статистик, построенная первоначально в классической постановке, приобрела естественный (завершенный, изящный) вид именно для пространств произвольного вида, поскольку при этом удалось провести рассуждения, опираясь на базовые математические соотношения, а не на те частные (с общей точки зрения), что были связаны с конечномерным пространством.

Представляют практический интерес результаты, связанные с конкретными областями статистики объектов нечисловой природы, в частности, со статистикой нечетких множеств и со статистикой случайных множеств (напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств), с непараметрической теорией парных сравнений и бернуллиевских векторов (люсианов), с аксиоматическим введением метрик в конкретных пространствах объектов нечисловой природы, и с рядом других конкретных постановок. Применительно к экспертным оценкам важная роль конкретных методов статистики нечисловых данных продемонстрирована в большом числе литературных источников.

Современный этап развития экспертных оценок. С конца 80-х гг. число научных работников в нашей стране уменьшилось в разы. На порядок сократилось количество участников научных семинаров и конференций. Однако отечественная научная школа в области экспертных оценок успела достичь стадии зрелости и устояла. Этому способствовала и востребованность экспертных технологий во многих областях человеческой деятельности. Слово "эксперт" стало модным.

Зрелость научной области проявилась в том, что ведущие отечественные специалисты выпустили заметно большее число монографий, подводящих итоги исследования, чем в предыдущие десятилетия [40 - 49, 53, 54, 57]. Часто экспертные оценки рассматривались вместе с проблемами принятия решений [41-44]. Большое внимание уделялось проблеме выбора [45], в том числе в условиях многокритериальности [46]. Были проанализированы процедуры голосования в рамках комиссий экспертов [47].

Разделы, посвященные экспертным оценкам, включают в учебники по различным дисциплинам, в частности, по теории принятия решений [42 - 44], по эконометрике и прикладной статистике [31, 32]. Это свидетельствует о том, что теория и практика экспертных оценок вошла в "базовое ядро" знаний, которыми должны владеть инженеры, менеджеры, экономисты, специалисты в иных областях.

Поток новых идей, подходов, концепций, методологий, методов, конкретных постановок, моделей, теорем и алгоритмов в области экспертных оценок не только не иссякает, но год от году усиливается. Назовем некоторые из новшеств.

Теория организационных систем [48], прежде всего, теория активных систем [49], т.е. систем, элементы которых обладают собственными интересами и волей, позволяющей действовать независимо, нуждаются в развитии и применении современных методов экспертных оценок. Подходы теории активных систем особенно интересны для решения задач управления предприятиями и другими социально-экономическими структурами. Такой современный раздел менеджмента, как контроллинг [50, 51], немыслим без использования продвинутых методов экспертных оценок [52], реализованных на основе современных информационных технологий.

Принципиально важным является появление работ по экспертным технологиям [53, 54]. От разработки и изучения отдельных методов экспертных оценок осуществлен переход к разработке процедур, включающих все этапы технологического процесса сбора и анализа экспертной информации. Произошел качественный скачок - от отдельных инструментов интеллектуальной деятельности к целостным технологиям интеллектуальной деятельности. Аналогичный скачок осуществлен и в области статистических методов - появились высокие статистические технологии [31, 32, 55].

Из западных разработок наибольший интерес вызвал метод анализа иерархий Т. Саати [56]. От его недостатков удалось избавиться сотрудникам Института проблем управления им. В.А.Трапезникова. Они разработали метод векторной стратификации [57], согласно которому иерархическая структура показателей комплексного критерия формируется путем дихотомической конкретизации документированной формулировки цели.

Из недавно разработанных принципиально новых подходов укажем в качестве примера на метод согласования кластеризованных ранжировок [58]. "Турнирный" метод ранжирования вариантов впервые опубликован в 2005 г. Применению экспертных оценок для задач стратегического планирования посвящена работа [59]. Список легко продолжить. Мы ограничились здесь лишь наиболее заметными публикациями, в основном книжными.

Состояние и перспективы экспертных оценок неоднократно анализировались ведущими специалистами [60- 63]. Отмечалось, что перед исследователями - большое поле деятельности. Например, в [60] отмечалась актуальность разработки методов анализа интервальных экспертных оценок, в которых мнения экспертов выражены интервалами. Основой для разработки таких методов может послужить статистика интервальных данных, рассмотренная в [32, 44]. Однако теория интервальных экспертных оценок стоит лишь в начале своего пути, хотя ее перспективность очевидна.

Экспертным оценкам уделено большое внимание в основополагающей монографии по статистике нечисловых данных [64], в которой также приведен обширный список литературных источников по развитию экпертных оценок в нашей стране.

1. Бешелев с.Д., Гурвич Ф.Г. Экспертные оценки. - М.: Наука, 1973. - 79 с.

2. Бешелев с.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. Изд. 2, перераб. и доп. - М.: Статистика, 1980. - 264 с.

3. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. - М.: Экономика, 1974. - 151 с.

4. Бурков В.Н. Большие системы: моделирование организационных механизмов. - М.: Наука, 1989. - 354 с.

5. Китаев Н.Н. Групповые экспертные оценки. - М.: Знание, 1975. - 64 с.

6. Ларичев О.И. Объективные модели и субъективные решения. - М.: Наука, 1987. - 143 с.

7. Моисеев Н.Н. Неформальные процедуры и автоматизация проектирования. - М.: Знание, 1979. - 64 с.

8. Моисеев Н.Н. Математические задачи системного анализа. - М.: Наука, 1981. - 487 с.

9. Панкова Л.А., Петровский А.М., Шнейдерман М.В. Организация экспертиз и анализ экспертной информации. - М.: Наука, 1984. - 120 с.

10. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. - М.: Советское радио, 1972. - 192 с.

11. Раушенбах Г.В. // Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1986. с.169-203.

12. Статистические методы анализа экспертных оценок. - М.: Наука, 1977. - 384 с.

13. Экспертные оценки / Вопросы кибернетики. - Вып.58. - М.: Научный совет АН СССР по комплексной проблеме "Кибернетика", 1979. - 200 с.

14. Экспертные оценки в системных исследованиях/Сборник трудов. - Вып.4. - М.: ВНИИСИ, 1979. - 120 с.

15. Литвак Б.Г. Экспертная информация: методы получения и анализа. - М.: Радио и связь, 1982. - 184 с.

16. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.

17. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64 с.

18. Раушенбах Г.В., Филиппов О.В. Экспертные оценки в медицине. Научный обзор. - М.: ВНИИММТИ Минздрава СССР, 1983. - 80 с.

19. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации. - М.: Научный совет АН СССР по комплексной проблеме "Кибернетика", 1981. - 80 с.

20. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. // Заводская лаборатория. 1980. Т.46. No.10. с.931-935. - Переиздание - в сб.: Современные проблемы кибернетики: прикладная статистика. - М.: Знание, 1981, с.41-52.

21. Экспертные оценки в задачах управления /Сборник трудов. - М.: Институт проблем управления, 1982. - 106 с.

22. Анализ нечисловых данных в системных исследованиях/Сборник трудов. - Вып.10. - М.: ВНИИСИ, 1982. - 155 с.

23. Методы анализа данных, оценивания и выбора/Сборник трудов. - Вып.11. - М.: ВНИИСИ, 1984. - 92 с.

24. Методы анализа данных, оценивания и выбора в системных исследованиях/Сборник трудов. - Вып.14. - М.: ВНИИСИ, 1986. - 124 с.

25. Первое Всесоюзное совещание по статистическому и дискретному анализу нечисловой информации, экспертным оценкам и дискретной оптимизации/Тезисы докладов. - М.- Алма-Ата, ВИНИТИ, 1981. - 439 с.

26. Вторая Всесоюзная конференция по анализу нечисловой информации/ Тезисы докладов. - М.- Таллин: ВИНИТИ, 1984. - 348 с.

27. Дорофеюк А.А. // Статистика. Вероятность. Экономика. - М.: Наука, 1985. - с. 137 - 145.

28. Сидельников Ю.В. Теория и организация экспертного прогнозирования. - М.: ИМЭМО АН СССР, 1990. - 196 с.

29. Терехина А.Ю. Анализ данных методами многомерного шкалирования. - М.: Наука, 1986. -168 с.

30. Перекрест В.Т. Нелинейный типологический анализ социально-экономической информации: Математические и вычислительные методы. - Л.: Наука, 1983. - 176 с.

31. Орлов А.И. Эконометрика. Изд. 3-е, испр. и доп. - М.: Экзамен, 2004. -576 с.

32. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 672 с.

33. Гафт М.Г. Принятие решений при многих критериях. - М.: Знание, 1979. - 64 с.

34. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. - М.: Наука, 1982. - 256 с.

35. Орлов А.И. // Социология: методология, методы, математические модели. 2005. No.20. с.32-53.

36. Моисеев Н.Н. Математик задает вопросы... (Приглашение к диалогу). - М.: Знание, 1975. - 192 с.

37. Моисеев Н.Н. Математика ставит эксперимент. - М.: Наука, 1979. - 224 с.

38. Орлов А.И. // Экспертные оценки / Вопросы кибернетики. Вып.58. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1979. с.17-33.

39. Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. - 221 с.

40. Ларичев О.И. Выявление экспертных знаний. - М.: Наука, 1989. - 128 с.

41. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. Вербальный анализ решений. - М.: Наука, 1996.- 208 с.

42. Литвак Б.Г. Экспертные оценки и принятие решений. - М.: Патент, 1996. - 272 с.

43. Орлов А.И. Принятие решений. Теория и методы разработки управленческих решений. - М.-Ростов н/Д: МарТ; 2005. - 496 с.

44. Орлов А.И. Теория принятия решений. - М.: Экзамен, 2006. - 576 с.

45. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов (основы теории). - М.: Наука, 1990.- 326 с.

46. Ногин В.Д. Принятие решений в многокритериальной среде: количественный подход. - М.: Физматлит, 2002. - 176 с.

47. Вольский В.И., Лезина З.М. Голосование в малых группах. Процедуры и методы сравнительного анализа. - М.: Наука, 1991. - 192 с.

48. Новиков Д.А. Теория управления организационными системами. - М.: МПСИ, 2005. - 584 с.

49. Бурков В.Н. Теория активных систем: состояние и перспективы. - М.: Синтег, 1999. - 128 с.

50. Контроллинг в бизнесе. Методологические и практические основы построения контроллинга в организациях / А.М. Карминский, Н.И. Оленев, А.Г. Примак, с.Г. Фалько. - М.: Финансы и статистика, 1998. - 256 с.

51. Хан Д. Планирование и контроль: концепция контроллинга: Пер. с нем. - М.: Финансы и статистика, 1997. - 800 с.

52. Орлов А.И. // Контроллинг. 2002. No.1. с.42-53.

53. Литвак Б.Г. Экспертные технологии управления. 2-е изд. - М.: Дело, 2004.- 398 с.

54. Сидельников Ю.В. Технология экспертного прогнозирования: Учебное пособие. Изд. 2-е, исправл. - М.: Доброе слово, 2004. - 284 с.

55. Орлов А.И. // Заводская лаборатория. 2003. Т.69. No.11. с.55-60.

56. Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993. - 320 с.

57. Анохин А.М., Гусев В.Б., Павельев В.В. Комплексное оценивание и оптимизация на моделях многомерных объектов. - М.: ИПУ РАН, 2003. - 79 с.

58. Горский В.Г., Гриценко А.А., Орлов А.И. // Автоматика и телемеханика. 2000. No.3. с.179-187.

59. Применение экспертных оценок для задач стратегического планирования /Д.С. Шмерлинг, Т.Ю. Кузнецова, П.Ю. Чеботарев, Э.П. Чуркин. - М.: МШЭ МГУ ЦСП, 2008. - 36 с.

60. Орлов А.И. // Заводская лаборатория. 1996. Т.62. No.1. с.54-60.

61. Литвак Б.Г. // Заводская лаборатория. 2000. Т.66. No. 7. с. 61-66.

62. Дорофеюк А.А., Покровская И.В., Чернявский А.Л. // Автоматика и телемеханика. 2004. No. 10. с.172-188.

63. Сидельников Ю.В. Системный анализ технологии экспертного прогнозирования. - М.: Изд-во МАИ-ПРИНТ, 2007. - 348 с.

64. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана. - 2009. - 541 с.