(Окончание)

   В части 3 проводится изучение различных способов управления финансовыми и иными рисками. Выявлена роль многокритериальных задач оптимизации. Показана необходимость использования экспертных оценок. Рассмотрено современное представление о теории и практике экспертных оценок. Впервые предложена процедура согласования ранжировок, полученных в результате двух методов анализа мнений экспертов – метода средних рангов и метода медиан.

   Чтобы управлять, надо знать цель управления и иметь возможность влиять на те характеристики риска, которые определяют степень достижения цели.
   Обычно можно выделить множество допустимых управляющих воздействий, описываемое с помощью соответствующего множества параметров управления. Тогда указанная выше возможность влиять на те характеристики риска, которые определяют степень достижения цели формализуется как выбор значения управляющего параметра. При этом управляющий параметр может быть числом, вектором, быть элементом конечного множества или иметь более сложную природу.
   Основная проблема – корректная формулировка цели управления риском. Поскольку существует целый спектр различных характеристик риска, например, если потери от риска моделируются случайной величиной, то оптимизация управления риском сводится к решению задачи многокритериальной оптимизации. Например, естественной является задача одновременной минимизации среднего ущерба (математического ожидания ущерба) и разброса ущерба (дисперсии ущерба).

   Как известно, для любой многокритериальной задачи целесообразно рассмотреть множество решений (т.е. значений параметра управления), оптимальных по Парето. Эти решения оптимальны в том смысле, что не существует возможных решений, которые бы превосходили бы Парето-оптимальные решения одновременно по всем критериям. Точнее, превосходили бы хотя бы по одному критерию, а по остальным были бы столь же хорошими. Теория Парето-оптимальных решений хорошо развита (см., например, монографию [1]).
   Ясно, что для практической реализации надо выбирать одно из Парето-оптимальных решений. Как выбирать? Разработан целый спектр подходов, из которых выбор может быть сделан только субъективным образом. Таким образом, возникает необходимость применения метода экспертных оценок.
   Эксперты могут выбирать непосредственно из множества Парето-оптимальных решений, если оно состоит лишь из нескольких элементов. Они могут выбирать ту или иную процедуру сведения многокритериальной задачи к однокритериальной.
   Как пытаются решать многокритериальные задачи? Один из подходов – выбрать т.н. "главный критерий", по которому проводить оптимизацию, превратив остальные критерии в ограничения. Например, минимизировать средний ущерб, потребовав, чтобы дисперсия ущерба не превосходила заданной величины.
   Иногда задача многокритериальной оптимизации допускает декомпозицию. Найдя оптимальное значение для главного критерия, можно рассмотреть область возможных значений для остальных критериев, выбрать из них второй по важности и оптимизировать по нему, и т.д.
   В рассматриваемом подходе эксперты выбирают главный критерий (или упорядочивают критерии по степени важности), задают численные значения ограничений, иногда точность или время вычислений.
   Второй основной подход – это свертка многих критериев в один интегральный и переход к оптимизации по одному критерию. Например, рассматривают линейную комбинацию критериев. Строго говоря, метод "главного критерия" – один из вариантов свертки, в котором вес главного критерия равен 1, а веса остальных – 0. Построение сверки, в частности, задание весов, целесообразно осуществлять экспертными методами.
   Используют также методы, основанные на соображениях устойчивости [2]. При этом рассматривают область значений управляющих параметров, в которых значение оптимизируемого одномерного критерия (главного параметра или свертки) отличается от оптимального не более чем на некоторую заданную малую величину. Такая область может быть достаточно обширной. Например, если в линейном программировании одна из граней многогранника, выделенного ограничениями, почти параллельна плоскости равных значений оптимизируемого критерия, то вся эта грань войдет в рассматриваемую область. В выделенной области можно провести оптимизацию другого параметра, и т.д. При таком подходе эксперты выбирают допустимое отклонение для основного критерия, выделяют второй критерий, задают ограничения и т.д.
   Необходимо обратить внимание на существенное изменение ситуации в области вычислительной оптимизации за последние 40 лет. Если в 1960-е годы из-за маломощности тогдашних компьютеров большое значение имела разработка быстрых методов счета, то в настоящее время внимание переносится на постановки задач и интерпретацию результатов. По нашим наблюдениям, это объясняется не только наличием различных программных продуктов по оптимизации, но и тем, что почти любую практическую задачу оптимизации можно решить простейшими методами типа переборных (перебирая возможные значения управляющих параметров с маленьким шагом), поскольку быстродействие современных компьютеров позволяет это сделать.

   Как показано выше, разработка методологии повышения эффективности деятельности организации путем управления рисками предполагает в качестве неотъемлемой части разработку методологии применения разнообразных методов экспертных оценок.
   Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.

   Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).
   Как показывает опыт проведения экспертных исследований, целесообразно выделять следующие стадии проведения экспертного опроса:
   1) формулировка Лицом, Принимающим Решения, цели экспертного опроса;
   2) подбор ЛПР основного состава Рабочей группы;
   3) разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса;
   4) разработка РГ подробного сценария (регламент) проведения сбора и анализа экспертных мнений (оценок), включая как конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы) и конкретные методы анализа этой информации (вычисление медианы Кемени, статистический анализ люсианов и иные методы статистики объектов нечисловой природы и других разделов прикладной статистики);
   5) подбор экспертов в соответствии с их компетентностью;
   6) формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии);
   7) проведение сбора экспертной информации;
   8) анализ экспертной информации;
   9) при применении процедуры из нескольких туров - повторение двух предыдущих этапов;
   10) интерпретация полученных результатов и подготовка заключения для ЛПР;
   11) официальное окончание деятельности РГ (в том числе подготовка и утверждение научного и финансового отчетов о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ).

    Проблема подбора экспертов является одной из наиболее сложных. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем возвращаться к обсуждению проблемы существования различных "партий" среди экспертов и обратим внимание на различные иные стороны процедур подбора экспертов.
   Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.
   При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.
   Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.
   В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.
   Есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного "клана", то и метод "снежного кома" даст, скорее всего, лиц из этого "клана", мнения и аргументы других "кланов" будут упущены.
   Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов.

   Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома".
   В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению.
   Один из основных вопросов - что именно должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии.

   Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен следующий метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений.
   Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов.

   Математические методы в экспертных оценках применяются обычно именно для решения задач подготовки проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.
   Догма согласованности. Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают. Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, известен пример деления специалистов при оценке результатов научно-исследовательских работ на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в Институте проблем управления (автоматики и телемеханики)).
   Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. И ЛПР должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе ( или даже "подсказанной" ЛПР).
   Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, например, с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена, то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела группу специалистов к разработке нового математического аппарата для проверки согласованности - непараметрических методов, основанных на люсианах.)
   Мнения диссидентов. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели.
   Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.
   В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР.
   Догма одномерности. Распространен довольно примитивный подход так называемой "квалиметрии", согласно которому объект всегда можно оценить одним числом. Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее "рыночной стоимости". Популярность квалиметрического подхода понятна – задачи оптимизации эффективно решаются, когда есть только один критерий, и вызывают большие сложности, когда критериев несколько. Тем не менее квалиметрия напоминает известный метод поиска потерянных ключей – под фонарем, где светлее, а не в кустах, где темно.

   При анализе мнений экспертов можно применять самые разнообразные статистические методы, описывать их - значит описывать всю прикладную статистику (эконометрику), особенно статистику нечисловых данных. Тем не менее можно выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы.
   Поскольку ответы экспертов во многих процедурах экспертного опроса - не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., то для их анализа оказываются полезными методы статистики объектов нечисловой природы (см., например, серию статей [3]).
   Почему ответы экспертов носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека используются образы, слова, но не числа. Поэтому требовать от эксперта ответа в форме числа - значит насиловать его разум. Даже в экономике предприниматели, принимая решения, лишь частично опираются на численные расчеты. Это видно из условного (т.е. определяемого произвольно принятыми соглашениями) характера балансовой прибыли, амортизационных отчислений и других экономических показателей. Поэтому фраза типа "фирма стремится к максимизации прибыли" не может иметь строго определенного смысла. Достаточно спросить: "Максимизация прибыли - за какой период?"
   Эксперт может сравнить два объекта, дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может сказать, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения - баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физических измерений. В случае произвольности оцифровки выводы, полученные в результате обработки данных, могут не иметь отношения к реальности.

   Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться. Эксперту гораздо легче на каждом шагу сравнивать только два объекта. Пусть он занимается парными сравнениями. Непараметрическая теория парных сравнений (теория люсианов) позволяет решать более сложные задачи, чем статистика ранжировок или разбиений. В частности, вместо гипотезы равномерного распределения можно рассматривать гипотезу однородности, т.е. вместо совпадения всех распределений с одним фиксированным (равномерным) можно проверять лишь совпадение распределений мнений экспертов между собой, что естественно трактовать как согласованность их мнений. Таким образом, удается избавиться от неестественного предположения равномерности.
   При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению. Это можно сделать методами кластер-анализа, предварительно введя метрику в пространство мнений экспертов. Идея Кемени об аксиоматическом введении метрик нашла многочисленных продолжателей. Однако методы кластер-анализа обычно являются эвристическими, в частности, невозможно с позиций статистической теории обосновать "законность" объединения двух кластеров в один. Имеется важное исключение - для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу. Это - еще один аргумент за то, чтобы рассматривать теорию люсианов как ядро математических методов экспертных оценок.

   Пусть мнения комиссии экспертов или какой-то ее части признаны согласованными. Каково же итоговое (среднее, общее) мнение комиссии? Согласно идее Кемени, разработанной в эконометрике нечисловых данных, следует найти среднее мнение как решение оптимизационной задачи. А именно, необходимо минимизировать суммарное расстояние от кандидата в средние до мнений экспертов. Так найденное среднее мнение в эконометрике нечисловых данных называют "медианой Кемени".
   Математическая сложность состоит в том, что мнения экспертов лежат в некотором пространстве объектов нечисловой природы. Общая теория подобного усреднения построена в ряде работ, в частности, показано, что в силу обобщения закона больших чисел среднее мнение при увеличении числа экспертов (чьи мнения независимы и одинаково распределены) приближается к некоторому пределу, который естественно назвать математическим ожиданием (случайного элемента, имеющего то же распределение, что и ответы экспертов).
   В конкретных пространствах нечисловых мнений экспертов вычисление медианы Кемени может быть достаточно сложным делом.. Кроме свойств пространства, велика роль конкретных метрик. Так, в пространстве ранжировок при использовании метрики, связанной с коэффициентом ранговой корреляции Кендалла, необходимо проводить достаточно сложные расчеты, в то время как применение метрики на основе коэффициента ранговой корреляции Спирмена приводит к упорядочению по средним рангам, т.е. вычисляется элементарно.

   Подробнее рассмотрим одну из проблем, возникающих в теории и практике экспертных оценок. Рассматриваемая проблема состоит в выделении наиболее подробного частичного порядка, общего для набора кластеризованных ранжировок (на статистическом языке - ранжировок со связями). Этот набор может отражать мнения нескольких экспертов или быть получен при обработке мнений экспертов различными методами. Нами впервые предлагается метод согласования кластеризованных ранжировок, позволяющий "загнать" противоречия внутрь специальным образом построенных кластеров (групп), в то время как упорядочение кластеров соответствует упорядочениям всех исходных кластеризованных ранжировок.

   В различных прикладных областях возникает необходимость анализа нескольких кластеризованных ранжировок объектов.
   К таким областям относятся технические исследования, экология, менеджмент, экономика, социология, прогнозирование и т.д., особенно те их разделы, что связаны с экспертными оценками (см., например, [4,5]). В качестве объектов могут выступать образцы продукции, технологии, математические модели, проекты, кандидаты на должность и др. Кластеризованные ранжировки могут быть получены как с помощью экспертов, так и объективным путем, например, при сопоставлении математических моделей с экспериментальными данными с помощью того или иного критерия качества. Описанный в настоящем разделе метод может быть также использован в проблемах химической безопасности биосферы [6,7] и экологического страхования [8,9].
    Предлагается новый метод построения кластеризованной ранжировки, согласованной (в раскрытом ниже смысле) со всеми рассматриваемыми кластеризованными ранжировками. При этом противоречия между отдельными исходными ранжировками оказываются заключенными внутри кластеров согласованной ранжировки. В результате упорядоченность кластеров отражает общее мнение экспертов, точнее, то общее, что содержится в исходных ранжировках.
   В кластеры заключены объекты, по поводу которых некоторые из исходных ранжировок противоречат друг другу. Для их упорядочения необходимо провести новые исследования. Эти исследования могут быть двух типов. Во-первых, осуществление дополнительной математической обработки экспертных данных (вычисление медианы Кемени, нахождение группового выбора с помощью упорядочения по средним рангам или по медианам и т.п. [4,5]). Во-вторых, привлечение дополнительной информации из соответствующей прикладной области, возможно, проведение прикладных научных работ с целью сравнения объектов из одного кластера.
   Введем необходимые понятия, затем впервые сформулируем алгоритм согласования в общем виде и рассмотрим его свойства.
   Определение кластеризованной ранжировки.Пусть имеется конечное число объектов, которые мы для простоты изложения будем изображать натуральными числами 1,2,3,...,k и называть носителем. Под кластеризованной ранжировкой, определенной на заданном носителе, понимаем следующую математическую конструкцию. Пусть объекты разбиты на группы, которые будем называть кластерами. В кластере может быть и один элемент. Входящие в один кластер объекты будем заключать в фигурные скобки. Например, объекты 1,2,3,...,10 могут быть разбиты на 7 кластеров: {1}, {2,3}, {4}, {5,6,7}, {8}, {9}, {10}. Кластеры не имеют общих элементов, а объединение их (как множеств) есть все рассматриваемое множество объектов.
   Вторая составляющая кластеризованной ранжировки - это строгий линейный порядок между кластерами. Задано, какой из них первый, какой второй, и т.д. Будем изображать упорядоченность с помощью знака < . При этом кластеры, состоящие из одного элемента, будем для простоты изображать без фигурных скобок. Тогда кластеризованную ранжировку на основе введенных выше кластеров можно изобразить так:

А = [ 1 < {2,3} < 4 < {5,6,7} < 8 < 9 < 10 ] .

   Конкретные кластеризованные ранжировки будем заключать в квадратные скобки. Если для простоты речи термин "кластер" применять только к кластеру не менее чем из 2-х элементов, то можно сказать, что в кластеризованную ранжировку А входят два кластера {2,3} и {5,6,7} и 5 отдельных элементов.
   Введенная описанным образом кластеризованная ранжировка является бинарным отношением на множестве {1,2,3,...,10}. Его структура такова. Задано отношение эквивалентности с 7-ю классами эквивалентности, а именно, {2,3}, {5,6,7}, а остальные состоят из оставшихся 5 отдельных элементов. Затем введен строгий линейный порядок между классами эквивалентности.
   Введенный математический объект известен в математической статистике как "ранжировка со связями" (см., например, [10, с.48 и др.]). Дж.Кемени и Дж.Снелл используют термин "упорядочение" [11, с.20], Б.Г.Миркин - "квазисерия" [12, с.37], Ю.А.Шрейдер - "совершенный квазипорядок" [13, с.127, 130]. Учитывая разнобой в терминологии, мы сочли полезным ввести собственный термин "кластеризованная ранжировка", поскольку в нем явным образом названы основные элементы изучаемого математического объекта - кластеры, рассматриваемые на этапе согласования ранжировок как классы эквивалентности, и ранжировка - строгий совершенный порядок между ними (в терминологии [13, гл.IV]).

   Следующее важное понятие - противоречивость. Оно определяется для четверки - двух кластеризованных ранжировок на одном и том же носителе и двух различных объектов - элементов того же носителя. Мы будем рассматривать два вида противоречивости - сильную и слабую. Два элемента из одного кластера будем связывать символом равенства = как эквивалентные.
   Пусть А и В - две кластеризованные ранжировки. Пару объектов (a,b) назовем сильно противоречивой относительно А и В, если эти два элемента по-разному упорядочены в А и В, т.е. a < b в А и a > b в В либо a >b в А и a < b в В. Отметим, что в соответствии с этим определением пара объектов (a,b), эквивалентная хотя бы в одной кластеризованной ранжировке, не может быть сильно противоречивой: эквивалентность a = b не образует "сильного противоречия" ни с a < b, ни с a > b. Совокупность строго противоречивых пар объектов для двух кластеризованных ранжировок А и В назовем ядром сильных противоречийи обозначим S(A,B).
   В качестве примера рассмотрим три кластеризованные ранжировки: А (см. выше), В и С, где

В = [ {1,2} < { 3,4, 5} < 6 < 7 < 9 < {8, 10}],

C = [ 3 < {1, 4} < 2 < 6 < {5, 7, 8} < {9, 10} ].

   Они определены на одном и том же носителе {1, 2, 3,..., 10}. Как нетрудно проверить, ядра сильных противоречий таковы:

S(A,B) = [ (8, 9)], S(A,C) = [ (1, 3), (2,4) ] ,

S(B,C) = [ (1, 3), (2, 3), (2, 4), (5, 6), (8,9) ] .

   Как при ручном, так и при программном нахождении ядра можно в поисках сильно и слабо (см. ниже) противоречивых пар просматривать пары (1,2), (1,3), (1.,4), ...., (1, k), затем (2,3), (2,4), ..., (2, k), потом (3,4), ..., (3, k) и т.д., вплоть до (k-1, k).
   Ядро сильных противоречий можно изобразить графом с вершинами в точках носителя. При этом сильно противоречивые пары задают ребра этого графа. Граф для S(A,B) имеет только одно ребро, оно соединяет вершины 8 и 9, граф содержит одну связную компоненту более чем из одной точки. Граф для S(A,C) имеет 2 ребра, соединяющие вершины 1 и 3, а также 2 и 4, этот граф содержит две связные компоненты более чем из одной точки. В графе для S(B,C) уже 5 ребер, соединяющих вершины 1 и 3, 2 и 3, 2 и 4, 5 и 6, 8 и 9 соответственно. В этом графе три связные компоненты более чем из одной точки, а именно, {1, 2, 3, 4} из четырех точек, {5, 6} и {8, 9} из двух точек каждая.
   Каждую кластеризованную ранжировку, как и любое бинарное отношение на носителе из k элементов, можно задать квадратной матрицей ||x(a,b)|| из 0 и 1 порядка k. При этом x(a,b) = 1 тогда и только тогда, когда a<b либо a = b. В первом случае x(b,a) = 0, а во втором x(b,a) = 1. При этом хотя бы одно из чисел x(a,b) и x(b,a) равно 1. Из определения сильной противоречивости пары (a,b) вытекает, что для нахождения всех таких пар достаточно поэлементно перемножить матрицы ||x(a,b)|| и ||y(a,b)||, соответствующие двум кластеризованным ранжировкам, и отобрать те и только те пары, для которых x(a,b)y(a,b) = x(b,a)y(b,a) = 0, т.е. выделить все пары равных 0 элементов, симметричных относительно главной диагонали.

   Пусть А и В - две кластеризованные ранжировки. Пару объектов (a,b) назовем слабо противоречивой относительно А и В, если упорядоченность этих двух элементов в А и В различается, т.е. 1) a<b в А и a>b или a = b в В, либо 2) a>b в А и a<b или a = b в В, либо 3) a = b в А и a<b или a>b в В. Отметим, что в соответствии с этим определением пара объектов (a,b) гораздо чаще оказывается (слабо) противоречивой, чем в случае сильной противоречивости. Так, эквивалентность a = b в одной кластеризованной ранжировке образует "слабое противоречие" и с a<b, и с a>b в другой, и "слабого противоречия" нет тогда и только тогда, когда и во второй кластеризованной ранжировке справедлива эквивалентность a = b.
   Итак, понятия "сильного" и "слабого" противоречия различаются трактовкой эквивалентности a = b. В первом случае она считается совместимой с любым неравенством между объектами и потому исключает противоречие. Следовательно, "сильное противоречие" - это, так сказать, весьма серьезное противоречие, с которым нельзя справиться, нарушая эквивалентность a = b в ту или иную сторону. Во втором случае любое различие мнений относительно рассматриваемых объектов считается противоречием и эквивалентность a = b в одной кластеризованной ранжировке не противоречит лишь такой же эквивалентности во второй.
   Совокупность слабо противоречивых пар объектов для двух кластеризованных ранжировок А и В назовем ядром слабых противоречий и обозначим Q(A,B). Для рассмотренных выше в качестве примеров трех кластеризованных ранжировок А, В и С имеем

Q(A,B) = [{1,2}, {2,3}, {3,4}, {3,5}, {4,5}, {5,6}, {5,7}, {6,7}, (8,9), {8,10}],
Q(A,C) = [(1,3), {1,4}, {2,3}, (2,4), {5,6}, {5,8}, {6,7}, {7,8}, {9,10}] ,
Q(B,C) = [{1,2}, (1,3), (1,4), (2,3), (2,4), {3,4}, {3,5}, {4,5}, (5,6), {5,7}, {5,8}, {7,8}, (8,9), {8,10}, {9,10}] .

   Каждое ядро слабых противоречий содержит соответствующее ядро сильных противоречий. Количество пар, находящихся в отношении слабого противоречия, как и следовало ожидать, существенно больше количества пар, находящихся в отношении сильного противоречия.
   Ядро слабых противоречий также можно изобразить графом с вершинами в точках носителя. При этом слабо противоречивые пары задают ребра этого графа, которых оказывается много больше, чем в случае изучения сильных противоречий. Граф для Q(A,B) имеет 10 ребер, позволяющих выделить две связные компоненты, а именно, {1, 2, 3, 4, 5, 6, 7} и {8, 9, 10}. Граф для Q(A,C) состоит из 9 ребер, образующих три связные компоненты, а именно, {1, 2, 3, 4}, {5, 6, 7, 8} и {9, 10}. В графе для Q(B,C) имеется 15 ребер, связная компонента всего одна, она включает все 10 объектов, образующих носитель).
   Рассмотрим введенные выше матрицы ||x(a,b)|| и ||y(a,b)||, соответствующие двум кластеризованным ранжировкам. Пара (a,b) не является слабо противоречивой тогда и только тогда, когда x(a,b) = y(a,b) и x(b,a) = y(b,a). Поэтому для выделения слабо противоречивых пар достаточно сложить по модулю 2 матрицы ||x(a,b)|| и ||y(a,b)||. Каждая имеющаяся в сумме ||x(a,b)|| + ||y(a,b)|| единица указывает на слабо противоречивую пару. Напомним, что для получения сильно противоречивых пар матрицы ||x(a,b)|| и ||y(a,b)|| надо поэлементно перемножить, причем каждая пара нулевых элементов, симметричных относительно главной диагонали, указывает на сильно противоречивую пару.

   Предлагаемые алгоритмы согласования некоторого числа кластеризованных ранжировок состоят из трех этапов.
   Этап 1. Выделяются противоречивые пары объектов во всех парах кластеризованных ранжировок. Поскольку выше рассмотрены два вида противоречий - сильное и слабое, то алгоритмов согласования также два - сильный и слабый.
   Этап 2. Выделяются кластеры итоговой кластеризованной ранжировки (т.е. классы эквивалентности - связные компоненты графов, соответствующих объединению попарных ядер противоречий).
   Этап 3. Эти кластеры (классы эквивалентности) упорядочиваются. Для установления порядка между кластерами произвольно выбирается один объект из первого кластера и второй - из второго, порядок между кластерами устанавливается такой же, какой имеется между выбранными объектами в любой из рассматриваемых кластеризованных ранжировок (корректность подобного упорядочения, т.е. его независимость от выбора той или иной пары объектов, вытекает из доказанных нами теорем, примеры соответствующей математической техники приведены в Приложении). В случае слабого согласования никакие два объекта из разных кластеров не могут быть равны, поэтому описанная выше процедура не встречает препятствий. В случае сильного согласования это не так - два объекта из разных кластеров согласованной кластеризованной ранжировки могут оказаться эквивалентными в одной из исходных кластеризованных ранжировок (т.е. находиться в одном кластере). В таком случае надо рассмотреть упорядоченность этих объектов в какой-либо другой из исходных кластеризованных ранжировок. Если же во всех исходных кластеризованных ранжировках два рассматриваемых объекта находились в одном кластере, то естественно считать (и это является уточнением к этапу 3 алгоритма), что они находятся в одном кластере и в согласованной кластеризованной ранжировке.
   Результат сильного согласования кластеризованных ранжировок А, В, С,... обозначим f (А, В, С,...), результат их слабого согласования - F(А, В, С,...). На основе проведенных выше рассуждений о ядрах сильных и слабых противоречий нетрудно получить:

f (А, В) = [ 1 < 2 < 3 < 4 < 5 < 6 < 7 < {8, 9} < 10 ] ,

f (А, С) = [ {1, 3} < {2, 4} < 5 < 6 < 7 < 8 < 9 < 10 ] ,

f (В, С) = [ {1, 2, 3, 4 } < {5, 6} < 7 < {8, 9} < 10 ] ,

f (А, В, С) = f (В, С) = [ {1, 2, 3, 4 } < {5, 6} < 7 < {8, 9} < 10 ] ,

F(А, В) = [ {1, 2, 3, 4, 5, 6, 7}, {8, 9, 10} ] ,

F(А, С) = [ {1, 2, 3, 4} , {5, 6, 7, 8}, {9, 10} ] ,

F(В, С) = [ {1, 2, 3, 4, 5, 6, 7, 8, 9, 10} ] ,

F(А, В, С) = F(В, С) = [ {1, 2, 3, 4, 5, 6, 7, 8, 9, 10} ] .

   Полученные результаты показывают весь спектр согласованных кластеризованных ранжировок - от f (А, В), в которой только два элемента объединены в кластер, до F(В, С), в которой все элементы составляют один кластер. В случае f (А, В) дополнительного изучения с целью упорядочения требуют только объекты 8 и 9. В случае F(В, С) все объекты объединились в один кластер, т.е. кластеризованные ранжировки оказались настолько противоречивыми, что процедура согласования не позволила провести декомпозицию задачи нахождения итогового мнения экспертов, т.е. разбить объекты на группы, каждую из которых можно анализировать отдельно. Наш опыт анализа реальных кластеризованных ранжировок показал, что почти всегда ситуация ближе к случаю f (А, В), чем к случаю F(В, С).

   6.1. Пусть D = f (А, В, C, ...). Если a < b в сильно согласованной кластеризованной ранжировке D, то a < b или a = b в каждой из исходных кластеризованных ранжировок А, В, C, ... .
   6.2. Пусть D = F (А, В, C, ...). Если a < b в слабо согласованной кластеризованной ранжировке D, то a < b в каждой из исходных кластеризованных ранжировок А, В, C, ... .
   6.3. Построение согласованных кластеризованных ранжировок может осуществляться поэтапно. В частности,

f(A, B, C) = f ( f (A, B), f(A, C), f(B, C)) .

   Это связано с тем, что ядра сильных и слабых противоречий для нескольких кластеризованных ранжировок являются объединениями таких ядер для всех пар рассматриваемых кластеризованных ранжировок.
   6.4. Построение согласованных кластеризованных ранжировок нацелено на выделение общего упорядочения в исходных кластеризованных ранжировках. Однако при этом некоторые общие свойства исходных кластеризованных ранжировок могут теряться. Так, при сильном согласовании кластеризованных ранжировок В и С, рассмотренных выше в качестве примеров, противоречия в упорядочении элементов 1 и 2 нет, пара (1,2) не входит в ядро сильных противоречий S(B,C). В кластеризованной ранжировке В эти объекты входят в один кластер: 1 = 2, в то время как в кластеризованной ранжировке С имеем: 1 < 2. Следовательно, при их отдельном рассмотрении можно было принять упорядочение 1 < 2. Однако в f (В, C) они попали в один кластер, т.е. возможность их упорядочения исчезла. Это связано с поведением объекта 3, который "перескочил" в С на первое место и "увлек с собой в противоречие" пару (1, 2), образовав противоречивые пары и с 1, и с 2. Другими словами, связная компонента графа, соответствующего ядру противоречий, сама по себе не всегда является полным графом. Недостающие ребра при этом соответствуют парам типа (1, 2), которые сами по себе не являются противоречивыми, но "увлекаются в противоречие" другими парами.
   6.5. В согласованной ранжировке могут быть кластеры иного происхождения, не связанные с противоречиями. Если во всех исходных кластеризованных ранжировках два элемента не различаются, например, имеется кластер {1, 3}, то и в согласованной ранжировке будет такой кластер, либо он войдет в более обширный кластер. В согласованной ранжировке сохраняется не только общая для всех исходных кластеризованных ранжировок упорядоченность, но и общая для всех эквивалентность.
    6.6. В наших исследованиях необходимость согласования кластеризованных ранжировок впервые возникла при разработке методики применения экспертных оценок в задачах экологического страхования и химической безопасности биосферы [6 - 9]. Популярным является метод упорядочения по средним рангам, в котором итоговая ранжировка строится на основе средних арифметических рангов, выставленных отдельными экспертами [4,5]. Однако из теории измерений известно [2, гл.3], что более обоснованным является использование не средних арифметических, а медиан (при обработке порядковых данных типа ответов экспертов применение средних арифметических некорректно, в отличие от медиан). Вместе с тем метод средних рангов весьма известен и широко применяется, так что просто отбросить его нецелесообразно. Поэтому было принято решение об одновременном применении обоих методов. Реализация этого решения потребовала разработки методики согласования двух указанных кластеризованных ранжировок.
   6.7. Область применения рассматриваемого в настоящей статье метода не ограничивается экспертными оценками. Он был с успехом применен для сравнения качества математических моделей процесса испарения жидкости. Имелись данные экспериментов и результаты расчетов по 8 математическим моделям. Сравнивать модели можно по различным критериям качества. Например, по сумме модулей относительных отклонений расчетных и экспериментальных значений. Можно в каждой экспериментальной точке упорядочить модели по качеству, а потом получать единую оценку методами средних рангов и медиан. Использовались и иные методы. Затем применялись методы согласования полученных кластеризованных ранжировок. В результате оказалось возможным упорядочить модели по качеству и использовать это упорядочение при разработке банка математических моделей, используемого в задачах химической безопасности биосферы.
   Итак, в настоящем разделе отчета предложен новый метод анализа экспертных оценок, принципиально отличающийся от ранее известных [4,5]. Он позволяет проводить декомпозицию задачи экспертного оценивания, разделяя область согласия экспертов и область противоречий в их ответах. Метод позволяет также проводить согласование результатов применения различных алгоритмов обработки ответов экспертов или иных результатов наблюдений. В соответствии с методологией устойчивости [2] выводы, общие для всех использованных методов, могут отражать свойства реальности, в то время как противоречащие друг другу результаты расчетов демонстрируют лишь влияние субъективизма исследователей, выбравших тот или иной метод. Метод уже используется в учебном процессе Московского государственного технического университета им.Н.Э.Баумана, начиная со второго курса.

   Рассмотрим процедуру слабого согласования. С точки зрения теории бинарных отношений ядро слабых противоречий для двух кластеризованных ранжировок можно назвать квазитолерантностью расхождений (КТР). Предположим, что отсутствуют пары (a,b) такие, что a = b для обеих кластеризованных ранжировок (см. п.6.5 выше). Каждую такую пару можно условно заменить одним элементом.
    Отношение КТР является симметричным (если пара (a,b) входит в него, то входит и пара (b,a)) и антирефлексивным (ни одна пара (a,a) не входит в КТР). Свойством транзитивности это бинарное отношение, вообще говоря, не обладает (если пары (a,b) и (b,c) входят в него, то пара (a,c) может входить в КТР, а может и не входить).
   Формально присоединим к КТР все пары вида (a,a). Получим рефлексивное симметричное отношение, т.е. толерантность [13]. Будем называть ее толерантностью расхождений (ТР).
   Построим новое бинарное отношение Зам(ТР) путем транзитивного замыкания (в смысле теории бинарных отношений [13, с.27]) толерантности расхождений. Это означает, что подмножество пар объектов, входящих в ТР, пополняется некоторыми новыми парами. А именно, если a, b и c - три объекта такие, что пара (a,b) и пара (b,c) входят в ТР, то пару (a,c) включаем в замыкание этой ТР. Для полученного множества пар повторяем описанную операцию. Продолжаем так до тех пор, пока новые пары не перестанут добавляться (процесс не может продолжаться бесконечно, поскольку общее число пар конечно).
   Бинарное отношение Зам(ТР) можно описать и по-другому: пара (a,b) входит в Зам(ТР) тогда и только тогда, когда либо она входит в ТР, либо существует конечная последовательность объектов c, d, e, ..., q такая, что пары (a,c), (c,d), (d,e), ..., (q,b) входят в ТР, т.е. от a к b можно пройти за несколько шагов, каждый из которых - переход от первого элемента пары, входящей в ТР, ко второму.
   Последнее замечание подсказывает наглядную геометрическую интерпретацию операции замыкания. Представим себе объекты точками на плоскости. Пара (a,b) входит в ТР тогда и только тогда, когда от a до b можно добраться по дороге. Тогда ясно, что пара (a,c) входит в Зам(ТР) в том и только в том случае, когда от a до c можно добраться по дороге, возможно через несколько промежуточных пунктов (объектов).
   Описание структуры Зам(ТР) дает следующая теорема.
   Теорема о структуре замыкания. Замыкание толерантности расхождений - отношение эквивалентности (рефлексивное симметричное транзитивное отношение), задающее разбиение объектов на кластеры (группы эквивалентных в рассматриваемом смысле объектов). Кластеры между собой упорядочены: все объекты одного кластера одновременно лучше (или одновременно хуже) всех объектов другого кластера сразу по двум упорядочениям, соответствующим обеим кластеризованным ранжировкам. Внутри же кластеров, состоящих более чем из одного элемента, имеются противоречия: для какого-то объекта есть другой из того же кластера такой, что упорядочение по одной кластеризованной ранжировке противоречит упорядочению по другой кластеризованной ранжировке.
   Доказательство. Рефлексивность Зам(ТР) вытекает из рефлексивности ТР - поскольку любая пара (a,a) входит в ТР, то она входит и в Зам(ТР). Симметричность вытекает из симметричности ТР: если из a в b можно добраться по цепочке c, d, e, ..., q, то из b в a - по обратной цепочке q,...,e, d,c, каждые два соседних элемента которой образуют пару, входящую в ТР наряду с "симметричной" парой из прямой цепочки. Транзитивность вытекает из процедуры построения Зам(ТР). В теории бинарных отношений рефлексивное симметричное и транзитивное отношение называется эквивалентностью [13, с.54].
   Известно [13, с.55-56, теорема 2.1], что отношение эквивалентности задает такое разбиение множества объектов на кластеры (классы, группы, подмножества), что пара (a,b) входит в Зам(ТР) тогда и только тогда, когда объекты a и b включены в один и тот же кластер.
   Теперь введем упорядоченность кластеров.
   Лемма. Пусть X = {a, b,...} и Y = {c, d,...} - два кластера. Пусть a меньше c при использовании одной из двух рассматриваемых кластеризованных ранжировок. Тогда a меньше c и при сравнении по второй кластеризованной ранжировке. Более того, любой объект из первого кластера меньше любого объекта из второго кластера в смысле любой из двух кластеризованных ранжировок.
   Докажем лемму. Если бы a было больше или равно c по второй кластеризованной ранжировке, то пара (a,c) входила бы в КТР и ТР, а потому объекты a и c входили бы в один класс разбиения, соответствующего Зам(ТР), что противоречит исходному предположению. Это рассуждение показывает также, что любые два объекта b и d из разных кластеров одинаково упорядочены по двум рассматриваемым кластеризованным ранжировкам.
   Однако совпадает ли упорядоченность b и d (или даже b и c) с упорядоченностью a и c ?
   Одну из упорядоченностей, задаваемых кластеризованными ранжировками, обозначим знаком < (т.е. "меньше"; знак > означает здесь "больше или равно"). Может ли быть так, что a<c, но b>c ? Тогда a<c<b. Вторую упорядоченность обозначим знаком //. Тогда в соответствии с рассуждениями предыдущего абзаца a//c//b, следовательно, пара (a,b) не может входить в КТР, а потому и в ТР.
   Поскольку a и b лежат в одном кластере, то существует цепочка a(1)=a, a(2), a(3), ..., a(t) = b такая, что пары (a(p), a(p+1)) входят в КТР, p = 1, 2, 3, ... , t ^_ 1. Рассмотрим минимальное m такое, что a(m)<c, a(m+1)>c (такое m существует, поскольку a(1)<c, в то время как a(t) > c). Тогда в рассуждениях предыдущего абзаца можно положить a =a(m), b=a(m+1). Получаем, что пара (a(m), a(m+1)) не входит в КТР, что противоречит определению Зам(ТР).
   Итак, доказано, что из a<c вытекает b<c для любого b из кластера, включающего a. Аналогичным образом устанавливается, что b<d для любого d из кластера, включающего c. Лемма доказана.
   Каждый из кластеров, порожденных Зам(ТР), может состоять из одного или нескольких элементов. Внутри кластера из одного элемента противоречий быть не может. Если в кластере несколько элементов, то хотя бы одна пара объектов из этого кластера входит в КТР. Однако некоторые пары могут и не содержать противоречий. Например, если упорядочения имеют вид a<b<c и c//a//b, то пары (b,c) и (a,c) входят в КТР, а пара (a,b) - нет. Если же второе упорядочение имеет вид c//b//a, то все три пары входят в КТР.
   Теорема о структуре замыкания доказана.
   Другие математические утверждения, содержащиеся в разделе 3 отчета, в частности, касающиеся сильного согласования, а также анализа более чем двух кластеризованных ранжировок и др., могут быть доказаны аналогичным образом. Поскольку доказательства не встречают принципиальных трудностей, но довольно обширны, мы сочли возможным их опустить.

   1. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. - М.: Наука, 1982.
   2. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979.
   3. Орлов А.И. Статистика объектов нечисловой природы // Заводская лаборатория, 1990, т.56, No.3, с.76-83, 1995, т.61, No.3, с.43-52, No.5, с.43-51.
   4. Орлов А.И. Экспертные оценки // Заводская лаборатория. 1996. Т.62. No 1. С.54-60.
   5. Литвак Б.Г. Экспертные оценки и принятие решений. - М.: Патент, 1996.
   6. Горский В.Г., Курочкин В.К., Орлов А.И., Швецова-Шиловская Т.Н. О научно-методологическом обеспечении безопасности больших химических систем. // Управление большими системами. Материалы Международной научно-практической конференция (22-26 сентября 1997 г., ИПУ РАН, Москва, Россия). - М.: СИНТЕГ, 1997. С.164.
   7. Горский В.Г., Орлов А.И., Курочкин В.К., Гриценко А.А. К проблеме классификации сложных опасных систем. // Управление большими системами. Материалы Международной научно-практической конференция (22-26 сентября 1997 г., ИПУ РАН, Москва, Россия). - М.: СИНТЕГ, 1997. С.211.
   8. Горский В.Г., Курочкин В.К., Моткин Г.А. и др. Методологические основы ранжирования и классификации промышленных объектов, подлежащих экологическому страхованию. // Труды Второй всероссийской конференции "Теория и практика экологического страхования". - М.: Ин-т проблем рынка РАН, 1996. С.7-12.
   9. Орлов А.И., Горский В. Г., Жихарев В. Н. и др. Экспертные оценки: современное состояние и перспективы использования в задачах экологического страхования. // Труды Второй всероссийской конференции "Теория и практика экологического страхования". - М.: Ин-т проблем рынка РАН, 1996. С.20-23.
   10. Холлендер М., Вулф Д. Непараметрические методы статистики. - М.: Финансы и статистика, 1983.
   11. Кемени Дж., Снелл Дж. Кибернетическое моделирование. Некоторые приложения. - М.: Советское радио, 1972.
   12. Миркин Б.Г. Проблема группового выбора. - М.: Наука, 1974.
   13. Шрейдер Ю.А. Равенство, сходство, порядок. - М.: Наука, 1971.

А.И.Орлов,
д.т.н., профессор МГТУ им. Н.Э.Баумана,
академик Российской академии статистических методов

*      *      *

   На сайте http://antorlov.chat.ru или его зеркале http://www.newtech.ru/~orlov Вы можете найти полезные макросы для Microsoft Word 97/2000 для создания книжек размером в половину листа, обьединения множества файлов в один, создания каталогов своих файлов, извлечения из недр Word'а красивых значков. Имеется конвертор "Число-текст" с возможностью автоматического обновления вставленных расшифровок. Также представлен учебник профессора А.И.Орлова по менеджменту, статьи А.И.Орлова по актуальным вопросам статистики и экономики. Имеется лекция об устройстве ядерных реакторов.
   Страница рассылки - http://antorlov.chat.ru/ivst.htm или http://www.newtech.ru/~orlov/ivst.htm.
   Если Вы живете в Москве, то для доступа к сайту www.newtech.ru/~orlov Вы можете воспользоваться бесплатным демо-доступом компании NewTech. Телефоны: (095)234-94-49, (095)956-37-46. Login: demo. Password: test. Вход под этим логином абсолютно бесплатный и открыт круглосуточно. Сеанс связи неограничен. Одновременно возможен вход не более 5 пользователей по демо-доступу. Если Вы видите сообщение об отказе в авторизации, значит, Вы - 6-й пользователь, входящий под этим логином, - повторите попытку позже. Доступ с использованием программы Netscape Navigator требует указания DNS: Primary DNS: 212.16.0.1, Secondary DNS: 193.232.112.1. В последнее время увеличилась загрузка бесплатных линий, так что для дозвона рекомендуется использовать какую-нибудь автоматическую программу вроде EDialer. Отказ сервера в принятии пароля не должен служить основанием для прекращения дозвона.
   На сайте http://karamurza.chat.ru представлена книга видного современного философа и политолога С.Г.Кара-Мурзы "Опять вопросы вождям", которая является глубоким научным исследованием проблем западного и российского общества. Данная книга может серьезно повысить образовательный уровень интересующихся политологическими и социологическими проблемами.

Удачи Вам и счастья!