Отправляет email-рассылки с помощью сервиса Sendsay

Эконометрика

  Все выпуски  

Эконометрика - выпуск 62


Служба Рассылок Subscribe.Ru

Здравствуйте, уважаемые подписчики!

   В 62-м выпуске рассылки "Эконометрика" от 8 октября 2001 года вы найдете статью о математических методах исследования из первого номера "Заводской лаборатории" за 2002 год, посвященного 70-летию журнала.
   Автор материалов рассылки и статей на сайте http://antorlov.chat.ru - профессор А.И.Орлов. Поддержка рассылки осуществляется А.А.Орловым.
   Все вышедшие выпуски Вы можете посмотреть в Архиве рассылки по адресу http://www.subscribe.ru/archive/science.humanity.econometrika.

*      *      *

Математические методы исследования: итоги и перспективы

   Математические методы исследования и управления - эффективный рабочий инструмент инженера и менеджера. Современные компьютерные технологии существенно облегчили использование этого инструмента.

Миссия и стратегические цели секции "Математические методы исследования"

   После второй мировой войны во всем мире была осознана практическая полезность математических методов исследования. Секция "Математические методы исследования" журнала "Заводская лаборатория. Диагностика материалов" создана в 1961 г. У ее истоков стояли акад. Б.В. Гнеденко и проф. В.В Налимов. За 40 лет в рамках секции опубликовано более 1000 статей.
   Миссия секции, выражаясь в терминах стратегического менеджмента, состоит в содействии развитию и широкому практическому использованию современных математических методов исследования путем организации потока соответствующих публикаций в журнале "Заводская лаборатория. Диагностика материалов".
   Стратегические цели секции "Математические методы исследования" могут быть сформулированы так:
   - публикация новых теоретических результатов, нацеленных на решение практических задач по тематике журнала;
   - подготовка и выпуск обзоров, отражающих интересы читателей;
   - организация обмена опытом применения математических методов исследования;
   - ведение рубрики "Наши консультации", посвященной вопросам, возникающим при решении часто встречающихся в практической работе задач и при применении распространенных математических методов исследования;
   - проведение разборов типовых ошибок при использовании распространенных математических методов исследования;
   - информирование о научно-технических конференциях по тематике секции и о других событиях научной жизни.
   Стратегические цели определяют оперативную организационную работу секции, в частности, тематику заказных статей.

Основные направления работы секции

   В соответствии с тематикой журнала публикации секции посвящены в основном статистическим методам анализа данных измерений, наблюдений, испытаний, анализов, опытов. Большое значение мы придаем математическим методам планирования экспериментов. В частности, при оптимизации технологических процессов в металлургической, химико-технологической, фармацевтической и иных отраслях промышленности применение методов экстремального планирования экспериментов позволяет заметно повысить выход продукта, обычно на 30-300%.
   Основные направления работы секции - прикладная статистика и планирование эксперимента. В первом из них принимается, что экспериментатор не может выбирать точки (значения факторов), в которых проводятся измерения, во втором, напротив, выбор возможен, и основная задача - оптимальный подбор таких точек. Большое внимание уделяется вопросам оптимального управления технологическими процессами, в частности, статистическим методам управления качеством продукции. Рассматриваются также теория и практика экспертных оценок, применение нечетких множеств и др. В работе [1] подведены основные итоги развития прикладной статистики, а в работе [2] то же сделано для планирования эксперимента.
   Рассмотрим подробнее основные научные направления, поддержанные секцией.
   Публиковались статьи по статистике случайных величин, по многомерному статистическому анализу, в частности по алгоритмам выделения информативных подмножеств факторов в задачах регрессионного и дискриминантного анализа. Как известно, во многих задачах требуется найти обратную матрицу, а определитель исходной матрицы может быть близок к 0. Для действий в подобных ситуациях разработан ряд методов. Другая проблема связана с тем, что классические методы хорошо работают, если число неизвестных параметров много меньше объема выборки. Между тем в реальных ситуациях часто число неизвестных параметров сравнимо с объемом выборки. Как быть? Новым методам, разработанным для этой неклассической ситуации, посвящен ряд публикаций в рамках секции.
   В традициях отечественной вероятностно-статистической школы выдержана сводка основные терминов, определений и обозначений по теории вероятностей и прикладной статистике. Ее цель - обеспечить высокий научный уровень публикаций и помочь читателям овладеть современной научной терминологией по тематике секции.
   Постоянно уделялось внимание теории измерений. Пропагандировалась концепция шкал измерения, а именно, шкал наименований, порядковой, интервалов, отношений, разностей, абсолютной. Установлено, какими алгоритмами анализа данных можно пользоваться в той или иной шкале, в частности, для усреднения результатов наблюдений. Так, для данных, измеренных в порядковой шкале, некорректно вычислять среднее арифметическое. В качестве средних для таких данных можно использовать порядковые статистики, в частности, медиану.
   Рассматривались новые подходы и программное обеспечение в области статистических методов обеспечения качества. Предложен принципиально новый подход к выбору технико-экономической политики обеспечения качества. Разработан метод проверки независимости результатов статистического контроля по двум альтернативным признакам. Сопоставлены между собой различные диалоговые программные системы по статистическому приемочному контролю. Проанализировано применение статистических методов на различных стадиях жизненного цикла продукции согласно международному стандарту ИСО 9004. Рассмотрены результаты анализа научной общественностью государственных стандартов по статистическим методам управления качеством продукции.
   Математические методы исследования часто опираются на использование современных информационных технологий. В частности, распределение статистики можно находить методами асимптотической математической статистики, а можно и путем статистического моделирования (метод Монте-Карло, он же - метод статистических испытаний). Вычислительная статистика широко представлена в публикациях секции.

Новые идеи последних лет: точки роста

   В работе [1] выделено пять актуальных направлений, в которых развивается современная прикладная статистика, т.е. пять "точек роста": непараметрика, робастность, бутстреп, интервальная статистика, статистика объектов нечисловой природы. В работах [2,3] в качестве точки роста для планирования эксперимента указана проблема неоднозначности решения обратных задач. "Точкам роста" посвящены многие статьи в рамках секции. Кратко обсудим эти актуальные направления, учитывая, что итогам и перспективам развития методов планирования эксперимента посвящена отдельная статья в настоящем номере журнала.
   Непараметрика, или непараметрическая статистика, позволяет делать статистические выводы, оценивать характеристики распределения, проверять статистические гипотезы без слабо обоснованных предположений о том, что функция распределения элементов выборки входит в то или иное параметрическое семейство. Например, широко распространена вера в то, что статистические данные часто подчиняются нормальному распределению. Математики думают, что это - экспериментальный факт, установленный в прикладных исследованиях. Прикладники уверены, что математики доказали нормальность результатов наблюдений. Между тем анализ конкретных результатов наблюдений, в частности, погрешностей измерений, приводит всегда к одному и тому же выводу - в подавляющем большинстве случаев реальные распределения существенно отличаются от нормальных. Некритическое использование гипотезы нормальности часто приводит к значительным ошибкам, например, при отбраковке резко выделяющихся результатов наблюдений (выбросов), при статистическом контроле качества и в других случаях. Поэтому целесообразно использовать непараметрические методы, в которых на функции распределения результатов наблюдений наложены лишь весьма слабые требования. Обычно предполагается лишь их непрерывность. К настоящему времени с помощью непараметрических методов можно решать практически тот же круг задач, что ранее решался параметрическими методами.
   Основная идея работ по робастности, или устойчивости, состоит в том, что выводы, полученные на основе математических методов исследования, должны мало меняться при небольших изменениях исходных данных и отклонениях от предпосылок модели. Здесь есть два круга задач. Один - это изучение устойчивости распространенных алгоритмов анализа данных. Второй - поиск робастных алгоритмов для решения тех или иных задач. Отметим, что сам по себе термин "робастность" не имеет точно определенного смысла. Всегда необходимо указывать конкретную вероятностно-статистическую модель. При этом модель "засорения" Тьюки-Хубера-Хампеля обычно не является практически полезной. Дело в том, что она ориентирована на "утяжеление хвостов", а в реальных ситуациях "хвосты" обрезаются априорными ограничениями на результаты наблюдений, связанными, например, с используемыми средствами измерения.
   Бутстреп - направление непараметрической статистики, опирающееся на интенсивное использование информационных технологий. Основная идея состоит в "размножении выборок", т.е. в получении набора из многих выборок, напоминающих полученную в эксперименте. По такому набору можно оценить свойства различных статистических процедур, не прибегая к излишне обременительным параметрическим вероятностно-статистическим моделям. Простейший способ "размножении выборки" состоит в исключении из нее одного результата наблюдения. Исключаем первое наблюдение, получаем выборку, похожую на исходную, но с объемом, уменьшенным на 1. Затем возвращаем исключенный результат первого наблюдения, но исключаем второе наблюдение. Получаем вторую выборку, похожую на исходную. Затем возвращаем результат второго наблюдения, и т.д. Есть и иные способы "размножения выборок". Например, можно по исходной выборке построить ту или иную оценку функции распределения, а затем методом статистических испытаний смоделировать ряд выборок из элементов, функция распределения которых совпадает с этой оценкой.
   Интервальная статистика - это анализ интервальных статистических данных. Вполне очевидно, что все средства измерения имеют погрешности. Однако до недавнего времени это очевидное обстоятельство никак не учитывалось в статистических процедурах. В результате возникла абсурдная концепция состоятельности как необходимого свойства статистических оценок параметров и характеристик. Только недавно начала развиваться теория интервальной статистики, избавленная от указанной абсурдной концепции. В ней предполагается, что исходные данные - это не числа, а интервалы. Интервальную статистику можно рассматривать как часть интервальной математики. Выводы в ней часто принципиально отличны от классических.

Статистика объектов нечисловой природы

   Перейдем к статистике объектов нечисловой природы (она же - статистика нечисловых данных, или нечисловая статистика). Сначала напомним, что исходный объект в прикладной статистике - это выборка, т.е. совокупность независимых одинаково распределенных случайных элементов. Какова природа этих элементов? В классической математической статистике элементы выборки - это числа. В многомерном статистическом анализе - вектора. А в нечисловой статистике элементы выборки - это объекты нечисловой природы, которые нельзя складывать и умножать на числа. Другими словами, объекты нечисловой природы лежат в пространствах, не имеющих векторной структуры.
   Примерами объектов нечисловой природы являются:
   - значения качественных признаков, т.е. результаты кодировки объектов с помощью заданного перечня категорий (градаций);
   - упорядочения (ранжировки) экспертами образцов продукции (при оценке её технического уровня и конкурентоспособности)) или заявок на проведение научных работ (при проведении конкурсов на выделение грантов);
   - классификации, т.е. разбиения объектов на группы сходных между собой (кластеры);
   - толерантности, т.е. бинарные отношения, описывающие сходство объектов между собой, например, сходства тематики научных работ, оцениваемого экспертами с целью рационального формирования экспертных советов внутри определенной области науки;
   - результаты парных сравнений или контроля качества продукции по альтернативному признаку ("годен" - "брак"), т.е. последовательности из 0 и 1;
   - множества (обычные или нечеткие), например, зоны, пораженные коррозией, или перечни возможных причин аварии, составленные экспертами независимо друг от друга;
   - слова, предложения, тексты;
   - вектора, координаты которых - совокупность значений разнотипных признаков, например, результат составления статистического отчета о научно-технической деятельности организации (т.н. форма No.1-наука) или анкета эксперта, в которой ответы на часть вопросов носят качественный характер, а на часть - количественный;
   - ответы на вопросы экспертной, маркетинговой или социологической анкеты, часть из которых носит количественный характер (возможно, интервальный), часть сводится к выбору одной из нескольких подсказок, а часть представляет собой тексты; и т.д.
   Интервальные данные тоже можно рассматривать как пример объектов нечисловой природы, а именно, как частный случай нечетких множеств. А именно, если характеристическая функция нечеткого множества равна 1 на некотором интервале и равна 0 вне этого интервала, то задание нечеткого множества эквивалентно заданию интервала. Напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств. Цикл соответствующих теорем приведен в работе [4].
   С 1970-х годов в основном на основе запросов теории экспертных оценок (а также технических исследований, экономики, социологии и медицины) развивались конкретные направления статистики объектов нечисловой природы. Были установлены основные связи между конкретными видами таких объектов, разработаны для них базовые вероятностные модели.
   Следующий этап (1980-е годы) - выделение статистики объектов нечисловой природы в качестве самостоятельной дисциплины в рамках математических методов исследования, ядром которого являются методы статистического анализа данных произвольной природы. Для работ этого периода характерна сосредоточенность на внутренних проблемах нечисловой статистики.
   К 1990-м годам статистика объектов нечисловой природы с теоретической точки зрения была достаточно хорошо развита, основные идеи, подходы и методы были разработаны и изучены математически, в частности, доказано достаточно много теорем. Однако она оставалась недостаточно апробированной на практике. И в 1990-е годы наступило время перейти от математико-статистических исследований к применению полученных результатов на практике. К этому периоду относится публикация большой серии статей в рамках секции "Математические методы исследования", посвященных теории и практике нечисловой статистики.
   Следует отметить, что в статистике объектов нечисловой природы одна и та же математическая схема может с успехом применяться во многих областях, а потому ее лучше всего формулировать и изучать в наиболее общем виде, для объектов произвольной природы.

Основные идеи статистики объектов нечисловой природы

   В чем принципиальная новизна нечисловой статистики? Для классической математической статистики характерна операция сложения. При расчете выборочных характеристик распределения (выборочное среднее арифметическое, выборочная дисперсия и др.), в регрессионном анализе и других областях этой научной дисциплины постоянно используются суммы. Математический аппарат - законы больших чисел, Центральная предельная теорема и другие теоремы - нацелены на изучение сумм. В нечисловой же статистике нельзя использовать операцию сложения, поскольку элементы выборки лежат в пространствах, где нет операции сложения. Методы обработки нечисловых данных основаны на принципиально ином математическом аппарате - на применении различных расстояний в пространствах объектов нечисловой природы.
   Кратко рассмотрим несколько идей, развиваемых в статистике объектов нечисловой природы для данных, лежащих в пространствах произвольного вида. Они нацелены на решение классических задач описания данных, оценивания, проверки гипотез - но для неклассических данных, а потому неклассическими методами.
   Первой обсудим проблему определения средних величин. В рамках теории измерений удается указать вид средних величин, соответствующих тем или иным шкалам измерения. В классической математической статистике средние величины вводят с помощью операций сложения (выборочное среднее арифметическое, математическое ожидание) или упорядочения (выборочная и теоретическая медианы). В пространствах произвольной природы средние значения нельзя определить с помощью операций сложения или упорядочения. Теоретические и эмпирические средние приходится вводить как решения экстремальных задач. Теоретическое среднее определяется как решение задачи минимизации математического ожидания (в классическом смысле) расстояния от случайного элемента со значениями в рассматриваемом пространстве до фиксированной точки этого пространства (минимизируется указанная функция от этой точки). Для эмпирического среднего математическое ожидание берется по эмпирическому распределению, т.е. берется сумма расстояний от некоторой точки до элементов выборки и затем минимизируется по этой точке. При этом как эмпирическое, так и теоретическое средние как решения экстремальных задач могут быть не единственными элементами рассматриваемого пространства, а являться некоторыми множествами таких элементов, которые могут оказаться и пустыми. Тем не менее удалось сформулировать и доказать законы больших чисел для средних величин, определенных указанным образом, т.е. установить сходимость (в специально определенном смысле) эмпирических средних к теоретическим.
   Оказалось, что методы доказательства законов больших чисел допускают существенно более широкую область применения, чем та, для которой они были разработаны. А именно, удалось изучить асимптотику решений экстремальных статистических задач, к которым, как известно, сводится большинство постановок прикладной статистики. В частности, кроме законов больших чисел установлена и состоятельность оценок минимального контраста, в том числе оценок максимального правдоподобия и робастных оценок. К настоящему времени подобные оценки изучены также и в интервальной статистике.
   В статистике в пространствах произвольной природы большую роль играют непараметрические оценки плотности, используемые, в частности, в различных алгоритмах регрессионного, дискриминантного, кластерного анализов. В нечисловой статистике предложен и изучен ряд типов непараметрических оценок плотности в пространствах произвольной природы, в том числе в дискретных пространствах. В частности, доказана их состоятельность, изучена скорость сходимости и установлен примечательный факт совпадения наилучшей скорости сходимости в произвольном пространстве с той, которая имеет быть в классической теории для числовых случайных величин.
   Дискриминантный, кластерный, регрессионный анализы в пространствах произвольной природы основаны либо на параметрической теории - и тогда применяется подход, связанный с асимптотикой решения экстремальных статистических задач - либо на непараметрической теории - и тогда используются алгоритмы на основе непараметрических оценок плотности.
   Для проверки гипотез могут быть использованы статистики интегрального типа, в частности, типа омега-квадрат. Любопытно, что предельная теория таких статистик, построенная первоначально в классической постановке, приобрела естественный (завершенный, изящный) вид именно для пространств произвольного вида, поскольку при этом удалось провести рассуждения, опираясь на базовые математические соотношения, а не на те частные (с общей точки зрения), что были связаны с конечномерным пространством.
   Представляют практический интерес результаты, связанные с конкретными областями статистики объектов нечисловой природы, в частности, со статистикой нечетких множеств и со статистикой случайных множеств (напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств), с непараметрической теорией парных сравнений и бернуллиевских векторов (люсианов), с аксиоматическим введением метрик в конкретных пространствах объектов нечисловой природы, и с рядом других конкретных постановок.
   Для анализа нечисловых, в частности, экспертных данных весьма важны методы классификации. С другой стороны, наиболее естественно ставить и решать задачи классификации, основанные на использовании расстояний или показателей различия, в рамках статистики объектов нечисловой природы. Это касается как распознавания образов с учителем (другими словами, дискриминантного анализа), так и распознавания образов без учителя (т.е. кластерного анализа).

Основные принципы организационной работы секции

   За последние годы в рамках секции "Математические методы исследования" рассмотрено много новых подходов, идей, результатов. Однако новые взгляды оформляются лишь постепенно, и мы полагаем, что нельзя их внедрять административным путем. На наших страницах представлены разные точки зрения. Например, наряду с непараметрическими методами представлены и параметрические.
   Однако сказанное не означает, что мы не ведем борьбы с неправильными применениями математических методов исследования. Целый ряд статей, прежде всего в рубрике "Наши консультации", посвящен разбору типичных ошибок.
   Надо обучать современным математическим методам исследования. Особенно это важно в современных условиях в связи с резким сокращением числа названий и тиражей научно-технической литературы.
   В будущем предполагаем несколько расширить тематику секции, в частности, наряду с традиционными областями шире рассматривать математические методы исследования в сертификации, производственном менеджменте, экологии, задачах анализа риска.
   В нашей стране нет другого журнала, регулярно ведущего пропаганду современных математических методов исследования среди специалистов, занимающихся прикладными научно-техническими разработками. Это накладывает на секцию особую ответственность. И у нас есть все возможности сохранить приоритет, высокий научный уровень и практическую направленность в дальнейшей работе.

Литература

   1. Орлов А.И. / Заводская лаборатория. 1998. Т.64. No. 3. С.52-60.
   2. Горский В.Г. - В сб.: Международная школа повышения квалификации "Инженерно-химическая наука для передовых технологий". Труды третьей сессии, 26-30 мая 1997. Казань, Россия / Под ред. В.А.Махлина. - М.: Научно-Исследовательский Физико-Химический Институт им. Карпова, 1997. С.261-293.
   3. Горский В.Г., Зейналов М.З. Физико-химические и математические основы феноменологической кинетики сложных реакций. - Махачкала: Издательско-полиграфический центр ДГУ, 1997. - 293 с.
   4. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.

Заводская лаборатория. 2002. No.1
(юбилейный номер, посвященный 70-летию журнала)

В.Г.Горский,
А.И.Орлов

*      *      *

   На сайте http://antorlov.chat.ru или его зеркале http://www.newtech.ru/~orlov Вы можете найти:
   1. Полезные макросы для Microsoft Word 97/2000 для верстки в Word книжек размером в половину листа, обьединения множества файлов в один, создания каталогов своих файлов, извлечения из недр Word'а красивых значков.
   2. Макрос для Microsoft Word 97/2000 - Конвертор "Число-текст", обладающий возможностью автоматического обновления вставленных текстовых расшифровок при изменении значений исходных чисел.
   3. Учебник профессора А.И.Орлова по менеджменту.
   4. Статьи А.И.Орлова по актуальным вопросам статистики и экономики.
   5. Лекцию об устройстве ядерных реакторов.
   6. Информацию об Институте высоких статистических технологий, который занимается развитием, изучением и внедрением наиболее современных методов анализа технических, экономических, социологических, медицинских данных.
   Страница рассылки - http://antorlov.chat.ru/ivst.htm или http://www.newtech.ru/~orlov/ivst.htm.
   Если Вы живете в Москве, то для доступа к сайту www.newtech.ru/~orlov Вы можете воспользоваться бесплатным демо-доступом компании NewTech. Телефоны: (095)234-94-49, (095)956-37-46. Login: demo (или imt). Password: test. Вход под этим логином абсолютно бесплатный и открыт круглосуточно. Сеанс связи неограничен. Одновременно возможен вход не более 5 пользователей по демо-доступу. Если Вы видите сообщение об отказе в авторизации, значит, Вы - 6-й пользователь, входящий под этим логином, - повторите попытку позже. Доступ с использованием программы Netscape Navigator требует указания DNS: Primary DNS: 212.16.0.1, Secondary DNS: 193.232.112.1. Отказ сервера в принятии пароля не должен служить основанием для прекращения дозвона.
   На сайте http://karamurza.chat.ru представлена книга видного современного философа и политолога С.Г.Кара-Мурзы "Опять вопросы вождям", которая является глубоким научным исследованием проблем западного и российского общества. Данная книга может серьезно повысить образовательный уровень интересующихся политологическими и социологическими проблемами.
   Из книги Максима Калашникова "Битва за Небеса", представленной на сайте http://skywars.chat.ru, Вы узнаете о том, какими должны были стать воздушно-космические силы СССР 2000 года и прочтете о русской авиации 20 века. Вы познакомитесь с планом построения страны-сверхкорпорации, которой так боялись США, узнаете, как и кем планомерно уничтожалась советская цивилизация.
   Книга "Тайны и секреты компьютера", вышедшая в издательстве "Радио и связь", предназначена для тех, кто самостоятельно осваивает мир информационных технологий. Программирование в среде Microsoft Office, создание сайтов, устройство сети Интернет, структура системного реестра Windows и файловой системы, сеть Fidonet, строение жидкокристаллических дисплеев и проблема наличия различных кодировок русского языка, - про все это рассказывается в ней. Многообразие тем и легкий стиль изложения сделают ее вашим спутником на долгое время, и вы всегда сможете найти в ней нужную именно в данный момент информацию. Если Вы интересуетесь компьютерными технологиями, желали бы расширить свои знания и умения в этой области, то она Вам наверняка понравится. На сайте http://comptain.chat.ru, посвященном этой книге, вы можете ознакомиться с ее оглавлением и аннотацией, прочитать некоторые главы. Вы можете купить эту книгу в Интернет-магазине по этой ссылке.



http://subscribe.ru/
E-mail: ask@subscribe.ru
Отписаться
Убрать рекламу
Рейтингуется SpyLog

В избранное