Отправляет email-рассылки с помощью сервиса Sendsay

Эконометрика

  Все выпуски  

Эконометрика - выпуск 352


Здравствуйте, уважаемые подписчики!

*   *   *   *   *   *   *

Перед вами 352-й выпуск рассылки "Эконометрика" за 22 октября 2007 года.

Хоть статья "О современных проблемах внедрения прикладной статистики и других статистических методов" написана в 1990 г. и опубликована в 1992 г., но и сейчас весьма актуальна. Поэтому помещаем подготовленный только что электронный текст.

О малоизвестных страницах истории Западной Европы идет речь в отрывках "Гуманные европейцы", взятых из Интернет-публикаций.

Все вышедшие выпуски Вы можете посмотреть в Архиве рассылки по адресу http://www.subscribe.ru/archive/science.humanity.econometrika.

*   *   *   *   *   *   *

О современных проблемах внедрения прикладной статистики и других статистических методов

А.И.Орлов

1. Болезни роста

2. Будущее прикладной статистики

3. Применение статистических методов как вид инженерной деятельности

4. Государственные стандарты по статистическим методам в соотнесении с современной математической статистикой

5. Ошибки в государственных стандартах по статистическим методам и их причины

6. О статусе документов по статистическим методам стандартизации и

управления качеством продукции

7. Методологические документы и пакеты программ

8. Направления действий

Литература

1. Болезни роста

Бурное развитие прикладной статистики породило ряд проблем, которые, видимо, сопутствуют многим быстро развивающимся областям.

1. Низкий научно-технический уровень многих работ (примеры даны в [1, 2]) объясняется тем, что статистическими методами занялись лица, не имеющие соответствующей подготовки, а актуальность этой тематики открыла им доступ на страницы научно-технических изданий. На современном этапе более важной задачей, чем дальнейший количественный рост числа лиц, занимающихся статистическими методами, является повышение качества работ в этой области, обеспечение их соответствия современному научно-техническому уровню, достигнутому в рамках специальности 01.01.05 "Теория вероятностей и математическая статистика". На Четвертой международной Вильнюсской конференции по теории вероятностей и математической статистике (1985 г.) было 515 советских докладов, относящихся к этой специальности [3], поэтому дело не в том, что в СССР мало высококвалифицированных специалистов, а в том, что отсутствует система внедрения современных методов и вытеснения устаревших и неверных, система контроля за качеством работ в области статистических методов.

Ошибки при применении статистических методов встречаются в работах по различной тематике. Например, в учебниках по "общей теории статистики" [41, 42 и др.] постоянно повторяется одна и та же ошибка: для проверки гипотезы о принадлежности функции распределения выборки параметрическому семейству предлагается использовать критерий акад. А.Н. Колмогорова, при этом параметры теоретического распределения оцениваются по выборке, а процентные точки берутся для классического распределения критерия, полученного в предположении, что параметры точно известны. Дело в том, что в случае, когда параметры определяются по выборке, предельное распределение будет другим, процентные точки его примерно в 1,5 раза меньше, чем для классического распределения критерия А. Н. Колмогорова [2].

В одной из лучших книг по применению статистических методов в медицине [43] допущена та же ошибка.

Как неоднократно отмечалось (см., например, [1, 44, 45]), в большинстве медико-биологических исследований используются лишь самые элементарные статистические приемы: вычисление среднего арифметического и ошибки среднего, доли и ее ошибки, проверка однородности двух выборок с помощью критерия Стьюдента, вычисление коэффициента корреляции и проверка его значимости, к тому же иногда с ошибками [46]. Подробный анализ ряда типичных ошибок при применении статистических методов дан в [47].

Ситуация практически во всех прикладных областях аналогична.

Применение статистических методов весьма широко. Практически во всех вузах и НИИ, на многих заводах имеются вычислительные центры, среди программ обычно имеются статистические. Большинство статей в технических, медицинских, социологических изданиях содержат упоминания о применении статистических методов. Конечно, эти методы обычно просты - расчет среднего, выборочной дисперсии, критерия Стьюдента, и часто применяются неквалифицированно - например, критерий Стьюдента используется для наблюдений, распределение которых явно отличается от нормального.

Обычно применяется одномерная статистика. Именно поэтому все 11 государственных стандартов по прикладной статистике относились к ней. Многомерный статистический анализ, требующий расчетов на ЭВМ, применяется гораздо реже. Новые направления, такие, как статистика объектов нечисловой природы, используются пока в единичных случаях.

По нашей оценке, в СССР имеется порядка 100 тысяч специалистов различных прикладных областей, постоянно использующих статистические методы в своей работе. Из-за отсутствия контрольной системы, низкой квалификации, огромного количества не всегда высококачественных публикаций по прикладной статистике деятельность этих специалистов зачастую нельзя считать научно обоснованной.

2. Отсутствие организационной структуры прикладной статистики как области прикладной (инженерной) деятельности связано с тем, что работы в этой области от пионерских попыток давно уже перешли к "массовому производству", однако факт указанного перехода недостаточно осознан как самими специалистами, так и организаторами науки и производства. В результате работы ведутся отдельными подразделениями и специалистами , как следствие - дублирование и низкий научно-технический уровень разработок. Так, по данным [4] в СССР эксплуатируется более чем 400 программ (для ЭВМ) по регрессионному анализу, что, по крайней мере, на порядок превышает необходимое их количество, причем большая часть программ имеет серьезные недостатки с точки зрения теории прикладной статистики.

3. Для обеспечения широкого внедрения современных методов статистической обработки данных необходимо прежде всего установить основные требования к ним и те характеристики, которые необходимо учитывать при выборе метода для обработки конкретных данных и при описании метода в нормативно-технической и методической документации, а также в справочной, учебной, научной и технической литературе. Соответствующий материал дан в [5].

Для обеспечения широкого внедрения статистических методов в практику работы инженеров, медиков, экономистов, биологов, социологов, геологов, химиков, представителей других специальностей необходима классификация этих методов, позволяющая прикладнику ориентироваться в море имеющихся методов. Удовлетворительной классификации подобного типа в настоящее время нет. Имеющиеся учебники можно рассматривать лишь как введение в предмет, специальные монографии посвящены отдельным направлениям, что связано обычно с субъективной оценкой значимости тех или иных направлений.

Очевидно, причина отсутствия приемлемой классификации в том, что объем знаний по прикладной статистике давно превысил индивидуальные возможности восприятия. Так, в трехтомнике Кендалла и Стьюарта [6-8] около 2000 ссылок, т.е. около 2% от имеющихся к настоящему времени актуальных работ. Из сказанного вытекает, что необходим специальный методологический и гносеологический анализ массива публикаций по прикладной статистике, подобный проведенному в [9] для некоторых проблем классификации. Для проведения обоснованной классификации необходимо предварительное "освоение предметной области" [10]. Целям подобной "предклассификации" служит выделение основных характеристик статистических методов обработки данных. Этот подход относится к мерономии [11], в отличие от применяемой обычно таксономии с таксонами типа "регрессионный анализ", "дисперсионный анализ". Границу между указанными таксонами установить трудно, т.к. в обоих случаях можно использовать одни и те же алгоритмы расчетов [12].

Кроме того, границы таксона "регрессионный анализ" по-разному понимаются специалистами. Так, обычно считают, что независимые и зависимая переменные в регрессионном анализе - действительные числа [13]. В более современном направлении прикладной статистики - в статистике объектов нечисловой природы [14] - переменные могут иметь любую природу (подробнее об этих постановках - см. [15]). Если независимые переменные - порядковые или номинальные, принимающие конечное число градаций, а зависимая переменная - количественная, то с классической точки зрения имеем дисперсионный анализ [13, с. 24], а с точки зрения статистики объектов нечисловой природы - частный случай регрессионного анализа [14, с. 82-84].

4. Изучение общих схем статистики объектов нечисловой природы позволяет единообразным образом получать результаты для наблюдений различной природы и тем самым способствует превращению прикладной статистики из хаотического набора методов в науку с выраженной внутренней структурой. При этом происходит разрушение ряда устарелых догм. Некоторые такие догмы рассмотрены в [15] на примерах регрессионного анализа и теории классификации.

5. Кроме перечня общих требований и характеристик, необходимы предназначенные для непосредственного применения методические документы по конкретным статистическим методам, выполненные на современном научном уровне. Чтобы вытеснить устаревшие и неверные методы, такие документы должны иметь правовую основу.

Какие методы обработки данных целесообразно включать в НТД?

Очевидно, те, которые применяются массово (иначе затраты на разработку НТД не окупятся), и те, что применяются в конфликтных ситуациях, возникающих, например, между поставщиками и потребителями промышленной продукции, в судебной медицине, при оценке ущерба от вредителей сельскохозяйственных культур [16] и т.д. Информация о разработанных стандартах по прикладной статистике дана в [17], о стандартах по статистическому контролю и статистическому регулированию технологических процессов - в [18] (большинство из них в настоящее время отменено, как содержащие грубые ошибки или устаревшие с развитием научно-технического прогресса).

2. Будущее прикладной статистики

Чтобы представить себе будущее прикладной статистики, сравним ее с метрологией - "наукой о единстве мира и точности измерений" [19, с. 5]. Это сравнение правомерно, поскольку с точки зрения современной теории измерений (см., например, [20, гл. 3]) результаты статистической обработки данных - это косвенные измерения, полученные расчетным путем по результатам прямых измерений - исходным данным.

Вопросами метрологии занимается целый ряд научно-исследовательских институтов - ВНИИМС, ВНИИМ, ВНИИФТРИ, ВНИИОФИ и др. Промышленные предприятия выпускают соответствующие средства измерения. Методики выполнения измерений стандартизованы, за состоянием средств измерения и правильностью их применения на предприятиях и в организациях всех отраслей народного хозяйства осуществляется метрологический надзор силами лабораторий государственного надзора территориальных органов Госстандарта [19].

А что в прикладной статистике? В метрологии три составляющие: наука об измерении, производство средств измерения, контроль за правильностью их использования - образуют стройную систему. В прикладной статистике подобной системы пока нет. Наилучшее положение в области науки - хотя в СССР нет ни одного научно-исследовательского института в этой области, приведенные выше данные о Вильнюсской конференции [3] свидетельствуют о наличии большого числа специалистов (порядка 1000), активно ведущих теоретические исследования. Аналогом средств измерения является нормативно-техническая, методическая и программная документация, а также сами программы и средства вычислительной техники. В настоящее время разработку ведут многие группы, малые по численности, в основном для нужд собственной организации (предприятия), без должной координации и обеспечения внедрения программных разработок, в результате чего наблюдается сочетание дублирования и низкого качества разработок. Что же касается контрольной системы, то она полностью отсутствует. Рецензии и отдельные критические разборы типа [2] не имеют правовой силы.

Представляется своевременным рассмотреть вопрос о целесообразности реорганизации прикладной статистики, например, по образцу метрологии. С чего начать реорганизацию?

Обсудим положение специалиста прикладной области, желающего применить статистические методы в своей работе. Казалось бы, можно непосредственно воспользоваться научной или учебной литературой, пакетами программ. Однако, на этом пути встают два основных препятствия. Во-первых, научная литература имеет целью изложение новых научных результатов, а поэтому в подобной литературе и документации пакетов зачастую не удается найти подробной и законченной методики анализа статистических данных в определенной ситуации. Например, гамма-распределение широко обсуждается в научной литературе по крайней мере с 1921 г., когда Р. Фишер на его примере сравнивал эффективность различных методов оценивания параметров [7, с. 99], однако при разработке ГОСТ 11.011-83 [21] лишь 50% материала нам удалось построить на данных литературных источниках, остальные 50% основаны на результатах исследований, проведенных при подготовке стандарта. Во-вторых, в литературе по статистическим методам встречается довольно большое число устаревших или попросту неверных утверждений (примеры даны в [1, 2]).

Из сказанного вытекает, что специалисту прикладной области необходимы методические материалы и хорошо документированные пакеты программ, содержащие полностью описанные алгоритмы обработки и интерпретации статистических данных и выполненные на современном научно-техническом уровне. Кроме того, необходимы правовые меры, позволяющие исключить из пользования ошибочные рекомендации.

Только научно-обоснованные нормативно-технические и методические документы позволят обеспечить современный научный уровень статистических методов, предназначенных для использования в производственных условиях, в отраслевых НИИ и КБ.

Не менее важно использование научно-технической документации при обработке данных, полученных в ходе научных исследований. Практика выработала определенное представление о способах обработки, признанных "стандартными" в соответствующих областях. Так, судя по медицинским журналам, в настоящее время в медицинских научных исследованиях "стандартной" является проверка однородности двух выборок (с целью обнаружения различия двух совокупностей) с помощью критерия Стьюдента.

Этот стихийно выработавшийся "стандарт" не вполне соответствует современным научным представлениям, согласно которым однородность целесообразно проверять с помощью непараметрических критериев - критерия Смирнова или, при альтернативе сдвига, критерия Вилкоксона и др. [22-24]. Регрессионный анализ прочно ассоциируется с "методом наименьших квадратов", хотя по современным воззрениям "метод наименьших модулей" [25] представляется более предпочтительным. Поразительно живучим является представление о широкой применимости нормального закона распределения, несмотря на отсутствие в большинстве прикладных областей подтверждений его применимости.

Современный подход состоит в использовании непараметрических [22, 23, 26, 27] и устойчивых (робастных) [20, 28-30] методов. Задачи классификации многие связывают с построением иерархической системы типа биологической систематики живых организмов, хотя имеется масса иных подходов (см., например, [31]). Применимость вероятностно-статистических методов по традиции связывают с частотным подходом Мизеса, с наличием "статистической однородности", "статистического ансамбля", с возможностью проведения большого числа опытов, хотя уже более 50 лет теория вероятностей развивается как аксиоматическая математическая дисциплина, и мизесовский подход превратился в тормоз развития, хотя в начале ХХ в. он был прогрессивным [32].

Как уменьшить область влияния этих и других устаревших догм, ставших стандартами мышления? Один из создателей современной физики Макс Планк говорил: "Новая научная истина побеждает не потому, что ее противники убеждаются в ее правильности и прозревают, а лишь по той причине, что противники постепенно вымирают, а новое поколение усваивает эту истину буквально с молоком матери" (цитируем по [33]). Но у нас нет времени ждать "постепенного вымирания" сторонников устаревших догм.

Идея стандартизации математических методов имеет давнюю историю. Возможно, наиболее известной попыткой является многотомный трактат Н.Бурбаки "Элементы математики". Недаром один из разделов программной статьи Н.Бурбаки "Элементы математики" называется: "Стандартизация математических орудий" [34]. Изданная "Математическая энциклопедия" в пяти томах и подготавливаемая энциклопедия "Вероятность и математическая статистика" (издана: Вероятность и математическая статистика. Энциклопедия / Гл. ред. Ю. В. Прохоров. - М.: Изд-во "Большая Российская Энциклопедия", 1999) - отражение той же тенденции. По сравнению с трактатом Н.Бурбаки НТД по прикладной статистике и другим статистическим методам должны обладать тем преимуществом, что они должны содержать все необходимое для обработки конкретных реальных данных, в то время, как "Трактат" посвящен наиболее абстрактным разделам чистой математики.

Фактически в качестве "стандарта" выступает многократно используемая программа расчетов на ЭВМ. В связи с лавинообразным ростом парка ЭВМ, особенно персональных компьютеров, особую актуальность приобретает задача обеспечения высокого качества пакетов прикладных статистических программ.

Итак, статистические методы опираются на развитую теорию и продемонстрировали свою полезность в отраслях народного хозяйства. Однако анализ положения дел в области применения статистических методов показывает явное неблагополучие, в результате которого накопленный в СССР научный потенциал используется далеко не в полной мере.

3. Применение статистических методов как вид инженерной деятельности

Симптомом неблагополучия является анализ состава участников Вильнюсской конференции [3]. Из 515 докладов советских участников 201 приходится на 30 университетов, в том числе - на МГУ - 50 и на Киевский университет - 42, и 57 - на 36 вузов, т.е. всего на учебные институты приходится половина докладов. Из оставшейся половины 123, т.е. около 25%, представлено сотрудниками 10 институтов математики и 75 - представителями 28 академических организаций. И только 59 докладов, т.е. 11%, приходится на сотрудников 54 организаций отраслей народного хозяйства. Эти данные показывают организационную разобщенность науки и ее применения в области статистических методов.

Следовательно, необходимы специальные меры для усиления взаимосвязи между двумя типами специалистов в области статистических методов. Один тип - это математики, разрабатывающие и изучающие статистические методы; в настоящее время они сосредоточены в основном в вузах и академических институтах. Другой тип - это специалисты отраслей народного хозяйства, которые применяют статистические методы для решения задач своих отраслей. Грубо говоря, математики изготавливают инструмент, прикладники его применяют. Во втором случае применение статистических методов выступает как вид инженерной деятельности.

Статистические методы являются весьма эффективными как при управлении качеством продукции, так и при решении других производственных и научных задач во всех отраслях народного хозяйства. Они позволяют получать значительный экономический эффект, принимать научно-обоснованные решения.

Эффективность применения этих методов в значительной степени повышается благодаря их унификации и стандартизации. При этом, с одной стороны, достигается упорядочение методов в зависимости от задач и условий применения, с другой - для широкого использования рекомендуются путем стандартизации хорошо обоснованные наукой и апробированные на практике методы. НТД на статистические методы должны излагаться и оформляться в доступной инженерам форме с удобными для пользования таблицами, программным обеспечением.

Наиболее эффективными формами внедрения в отраслях народного хозяйства статистических методов является введение из в государственные стандарты на конкретные виды продукции в разделы "Приемка", "Методы контроля (испытаний, анализа, измерений)" или прямое их использование при разработке технологии контрольных операций, средств управления технологическими процессами и т.д.

В настоящее время статистические методы, особенно их современные модификации, активно применяются лишь на отдельных промышленных предприятиях и НИИ, хотя нормативно-техническая и методическая документация и пакеты программ (диалоговые системы), разработанные к настоящему времени, позволяют использовать их гораздо более широко. Причинами тому:

а) отсутствие в действующей нормативно-технической документации на конкретные виды продукции в разделах "Приемка" и "Методы контроля (испытаний, анализа, измерений)" для изготовителей и потребителей четких указаний о порядке обработки данных, вследствие чего в НТД допускаются противоречия, а иногда и неправильные толкования, которые по своему содержанию не соответствуют современному научно-техническому уровню;

б) слабое обоснование с правовой точки зрения разделов "Приемка" и "Методы контроля" многих действующих НТД на конкретные виды продукции, в которых применяются выборочные методы прикладной статистики, отсутствие в них четких указаний о взаимоотношениях поставщика и потребителя при оценке результатов обработки данных, при решении вопроса об экономической целесообразности тех или иных методов, гарантиях и т.д.;

в) отсутствие специальной подготовки инженерно-технических работников непосредственно на предприятиях и в НИИ, в т.ч. и знания пакетов программ и НТД по прикладной статистике и другим статистическим методам;

г) отсутствие на предприятиях заинтересованности во внедрении статистических методов.

4. Государственные стандарты по статистическим методам в соотнесении с современной математической статистикой

На 01.01.86 действовали 11 государственных стандартов системы "Прикладная статистика" (ГОСТ 11.001-73 - ГОСТ 11.011-83), 6 стандартов по статистическому регулированию технологических процессов. 8 стандартов по статистическому приемочному контролю, ряд методик и рекомендаций, 1 терминологический стандарт, 1 стандарт по организации внедрения статистических методов. Статистические методы используются в ряде стандартов по вопросам надежности в технике, измерений, испытаний продукции, управления технологическими процессами, качеству продукции, в том числе в стандартах с современными научными результатами, представленными, в частности, на Вильнюсской конференции [3], приводит к неутешительным выводам.

Стандарты по прикладной статистике охватывали лишь небольшую часть методов прикладной статистики, доказавших свою полезность при решении прикладных задач в отраслях промышленности. Все они относились к одномерной статистике, не было ни одного стандарта по многомерному статистическому анализу, статистике случайных процессов и временных рядов, по большинству разделов статистики объектов нечисловой природы. Если возможны дискуссии о целесообразности разработки стандартов по таким бурно развивающимся областям статистики, как устойчивые статистические методы, математические методы классификации, ряд разделов статистики объектов нечисловой природы, то на 01.01.86 была несомненна целесообразность стандартизации устоявшихся и широко используемых методов непараметрической статистики, регрессионного анализа, дисперсионного анализа, планирования эксперимента и т.д. В частности, в одномерной статистике следовало стандартизировать непараметрические методы проверки статистической гипотезы однородности двух выборок.

Стандарты по статистическому регулированию технологических процессов основывались на научных результатах пятидесятых-шестидесятых годов. В них при регулировании по количественному признаку принято предположение нормальности контролируемого параметра, которое во многих реальных ситуациях является необоснованным. В последние годы в СССР существенное развитие получили методы обнаружения разладки, получившие отражение, в частности, в работах А. Н. Ширяева, Г. Ф. Филаретова, И. В. Никифорова, А. А. Новикова, Н. Клигенс и многих других. В свете этих работ рассматриваемые стандарты являются устаревшими. Кроме того, в стандартах были обнаружены принципиальные ошибки, делающие невозможным их применение.

Сказанное во многом справедливо и для стандартов по статистическому приемочному контролю. Наиболее известный из них - ГОСТ 18242-72 [35] - разработан на основе американского военного стандарта MIL STD 105 D, подготовленного в годы второй мировой войны. При контроле по количественному признаку принято нереалистическое предположение нормальности. Современному научному уровню соответствует ГОСТ 24660-81, подготовленный под руководством Ю. К. Беляева (МГУ) и Я. П. Лумельского (Пермский государственный университет). Важные результаты в области статистического приемочного контроля получены в работах И. Н. Володина, В.Ю. Королева, С. Х. Сираждинова, Н. Е. Боброва, Ю. Круописа и многих других.

Оценивая ситуацию в целом, необходимо признать, что комплекс государственных стандартов по статистическим методам во многом отставал от развития теоретических и прикладных работ по рассматриваемой тематике.

5. Ошибки в государственных стандартах по статистическим методам и их причины

Более существенным недостатком обсуждаемого комплекса стандартов являлось наличие существенных ошибок в ряде документов. Так, в ГОСТ 11.006-74 имеются математические ошибки, частично разобранные в [2]. Многочисленными ошибками выделяется терминологический стандарт [31], в котором даже определение такого основного понятия, как "случайная выборка", дано неверно. Имеется даже термин "выборочное среднее арифметическое в выборке". Резкая критика этого стандарта дана в [38].

При подготовке стандарта СЭВ и его введении в ГОСТ 18242-72 из текста документа "выпало" упоминание о возможности применения усеченных планов статистического приемочного контроля, т.е. планов, в которых разрешается прекратить контрольные операции, если ясен результат контроля (приемка или забракование партии продукции). Эта "забывчивость" приводит к тому, что стандарт [34] требует осуществления бессмысленных действий, влекущих ничем не оправданные затраты, на что справедливо указывают авторы статьи [35]. У этого стандарта есть и другие недостатки.

Низким научно-техническим уровнем выделялся стандарт [39] по организации внедрения статистических методов. Он ориентировался на использование в основном устаревших методов, причем и это делалось с многочисленными ошибками. Особенно впечатляет, что стандарт предусматривал обучение всех категорий специалистов промышленного предприятия - рабочих и наладчиков, работников ОТК, ИТР, руководителей цехов и участков - по одной и той же программе в объеме 41-49 часов, причем в программу включены столь "необходимые" сведения, как информация о зарубежных стандартах по прикладной статистике, статистическим методам регулирования технологических процессов и статистическому приемочному контролю.

Каковы причины появления ошибок в государственных стандартах по статистическим методам ? Основной причиной, как установила Рабочая группа по упорядочению системы стандартов по прикладной статистике и другим статистическим методам, созданная в 1985 г., является низкая квалификация в области теории вероятностей и математической статистики специалистов, отвечающих за стандартизацию статистических методов в СССР, а также в советских частях Постоянной комиссии СЭВ по стандартизации и ИСО (Международной организации по стандартизации). Другой причиной являлось то, что разработка рассматриваемых стандартов велась в обход ведущих специалистов по теории вероятностей и математической статистике, стандарты не согласовывались с основными центрами по этой тематике.

Открывая Всесоюзную научно-техническую конференцию "Применение статистических методов в производстве и управлении" (Пермь, 31 мая - 2 июня 1984 г.), академик АН УССР Б. В. Гнеденко констатировал: "Большинство участников конференции даже не знают о существовании государственных стандартов по статистическим методам" [40]. Отрыв от масс специалистов промышленности имел место, несмотря на многотысячные тиражи указанных стандартов (6-20 тыс.экз.). За 15 лет развития комплекса стандартов по статистическим методам не были налажены регулярные контакты с отраслями, головным и базовым организациям не было вменено в обязанность руководство внедрением и использованием этих документов, не были установлены организации, ответственные за указанную работу в отраслях. Нельзя не согласиться со словами Б. В. Гнеденко при закрытии Пермской конференции: "Специалисты по статистике должны знать действующие государственные стандарты по статистическим методам и использовать их в своей работе" [40]. Этого не было, что снизило нанесенный стране ущерб от низкого качества стандартов.

6. О статусе документов по статистическим методам стандартизации и управления качеством продукции

Согласно технической политике Госстандарта СССР методические положения должны быть исключены из государственных стандартов. Стандарты не должны излишне регламентировать творческий труд работников предприятий и организаций. Недопустимо, чтобы стандарты становились тормозом на пути научно-технического прогресса.

Рабочая группа по упорядочению системы стандартов по прикладной статистике и другим статистическим методам действовала согласно указанной технической политике. Итоги подведены решениями Госстандарта СССР по отдельным документам и в решении НТС Госстандарта СССР "О стандартизации и применении статистических методов", утвержденном председателем Госстандарта СССР 27.07.87 г. Изложение этого решения опубликовано в [49].

Таким образом, дело не только в отдельных стандартах. Даже безупречные стандарты могут не учитывать конкретных ситуаций. Так, ГОСТ 11.002-73 безупречен (в основном) с точки зрения математики, но его широкое использование может привести к грубым ошибкам, поскольку указанный стандарт опирается на предположение нормальности. Как правило, для реальных ситуаций характерно отсутствие нормальности, но практические работники об этом не задумываются. Бездумно применяя ГОСТ 11.002-73, они совершают действия, не имеющие научного обоснования. Стандарты могут стать тормозом на пути внедрения новых методов. В [50] отмечалось, что прежние методы сами по себе являются заслоном на пути новых, если же старые методы еще и стандартами объявлены, то для их преодоления требуются огромные усилия. Так, ГОСТ 11.004-74 по оценке параметров нормального распределения служит барьером на пути внедрения робастных методов оценивания математического ожидания и других параметров. Набор действующих государственных стандартов по статистическому контролю является тормозом на пути внедрения современных методов статистического контроля, например, принципа распределения приоритетов [51].

Так, в [52] продемонстрирована высокая экономическая эффективность применения на предприятиях металлургической промышленности отраслевого стандарта ОСТ 14-34-78 "Статистический контроль качества металлопродукции по корреляционной связи между параметрами", хотя методические указания Госстандарта СССР РД 50-605-86 запрещают применение подобного метода статистического контроля, поскольку он не включен в действующие стандарты по статистическом контролю.

Поэтому документы по статистическим методам должны иметь, как правило, рекомендательный, необязательный характер, быть методическими документами, а не нормативными. Лишь по отдельным вопросам, в частности, по организации статистического контроля, должны быть нормативные документы. Что же касается действующих сейчас стандартов по статистическим методам, т.е. стандартов по статистическому контролю и терминологического стандарта, то они должны быть отменены как нормативные документы, как это уже предлагалось в [51] и [38] соответственно. На основе государственных стандартов по статистическому контролю должны быть разработаны каталоги планов статистического контроля, носящие рекомендательный характер.

Перспективная форма документа - "методики измерений", разрабатываемые институтами Госстандарта СССР метрологического профиля. "Методика измерений" - это продукция соответствующего метрологического НИИ. Для конкретного предприятия или организации в отраслях народного хозяйства она становится обязательной после утверждения руководителем этого предприятия (организации). Это обеспечивает учет специфики предприятий и оперативное отслеживание научно-технического прогресса.

7. Методические документы и пакеты программ

Ранее государственные стандарты выпускались на бумажном носителе. В связи с широким внедрением ЭВМ встал вопрос о переходе на пакеты программ. Традиционно подготовленный стандарт нельзя непосредственно использовать для программирования. Так, обширные таблицы стандартов нецелесообразно помещать в памяти ЭВМ, эффективнее применять специальные алгоритмы, непосредственно рассчитывающие нужные величины по запросу пользователя.

В [53] и [54] были сделаны попытки включить программы в текст документов. Однако при этом выявились сложности, связанные с многообразием алгоритмических языков, типов ЭВМ и соответствующих трансляторов, с необходимостью подготовки обширной программной документации, а также с дискуссией программистов относительно того, какая программная реализация одного и того же алгоритма имеет преимущества в том или ином аспекте. Короче, создание программного обеспечения - самостоятельная область деятельности, следующая вслед за разработкой алгоритмического обеспечения.

Выяснилось также, что помещать весь текст документа только в память ЭВМ нецелесообразно, поскольку специалист должен иметь возможность работать с документом, не находясь за дисплеем.

Из сказанного вытекает, что на обозримое будущее можно предсказать симбиоз документов на традиционной бумажной основе и соответствующих им пакетов программ на магнитных носителях. При этом методические документы могут иметь более широкую сферу применения, не связанную с типом ЭВМ, имеющейся у пользователя, а пакеты программ могут различаться по типам ЭВМ, используемым алгоритмическим языком, системному обеспечению (от библиотек модулей до экспертных систем) и т.д.

Отметим, что стандарты капиталистических стран по статистическим методам носят, в отличие от государственных стандартов СССР, рекомендательный характер. Поэтому переход в СССР от стандартов на систему методических рекомендаций будет способствовать сближению с практикой высокоразвитых западных стран.

8. Направления действий

Научная и производственная работа на современном уровне невозможна без широкого и квалифицированного использования прикладной статистики и других статистических методов. В целях коренного улучшения использования научного потенциала в области теории вероятностей и математической статистики для повышения экономической мощи СССР необходим ряд организационных мер по развитию, внедрению и применению комплекса нормативно-технических и методических документов и пакетов программ по статистическим методам.

Для преодоления отрыва от науки и исключения возможности появления ошибок в НТД необходимо, чтобы разработкой стандартов рассматриваемого комплекса занимались специалисты в области теории вероятностей и математической статистики, а сами стандарты согласовывались с ведущими центрами по этой тематике, в частности, с МГУ и Математическим институтом АН СССР.

Для преодоления отрыва от отраслей промышленности необходимо выделение системы головных и базовых организаций, ответственных за внедрение и использование статистических методов в отраслях, развертывание работ по ознакомлению специалистов с пакетами программ по современным статистическим методам, введение информации по этой тематике в учебные курсы в вузах и т.д.

В реферативном журнале "Математика" в разделе "Математическая статистика" за год реферируется около 2000 статей и книг. По нашей оценке, в настоящее время имеется порядка 100 тыс. актуальных публикаций по прикладной и математической статистике. Обычно специалист знаком лишь не более чем с 1% публикаций по прикладной статистике. Стихийность развития науки приводит к тому, что популярность того или иного результата или направления зачастую определяется вненаучными причинами. Коллективными усилиями надо разобраться в накопленном, рекомендовать лучшее для широкого внедрения, сформулировать нерешенные задачи, актуальные для приложений, скоординировать работу по переходу от теоретических результатов к НТД и пакетам программ, по новым исследованиям. Квалифицированных специалистов по разработке методов прикладной статистики в СССР достаточно - порядка 1-3 тыс. Необходимо организовать их работу.

Итак, в настоящее время наблюдается большой разрыв между наукой о методах обработки данных и практикой их использования. Из всего сказанного выше вытекает необходимость развертывания работ в следующих направлениях:

- адаптация накопленных в прикладной математической статистике результатов для нужд прикладных исследований, включая проведение чисто математического изучения тех или иных статистических процедур;

- разработка, унификация и стандартизация, распространение и внедрение методического и программного обеспечения статистических методов, используемых в прикладных исследованиях;

- помощь специалистам прикладных областей в организации и проведении исследований с использованием статистических методов, а также в обработке данных;

- контроль за правильностью применения статистических методов, а также качеством используемого методического и программного обеспечения.

Очевидно, эта работа должна быть плановой, организационно оформленной, ее должны проводить мощные самостоятельные подразделения. В частности, необходимо создать службу статистических консультаций (ср. [48, с. 200]).

Отметим, что существенная часть статистической информации - от 50 до 90% - носит нечисловой характер [55]. Следовательно, для внедрения в прикладные разработки особый интерес представляет такой новый раздел математической статистики, как статистика объектов нечисловой природы [1, 14, 20].

На современном этапе (февраль 1990 г.) наиболее актуальными направлениями представляются:

- внедрение современных статистических методов с помощью программных продуктов (типа диалоговых систем Центра статистических методов и информатики, рассчитанных на непрофессионального пользователя);

- создание Статистической федерации СССР.

Литература

1. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980.

2. Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. - Заводская лаборатория, 1985. -Т. 51, N 1. - С.60-62.

3. Тезисы докладов Четвертой международной Вильнюсской конференции по теории вероятностей и математической статистике. Тт. I-IV. - Вильнюс, 1985.

4. Петрович М.Л. Регрессионный анализ и его математическое обеспечение на ЕС ЭВМ. - М.: Финансы и статистика, 1982.

5. Рекомендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики. - М.: ВНИИС, 1987. - 64 с.

6. Кендалл М., Стьюарт А. Теория распределений. - М.: Наука, 1966.

7. Кендалл М., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973.

8. Кендалл М., Стьюарт А. Многомерный статистический анализ и временные ряды. - М.: Наука, 1976.

9. Розова С.С. Классификационная проблема в современной науке. - Новосибирск: Наука, 1986.

10. Воронин Ю.А. Теория классифицирования и ее приложения. - Новосибирск: Наука, 1985.

11. Шнейдер Ю.А. Систематика, типология, классификации//Теория и методология биологических классификаций. - М.: Наука, 1983. - С.90-100.

12. Маркова Е.В., Денисов В.И., Полетаева И.А., Пономарев В.В. Дисперсионный анализ и синтез планов на ЭВМ. - М.: Наука, 1982.

13. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Исследование зависимостей. - М.: Финансы и статистика, 1985.

14. Орлов А.И. Общий взгляд на статистику объектов нечисловой природы//Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. - с. 58-92.

15. Орлов А.И. Некоторые неклассические постановки в регрессионном анализе и теории классификации//Программно-алгоритмическое обеспечение анализа данных в медико-биологических исследованиях. - М.: Наука, 1987. - С.27-40.

16. Александр Александрович Любищев. 1890-1972. - Л.: Наука, 1982.

17. Орлов А.И. Система государственных стандартов по прикладной статистике. - Заводская лаборатория, 1986. - Т.52, N 3. - С.58-61.

18. Бендерский А.М., Богатырев А.А., Баумгартен Л.В. Стандартизация статистических методов управления качеством. - М.: Изд-во стандартов, 1983.

19. Коротков В.П., Тайц Б.А. Основы метрологии и теории точности измерительных устройств. - М.: Изд-во стандартов, 1978.

20. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979.

21. ГОСТ 11.011-83. Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения. - М.: Изд-во стандартов, 1984. - 54 с.

22. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1983.

23. Холлендер М., Вульф Д.А. Непараметрические методы статистики. - М.: Финансы и статистика, 1983.

24. Орлов А.И. О применении статистических методов в медико-биологических исследованиях. - Вестник АМН СССР, 1987. - N 2. - С.88-94.

25. Мудров В.И., Кушко В.Л. Метод наименьших модулей. - М.: Знание, 1978.

26. Тюрин Ю.Н. Непараметрические методы статистики. - М.: Знание, 1978.

27. Рунион Р. Справочник по непараметрической статистике. Современный подход. - М.: Финансы и статистика, 1982.

28. Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания: Статистическая обработка неоднородных совокупностей. - М.: Статистика, 1980.

29. Хьюбер П. Робастность в статистике. - М.: Мир, 1984.

30. Устойчивые статистические методы оценки данных. - М.: Машиностроение, 1984.

31. Айвазян С.А., Бежаева З.Т., Староверов О.В. Классификация многомерных наблюдений. - М.: Статистика, 1974.

32. Орлов А.И. Границы применимости вероятностных методов в задачах классификации. - Доклады Московского Общества Испытателей Природы. Общая биология, 1984. - М.: Наука, 1986. - С.179-182.

33. Клайн М. Математика. Утрата определенности. - М.: Мир, 1984. - С.105.

34. Бурбаки Н. Очерки по истории математики. - М.: Изд-во иностранной литературы, 1963. - С.253.

35. ГОСТ 18242-72 (СТ СЭВ 548-77, СТ СЭВ 1673-79). Статистический приемочный контроль по альтернативному признаку. Планы контроля.

36. Бобров Н.Е., Лумельский Я.П. Оптимальные планы усеченного контроля по альтернативному признаку. - Заводская лаборатория, 1985. - Т.51, N 1. - С.42-46.

37. ГОСТ 15895-77 (СТ СЭВ 547-77, СТ СЭВ 3404-81). Статистические методы управления качеством продукции. Термины и определения.

38. Орлов А.И. Как обеспечить единство терминологии? - Стандарты и качество. - 1987. - N 10. - С.52.

39. ГОСТ 23853-79 (СТ СЭВ 3946-82). Организация внедрения статистических методов анализа, регулирования технологических процессов и статистического приемочного контроля качества продукции. Основные положения.

40. Заводская лаборатория, 1984. - Т.50, N 12. - С.82.

41. Козлов В.С., Эрлих Я.М., Долгушевский Ф.Г., Полушин И.И. Общая теория статистики. - М.: Статистика, 1975. - 368 с.

42. Пасхавер И.С., Яблочник А.Л. Общая теория статистики. - М.: Финансы и статистика, 1983. - 432 с.

43. Гублер Е.В. Вычислительные методы анализа и распознавания патологических процессов. - Л.: Медицина, 1978.

44. Волынский Ю.Д., Курочкина А.И. О месте многомерной статистики в клинико-физиологических исследованиях. - Кардиология, 1980. - Т. ХХ, N 5. - С.88-91.

45. Шорников Б.С. Классификация и диагностика в биологическом эксперименте. - М.: Наука, 1979.

46. Любищев А.А. Об ошибках в применении математики в биологии. - Журнал общей биологии. - 1969. - Т.30, N 5. - С.572-584. - N 6. - С.715-723.

47. Любищев А.А. Дисперсионный анализ в биологии. - М.: МГУ, 1986. - 200 с.

48. Налимов В.В. Теория эксперимента. - М.: Наука, 1971.

49. Стандартизация и применение статистических методов//Стандарты и качество. - 1987. - N 12. - с. 25.

50. Гнеденко Б.В., Орлов А.И. Роль математических методов исследования в кардинальном ускорении научно-технического прогресса // Заводская лаборатория. - 1988. - N 1. - С.1-4 .

51. Лапидус В.А. О стандартизации методов статистического контроля качества продукции//Стандарты и качество. - 1988. - N 3 . - С.36-43.

52. Стеблов А.Б. и др. Об использовании прикладной статистики и других статистических методов на металлургическом предприятии // Стандарты и качество. - 1988. - N 3. - С.43-44.

53. ГОСТ 26864-86. Статистический контроль качества продукции. Правила определения оценок и доверительных границ для параметров гипергеометрического и отрицательного гипергеометрического распределений.

54. Методика. Проверка однородности двух выборок параметров продукции при оценке ее технического уровня и качества // Первая ред. - М.: ВНИИС, 1987. - 116 с.

55. Титма М.Х., Тоодинг Л.М. Математические методы в арсенале социолога// Социологические исследования. - 1986, N 6. - с. 123-128.

Публикация: Орлов А.И. О современных проблемах внедрения прикладной статистики и других статистических методов. - Журнал "Заводская лаборатория". 1992. Т.58. No.1. С.67-74.

*   *   *   *   *   *   *

Гуманные европейцы

Сжиганием последней ведьмы на Британских островах могут гордиться ирландцы - это была Бриджит Клири: в 1894 (!) году в Клонмеле "экзорцисты" предали ее  "медленному огню". Правда, общественность "изгоняющих дьявола" уже не поддержала.

(THE NINETEENTH CENTURY, Vol. 37 /1895-jun

http://gaslight.mtroyal.ab.ca/gaslight/clonmel.htm).

Британский же парламент отменил принятые в 1735 году законы против колдовства только в 1951 (!) году.

Ведьмы...

Стенографический отчет о первом дне пытки женщины, обвиненной в колдовстве. Пресснек, Германия, 1629 г.

1. Палач связал ей руки, отрезал волосы и поместил на лестницу. Он натер ей голову спиртом и развел огонь на голове с тем, чтобы сжечь ее волосы до корней.

2. Он поместил кусочки серы ей под мышки и на спину, и развел здесь огонь.

3. Он связал ей руки за спиной и подвесил ее к потолку.

4. Он оставил ее висящей там от трех до четырех часов, пока отправлялся обедать.

5. По возвращении он разлил спирт по ее спине и поджег его.

6. Прикрепив очень тяжелый груз к ее телу, он снова подвесил ее к потолку. После этого он снова поместил ее на лестнице и положил на нее необтесанную доску, полную острых булавок. Устроив все, он резко подбросил ее к потолку.

7. Затем он сдавил ей пальцы в тисках и скрутил ее руки палкой, и в подобном положении продержал ее висящей примерно с час, пока она не теряла сознание несколько раз.

8. Затем он зажал икры ног в тисках, постоянно чередуя пытки с допросом.

9. Затем он порол ее кнутом, сделанным из сыромятной кожи, чтобы заставить кровь течь по ее сорочке.

10. И снова он поместил ее пальцы в тиски, и оставил ее так с десяти часов утра до часу дня, пока пытавший палач и судебные чиновники отправились немного перекусить. "Hexen und Hexenmeister" (1860)

... и еретики...

Примерно в середине XVII столетия членов секты вальденсов, которые, бежав от преследований в своих родных странах, обосновались в. долинах Пьемонта, обвинили в ереси. 25 января 1655 года доктор гражданского права Андре Гастальдо издал с санкции герцога Савойского следующий приказ: "Каждый глава семьи вместе с отдельными членами такой семьи, принадлежащей к реформатской церкви, проживающей и владеющей имуществом в Люцерне, Сан-Джиованнй, Бибьяне, Кампильоне, Сан-Секонде, Люцернетте, Ла Торре, Фениле и Бричерассио, должен, в каком бы звании, должности или состоянии ни находился, и без каких-либо исключений для кого бы то ни было; в течение трех дней покинуть означенные места. Это надлежит исполнить под страхом смертной казни и конфискации домов и имущества, если только в течение указанного времени они не обратятся в римско-католическую веру". Результатом такого эдикта стало начало кампании беспощадного преследования вальденсов местными католиками и солдатами. "Множество вооруженных людей,- свидетельствует очевидец, -- яростно набрасывались на вальденсов. Взору представал лишь лик ужаса и безысходности, полы домов пятнала кровь, улицы были усеяны трупами, со всех сторон неслись стоны и плач. Некоторые вальденсы, добыв оружие, вступали в стычки с солдатами, многие вместе с семьями бежали в горы. В одной деревне, покинутой мужчинами, 150 женщин и детей были подвергнуты жестоким истязаниям, женщин обезглавливали, а детям разбивали головы так, что мозги летели брызгами во все стороны. В городах Вильяро и Бобио большинство из тех, кто отказался идти к мессе и был старше пятнадцати лет, распяли вниз головой, а многие, не достигшие этого возраста, были задушены". Особенно усердствовали солдаты, которые удовлетворяли свою страсть к жестокости самым зверским образом. Прежде чем нанести своей жертве coup de grace, ее калечили и подвергали всевозможным издевательствам, во многих случаях завершающего удара не следовало, жертву бросали умирать от голода или потери крови. Исаия Гарсино был изрублен буквально на куски; Мари Раймондье (Raymondet) умирала долго и мучительно, пока с ее костей полоску за полоской срезали плоть.. Джиованни Пеланшье (Pelanchion) привязали за ногу к хвосту мула и волочили по улицам Люцерна, а толпа забрасывала его камнями; Анн Шарбоньер (Charbonierre) привязали к столбу и оставили умирать медленной смертью. Других подвешивали на деревьях, балках и перекладинах на воткнутых в животы железных крючьях. Бартоломью Фраше (Frasche) просверлили пятки, продели в раны веревки и за них отволокли в темницу, где он и умер. Излюбленной пыткой было засовывать в рот жертве мешочек с порохом и потом поджигать его. Даниелю Рамбо (Rambaut) каждый день отрубали по фаланге пальцев на руках и ногах с тем, чтобы заставить его принять римскую веру. Сожжение у столба, утопление и удушение были самыми распространенными способами казни. За отказ читать католическую молитву Саре Растиньоль де Винье (Rastignole d Vignes) в нижнюю часть живота воткнули серп. Другую молодую женщину Марту Константин (Constantine) изнасиловали и убили, отрезав обе груди. "Слуге Джакопо Микалйно (Jacopo Michalino) из Бобио, - пишет Морлэнд, - Гильельмо Роше (Gulielmo Roche), знаменитый убийца из Люцерны, и некто по имени Мандолин (Mandolin) изрубили кинжалами подошвы и уши, потом Мандолин отрезал ему наружные половые органы и вставил в рану горящую свечу с тем, чтобы ее обжигающим пламенем остановить кровотечение и продлить мучения несчастного существа. После этого в попытке заставить его отречься от своей веры они принялись вырывать ему ногти раскаленными щипцами.

(Джордж Райли Скотт, "История пыток")
http://www.absentis.front.ru/abs/lsd_10_witches.htm

Бывало, что пытки длились круглосуточно Перебивались лодыжки, отрезались груди, выкалывались глаза, волосы на голове и других частях тела смазывались серой и поджигались, конечности выворачивались из суставов, рвались жилы, ломались ключицы, раскаленные добела иглы загонялись под ногти, пальцы на руках и ногах раздрабливались тисками. Жертв опускали в ванны с кипящей водой, смешанной с лимонным соком, подтягивали на веревках и резко опускали, подвешивали за пальцы, привязав к ногам груз, подвешивали вниз головой и вращали, прижигали факелами, насиловали с помощью острых инструментов, придавливали тяжелыми камнями. Иногда членов семьи обвиняемого принуждали смотреть на то, как его пытают, чтобы потом подвергнуть пыткам их самих. Перед тем, как отправить жертву на костер, ей вырезали язык или обжигали рот, чтобы она не могла богохульствовать или выкрикивать проклятия во время казни. Инквизитор Николае Реми был поражен тем, что многие ведьмы "определенно хотели умереть". Трудно поверить в то, что он не понимал, почему. (Лори Кэбот. "Сила ведьм")

Кстати, печально известный Реми мог не понимать искренне - ведь считалось, что дьявол помогает ведьмам не чувствовать боли. И то правда, иначе даже трудно понять, почему люди не умирали в первые же минуты. Сколько можно прожить после пыток, описываемых современником процессов над ведьмами начала XVII в. пастором Мейфартом, хорошо знавшим инквизиционную практику того времени. "Я видел, как палачи мозжат стройное человеческое тело, расшатывают его во всех суставах, заставляют глаза вылезти из орбит, выдергивают стопы из голеней, плечи из лопаток, вздергивают человека на воздух; дробили кости, кололи иглами, жгли серой, поливали маслом"

(Сперанский. Ведьмы и колдовство. М., 1906).
http://www.absentis.front.ru/abs/lsd_10a_witches2.htm

*   *   *   *   *   *   *

На сайте "Высокие статистические технологии", расположенном по адресу http://orlovs.pp.ru, представлены:

На сайте работает форум, в котором вы можете задать вопросы профессору А.И.Орлову и получить на них ответ.

Заходите - вас будут рады видеть!

*   *   *   *   *   *   *

Программа "Диссер" - дополнение для Microsoft Word, предназначенное для создания и работы со списками литературы. В диссертациях, научных статьях, рефератах требуется приводить список использованной литературы, вставляя в текст диссертации ссылки на его позиции. При большом размере списка отслеживать соответствия порядковых номеров публикаций в списке и чисел в ссылках в тексте диссертации становится крайне сложно, особенно при изменении порядка следования ссылок в списке. Эта программа добавляет в Word новую функцию - создание и редактирование списка литературы, позволяя исправлять численные ссылки в тексте одним нажатием кнопки. "Диссер" можно загрузить с сайта http://kankowski.narod.ru.

Удачи вам и счастья!


В избранное