Отправляет email-рассылки с помощью сервиса Sendsay

Эконометрика

  Все выпуски  

Эконометрика - выпуск 708


"Эконометрика", 708 выпуск, 18 августа 2014 года.

Здравствуйте, уважаемые подписчики!

*   *   *   *   *   *   *

Познакомьтесь с первым (декабрь 2012 г.) докладом А.И. Орлова из цикла работ по наукометрии и экспертизе в управлении наукой "О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности".

В связи с выходом сборника "Наукометрия и экспертиза в управлении наукой" заместитель директора Института проблем управления РАН член-корреспондент РАН Дмитрий Александрович Новиков отвечает на вопросы Алексея Огнёва (статья "Безымперская наука").

"О советском аскетизме, "зеленой экономике" и кооперации как элементах будущего мироустройства" пишет А.В. Иванов, д.ф.н., зав. кафедрой философии Алтайского государственного аграрного университета (г. Барнаул).

Все вышедшие выпуски доступны в Архиве рассылки по адресу subscribe.ru/catalog/science.humanity.econometrika.

*   *   *   *   *   *   *

О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности

Орлов Александр Иванович, специалист по разработке и применению математических методов в социально-экономических исследованиях, prof-orlov@mail.ru, д.э.н., д.т.н., к.ф.-м.н., проф.

Московский государственный технический университет им. Н.Э. Баумана, директор Института высоких статистических технологий и эконометрики;

Московский физико-технический институт, профессор;

Группа авиакомпаний "Волга-Днепр", советник президента

Наука и научное обслуживание деятельность - крупная отрасль народного хозяйства, как по числу работников, так и по потребляемым ресурсам. Вполне естественно, что для разработки и принятия обоснованных решений в области управления научной деятельностью необходимо применение научно обоснованных методов анализа и оценки результатов научной деятельности. Методологические ошибки при выборе таких методов приводят к управленческим решениям, наносящим вред народному хозяйству. В статье рассмотрены ошибки двух конкретных типов - связанные с принятием решений на основе числа публикаций в научных журналов и вытекающие из антинаучной классификации отраслей научной деятельности.

1. Вред упора на число публикаций в научных журналах

Очевидно, что большое значение имеют методы оценивания эффективности той или иной деятельности. В области научно-исследовательских работ весьма актуальными являются результаты, полученные В.В. Налимовым в области наукометрии [1] в 1960-х годах (сейчас чаще используют термин "наукометрика"). Приведем некоторые соображения в рамках научной школы В.В. Налимова.

Каков путь конкретного научного результата? Обычно он становится достоянием широкой научной общественности при докладе на представительной конференции. Первая публикация - тезисы доклада. При дальнейшем развитии исследования доклад перерастает в статью, которая публикуется в тематическом сборнике или в журнале. Первый вариант для распространения идей предпочтительнее, поскольку тематический сборник фактически становится коллективной монографией, аккумулирующей в себе основные результаты, полученные группой разработчиков. Например, для статистики нечисловых данных таким сводным изданием стал сборник [2], подготовленный сложившимся к тому времени неформальным коллективом исследователей в этой только что сформировавшейся научной области.

Только для давно развивающихся областей с большим числом исследователей и эффективной административной поддержкой публикации концентрируются в научных журналах, порожденных соответствующей частью научного сообщества.

В нашей стране для прикладной статистики и других статистических методов эта стадия еще не наступила - нет соответствующих журналов, есть только раздел "Математические методы исследования" в журнале "Заводская лаборатория. Диагностика материалов". Тематика журнала в целом, как видно из названия, перпендикулярна рассматриваемой научной области (хотя и имеет с ней непустое пересечение). С момента создания раздела (1962 г.) в этом журнале публикуются основные работы на русском языке по прикладной статистике и другим статистическим методам, к настоящему времени издано около тысячи статей.

Аналогична ситуация с научным направлением "Экспертные оценки" [3].

Следующий этап за публикацией в журнале или сборнике - выпуск монографии, подводящей итоги соответствующего этапа работ. Затем - создание учебника. Ясно, что на широкое использование может рассчитывать только то знание, которое включено в учебный процесс и вошло в сознание следующего поколения специалистов.

Отметим, что ссылки на научные публикации даются не только при составлении статей, но и при подготовке отчетов, диссертаций, выполнении прикладных работ, в том числе закрытых. Поэтому учет цитирований в ограниченном списке научных журналов всегда преуменьшает реальное использование научной публикации.

Заключительный этап - знание становится общеизвестным. Например, в статьях отмечают, что аксиоматическая теория вероятностей построена А.Н. Колмогоровым (сам А.Н. Колмогоров, встречая такую фразу, обычно указывал на нескольких исследователей - акад. С.Н. Бернштейна и др., - которые предложили несколько иные аксиоматические подходы; да и сам он разработал не один, а два аксиоматических подхода - на основе теории меры в 1930-е годы и на основе теории информации в 1960-е годы, но обычно вспоминают и используют только первый из них). С течением времени перестают даже упоминать авторов - используют производные и интегралы, не ссылаясь на Ньютона и Лейбница.

Итак, наиболее естественная цепочка научных публикаций:

- тезисы доклада;

- тематический сборник;

- монография;

- учебник;

- широкое использование.

Обратите внимание - для развития нового направления публикация в научном журнале не нужна. Кроме того, принципиально новую работу в устоявшемся научном журнале просто не поместят, поскольку она противоречит традициям журнала.

Проанализировав путь конкретного научного результата, видим, что он состоит из этапа первоначального развития, завершающегося книжной публикацией, и этапа зрелости и широкого использования. На втором этапе обычно цитируют монографию, справочник, учебник. Очевидно, что с точки зрения общества целесообразно, чтобы первоначальный этап был возможно короче.

На основе сказанного выше весьма странными представляются попытки оценивать научную продуктивность коллективов и отдельных исследований только на основе публикаций в журналах. При этом полностью игнорируются материалы конференций, сборники статей, монографии, учебники, т.е. основная (по своему воздействию на развитие науки и техники) масса публикаций.

Напомним, еще более 40 лет назад В.В. Налимовым было обращено внимание на опасность использования индекса цитирования (импакт-фактора) для оценки деятельности научных организаций и отдельных работников, особенно при принятии решений о финансировании. Много писали об этом и другие исследователи [4, 5].

Бегло обсудим отрицательные эффекты, о которых идет речь. Надо поднять импакт-фактор, чтобы увеличить финансирование? Вот план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как все знают, пишет сам соискатель, а затем собирает подписи): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду "авторов" и рассылаем по журналам, затем путем перекрестных ссылок продолжаем "развитие" положений исходного набора статей.

Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляются основания для публикации следующих статей, улучшающих предыдущие. Например, существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем "облако" взаимно ссылающихся статей в связке из нескольких журналов. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Конечно, надо исключить дословное повторение текстов, воспользовавшись опытом соискателей ученых степеней при подготовке отзывов на диссертации и авторефераты. Современная информационная техника облегчает задачу. Если лет двадцать назад надо было перепечатывать текст, вручную вставлять формулы, то сейчас с помощью текстового редактора, Интернета и/или принтера технические сложности снимаются - статьи можно "печь как блины".

Развивая эти вполне естественные для современного "исследователя" мысли, приходим к целесообразности организации "семей", члены которых будут ссылаться друг на друга (и не ссылаться на "чужих"). Можно привести примеры таких квазимафиозных структур.

Почему пропагандисты индекса цитирования делают упор на журналы? Одна из причин - потому что таким путем оценку научной продуктивности можно проводить путем применения программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина - "владельцы" журналов (в частности, редакторы, члены редакционных советов, основные авторы) таким образом закрепляют свои позиции в научном мире.

Ясно, что методологические ошибки - упор на индексы цитирования - приводят к неправильным управленческим решениям (ср. с основными положениями статьи [6]). Не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по импакт-фактору объективно задерживает подготовку книжных изданий - ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи, а ссылки на книги не влияют на импакт-фактор журнала. Следовательно, управление наукой на основе индексов цитирования объективно замедляет развитие науки, переход полученных результатов в область практического применения.

Еще один эффект - ссылки на работы, в которых получены принципиально новые результаты, будут "тонуть" среди ссылок на массы эпигонов.

Проиллюстрируем последнее утверждение. В 1970-е годы автор настоящей статьи выяснил, какими средними величинами следует пользоваться, если исходные данные измерены в тех или иных шкалах измерения. Дальнейшее развитие отражено в обзорной статье [7]. К сожалению, стандартный стиль изложения, принятый в этой статье, таков, что среди несколько десятков литературных ссылок совершенно затерялись базовые работы, комментариями к которым являлись остальные. Пришлось в том же номере журнала специально описать основные результаты [8].

В проблеме адекватного использования индексов цитирования есть и сравнительно кратковременные, но весьма существенные факторы. Так, на настоящий момент важно, что в современных условиях отнюдь не все отечественные журналы имеют полноценные электронные версии, не все включены в системы учета цитирования, в отличие от аналогичных зарубежных изданий.

Сказанное объясняет, почему мы присоединяемся к мнению Международного союза математиков, который предостерегает от неправильного использования статистики цитирований [9, 10].

Отметим, что обсуждению вопросов адекватной оценки результатов научной деятельности посвящены многочисленные публикации. Так, дискуссии о проблемах построения рейтингов российских научных журналов посвящен специальный номер периодического сборника научных трудов "Управление большими системами" [11].

Нелепость сложившейся системе научных специальностей

Используемая в нашей стране система научных специальностей оказывает большое влияние на научную жизнь. В соответствии с ней построена система научных учреждений и журналов, присваиваются научные степени, и т.п. Покажем, что она нелепа, а потому требует существенной модернизации.

Часть наших работ относится к достаточно самостоятельной области - математическим методам анализа социологических данных. Основной интерес в ней - к математическим вопросам, социологические постановки служат для постановки математических задач. Эта область относится к математической социологии - научной дисциплине, аналогичной математической экономике, математической физике и др.

Классификация наук закреплена формальными решениями. Например, в нашей стране утвержден список специальностей научных работников. Однако формальные решения могут быть модернизированы. Время от времени это происходит. Например, около 20 лет назад появились новые группы специальностей - социологические и политологические. Однако недостатки действующей системы очевидны. Приведем четыре примера.

Пример 1. Продолжает использоваться термин "физико-математические науки", хотя его нелепость ясна всем специалистам. Математика относится к формальным наукам, изучает конструкции, созданные мыслью, т.е. находящиеся не в реальном мире, а в идеальном (по Платону). Математика может быть применена в любой сфере деятельности, в любой отрасли народного хозяйства. Например, широко распространен термин "экономико-математические методы и модели", очевидно, относящийся к применению математики в экономике. В то же время физика - одна из областей естествознания, наука, изучающая наиболее общие и фундаментальные закономерности, определяющие структуру и эволюцию материального мира. Термин "физико-математические науки" не более обоснован, чем, например, термины "химико-математические науки" или даже "ветеринарно-социологические науки".

Пример 2. Как известно, статистические методы применялись на практике (и, следовательно, были теоретически разработаны) с древних времен. В Библии Ветхий завет начинается с Пятикнижия Моисеева, и четвертая книга Пятикнижия называется "Числа". Она начинается с описания проведенной под руководством Моисея переписи военнообязанных. Со времен библейского Моисея статистика получила значительное развитие. В США число статистических кафедр в университетах превышает число математических, соответственно и число статистиков больше числа математиков (примерно вдвое) [12]. Следовательно, в США статистика воспринимается одной из "больших" наук: математика, физика, статистика, химия, биология...

Если бы в России классификация наук соответствовала бы американской, то в составе РАН было бы Отделение статистических наук со своей системой научно-исследовательских учреждений (в частности, включающей Институт высоких статистических технологий и эконометрики), системой научных журналов, присуждались бы ученые степени по статистическим наукам и т.п. (подробнее см. проект обустройства статистических наук, разработанный в статье [13]).

Совсем не так обстоит дело в нашей стране. В официальной структуре науки статистика упоминается дважды, и оба раза на вторых ролях. Во-первых, как одна из экономических наук (специальность 08.00.12 "Бухгалтерский учет, статистика", присуждаются ученые степени по экономическим наукам). Во-вторых, в названии математической специальности 01.01.05 "теория вероятностей и математическая дисциплина" (присуждаются ученые степени по физико-математическим наукам). Все остальные применения статистических методов, в частности, в социологических исследованиях, остаются вне официальной структуры науки.

Пример 3. На знамени научного прогресса второй половины ХХ в. начертано: "Кибернетика". Однако нет в нашей стране докторов и кандидатов кибернетических наук (есть, правда, математическая специальность "Дискретная математика и математическая кибернетика", при защите присуждается ученая степень по физико-математическим наукам).

Пример 4. Очевидно, что менеджмент (управление людьми) - более широкая сфера деятельности, чем экономика. Управленческие решения необходимо принимать на основе все совокупности социальных, технологических, экологических, экономических, политических факторов [14]. Между тем в действующей официальной номенклатуре специальностей научных работников (в редакции Приказа Минобрнауки РФ от 11.08.2009 N 294) менеджмент находится внутри экономической специальности 08.00.05 "Экономика и управление народным хозяйством". При этом есть целый ряд технических специальностей, включающих в себя термин "управление", среди которых выделяется специальность 05.13.10 "Управление в социальных и экономических системах" (присуждаются ученые степени по техническим (!) наукам).

Короче, наблюдаем:

1) нелепое объединение математики и физики;

2) два осколка статистики вместо науки "Статистика" верхнего уровня;

3) осколок кибернетики;

4) менеджмент внутри экономики, а не экономика внутри менеджмента.

Приведенные примеры показывают, что действующая официальная номенклатура специальностей научных работников нуждается в модернизации.

Рассмотрим пример. К социологическим наукам близки экономические. Вплоть до того, что на включение в свою сферу маркетинга (изучения предпочтений потребителей) претендуют и те, и другие. Однако у экономистов есть специальность 08.00.13 "Математические и инструментальные методы в экономике", а у социологов нет аналогичной специальности, математическая социология не выделена среди социологических наук.

К чему это приводит? В частности, к отсутствию должного внимания к развитию математических методов в социологии, к их вытеснению из перечней секций социологических конференций и конгрессов. В результате падает квалификационный уровень работ. На заседании секции "Измерение в социологии" VI научно-практической конференции памяти первого декана факультета социологии А.О. Крыштановского "Современная социология - современной России" (1-3 февраля 2012 года) пришлось урезонивать воинствующего невежду, который пытался навязать докладчику свое неправильное понимание проверки значимости при проверке статистических гипотез. Впрочем, и докладчик продемонстрировал непонимание необходимости обязательной проверки значимости различия долей тех или иных значений признаков при сравнения совокупностей, сказавши: "В журнале "Социология-4М" нас заставили проверить значимость различия долей". К необходимости повышения качества математической составляющей социологических исследований мы старались привлечь внимание в работе [15].

В области социологии мы считаем необходимым усилить внимание к проблемам развития и применения математических методов анализа социологических данных, математического моделирования социальных процессов, короче - к математической социологии. Целесообразно в рамках социологической науки создать специальность "Математические и инструментальные методы в социологии", аналогичную экономической специальности "Математические и инструментальные методы в экономике".

К математическим методам в социологии относим не только методы анализа числовых и нечисловых социологических данных, но и методы математического моделирования социальных процессов [16, 17].

Под инструментальными методами понимаем прежде всего методы, нацеленные на развитие и применение информационных технологий, включая сетевые (в том числе модели распространения нововведений в сфере информационных и телекоммуникационных технологий [18] и онлайн исследования [19]).

Много интересных работ, относящихся к математической социологии, было выполнено в нашей стране в 70-80-е годы ХХ в. Назовем только некоторые из них. В 1977 г. Институт социологических исследований выпустил два сборника научных работ [20, 21]. На основе материалов Всесоюзной научной конференции "Проблемы применения математических методов в социологическом исследовании" издательство "Наука" опубликовала солидный сборник [22]. Хотя прошло уже 30 лет, материалы этих сборников по-прежнему актуальны. Квалифицированные работы не устаревают. (К сожалению, во многом потому, что их мало читают.) В подтверждение отметим методологическую несостоятельность современных публикаций Росстата по переписям населения по сравнению с книгой "Числа" Ветхого Завета, в которой рассказано о переписи военнообязанных, проведенной под руководством Моисея.

По сей день наиболее многоплановой публикаций по методам анализа нечисловых данных является сборник 1985 г. [23], подготовленный совместно академическим Институтом социологии и комиссией "Статистика объектов нечисловой природы" Научного Совета АН СССР по комплексной проблеме "Кибернетика". В настоящее время анализу нечисловых данных посвящены обширные разделы в учебнике по прикладной статистике 2006 г. [24], есть и специальный учебник по нечисловой статистике 2009 г. [25], но сборник 1985 г. по-прежнему актуален и необходим тем, кто хочет разобраться в методах анализа нечисловой (т.е. качественной) информации в социологических исследованиях. Отметим, что именно практические запросы социологов (и специалистов по экспертным оценкам) послужили стимулом для разработки нечисловой статистики [26].

После 1985 г. появились адресованные студентам-социологам учебники и учебные пособия, в частности, книги Ю.Н. Толстовой [27-29] и Г.Г. Татаровой [30, 31]. С 1991 г. выпускается журнал "Социология: методология, методы, математическое моделирование" (сокращенно "Социология-4М"). Развитию математических и статистических методов в российской социологии посвящены обзорные работы [32, 33].

Казалось бы, математическая социология развивается нормально. Однако всё заметнее проявляются отрицательные тенденции. Подавляющее большинство социологов остаются невежественными в области методов анализа данных. Проявляется это, например, в преклонении перед давно устаревшим западным статистическим пакетом SPSS (анализу статистических пакетов посвящена статья [35]). Полученные еще в 70-е годы ХХ в. научные результаты остаются неизвестными подавляющему большинству социологов, а потому, естественно, не применяются. Научный инструментарий типичного социолога зачастую соответствует уровню XIX в. В последнее время даже номинальное признание важности математической социологии в виде организации отдельных секций на социологических конгрессах и конференциях постепенно сходит на нет. Подробнее эти мысли развиты в нашем выступлении [36] в "Дискуссии о социологии" на сайте Российского общества социологов.

Литература

1. Налимов В.В., Мульченко А.Б. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969 г. 192 с.

2. Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. 222 с.

3. Орлов А.И. О развитии экспертных технологий в нашей стране // Заводская лаборатория. 2010. Т.76. No.11. С.64-70.

4. Эпштейн В.Л. О контрпродуктивности использования наукометрического показателя результативности научной деятельности для будущего России // Проблемы управления. 2007. No.3. С.70-72:

5. Михайлов О.В. Цитируемость ученого: важнейший ли это критерий качества его научной деятельности?

http://www.informetrics.ru/articles/sn.php?id=56 (дата обращения 08.01.2013).

6. Орлов А. И. Методологические ошибки ведут к неправильным управленческим решениям // Управление большими системами. Выпуск 27. М.: ИПУ РАН, 2009. С.59-65.

7. Барский Б. В., Соколов М. В. Средние величины, инвариантные относительно допустимых преобразований шкалы измерения // Заводская лаборатория. Диагностика материалов. 2006. Т.72. No.1. С.59-66.

8. Орлов А. И. Математические методы исследования  и теория измерений // Заводская лаборатория. Диагностика материалов. 2006.,72. No.1. С.67-70.

9. Adler R., Ewing J. (Chair), Taylor P. Citation Statistics. A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS) Corrected version, 6/12/08. http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf (дата обращения 08.01.2013).

10. Международный союз математиков предостерегает от неправильного использования статистики цитирований // Полит.ру. 16 июня 2008.

http://www.polit.ru/news/2008/06/16/mathunion/ (дата обращения 08.01.2013).

11. Управление большими системами / Сборник трудов. Выпуск 27: М.: ИПУ РАН, 2009. - 324 с.

http://ubs.mtas.ru/archive/search_results_new.php?publication_id=17912 (дата обращения 08.01.2013).

12. Налимов В.В. О преподавании математики экспериментаторам // О преподавании математической статистики экспериментаторам. Препринт Межфакультетской лаборатории статистических методов No.17. - М.: Изд-во Московского университета им. М.В. Ломоносова, 1971. - С.5-39.

13. Орлов А.И. О современных проблемах внедрения прикладной статистики и других статистических методов // Заводская лаборатория. 1992. Т.58. No.1. С.67-74.

14. Орлов А.И. Менеджмент: организационно-экономическое моделирование. Учебное пособие для вузов. - Ростов-на-Дону: Феникс, 2009. - 475 с.

15. Орлов А.И. Об оценке качества процедур анализа данных // Социологические методы в современной исследовательской практике: Сборник статей, посвященный памяти первого декана факультета социологии НИУ ВШЭ А.О. Крыштановского / Отв. ред. и вступит. ст. О.А. Оберемко; НИУ ВШЭ, ИС РАН, РОС. М.: НИУ ВШЭ, 2011. - С.7-13.

16. Математическое моделирование социальных процессов. Вып. 10: сб. ст. / Под ред. А.П. Михайлова. М.: КДУ, 2009.

17. Шведовский В.А. Особенности социолого-математического моделирования в исследовании социальных процессов. - М.: АПКиППРО, 2009.

18. Делицын Л.Л. Количественные модели распространения нововведений в сфере информационных и телекоммуникационных технологий. М.: МГУКИ, 2009.

19. Онлайн исследования в России 2.0 / Под ред. Шашкина А.В., Девятко И.Ф., Давыдова С.Г. - М.: РИЦ "Северо-Восток", 2010.

20. Методы современной математики и логики в социологических исследованиях. / Под ред. Э.П.Андреева. М.: Институт социологических исследований АН СССР, 1977.

21. Математические методы и модели в социологии. / Под ред. В.Н. Варыгина. М.: Институт социологических исследований АН СССР, 1977.

22. Математические методы в социологическом исследовании. / Под ред. Т.В. Рябушкина и др. М.: Наука, 1981.

23. Анализ нечисловой информации в социологических исследованиях. / Под ред. В.Г. Андреенкова, А.И.Орлова, Ю.Н. Толстовой. М.: Наука, 1985. 202 с.

24. Орлов А.И. Прикладная статистика. М.: Экзамен, 2006.

25. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. М.: Изд-во МГТУ им. Н.Э. Баумана. 2009.

26. Орлов А.И. Тридцать лет статистики объектов нечисловой природы (обзор) // Заводская лаборатория. 2009. Т.75. No.5. С.55-64.

27. Толстова Ю.Н. Измерение в социологии. М.: Инфра-М, 1998.

28. Толстова Ю.Н. Анализ социологических данных: методология, дескриптивная статистика, изучение связей между номинальными признаками. М.: Научный мир, 2000.

29. Толстова Ю.Н. Основы многомерного шкалирования. Учебное пособие для вузов. М.: Издательство КДУ, 2006.

30. Татарова Г.Г. Методология анализа данных в социологии (введение). Учебник для вузов. М.: NOTA BENE, 1999.

31. Татарова Г.Г. Основы типологического анализа в социологических исследованиях. М.: Издательский Дом "Высшее образование и наука", 2007.

32. Толстова Ю.Н. Математические методы в социологии. / Социология в России. Под ред. В.А. Ядова. - 2-е изд., перераб. и дополн. - М.: Издательство Института социологии РАН, 1998. С.83-89, 98-103.

33. Орлов А.И. Статистические методы в российской социологии (тридцать лет спустя) // Социология: методология, методы, математические модели. 2005. No.20. С.32-53.

34. Орлов А.И. Статистические пакеты - инструменты исследователя // Заводская лаборатория. 2008. Т.74. No.5. С.76-78.

35. Орлов А.И. Черная дыра отечественной социологии. - Выступление 09 января 2011 г. в "Дискуссии о социологии" на сайте Российского общества социологов http://www.ssa-rss.ru/index.php?page_id=19&id=456 (дата обращения 08.01.2013).

Публикация:

826. Орлов А.И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. - М., 2013. - Ч. 2. .

*   *   *   *   *   *   *

Безымперская наука

Алексей Огнёв

Почему фундаментальная наука - признак империи? Изживёт ли Россия научный провинциализм? Как разумнее всего ранжировать академические институты? Чем экспертная оценка лучше/хуже наукометрической? Можно ли избежать тактики спам-атаки, повышая долю публикаций наших учёных в престижных зарубежных журналах? Рассуждает Дмитрий Новиков, заместитель директора Института проблем управления РАН.

Дмитрий Новиков: "Наш путь интеграции в мировую науку будет долог и мучителен. Изживание изоляционизма - большая проблема".

Справка STRF.ru:

Дмитрий Александрович Новиков - заместитель директора по науке Института проблем управления РАН, доктор технических наук, профессор, член-корреспондент Российской академии наук.

Автор более 400 научных работ по теории управления системами междисциплинарной природы, в том числе - по системному анализу, теории игр, принятию решений, управлению проектами и математическим моделям механизмов управления социально-экономическими системами. Тема кандидатской диссертации "Разработка и исследование механизмов стимулирования в активных системах с вероятностной неопределённостью", тема докторской диссертации "Механизмы стимулирования в активных системах с неопределённостью"

Ваш институт выпустил сборник статей "Наукометрия и экспертиза в управлении наукой", посвящённый оценке деятельности учёных. Почему именно сейчас? Проблема действительно назрела? Он случайно вышел аккурат к реформе Академии наук?

- Началось всё гораздо раньше. Идея сборника возникла незадолго до Нового года. Что касается причин - тематика наукометрии и в целом оценки научной деятельности, естественно, волнует не только чиновников, которые что-то забеспокоились в последнее время, но и самих учёных.

С одной стороны, каждая отрасль науки имеет чёткое понимание: кто лидер, кто отстающий. Гамбургский счёт всегда есть. Ведущих специалистов в своей области каждый знает. С другой стороны, последние лет десять всё больше и больше учёных пытаются оценить по разным формальным показателям. Эти попытки подсчёта вызывают массу недоумённых вопросов.

Понятно, что ни один формальный показатель не заменит мнения профессионалов. И название сборника отражает две "крайние" позиции - наукометрический подход, оперирующий оценками по формальным показателям, и содержательный, экспертный подход, когда специалисты оценивают своих коллег и результаты их деятельности.

Что-то в сборнике стало для вас откровением?

- Я для себя узнал много нового. Например, профессор Орлов, один из редакторов сборника, упоминает блестящие работы по наукометрии профессора МГУ Василия Налимова и его коллег. Почему-то спустя несколько десятилетий их забыли. Между тем они звучат очень современно. Очень интересны результаты аксиоматического построения различных индексов. И многое другое.

Какие слабые и сильные стороны того и другого подхода вы видите?

- Каждое из свойств является и преимуществом, и потенциальным недостатком. Например, использование формальных показателей позволяет быстро и автоматически обрабатывать колоссальные объёмы библиометрической информации. Но при этом во многом выхолащивается содержание. Обращение к экспертам даёт содержательные результаты, но любая экспертиза медленна и трудоёмка.

В какой пропорции следует использовать оба подхода?

- Оптимальная пропорция зависит от ваших намерений. Любая оценка предназначена для поддержки принятия управленческих решений. Самим учёным все формальные показатели мало нужны. Например, брать ли сотрудника на работу, поощрить ли его материально, принимать ли в ту или иную профессиональную ассоциацию. В масштабах государства - кому выделять деньги, как их распределять между научными направлениями и отдельными организациями. Без решения задачи управления любая оценка бессмысленна, будь то наукометрическая оценка или экспертная.

Пример у нас перед глазами. Если реформа Академии пойдёт по плану, вскоре предстоит переоценивать все научные институты. Внутренний аудит, прошедший в начале года, сложно назвать объективным: 293 института из 300 отнесли к высшей категории...

- Думаю, комиссия немного переборщила. Не могут 98% объектов попасть в первую категорию, независимо от того что мы с вами оцениваем: яблоки, квартиры или академические институты. Чтобы таких ляпов не было, нужно читать книжки вроде нашего сборника.

Как тогда разумнее всего ранжировать институты?

- Можно по цитируемости сотрудников, можно по доходам от опытно-конструкторских работ и по многим другим показателям. Но главное - не следует на основе того или иного рейтинга тут же оптимизировать расход бюджетных средств на отдельную организацию или на науку в целом.

Чтобы управлять любым процессом или объектом, нужно понимать его природу и закономерности его развития. Природа фундаментальной науки такова, что результат исследований априори непредсказуем. И нельзя ограничиваться поливанием только тех грядок, где уже что-то растёт пышным цветом. Поливать нужно равномерно, если мы хотим какого-то урожая. А взойдёт ли или нет - априори гарантировать нельзя! Поэтому фундаментальной науке нужен гарантированный уровень стабильности и ресурсов.

Фундаментальная наука - признак империи. Вы вспомните историю! В истории мы не найдём с вами примеров, где в слабых странах была сильная наука. Причём империя - многомерный объект. Она требует вклада не только в науку, но и в индустрию. Сейчас от фундаментальной науки, от Академии наук требуют внедрения в промышленность инновационных разработок, чтобы что-то сразу, через два года заблестело, замигало, покрылось нанопорошками и пошло в массовые продажи. Это бесполезно. Академия хорошо работала с технологиями, когда была мощная отраслевая наука и высокотехнологичное производство. Есть авиация, космос и прочие примеры блестящего сотрудничества Академии с производством. Сама по себе Академия наук не может и не должна в одиночку толкать инновационный процесс до конечного потребителя.

Дмитрий Ливанов постоянно говорит: финансирование Академии наук увеличилось в разы, а количество российских статей в престижных научных журналах не выросло. Как вы прокомментируете этот тезис?

- Я считаю, что наш уважаемый министр, наверное, был не полностью информирован или введён в заблуждение по поводу тех качественных и количественных показателей, которыми он оперировал. Либо цели реформы были искажены и запутаны. Если мы от нуля начнём что-то увеличивать, любое изменение будет относительно гигантским. Более-менее приличные зарплаты, на уровне выживания, но гораздо ниже средних по соответствующим регионам, появились в Академии где-то с 2007 года. Учёные только начали приходить в себя. И публикаций становится больше, доля Академии более чем достойная в России, да и в мире. Хотя, конечно, многое надо менять.

Какие недостатки главные?

- На мой взгляд, у всей российской науки, включая вузовскую, есть две большие проблемы. Может быть, они покажутся экзотическими.

Во-первых - провинциализм. В Советском Союзе наука была самодостаточной. За железным занавесом мы развивались параллельно с мировой наукой. Одни и те же результаты рождались одновременно и независимо. Мы были изолированы, но мы были империей. А сейчас нет российской, американской, английской, французской науки. Есть мировая наука. И наш путь интеграции в мировую науку будет долог и мучителен. Изживание изоляционизма - большая проблема. Региональные научные школы в девяностые годы потеряли возможность не просто с зарубежными коллегами общаться - даже на российские конференции ездить. Сейчас всё постепенно налаживается. И мы либо все "сольёмся в едином порыве", либо останемся на обочине.

У наших учёных ограничен доступ к информации. Совершенно фантастических денег стоят подписки на зарубежные журналы. Было бы здорово дать к ним оперативный доступ. То же самое с командировками за границу. После проверки Счётной палаты в РФФИ отменили как нецелевой вид конкурсов, связанных, по выражению чиновников, с "научным туризмом". Но участие в конференции - не туризм. Это естественный процесс общения с коллегами. Без него отдельному учёному не выбраться из своей "провинции".

Вторая проблема - жильё для молодёжи. Деньгами как таковыми в науку никогда не заманивали - никогда учёные не были богатыми. Сюда идут фанатики, люди, которые кидают камни в вечность. Им это интересно. Была бы ещё возможность не думать о куске хлеба... Тут речь не идёт даже о масле, просто о куске хлеба! Можно в Москве найти толковых ребят, можно переманить из регионов. Но где они будут жить? Вот вопрос.

Другими словами, трудности исключительно финансовые? Возможно, управленческие решения тоже стоит пересмотреть? Например, сейчас сотрудник академического института получает одну и ту же надбавку что за публикацию в журнале непомерно раздутого списка ВАК, что в Science или Nature. Разве это правильно?

- Неправильно. Можно и нужно давать существенно больше баллов за иностранные публикации. Но размер надбавки должен быть существенным. Если вам заплатят не 50 рублей, а 70, вы вряд ли почувствуете разницу. Вот в Высшей школе экономики платят десятки тысяч рублей за публикацию в серьёзном журнале. Извините, но для этого нужны соответствующие ресурсы. Хотя десятки тысяч - тоже, считаю, перебор. Здесь должен быть определённый баланс.

Если коротко: вы академическую систему управления архаичной считаете?

- Она требует модернизации, настройки и оптимизации, но вы не предложите радикально лучшей системы.

Вас не беспокоит вал слабых научных публикаций?

- Данная проблема наличествует во всём мире. И мы должны готовиться, что у нас этот вал ещё усилится. Взгляните на Китай. В области науки он ведёт грамотную государственную политику. Но в результате китайские учёные рассылают по журналам всего мира статьи, зачастую отличающиеся друг от друга на ипсилон. И среднее качество этих статей оставляет желать лучшего. Порой они заново переоткрывают результаты, полученные лет 30-40 назад. Или занимаются некорректными заимствованиями - не будем произносить слова "плагиат". Причём это явление характерно не только для Китая. Нельзя каждый день доказывать по хорошей теореме. Если стимулировать в науке только количественные показатели, ничего хорошего не получится.

Как нашей стране избежать описанной вами тактики спам-атаки? Похоже, это самый лёгкий способ повысить долю российских публикаций в Web of Science до 2,44%.

- Для начала предлагаю задуматься и немножко подредактировать соответствующий закон, где фигурирует это магическое число. Здесь произошла подмена цели показателем. Что такое Web of Science, Scopus? Эти индексы вычисляют коммерческие организации. Они фактически стали мировыми монополистами, зарабатывают неслабые деньги. Зачем же нам их кормить? Наших журналов в их частной базе данных мало. Поэтому лучше пользоваться открытыми источниками. Чем плохи рейтинги Google Scholar, импакт-фактор Российского индекса научного цитирования? Первый заведомо шире всех остальных, так как индексирует все базы и более-менее соответствует экспертной оценке, хотя есть и раздутые показатели. Легко можно централизованно "влить", например, импакт-фактор РИНЦ в Web of Science, и число 2,44 тут же будет превышено. Обращайтесь, я напишу вам формулу, как сделать такой пересчёт.

Вы чиновникам сборник раздаривать не намерены?

- Если с кем-то, кому это может пригодиться, придётся по долгу службы встретиться, то я экземпляр презентую, конечно. Но целенаправленно бегать подряд по всем кабинетам Минобрнауки? Думаю, это бессмысленно. Человек ищущий, понимающий, чем он руководит, нужную информацию найдёт, так или иначе (все статьи сборника, например, выложены в интернете - достаточно поискать по фразе "наукометрия и экспертиза"). А дураку, образно говоря, сколько книжек ни дари, всё равно проку нет.

24.09.13

http://strf.ru/material.aspx?CatalogId=221&d_no=62747&rated=ok#.UkHZQtJbyuI

*   *   *   *   *   *   *

О советском аскетизме, "зеленой экономике" и кооперации как элементах будущего мироустройства

Иванов А.В., д.ф.н., зав. кафедрой философии

Алтайского государственного аграрного университета,

г. Барнаул

Мы являемся свидетелями стремительного отмирания рыночно-либеральной практики и идеологии, причем не только в нашей стране, но буквально по всему миру. Искание так называемого "третьего пути", где снимались бы капиталистическая и социалистическая крайности техногенно-потребительской цивилизации стоит на повестке дня. При этом важно непредвзято оценить и западный, и советский исторический опыт с точки зрения того, что надо сохранить, а к чему обязательно вернуться в рамках принципиально нового типа цивилизационного существования.

Я его вместе со своими соавторами склонен именовать духовно-экологическим (1). Тема это многоаспектна, поэтому остановлюсь лишь на нескольких моментах, на которые мало обращают внимания, но которые важны с точки зрения утверждения мировоззрения, адекватного нынешней переломной  эпохе.

1) От сторонников российского капитализма в последнее время можно все чаще слышать, бесспорный на их взгляд, аргумент против нашего социалистического прошлого: "Вы что, - хотите вернуть нас к пустым полкам советских магазинов, куда мы ходили с убогими авоськами?". При этом стороннику рыночного "изобилия" невдомек, что витринное богатство товаров направлено вовсе не на качественное удовлетворение его рациональных жизненных потребностей, а в первую очередь на разжигание в нем иррациональных телесных вожделений. Что касается нынешних продуктовых магазинов (особенно сетевых супермаркетов), то их едва ли не главная цель - вызывание обильного слюноотделения на расстоянии и раздражение вкусовых рецепторов при непосредственном соприкосновении с пищей. При этом качество продуктов питания во всем мире падает пропорционально количеству использованных химических добавок и усилителей вкуса. Что касается борьбы против пластиковых пакетов и бутылок, - то это один из ведущих трендов современной "зеленой" экономики, речь о которой впереди.

Соответственно, авоськи многоразового использования, сдача молочных бутылок, стеклянные баночки для сметаны и масло в пищевой бумаге - все это было не символом нашего советского потребительского убожества, а знаком правильного отношения и к пище, и к вещам. Я думаю, что и полупустые полки продуктовых магазинов в СССР, где все продукты были естественными и очень качественными, и где никто из простых людей, заметьте, не голодал (хотя и не шиковал!) - это было опережением исторического времени. Просто сознание советского обывателя до этого не доросло, а партийная элита изнутри профанировала социализм, обильно кормясь через спецраспределители. Именно они - горбачевы и ельцины - фактически и развалили советскую систему, которая точно, по замыслу,  была лучше западного агрессивного эгоцентризма и потребительства. Вся наша перестройка, по сути, - революция алчущего живота, философия вкусной колбасы исключительно для себя, а постсоветские типажи во власти - персональное воплощение этой мещанской стихии ненасытного чрева.

К практике советского аскетизма возвращаться придется в любом случае, учитывая масштабы современного экологического кризиса, и произойдет это тем безболезненнее и органичнее, чем больше у человека духовных запросов и целей в жизни, перед которыми отступают на второй план все материальные ценности. Напомню, что среди крупных ученых и художников вы практически не найдете богачей и сластолюбцев. Большинство из них вело умеренную, даже аскетичную жизнь. Думаю, что и любая ответственная, разумная мать предпочтет скромный, но качественный ассортимент продуктов порочному потребительскому изобилию, грозящему ее детям букетом разнообразных заболеваний.

2) Вспомним еще одну важную черту жизни советского общества. Советский Союз не просто  возглавлял борьбу за мир во всем мире; миротворческая идеология была неотъемлемым элементом сознания советского человека. Мы и оружие-то поставляли исключительно народам угнетенных и эксплуатируемых стран, что резко сужало возможности тех же США развязывать военные авантюры по всему миру. Пора вновь вспомнить этот великий советский опыт неприятия войны и насилия. Вся мировая  военная промышленность - это ведь не только постоянная угроза человеческой жизни (особенно жизни мирного населения), но и совершенно бессмысленная трата не возобновляемых и возобновляемых природных ресурсов. Какая мироуничтожающая гадость ежедневно изобретается в военных лабораториях и институтах (у них по всему миру - лучшее государственное финансирование) - об этом можно только догадываться. Следовательно, борьба за мир и за глобальное антимилитаристское мировоззрение - еще один тренд духовно-экологической цивилизации. Главный агрессор в мире сегодня - это США и блок НАТО. Борьба против западного милитаризма и конкурентно-конфликтной политической ментальности - сфера, где истинный патриотизм смыкается с хозяйственной целесообразностью. При этом надо бороться и с квазипатриотической поэтизацией войны внутри собственной страны, особенно поэтизации экспорта оружия за рубеж, когда не можем оснастить им собственную армию. Позиция России всегда была оборонительной, а на международной арене - направленной на защиту слабых и угнетенных. За это нас и уважали во всем мире. Успех в Сирии, пока локальный, полностью подтверждает этот тезис. А вот когда мы влезли с танками в Восточную Европу и в Афганистан - посыпались как великая держава. У нас должен действовать принцип достаточности военных сил для обороны и ответного удара, но при этом следует ясно понимать, что ничто так не крепит обороноспособность страны, как процветающие наука и образование; промышленность и сельское хозяйство. Когда это у тебя есть, равно как и миротворческий авторитет в мире - ни у кого не хватит смелости развязать против тебя войну. Я даже рискну предположить, что борьба за всеобщий мир и разоружение - это один из фундаментальных показателей общего духовного здоровья и силы страны; точно также как борьба за права лесбиянок и геев - наиболее объективный показатель духовной деградации стран и целых регионов. И нам надо делать сегодня все, чтобы сплачивать антивоенные силы по всему миру. На это должны работать и дипломатия, и культура, и спорт. И если у зимней олимпиады в Сочи  есть хоть какой-то высокий смысл, то только в плане возможности развернуть в ее рамках новый виток борьбы за всеобщий  мир и  разоружение, равно как и за защиту нормальной двуполой семьи.

3) Перейдем теперь к тому, какие западные тренды развития при общей тупиковости капитализма оказываются сегодня созидательными. Это касается в первую очередь ориентации западных стран (особенно Германии, Дании, Голландии) на развитие уже упоминавшейся "зеленой экономики". Помимо ресурсо- и энергосбережения, развития нетрадиционной энергетики, внедрения природоохранных стандартов и экологического просвещения населения, это еще и производство экологически чистых продуктов питания. У России здесь едва ли не наилучшие возможности, учитывая огромные пространства и сравнительно недавнее по историческим меркам  сельскохозяйственное освоение земель, особенно целинных. Та же аграрная наука твердо установила, что правильное использование севооборотов дает такую же продуктивность поля и сохранение почв, как и  использование минеральных удобрений. На фермах с полностью автоматизированными системами доения качество молока всегда ниже, чем при участии доярок. Датчане выяснили, что идеальную всхожесть семян дает их разбрасывание рукой опытного сеятеля, и изобрели соответствующую сеялку. Но и в нашей стране есть мощные научные заделы для развития экологически ориентированного и при этом высокотехнологичного сельского хозяйства. Например, у нас на Алтае в самое последнее время изобрели революционный способ утилизации свиного навоза с получением качественных удобрений. Инженеры Алтайского государственного технического университета создали уникальный подвижный плуг, который пашет каменистые степи, одновременно внося туда удобрение и семена трав. В результате впервые в засушливых высокогорных степях Западной Монголии, граничащей с нами, этим летом вырос полуметровый овес, что привело в изумление все местное население, для которого получение дополнительных кормов на зиму - вопрос выживания. Кстати, данная методика является еще и эффективным средством борьбы с опустыниванием, ибо позволяет рассаживать семенами карагану (пустынную акацию), а это лучшее средство для сдерживания смертоносных гобийских песков. Все это - элементы важнейшего "зеленого" сельскохозяйственного тренда будущей российской экономики, учитывая, что одно рабочее место в сельскохозяйственном производстве обеспечивает 6-7 рабочих мест в промышленности (2).

Другая важнейшая черта современной "зеленой" экономики - это максимальное сохранение девственных очагов природы и промышленное строительство на уже хозяйственно освоенных землях. Борьба за такое ведение российского хозяйства, кстати, это одновременно и черта истинного патриотизма, учитывая, что ареалы нетронутой природы - это и стабилизаторы климата, и основа сохранения биоразнообразия, и средство поддержания традиционных форм природопользования, и, наконец, фактор сохранения  здоровья населения. У нас от плохой экологии по самым скромным подсчетам ежегодно умирает не менее 300 тысяч человек. И вот здесь самое время вернуться к международному скандалу в связи с попыткой Гринпис высадиться на платформе "Приразломная". Спору нет, - атаковать с моря промышленные объекты, принадлежащие другой стране, это плохо. Методы зарубежного Гринписа в этом плане заслуживают осуждения, но ведь сохранение хрупкой природы Арктики, и вправду, - важнейшая забота всего человечества, ибо от ее здоровья зависит стабильность мирового климата и жизнь миллионов людей. Никакие нефтяные и газовые прибыли не покроют ущерба от ее загрязнения, а "Газпром" как раз "славен" своим глубоко безответственным отношением к проблемам охраны окружающей среды. У нас на Алтае он и сейчас готов вести газопровод в Китай через плоскогорье Укок - объект Всемирного Природного Наследия ЮНЕСКО.

Деятельность наших газовых и нефтяных гигантов должна быть взята под  контроль независимой научной и экологической общественностью страны, и надо прекратить тиражировать ПИАР-болтовню, будто экологи - это агенты западных держав. Борьбы за чистоту родной российской природы мало вообще не бывает. Она патриотична по определению. А вот агентами западных держав являются как раз ресурсодобывающие монстры, типа "Газпрома". Они: а) подрывают нашу национальную экологическую безопасность безответственными технократическими проектами в самых ценных и уязвимых регионах, типа Алтая и Арктики; б) хищнически эксплуатируют природные богатства, принадлежащие не только живущим, но и грядущим поколениям россиян; в) отправляют львиную долю прибылей в свой корпоративный карман (зарплаты топ-менеджеров того же "Газпрома" - притча во языцех); г) в силу непомерной жадности своих руководителей и примкнувших к ним политиков ухитрились перессорить Россию с кучей стран из ближнего и дальнего зарубежья, начиная с Украины; д) безвозмездно субсидируют Запад, вкладывая вырученные деньги в финансирование его футбольных клубов, типа германского "Шальке-04". И это только то, что известно широкой общественности. Помимо государственного и народного экологического контроля за деятельностью сырьевых гигантов, необходимо законодательно заставить их отчислять не менее 5% прибыли на развитие нетрадиционной энергетики и восстановление окружающей среды. Только в этом случае их можно будет не считать "национальным доставанием" и агентами Запада, мешающими переходу нашего Отечества к духовно-экологической стратегии развития.

И последнее замечание. Нынешние "хозяева жизни" в офисах "газпромов" и "лукойлов" в принципе не способны ни на потребительский аскетизм советского типа, ни на проведение в жизнь православного принципа нестяжательства. Самоценный рост экономического чрева и потакание индивидуальным телесным похотям и прихотям - от этого родового проклятия капитализм не может избавиться в принципе. А вот традиции российской кооперации (особенно сибирской) конца XIX - начала ХХ веков продемонстрировали, во-первых, способность высокоэффективно управлять кооперативной собственностью посредством минимума управленцев, и, во-вторых, успешно решать социальные и культурно-воспитательные задачи в тех же сельских районах. Но, главное, сама философия кооперации исключает потребительство и стяжательство, а также работу из-под государственной палки. Неслучайно свободные кооперативы рассматривались царским правительством как потенциальная революционная угроза (устав каждого кооператива в дооктябрьской России лично утверждался министром Внутренних дел) (3), а Советской властью - как вызов диктатуре пролетариата, в силу чего кооперация была насильственно свернута в 20-ых годах прошлого века. К тому же кооперативы обеспечивали высокое качество продукции (сибирское масло в начале ХХ века вытеснило в Европе знаменитое датское!) и сохранность традиционных ландшафтов, ибо их члены понимали, что жить и хозяйствовать на вверенной им земле предстоит их детям и внукам. Как бы кому это ни показалось утопическим, но кооперативный идеал, сформулированный его крупнейшим теоретиком М.И. Туган-Барановским, похоже, не только не утратил своей политической (в русле той же борьбы за мир и единение простых людей!) и хозяйственной актуальности, но вполне может претендовать на один из главных лозунгов нарождающейся духовно-экологической цивилизации: "Общество должно до конца превратиться в добровольный союз свободных людей - стать насквозь свободным кооперативом. Таков социальный идеал, который полностью никогда не будет достигнут, но в приближении к которому и заключается весь исторический процесс человечества" (4).

Ссылки

(1) См.: Иванов А.В., Фотиева И.В., Шишин М.Ю. Духовно-экологическая цивилизация: устои и перспективы. Барнаул, 2010.

(2) Макарычев С.В., Морковкин Г.Г., Колпаков Н.А., Бугай Ю.А., Акишина М.Л., Иванов А.В., Фанненштиль А.А. Стратегия развития современного аграрного университета. Барнаул. 2012. С.80.

(3) См. обстоятельное  исследование сибирской дореволюционной кооперации в работе: Сыщенко А.Г., Сыщенко В.А. Золотые годы сибирской и алтайской кооперации, 1896-1919. Т.1.Барнаул. 2003.

(4) Туган-Барановский  М.И. Социальные основы кооперации. М.1989.С.449.

29.11.2013 г.

http://www.za-nauku.ru//index.php?option=com_content&task=view&id=7850&Itemid=39

*   *   *   *   *   *   *

На сайте "Высокие статистические технологии", расположенном по адресу http://orlovs.pp.ru, представлены:

На сайте есть форум, в котором вы можете задать вопросы профессору А.И.Орлову и получить на них ответ.

*   *   *   *   *   *   *

Удачи вам и счастья!


В избранное