Орлов А.И., доктор экономических наук, доктор технических наук, кандидат физико-математических наук, профессор, заведующий лабораторией экономико-математических методов в контроллинге Научно-образовательного центра "Контроллинг и управленческие инновации", Московский государственный технический университет им. Н.Э. Баумана, prof-orlov@mail.ru

Orlov A. I., Doctor of Economics, Doctor of Technics, Candidate of Physical and Mathematical Sciences, Professor, Head of Laboratory of economic-mathematical Methods in Controlling of Scientific and Educational Center "Controlling and managerial innovations" Bauman Moscow State Technical University,prof-orlov@mail.ru

В связи с проблемами повышения эффективности научной деятельности рассмотрены популярные наукометрические показатели. Показано, что развитие научного результата не обязательно связано с публикацией статей в научных журналах. Продемонстрирована неполнота популярных библиометрических баз данных. Установлена методологическая несостоятельность оценки научной эффективности по числу публикаций в высокорейтинговых западных журналах и их цитируемости. Оценка деятельности научных работников и коллективов должна даваться в результате тщательной экспертизы и публичного обсуждения полученных научных результатов. Наукометрические показатели, рассчитанные по числу публикаций и цитирований в научных журналах, могут играть лишь вспомогательную (справочную) роль.

In connection with the problems of increasing the efficiency of research activities considered popular scientometric indicators. It is shown that the development of the scientific results are not necessarily connected with the publication of articles in scientific journals. Demonstrated incompleteness popular bibliometric databases. Established methodological inconsistency of estimation of research efficiency by the number of publications in top-rated western journals and their citations. Scientific activities of researchers and teams should be given as a result of expert examinations and public discussion of scientific results. Scientometric indicators calculated by the number of publications and citations in scientific journals, can only play a supporting (background ) role.

Проблемы повышения эффективности научной деятельности в последнее время активно обсуждаются. С прикладными исследованиями, нацеленными на решение конкретных задач, поставленных теми или иными заказчиками, ситуация достаточно ясна - оценку эффективности исследований проводят заказчики. Проблемы возникают при управлении фундаментальными исследованиями [25]. Для выработки обоснованных критериев эффективности исследований необходимо проанализировать содержание, структуру и специфические особенности науки как особого вида деятельности [5]. При этом, хотя непосредственно при проведении фундаментальных исследований их прикладное значение остается в тени, в дальнейшем становится вполне очевидной весьма существенная роль фундаментальной науки в обеспечении обороноспособности государства [7].

Вполне естественно, что проводятся многочисленные дискуссии о показателях эффективности научной деятельности отдельных исследователей, подразделений, институтов, стран в целом. На основе таких дискуссий создаются, в частности, концепции подготовки и аттестации научно-педагогических кадров [2].

Выделяются два крайних направления. Одно из них делает упор на статистический анализ данных о научных статьях, описанных в библиометрических базах данных [21]. Другое направление в области оценки эффективности научной деятельности основано на применении экспертных технологий [22].

Итоги организованной по нашей инициативе дискуссии подведены в специальном выпуске электронного журнала "Управление большими системами" [23], выпускаемого Институтом проблем управления РАН (входит в "список ВАК"). Выпущено и отдельное издание - сборник "Наукометрия и экспертиза в управлении наукой" [10]. В названии выделены и сопоставлены два основных интеллектуальных инструмента - количественные показатели и экспертные оценки.

Как известно, контроллинг [6] может применяться для совершенствования управления в любой области. В частности, можно разрабатывать контроллинг в области управления наукой. С позиций контроллинга организационно-экономических методов [14] обсудим критерии выбора показателей эффективности научной деятельности.

Наукометрия, т.е. научная дисциплина, посвященная количественным измерениям в области науки, в своих основных чертах разработана еще в 1960-х годах [9]. Развитие информационных технологий привело к созданию библиометрических баз данных о научных публикациях, на основе которых для отдельных научных работников, подразделений и организаций подсчитывают количественные показатели - число публикаций, включенных в конкретную базу данных, их цитируемость (в других публикациях, включенных в рассматриваемую базу) и др.

Наиболее популярные зарубежные библиометрические базы данных - WoS и Scopus, отечественная - Научная электронная библиотека eLIBRARY.RU, на которой основан Российский Индекс Научного Цитирования (РИНЦ). В них учтены, как правило, статьи и библиографические ссылки на статьи из журналов, включенные в эти базы. Академия ГУГЛ (scholar.google.ru/citations) проводит мониторинг Интернет-ресурсов, поэтому дает перечень цитирований не только статей, но и книг, но только тех, которые имеются в Интернете.

Кроме числа публикаций и числа их цитирований, к основным наукометрическим показателям относятся индекс Хирша научного работника и импакт-фактор журнала, в котором напечатана статья.

Индекс Хирша (предложен в 2005 г. американским физиком Хорхе Хиршем из университета Сан-Диего, Калифорния) определяется следующим образом. Пусть в базе данных зафиксировано n публикаций рассматриваемого автора, упорядоченных по убыванию числа цитирований k₁ > k₂ > ... > k_n, где k_i - число цитирований i - ой статьи. Тогда индекс Хирша равен h, если k_h > h , k_h+1 < h + 1 (т.е h - максимальный номер члена ряда k₁ > k₂ > ... > k_n такой, что член ряда с этим номером больше или равен, чем номер). Разработано много "хиршеподобных" показателей [27].

На сайте eLIBRARY.RU приведено следующее определение: "Импакт-фактор рассчитывается на основе данных по цитированию журнала в РИНЦ за предыдущие два года (или пять лет). При этом данные по цитированию берутся из публикаций года, для которого рассчитывается импакт-фактор. При расчете импакт-фактора число ссылок, сделанных в расчетном году из всех обрабатываемых в РИНЦ журналов на статьи, опубликованные в данном журнале за предыдущие два года (или пять лет), делится на общее число этих статей. То есть, по сути, данный показатель отражает среднее число цитирований одной статьи в журнале. Например, при расчете пятилетнего импакт-фактора за 2010 год суммарное число ссылок, сделанных в 2010 году на статьи, опубликованные в журнале в период с 2005 по 2009 год включительно, делится на общее число статей, опубликованных в выпусках журнала за 2005-2009 годы". Очевиден произвол в выборе временного интервала (два года или пять лет), а также то, что на импакт-фактор журнала никак не влияют цитирования статей, опубликованных 6 и более лет назад (а такие статьи, как нетрудно убедиться, зачастую составляют заметную часть пристатейных библиографических списков). Для конкретного научного работника рассчитывают средний импакт-фактор журналов, в которых он публиковался).

Наивные лица считают, что чем выше перечисленные показатели научного работника (число публикаций, число цитирований, индекс Хирша, средний импакт-фактор журналов с публикациями), тем лучше он работает и тем больше заслуживает поощрения.

При обсуждении проблем управлении научной деятельностью достаточно часто делаются методологические ошибки. Приведем примеры (см. также [13], [16], [20]).

В современных дискуссиях об оценке эффективности деятельности научных работников и организаций иногда утверждается, что оценка может быть сделана по числу публикаций в высокорейтинговых (т.е. с большими импакт-факторами) журналах, учитываемых в библиометрических базах данных WoS и Scopus. Подобное утверждение неверно по ряду причин:

1) неверно, что траектория развития научного результата обязательно включает публикации в журналах;

2) неверно, что следует поощрять увеличение публикаций в научных журналах;

3) неверно, что современные библиометрические базы данных дают адекватное представление о научной активности исследователя;

4) неверно, что о научных достижениях отечественных ученых можно судить по библиометрическим базам данных WoS и Scopus.

Докажем сформулированные утверждения.

Разбор методологических ошибок необходимо начать с обсуждения целей научных исследований. Очевидно, результаты НИР поступают прежде всего к ее заказчику и только по его разрешению могут быть опубликованы в открытой печати (т.е. необходимо учесть требования коммерческой и государственной тайны). Если научная работа финансируется из бюджета, т.е. проведена на деньги отечественных налогоплательщиков, то и воспользоваться результатами должны прежде всего граждане России и отечественные организации. Другими словами, результаты должны быть опубликованы прежде всего на русском языке, только после этого они могут быть изданы на иностранных языках.

Иногда говорят, что наука едина, является мировой, а потому следует публиковаться на английском языке, являющемся в настоящее время языком международного общения. Неверность этого утверждения для прикладных исследований очевидна: разве можно представить себе, что отечественные разработчики ВТО (высокоточного оружия) сначала опубликуют свои результаты за рубежом на английском языке и только потом - на русском.

Обсудим ситуацию для фундаментальных исследований. Что под ними понимать? Если понимать фундаментальные исследования, как те, которые никому не нужны, то возникает вопрос о целесообразности их финансирования (и проведения). На наш взгляд, должна просматриваться будущая польза фундаментальных исследований, их нацеленность на решение реальных задач, стоящих перед теми или иными отраслями народного хозяйства России. Поэтому нельзя согласиться с П.Ю. Чеботаревым [26], который отдает предпочтение "интернационализму" перед "изоляционизмом". На наш взгляд, больше подходит другая пара терминов - "космополитизм" и "патриотизм". Впрочем, здесь под "патриотизмом" можно понимать соблюдение элементарных обязательств перед российскими налогоплательщиками, финансирующими фундаментальные исследования.

На наш взгляд, в современных условиях говорить о мировой науке столько же неплодотворно, как и говорить о мировом правительстве.

В статье [28] сделан важный вывод: "... "лучше живут" не те страны, которые вносят наибольший вклад в мировую науку, а те, которые больше "выносят" из нее, т.е. наиболее эффективно используют результаты научно-технического прогресса". Из этого факта вытекает наиболее рациональная стратегия для нашей страны - изучать чужие достижения, свои же разработки применять прежде всего для собственных нужд, а также в целесообразном объеме предоставлять зарубежным странам (ср. статьи [3], [8]).

Методологические ошибки начинаются с отсутствия обсуждения пути конкретного научного результата. Обычно новый результат становится достоянием широкой научной общественности при докладе на научном семинаре, а затем - на представительной конференции. Первая публикация - тезисы доклада. (Тезисы, труды, материалы конференций объединяем термином "тезисы". Хотя многостраничные "труды" - это уже полномасштабные статьи.)

При дальнейшем развитии исследования доклад перерастает в статью, которая публикуется в тематическом сборнике или в журнале. Первый вариант для распространения идей предпочтительнее, поскольку тематический сборник фактически становится коллективной монографией, аккумулирующей в себе основные результаты, полученные группой разработчиков (обычно неформальным научным коллективом). Например, для статистики нечисловых данных таким сводным изданием стал сборник [1], подготовленный сложившимся к тому времени неформальным коллективом исследователей в этой только что сформировавшейся научной области.

Только для давно развивающихся областей с большим числом исследователей и эффективной административной поддержкой публикации концентрируются в научных журналах, порожденных соответствующей частью научного сообщества.

В нашей стране для прикладной статистики и других статистических методов эта стадия еще не наступила - нет соответствующих журналов, есть только раздел "Математические методы исследования" в журнале "Заводская лаборатория. Диагностика материалов". Тематика журнала в целом, как видно из названия, перпендикулярна рассматриваемой научной области (хотя и имеет с ней непустое пересечение). С момента создания раздела (1962 г.) в этом журнале публикуются основные работы на русском языке по прикладной статистике и другим статистическим методам, к настоящему времени издано около тысячи статей.

Аналогична ситуация с начальным этапом развития научного направления "Экспертные оценки" [17]: сначала тезисы докладов, затем тематические сборники, без заметного влияния статей в научных журналах на развитие научного направления.

Следующий этап за публикациями в журнале или сборнике - выпуск монографии, подводящей итоги соответствующего этапа работ. (Хорошая монография - это не механическое объединение отдельных статей (научных результатов), а представление научной общественности направления исследований как целого.) Затем - создание учебника. Ясно, что на широкое распространение и использование может рассчитывать только то знание, которое включено в учебный процесс и вошло в сознание следующего поколения специалистов.

Отметим, что ссылки на научные публикации даются не только при составлении научных статей, но и при подготовке отчетов, диссертаций, справочников, выполнении прикладных работ, в том числе закрытых. Поэтому учет цитирований в ограниченном списке научных журналов всегда преуменьшает реальное использование конкретной научной публикации.

Заключительный этап - научный результат становится общеизвестным. Например, в статьях отмечают (без ссылок на литературные источники), что аксиоматическая теория вероятностей построена А.Н. Колмогоровым (хотя А.Н. Колмогоров, встречая такую фразу, обычно указывал на нескольких исследователей - акад. С.Н. Бернштейна и др., - которые ранее предложили несколько иные аксиоматические подходы; да и сам он разработал не один, а два аксиоматических подхода - на основе теории меры в 1930-е годы и на основе теории информации в 1960-е годы, но обычно вспоминают и используют только первый из них). С течением времени перестают даже упоминать авторов - используют производные и интегралы, не ссылаясь на Ньютона и Лейбница.

Итак, наиболее естественная цепочка научных публикаций:

Обратите внимание - для развития нового направления публикации в научных журналах отнюдь не всегда нужны. Кроме того, принципиально новую работу в устоявшемся научном журнале просто не поместят, поскольку она противоречит традициям журнала (за многочисленными примерами отклонения принципиально новых работ читатели могут обратиться к автору настоящей статьи).

Проанализировав путь конкретного научного результата, видим, что он состоит из этапа первоначального развития, завершающегося книжной публикацией, и этапа зрелости и широкого использования. На втором этапе обычно цитируют монографию, справочник, учебник, а не исходную статью. Очевидно, что с точки зрения общества целесообразно, чтобы первоначальный этап был возможно короче.

На основе сказанного выше весьма странными (и даже вредными с точки зрения развития науки) представляются попытки оценивать научную продуктивность коллективов и отдельных исследователей только на основе публикаций в научных журналах. При этом полностью игнорируются материалы конференций, сборники статей, монографии, учебники, т.е. основная (по своему воздействию на развитие науки и техники) масса публикаций. Вопреки этим попыткам большое значение материалам конференций как первым публикациям новых идей придают М.М. Деза (Париж) и Е.И. Деза (Москва) [4].

Бегло обсудим отрицательные эффекты, о которых идет речь. Надо поднять импакт-фактор, чтобы увеличить финансирование? Вот план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как все мы знаем, часто пишет сам соискатель, а затем собирает подписи): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду "авторов" и рассылаем по журналам, затем путем перекрестных ссылок продолжаем "развитие" положений исходного набора статей.

Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляются основания для публикации следующих статей, улучшающих предыдущие. Например, в работах с использованием понятий теории вероятностей существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем "облако" взаимно ссылающихся статей в связке из нескольких журналов. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Конечно, надо исключить дословное повторение текстов, воспользовавшись опытом соискателей ученых степеней, в частности, при подготовке отзывов на диссертации и авторефераты. Современная информационная техника облегчает задачу. Если лет тридцать назад надо было перепечатывать текст, вручную вставлять формулы, то сейчас с помощью текстового редактора, Интернета и/или принтера технические сложности снимаются - статьи можно "печь как блины".

Развивая эти вполне естественные для современного "исследователя" мысли, приходим к целесообразности организации "семей", члены которых будут ссылаться друг на друга (и не ссылаться на "чужих"). Можно привести примеры таких квазимафиозных структур.

Почему пропагандисты индекса цитирования делают упор на журналы? Одна из причин - потому что таким путем оценку научной продуктивности можно проводить путем применения соответствующего программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина - "владельцы" журналов (в частности, редакторы, члены редакционных советов, основные авторы) таким образом закрепляют свои позиции в научном мире.

Ясно, что методологические ошибки - упор на индексы цитирования - приводят к неправильным управленческим решениям (ср. с основными положениями доклада [12]). Не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по импакт-фактору объективно задерживает подготовку книжных изданий - ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи, а ссылки на книги не влияют на импакт-фактор журнала. Следовательно, управление наукой на основе числа публикаций в рецензируемых журналах и индексов цитирования объективно замедляет развитие науки, переход полученных результатов в область практического применения.

Еще один эффект, отмеченный в [10] и [23] - ссылки на работы, в которых получены принципиально новые результаты, могут "тонуть" среди ссылок на массы эпигонов. Достаточно пересказать статью предшественника, добавив к ней свою "завитушку" - и готова своя статья, и ссылаться будут зачастую на нее, а не на статью предшественника.

Перейдем к обсуждению баз данных. Сопоставление с реальностью информации, содержащейся в наукометрических (библиометрических) базах данных, приводит к выводу о явной неполноте указанной информации, по крайней мере в настоящее время. В качестве примера кратко проанализируем отображение в Академии ГУГЛ и РИНЦ публикаций автора настоящей статьи. Перечень "Основные научные и методические работы А.И.Орлова" - это базовый список публикаций, без тезисов, трудов и материалов конференций, резюме докладов на семинарах, "Комментариев" к статьям, диссертаций, авторефератов, отчетов, статей в энциклопедиях, а также без научно-популярных и научно-организационных статей, отчетов о конференциях, рецензий, статей в газетах, программ учебных курсов и др. На 1 сентября 2013 г. этот перечень включает 285 названий научных работ А.И. Орлова, а именно, 46 книг и 239 статей (см. список в http://forum.orlovs.pp.ru/viewtopic.php?f=5&t=271). В Академии ГУГЛ (http://scholar.google.ru/citations?user=ziqLP2cAAAAJ) отмечено 148 публикаций А.И. Орлова, 1509 цитирований. Индекс Хирша - 16, не менее 10 раз процитированы 32 работы. Первые 5 источников по числу цитирований - книги, 6-й - статья (обзор по экспертным оценкам), источники 7-10 - снова книги, т.е. из первых 10 по числу цитирований - 9 книг и только 1 статья. В РИНЦ (http://elibrary.ru/author_profile.asp?id=1844 ) отмечены 127 публикаций (только статьи), 1101 цитирований, индекс Хирша - 10. Кроме того, автору работ видны разнообразные неточности и противоречия в представленной в базах информации. Итак, в этих базах представлено лишь 40-50% основных публикаций автора настоящей статьи, по крайней мере половины работ нет.

К сожалению, многие ценные издания до сих пор не попадают в Интернет, например, межвузовский сборник научных трудов "Статистические методы оценивания и проверки гипотез" (хотя переводится в США) и "Материалы" научных чтений памяти К.Э. Циолковского. Отечественный РИНЦ из публикаций автора настоящей работы учитывает только статьи в научных журналах.

Тем более неполны базы данных WoS и Scopus. В них делается упор на статьи в журналах из избранного списка. Например, таков индекс на основе базы данных Web of Science (WoS), в котором вообще не учитываются доклады на конференциях и монографии, а список журналов резко перекошен в сторону англоязычных - большинства российских журналов в нем просто нет. В наукометрической базе данных Scopus учитываются избранные сборники конференций и монографии, но дискриминация отечественных журналов весьма выражена. В ней более 6000 американских журналов и только около 200 - российских [15]. Отметим, что на 1 сентября 2013 г. в РИНЦ учитываются 8096 российских журналов (http://elibrary.ru/project_author_profile.asp ). Естественно, что наивные авторы на основе анализа данных WoS делают вывод о малом вкладе отечественных ученых в мировую науку (см. [21]).

Как отмечено в [24]: "И чем больше подписок на WoS продает российским организациям Thomson Reuters - тем больше становится библиометристов". По нашему мнению, развернутая в последние годы пропаганда использования наукометрических показателей и баз данных, необходимости публикации статей в англоязычных зарубежных журналах является маркетинговой кампанией определенных коммерческих структур, имеющей целью создание и захват отечественного рынка указанных услуг с целью получения прибыли. Как отмечено в докладе UNESCO, "лингвистические преимущества англоязычных стран способствуют усилению конкурентных преимуществ этих стран в науке и в связанном с ней бизнесе, в частности, издательском" [29, с.154].

Какова же альтернатива наукометрическим показателям? Адекватную оценку эффективности научной деятельности могут дать только эксперты. В [23] необходимости применения экспертных технологий посвящен большой раздел из 5 статей (с.280-360). Теории и практике экспертных оценок посвящены многие работы отечественных ученых (см. [11], [17]), выпущены подробные учебники ([18], [19] и др.). Всем хорошо знакомые защиты диссертаций - пример экспертиз. К выборам преподавателей и научных работников на новый срок нельзя относиться формально. Они могли бы опираться на экспертизы типа защит диссертаций по опубликованным работам.

Необходимо обеспечить результативность экспертиз при управлении наукой. Есть очевидные рекомендации. Больше ресурсов - выше результативность. Больше ресурсов - это значит больше экспертов, более тщательный их подбор, больше туров (т.е. больше работает каждый эксперт, общается с другими), лучше программное обеспечение (для проведения сетевых экспертиз, обеспечения доступа к базам данных и моделей), лучше организация, выше оплата, больше времени (экспертиза перерастает в научное исследование), и т.д., и т.п. На эту тему написано много (в частности, см. [11], [17], [18], [19] и др.).

Можно привести примеры более конкретных рекомендаций. Целесообразно беседовать с экспертом, проводить интервью, а не предлагать "заочно" заполнить анкету. Устраивать дискуссии, обсуждения, "мозговые штурмы". Обеспечить экспертов базами данных, моделей, знаний, в том числе публикаций. Предоставить для работы экспертных комиссий ситуационные комнаты (центры). Создать в организации постоянно действующую систему (сеть) экспертных комиссий, в частности, используя идеи Стаффорда Бира. Вывозить специалистов для проведения экспертизы (на дачи, корабли и т.п.), т.е. вырывать их из привычной обстановки, отделять от среды, стимулировать общение. И т.д., и т.п.

Итог дискуссии, проведенной в [10] и [23], можно кратко сформулировать так. Большинство участников обсуждения полагает, что оценка деятельности научных работников и коллективов должна даваться в результате тщательной экспертизы и публичного обсуждения полученных научных результатов. Наукометрические показатели, рассчитанные по числу публикаций и цитирований в научных журналах, могут играть лишь вспомогательную (справочную) роль.

1. Анализ нечисловой информации в социологических исследованиях / Под ред. В.Г. Андреенкова, А.И. Орлова, Ю.Н. Толстовой. - М.: Наука, 1985. - 222 с.

2. Викулов С.Ф., Хрусталёв Е.Ю. Концепция подготовки и аттестации научно-педагогических кадров // Национальные интересы: приоритеты и безопасность. 2012. No.14. С.10-17.

3. Гринченко С.Н. Имеет ли решение задача перманентной оценки вклада учёного в науку? // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С. 280-291.

4. Деза М.М., Деза Е.И. Несколько замечаний к вопросу об оценке научных публикаций // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С. 362-365.

5. Едронова В.Н., Овчаров А.О. Содержание, структура и специфические особенности науки как особого вида деятельности // Экономический анализ: теория и практика. 2013. No.2. С.2-14.

6. Контроллинг: учебник / А.М. Карминский, С.Г. Фалько, А.А. Жевага, Н.Ю. Иванова; под ред. А.М. Карминского, С.Г. Фалько. - 3-е изд., дораб. - М.: ИД "ФОРУМ": ИНФРА-М, 2013. - 336 с.

7. Лавринов Г.А., Хрусталёв Е.Ю., Косенко А.А., Бабкин Г.В. Роль фундаментальной науки в обеспечении обороноспособности государства // Национальные интересы: приоритеты и безопасность. 2013. No.35. С.9-20.

8. Милек О.В., Шмерлинг Д.С. О продвижении университета на международном академическом "рынке" // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.139-143.

9. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.

10. Наукометрия и экспертиза в управлении наукой: сборник статей / Под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева. - М.: ИПУ РАН, 2013. - 572 с.

11. Новиков Д.А., Орлов А.И. Экспертные оценки - инструменты аналитика // Заводская лаборатория. Диагностика материалов. - 2013. - Т.79. - No.4. - С.3-4.

12. Орлов А.И. Влияние методологии на последствия принятия решений. - Материалы I Международного Конгресса по контроллингу: выпуск No.1 /Под науч. ред. С.Г. Фалько. - М.: НП "ОК", 2011. - С.86-90.

13. Орлов А.И. Два типа методологических ошибок при управлении научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.32-54.

14. Орлов А.И. Контроллинг организационно-экономических методов // Контроллинг. -2008. - No.4 (28). - С.12-18.

15. Орлов А.И. Наукометрия и управление научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.538-567.

16. Орлов А.И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. - М., 2013. - Ч. 2. - С.533.

17. Орлов А.И. О развитии экспертных технологий в нашей стране // Заводская лаборатория. Диагностика материалов. - 2010. - Т.76. No.11. - С.64-70.

18. Орлов А.И. Организационно-экономическое моделирование: теория принятия решений. Учеб. для вузов. - М. : КноРус, 2011. - 568 с.

19 Орлов А.И. Организационно-экономическое моделирование: учеб. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 486 с.

20. Орлов А.И. Примеры методологических ошибок при управлении научной деятельностью // Проблемы наукометрии: состояние и перспективы развития. Международная конференция. - М.: Ин-т проблем развития науки РАН, 2013. - С.107 - 109.

21. Проблемы наукометрии: состояние и перспективы развития. Международная конференция. - М.: Ин-т проблем развития науки РАН, 2013. - 124 с.

22. Рощин А.В., Тихонов И.П., Проничкин С.В. Методический подход к оценке эффективности результатов научно-технических программ // Экономический анализ: теория и практика. 2013. No.21. С.10-18.

23. Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - 568 с.

24. Фейгельман М.В., Цирлина Г.А. Библиометрический азарт как следствие отсутствия научной экспертизы // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С. 332-345.

25. Цыганов С.А., Рудцкая Е.Р., Хрусталёв Е.Ю. Фундаментальные исследования: проблемы и решения // Экономический анализ: теория и практика. 2013. No.39. С.2-14.

26. Чеботарев П.Ю. Оценка ученых: пейзаж перед битвой // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.506-537.

27. Штовба С.Д., Штовба Е.В. Обзор наукометрических показателей для оценки публикационной деятельности ученого // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.262-278.

28. Юревич А.В., Цапенко И.П. Эффективность отечественной социогуманитарной науки: наукометрический подход // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С. 408-420.

29. World Social Science Report. - Paris: UNESCO Publishuing, 2010. - 422 pр.

1. Andreenkov V.G., Orlov A.I., Tolstova Ju.N. (Ed.), 1985. Analysis of non-numerical information in sociological research. - Moscow: Nauka. - 222 pp.

2. Vikulov S.F., Khrustalyov E.Yu., 2012. The concept of training and qualification of the teaching staff // National interests: priorities and security 14, 10 - 17.

3. Grinchenko S.N., 2013. Does the solution for the problem of permanent evaluation of the contribution of the scientist in science? // Control large systems 44, 280 - 91.

4. Deza M., Deza E., 2013. Some remarks on the question of the evaluation of scientific publications // Control large systems 44, 362-365.

5. Edronova V.N., Ovcharov S.A., 2013. The content, structure and specific features of science as a special kind of activity // Economic Analysis: Theory and Practice 2, 2 -14.

6. Controlling : the textbook, 2013. Karminsky , S.G. Falco, A.A. Zhavago, N.Yu. Ivanova, ed. A.M. Karminsky, S.G. Falco. - 3rd ed., Dorab. - Moscow: Publishing House "FORUM": INFRA - M. - 336 pp.

7. Lavrinov G.A., Khrustalyov E.Ju., Kossenko A.A., Babkin G.V., 2013. The role of basic science in ensuring the defense of the State // National interests: priorities and security 35, 9 -20.

8. Milek O.V., Shmerling D.S., 2013 On the promotion of the University in the international academic "market" // Control large systems 44, 139 - 143.

9. Nalimov V.V., Mulchenko Z.M., 1969. Scientometrics . The study of the development of science as an information process. - Moscow: Nauka. - 192 pp.

10. Scientometrics and expertise in the management of science: a collection of articles, 2013 / Ed. D.A. Novikov , A.I. Orlov, P.Ju. Chebotarev. - M.: Institute of Control Sciences. RAS. - 572 pp.

11. Novikov D.A., Orlov A.I., 2013. Expert estimates - analyst tools // Industrial laboratory. Diagnosis of materials 4, 3 - 4 .

12. Orlov A.I., 2011. The influence of the methodology for the consequences of decisions. - Proceedings of the I International Congress of Controlling: issue number 1 / Under the scientific. ed. S.G. Falco. - Moscow: NP "OK". - P.86 - 90.

13. Orlov A.I., 2013. Two types of methodological errors in the management of research activities // Control large systems 44, 32 - 54 .

14. Orlov A.I., 2008. Controlling organizational and economic methods // Controlling 4, 12 -18 .

15. Orlov A.I., 2013. Scientometrics and management of research activities // Control large systems 44, 538 - 567 .

16. Orlov A.I., 2013. Some methodologically erroneous methods of analysis and estimation of scientific results // Russia: trends and prospects. Yearbook. 8. Part 2. / RAS. INION. Dep. Scientific . Cooperation and Intern. links; Ed. Ju.S. Pivovarov. - Moscow. - P.528 - 533.

17. Orlov A.I., 2010. On the development of expert technology in our country // Industrial laboratory. Diagnosis of materials 11,. 64 - 70.

18. Orlov A.I., 2011. Organizational and economic modeling: decision theory. Textbook. - Moscow: KnoRus. - 568 pp.

19. Orlov A.I., 2011. Organizational and economic modeling: Textbook. Part 2 . Expert estimates. - Moscow: Publishing House of the Bauman MSTU. - 486 pp.

20. Orlov A.I., 2013. Examples of methodological errors in the management of research activities // Scientometrics: status and prospects for development. International Conference. - Moscow: Institute for the Study of Russian Science Academy of Sciences. - P.107 - 109.

21. Scientometrics: status and prospects for development, 2013. International Conference. Moscow: Institute for the Study of Russian Science Academy of Sciences. - 124 pp.

22. Roschin A.V., Tikhonov I.P., Pronichkin S.V., 2013. Methodical approach to evaluating the effectiveness of scientific and technical programs // Economic Analysis: Theory and Practice. 21, 10 - 18.

23. Control large systems, 2013, 44. - 568 pp.

24. Feigel'man M.V., Tsirlina G.A., 2013. Bibliometric excitement as a consequence of the lack of scientific expertise // Control large systems 44, 332 - 345 .

25. Ciganov S.A., Rudtskaya E.R., Khrustalyov E.Ju., 2013. Basic research: problems and solutions // Economic Analysis: Theory and Practice. 39, 2 - 14.

26. Chebotarev P.Ju., 2013. Scientists estimate: landscape before the battle // Control large systems 44, 506 - 537.

27. Shtovba S.D., Shtovba E.V., 2013. A survey on scientometric indicators to assessment of researcher's publication activity // Control large systems 44, 262 - 278.

28. Jurevich A.V., Tsapenko I.P., 2013. The effectiveness of the national socio-humanitarian sciences: scientometric approach // Control large systems 44, 408 - 420 .

29. World Social Science Report. - Paris: UNESCO Publishuing, 2010 . - 422 pp.

Публикация:

Орлов А.И. О показателях эффективности научной деятельности // Экономический анализ: теория и практика. - 2014. - No. 7 (358). - С.21-29.