Орлов А.И., д.э.н., д.т.н., к.ф.-м.н., директор Института высоких статистических технологий и эконометрики, профессор МГТУ им. Н.Э. Баумана, prof-orlov@mail.ru

Проблемами науковедения, управления наукой, наукометрии мы занимаемся с 1980-х годов. Некоторые итоги подведены в монографии 2017 г. [1]. В частности, обоснован выбор числа цитирований публикации в качестве основной характеристики результативности фундаментального научного исследования. При этом продемонстрирован вред ориентации на зарубежные базы данных SCOPUS и WEB OF SCIENCE и обоснована ориентация на использование Российского индекса научного цитирования (РИНЦ) [2].

Для принятия обоснованных решений в области управления наукой необходимо изучать свойства научного сообщества. Однако наукометрия дает лишь поверхностное описания процессов динамики научных публикаций, ее цель - изучения развития науки как информационного процесса. Она не нацелена на выявление глубинных процессов развития науки.

С целью устранения этого недостатка мы для анализа проблем развития реальной науки и управления ею предложили выделить в науке биполярные структуры, описываемые с помощью двух полюсов и взаимодействий между ними. В работах 2021 г. [3] мы выявили 23 пары взаимодействующих полюсов в развитии науки. Список этих биполярных структур является предварительным. На примере выделенных структур мы начали демонстрировать единство и борьбу противоположностей в развитии науки. Список 23 пар взаимодействующих полюсов отражает многообразие проблем развития науки. Каждая из выявленных биполярных структур заслуживает подробного рассмотрения.

Мы начинаем эту работу и в настоящей статье рассматриваем некоторые биполярные структуры. А именно, обсуждаем пары полюсов: фундаментальная наука - прикладная наука; наукометрия - экспертные методы оценки результативности в науке; польза программных продуктов класса "Антиплагиат" - вред таких систем. Для каждой из пар полюсов анализируем взаимодействие полюсов во времени, используя один из основных законов диалектики - закон отрицания отрицания.

Автор настоящей статьи - один из самых цитируемых математиков и экономистов России (см. РИНЦ). Поэтому можно выразить надежду, что читателей заинтересует обсуждение проблем развития науки одним из наиболее результативных действующих исследователей.

Научные исследования надо различать по тому, в чьих интересах они выполнены, для кого предназначаются. Выделим два полюса в развитии науки: прикладная наука и фундаментальная наука.

Один полюс - научные исследования в интересах конкретного заказчика. Например, при разработке конкретного образца космического аппарата или с целью изучения и завоевания рынка товаром определенной фирмы. Оценку результативности подобного исследования дает заказчик. Открытая публикация результатов исследования не является обязательной. Более того, часто она попросту запрещена ради сохранения государственной или коммерческой тайны. Рассматриваемую сферу деятельности назовем прикладной наукой.

Другой полюс - исследования с целью приращения чистого знания, "фундамента науки". Возможность практического применения зачастую даже не рассматривается. Рассматриваемую сферу деятельности назовем фундаментальной наукой. Можно сказать, что фундаментальные исследования - это те исследования, которые не нужны никому (никакому конкретному заказчику). Итог исследований - научные публикации, которые порождают новые публикации. Можно изучать развитие (фундаментальной) науки как информационного процесса. В первой в мире монографии по наукометрии так и делается [4]. Естественный показатель продуктивности - число публикаций, результативности - число цитирований (раз цитируют - работа оказалась полезной).

Говорят также, что фундаментальная наука - это удовлетворение любопытства исследователя за счет государства. Те, кто финансирует фундаментальную науку, не ожидают решения конкретных прикладных задач. Они вкладывают деньги в расширение знаний, т.е. являются благотворителями. В давние времена в качестве таковых выступали, например, монархи, а сейчас - государство, в том числе через созданные им фонды (например, Российский фонд фундаментальных исследований).

Зачем вкладывают деньги в фундаментальные исследования? Во-первых, ожидают (зачастую без обоснований), что дальнейшее развитие науки приведет к появлению важных прикладных результатов. Во-вторых, в процессе выполнения фундаментальных исследований, помимо получения знаний, развиваются умения и навыки научной работы у лиц, их проводящих, т.е., в частности, готовятся кадры для прикладной науки.

Из сказанного ясно, что наукометрические показатели (например, данные Российского индекса научных исследований) позволяют оценить продуктивность и результативность деятелей фундаментальной науки, но абсолютно не допускают применения для работников прикладной науки.

В реальности имеются переходные формы между фундаментальной и прикладной наукой. Заказчик может указывать направление исследований, не фиксируя полностью ожидаемые результаты. Это - движение от фундаментальной науки к прикладной.

Есть и движение в обратном направлении - от прикладной науки к фундаментальной. Например, при решении конкретной прикладной задачи разрабатывают новые методы, которые могут оказаться полезными при решении других задач. Эти методы уже не привязаны к конкретному заказчику, а потому их уже нельзя полностью относить к прикладной науке.

Следующий шаг - изучение этих методов, например, на основе соответствующей математической модели. Такое изучение часто проводят в отрыве от исходной прикладной задачи. Результаты такого изучения уже ближе к фундаментальной науке, чем к прикладной. Делают и дальнейший шаг - получают подобные методы на основе теоретических схем. Это уже фундаментальная наука.

Такое движение от прикладной науки к фундаментальной можно проследить при анализе развития различных разделов математики, например, геометрии или математической статистики (в качестве примера можно указать метод наименьших квадратов).

История науки показывает, что в определенный момент времени наука (как в целом, так и в отдельных областях) тяготеет к тому или другому полюсу. Можно описывать в терминах философии (тезис - антитезис - синтез).

Например, отрицанием экономических взглядов основоположника этой науки Аристотеля является рыночная экономика, а отрицанием отрицания, т.е. отрицанием рыночной экономики, - цифровая экономика, развивающаяся на основе солидарной информационной экономики.

Переход от практики к теории и обратно хорошо виден в развитии теории экспертных оценок и статистики нечисловых данных (более широко - статистических методов).

Напомним, что в ХХ в. ядерная физика вначале относилась к фундаментальной науке (тезис), затем - в ходе разработки ядерного оружия и атомных электростанций произошло отрицание ее статуса - эта область науки стала прежде всего прикладной (антитезис), после чего наметилось отрицание отрицания (синтез), и физики перешли к фундаментальному изучению свойств элементарных частиц.

Отметим здесь влияние таких переходов на кадровый состав научных структур. Если для фундаментальных исследователей важны люди мысли, то для прикладных - квалифицированные люди действия, организаторы и управленцы. Отнюдь не все из них могут затем перейти к фундаментальным исследованиям. Смягчить переходы от полюса к полюсу может сращивание научных и учебных организаций. Научно-исследовательские институты должны влиться в систему университетов. Тогда в периоды подобных переходов или временных замедлений развития соответствующих научных областей исследователи смогут заняться преподаванием, сохранить квалификацию и воспитать научную смену.

Можно ли оценить вклад конкретной работы в развитие науки? Распространено мнение, что это невозможно. Все работы уникальны, и поэтому их сравнение невозможно.

Даже если наблюдаем ряд работ, в каждой из которой улучшается некоторая характеристика по сравнению с предыдущей, нельзя утверждать, что вклад в науку растет вместе с номером работы в таком ряду. В каждой работе есть что-то свое, особенное, помимо улучшения рассматриваемой характеристики. Например, разработан новый метод, который может быть успешно применен при решении других задач.

Кроме того, надо учитывать величину приращения знания. Бывает так, что основоположник прорвался в новую область и получил в ней основные результаты, а последователи улучшают то одну мелочь, то другую. Можно привести такую аналогию. Основоположник построил дом. Последователь, условно говоря, закрасил несколько квадратных сантиметров стены этого дома. Следующий вбил гвоздик, на котором удобно повесить календарь. И так далее. Кто внес основной вклад? Ясно, что тот, кто построил дом. Но если следить за цепочками ссылок в научных публикациях, этого можно не заметить. Второй ссылается на первого, третий - на второго, и про основополагающий вклад первого забывают.

Бывает и иначе. Первый поставил задачу (указал место для строительства), второй создал фундамент, третий возвел стены, четвертый установил крышу, пятый осуществил внутреннюю отделку... В такой ситуации вклад каждого следующего работника науки принципиально важен.

Однако для решения задач управления наукой необходимо оценивать вклад конкретной работы (исследователя, организации, направления) в развитие науки. В частности, при распределении финансирования, организационных решениях, присуждения ученых степеней и званий, пополнении состава советов и академий.

С самого начала развития науки подобная оценка проводилась экспертными методами, на основе субъективных мнений авторитетных лиц. К настоящему времени арсенал экспертных методов весьма широк [5]. Технологии экспертной оценки научных работ хорошо проработаны, закреплены в нормативных документах, знакомы всем исследователям, которым приходится им следовать.

Однако с течением времени качество управления наукой на основе экспертных методов стало падать [6]. Обсудим причины этого падения.

По нашей оценке, основная причина состоит в лавинообразном увеличении в ХХ в. научных результатов и содержащих их научных публикаций. Если в Древней Греции каждый ученый мог знать всех своих коллег и читать их труды, то к началу ХХ в. такая полная осведомленность оказалась возможной лишь в пределах конкретной научной области - в физике, биологии, математике и др. Далее пошло деление на специальности (см. списки научных специальностей ВАК). Но и это не спасло - даже по специальности ВАК нижнего уровня, например, по теории вероятностей и математической статистике к настоящему уровню выпущены миллионы публикаций на всех крупных языках мира. Сопоставим этот наблюдаемый факт с ограниченностью возможностей человеческого мозга. Если каждую неделю читать по одной статье или книге, то за 100 лет можно овладеть примерно 5200 литературными источниками, т.е. долями процента от всех имеющихся, большая часть из которых остается актуальными, по крайней мере в некоторых отношениях. А сколько новых работ будет выпущено за это время! Можно сказать, что отличительной чертой современности является всеобщее невежество научных работников и преподавателей.

Будем говорить, что развитию науки мешает информационный барьер. И в борьбе с ним цифровизация помогает слабо. В Интернете иногда можно найти ответ на очень конкретный вопрос (например, когда родился конкретный человек). В ответ на более общий вопрос поисковик выдает информацию о тысячах сайтов. А в этих сайтах зачастую ошибки и невежественные утверждения. Не зря в научных статьях не рекомендуют ссылаться на Википедию.

Одним из заметных следствий сказанного является практическая невозможность для членов диссертационных советов выявить элементы новизны рассматриваемых диссертационных работ. Эта обязанность возложена на самих диссертантов, предъявляющих соответствующий раздел в своих авторефератах. Отметим также, что в диссертационных работах весьма редко используются результаты лауреатов нобелевских премий и членов Российской академии наук (РАН). Это свидетельствует, разумеется, о резком падении значения работ нобелевских лауреатов и членов РАН для научного сообщества.

В борьбе с информационным барьером помогает клановая структура науки, Наблюдаем разбиение исследователей на кланы численностью в несколько сотен или тысяч человек. Такой объем позволяет членам клана знать работы друг друга, как следствие, экспертным путем оценивать вклад в науку того или иного исследователя, входящего в тот же клан. В то же время внутри клана игнорируются научные результаты тех, кто не входит в этот клан. Сформировавшиеся кланы обычно обладают развитой инфраструктурой. Есть свои базовые организации (институты, кафедры), выпускаются научные журналы, проводятся конференции. Организована подготовка следующего поколения членов клана, полученные кланом результаты транслируются с помощью учебников. Заметим тут, что результаты, не включенные в учебники, постепенно забываются, поскольку следующее поколение с ними уже не знакомо.

Очевидно, кланы пересекаются. Достаточно часто наблюдаем матричную организационную систему, в которой исследователь относится в нескольким кланам. Например, работая в научно-исследовательском институте или вузе, он входит в клан этой организации. Одновременно он принадлежит определенному профессиональному клану, члены которого разбросаны по различным организациям, но изучают близкие вопросы.

Некоторые контакты между кланами происходят в ходе научных конференций, работы диссертационных советов и иных собраний. Однако в этих контактах участвуют лишь наиболее продвинутые и активные исследователи, рядовые и начинающие исследователи не выходят за пределы клана.

Из сказанного ясно, что результаты различных экспертиз определяются во многом тем, к каким кланам относятся эксперты. Эксперты поддерживают представителей своего клана и отрицательно относятся к работам исследователей из других кланов. Меры по привлечению независимых экспертов обычно не достигают своей цели. Например, в РИНЦ по тематике "математика" зарегистрировано 20647 исследователей (на 16 января 2022 г.). Однако Отделение математики РАН захвачено кланом сотрудников трех институтов математики РАН в Москве, Санкт-Петербурге и Новосибирске, в которых работает менее 1000 лиц. В академики и члены-корреспонденты избирают лишь из состава этого клана. В то же время вклад в математику этого клана отнюдь не является определяющим. По числу цитирований (по РИНЦ) из ныне живущих членов Отделения математики РАН самый результативный находится на 11-м месте, следующий - на 18-м.

Клановая структура науки особенно сильно мешает развитию новых направлений исследований, еще не породивших собственных кланов с мощной инфраструктурой. Новаторы испытывают сложности с публикациями, защитой диссертаций, финансированием. Кланы фиксируют давно сложившуюся структуру науки, являются тормозом в ее развитии.

Давно ощущается необходимость в разработке инструментария, позволяющего объективно оценивать вклад в науку конкретных работ, лиц, организаций. Как говорят, проводить сравнение вкладов "по гамбургскому счету". Для фундаментальных наук такой инструментарий предоставляет наукометрия, занимающаяся изучением развития науки как информационного процесса. Как уже говорилось, вклад работы в науку измеряется вкладом исследования в информационный процесс, т.е. числом ее цитирований в дальнейших публикациях. Раз цитируют - значит, работа нужна.

Наукометрический подход - отрицание традиционного многовекового подхода, основанного на субъективных мнениях, личных и клановых связях, сложившейся репутации, т.е. на экспертных оценках. Можно кратко сказать, что наукометрия - объективный инструмент измерения вклада в науку.

В последние годы в России наукометрические показатели стали активно использоваться администраторами для управления наукой, прежде всего для оценки научных достижений. При этом некоторые лица, считающиеся признанными научными работниками и профессорами, внезапно обнаружили, что их наукометрические показатели являются довольно скромными по сравнению с показателями других исследователей. Проще говоря, обнаружили, что их работы сравнительно мало читают. Естественно, они стали выражать свое недовольство.

Любой инструмент измерения имеет погрешности. Наукометрия - не исключение. Погрешности наукометрических выводов обсуждались, например, в вышедшем под нашей редакцией сборнике статей "Наукометрия и экспертиза в управлении наукой" [7]. Разработаны различные способы "накрутки" наукометрических показателей, например, искусственного завышения индекса Хирша [8]. Весьма важно, какой базой библиометрических данных пользоваться. Как уже отмечалось, нами продемонстрирован вред ориентации на зарубежные базы данных SCOPUS и WEB OF SCIENCE при решении задач управления наукой, поскольку такая ориентация приводит к резкому искажению наукометрических показателей и разнообразным отрицательным последствиям для развитии российской науки. По нашему мнению, в первую очередь надо использовать Российский индекса научного цитирования (РИНЦ) [9].

Критика наукометрии во многом справедлива. Можно говорить об отрицании наукометрии как панацеи и переходе к совместному использованию наукометрических и экспертных методов на новом витке диалектической спирали развития науки. Т.е. речь идет об отрицании отрицания экспертных методов управления наукой. Совместное использование наукометрических и экспертных методов анализирует Б.Г. Миркин, обсуждая понятие научного вклада [10].

Необходимо дальнейшее исследования такого феномена, как научный клан. Несмотря на большой интерес научной общественности к проблемам наукометрии, полученные в ней собственно научные результаты пока еще довольно поверхностны. Требуется дальнейшее изучение с помощью специализированных программных продуктов [11].

Необходима бескомпромиссная борьба со всем, что замедляет научный прогресс [12].

Выделим два полюса научной работы - собственные исследования и анализ предшествующих работ. На современном этапе развития науки взаимодействие этих полюсов естественно показать на примере использования программных продуктов класса "Антиплагиат".

В науке и преподавании плагиат - это некорректное заимствование чужого текста, т.е. без указания автора и источника (т.е. без цитирования). Часто плагиат связывают с нарушением авторского права. Однако ущерб правообладателю часто бывает лишь моральным, а плагиатор действует лишь с целью получения благ для себя лично.

С широким распространением компьютеров студенты стали готовить свои работы с их помощью. Вполне естественно найти в Интернете подходящий текст и вставить его в свое сочинение. Преподаватель, скорее всего, не заменит - не может же он помнить наизусть все подходящие источники. Следующий шаг - отправить свой файл товарищу. Результат понятен - технический прогресс заметно облегчил жизнь студентов.

Аналогичный подход стали применять и диссертанты. Подходящие для диссертации тексты можно найти в Интернете, вставить в свою работу, а потом и передать товарищу. Оппоненты, члены диссертационных советов и даже научный руководитель могут и не заметить плагиата, поскольку каждый из научных работников и преподавателей знает лишь доли процента от общего числа опубликованных работ по своей специальности.

Естественно использовать описанную технологию и для подготовки публикаций в научных журналах и сборников материалов конференций. Весьма мала вероятность того, что заимствование будет обнаружено автором исходного текста. Даже если и будет обнаружено, санкций не последует, поскольку нет адекватного репрессивного аппарата.

Однако технический прогресс позволил найти противоядие. Современные информационно-коммуникационные технологии позволяют просмотреть все имеющиеся в Интернете тексты и выявить повторы. Такую работу успешно проводят программные продукты класса "Антиплагиат". В настоящее время все студенческие работы и диссертации проверяют с помощью того или иного продукта этого класса. При обнаружении заимствований (без ссылок на источники) работы отправляют на переработку.

Уже на этом этапе бездумное применение систем "Антиплагиат" привело к некоторым отрицательным последствиям. Так, диссертанту вполне естественно составить свою классификационную работу из опубликованных им ранее статей. Однако "Антиплагиат" обнаруживает повторы, что ведет к требованиям о переработке текста диссертации. Недавно (с 1 августа 2021 г.) Высшая аттестационная комиссия (ВАК) вновь допустила защиты на основе доклада по опубликованным работам, однако такие защиты пока единичны. Отметим, что тридцать дет назад - в 1992 г. - свою первую докторскую диссертацию по техническим наукам автор защищал именно так, без подготовки текста докторской диссертации.

В настоящее время активно действует общественная организация "Диссернет", на сайте которой сказано, что это "вольное сетевое сообщество экспертов, исследователей и репортеров, посвящающих свой труд разоблачениям мошенников, фальсификаторов и лжецов". В соответствии с "Положением о присуждении ученых степеней" Министерством науки и высшего образования Российской Федерации может быть принято решение об отмене решения диссертационного совета о присуждении ученой степени. Заявление о лишении ученой степени может быть подано в течение 10 лет со дня принятия диссертационным советом решения о присуждении ученой степени. Примерно в половине случаев возбуждения дела о лишении ученой степени случаев заявление подает Диссернет. Таким образом, имеется правовой механизм принятия подобных решений. И он эффективно используется. К сожалению, невозможно привлечь к ответственности плагиаторов, для деяний которых срок давности уже истек.

Выявлены организации и диссертационные советы, для которых плагиат десять лет назад был нормой, а не исключением. Например, представляется, что анализ литературных источников для диссертаций одного и того же направления может быть типовым. Если источники одни и те же, то и их анализ может быть одним и тем же - зачем отходить от стандартного изложения? В настоящее время ВАК безоговорочно рассматривает повтор текста как плагиат (для более поздней работы). Может возникнуть вопрос: надо ли решать ученой степени лицо, допустившее плагиат, которое за последующие годы продемонстрировало свое умение получать ценные научные результаты? Однако такой вопрос носит обычно лишь теоретический характер, поскольку диссертант-плагиатор ничего в науке не делает в течение многих лет. Более того, он может разлагать следующие поколения, своим примером демонстрируя безнаказанность нарушения научной этики.

Процедура лишения научной степени задана в нормативных документах, и мы не будем ее разбирать здесь.

Чтобы избежать обвинений в плагиате, недобросовестные авторы стали перефразировать тексты, пересказывать их своими словами. Один из вариантов действий: русский текст перевести на английский (без затрат труда, применяя программы машинного перевода), а затем обратно - с английского на русский. Слова изменятся, смысл останется.

На это новшество борцы с плагиатом ответы созданием программ, позволяющих выявлять подобные трансформации текста. Результаты применения такого подхода хорошо показаны в известном сборнике "Физики продолжают шутить" [13]. Предисловие в этой книге составлено из набора стандартных фраз, для каждой из которых и даже для их частей указан литературный источник. Например:

"В заключение..."

С.Г. Калашников. "Электричество", Наука, изд. 2-е, 1964.

"... следует упомянуть..."

С. Глестон и М. Эдлунд. "Основы теории ядерных реакторов", ИЛ, 1954.

"...что..."

В. Смирнов. "Курс высшей математики", изд. 12-е, 1953.

".. деловая критика и всякие указания на недостатки и упущения будут с благодарностью приняты коллективом авторов".

"Курс физики" под редакцией Н. Д. Папалекси, М., 1948.

Примерно так работают продвинутые системы класса "Антиплагиат". Пример, конечно, утрирован. Но суть проблемы была выявлена еще более полувека назад. Вряд ли столь тщательное цитирование полезно.

Безудержная борьба с плагиатом приводит к отрицанию цели издания научных статей, которая, очевидно, состоит в том, чтобы передать читателю полезную для информацию, полученную в результате исследований автора. Весьма полезны для развития науки обзоры, а также обобщающие статьи, в которых автор сводит вместе результаты предыдущих исследований, в том числе своих. Ежемесячный научно-технический журнал "Заводская лаборатория. Диагностика материалов" - один из старейших в нашей стране (основан в январе 1932 г.). В нем постоянно публикуются обзоры и обобщающие статьи, которые были бы забракованы ретивыми антиплагиаторами. Очевидно, такие статьи основаны на анализе и систематизации ранее предложенных подходов и полученных результатов, а потому содержат описание этих подходов и результатов, что и будет выявлено при применении программ "Антиплагиат", выявляющих не столько полное заимствование, сколько схожесть текстов по смыслу, а потому и по форме. В итоге антиплагиаторы ставят заслон обзорам и обобщающим статьям, тем самым наносят заметный ущерб развитию науки.

Таким образом, применение программных продуктов класса "Антиплагиат" может приносить как пользу, так и вред.

Польза видна прежде всего при работе с начинающими исследователями, стимулируя их к изложению самостоятельно полученных научных результатов и пресекая пересказ известного материала. Начинающие исследователи обычно начинают "с нуля", у них нет накопленного багажа идей, подходов и результатов, а потому выявляются повторы лишь чужих текстов.

На наш взгляд, основное требование к научной публикации - быть полезной читателям. Однако у каждого издания - свои читатели. Отсюда следует, что в ряде случаев повторное изложение результатов не только не вредно, но полезно. Например, экономисту могут быть полезны новые результаты в области прикладной статистики, опубликованные в журнале "Заводская лаборатория. Диагностика материалов". Однако экономист не будет читать этот журнал - название отпугнет. Следовательно, для экономиста нужно специально рассказать, хотя бы в обзоре. Недаром учебники не проверяют на антиплагиат. Хотя зачастую учебник является одновременно монографией. Именно на это нацелен принцип МГТУ им. Н.Э. Баумана "Образование - через науку".

Особенно возмущает отрицательное отношение к самоплагиату, т.е. к повторному описанию собственных результатов автора. Пропагандисты такого отношения, видимо, считают, что любая новая работа начинается с нуля. На самом же деле новые результаты опираются на предыдущие публикации исследователя, которые, естественно, надо описать в новой статье. Необходимо также показать место новых результатов в системе ранее полученных. Это необходимо прежде всего для читателя.

О вреде бездумного применения программных продуктов класса "Антиплагиат" сказано достаточно. Предлагается ограничить использование таких продуктов, использовать их только для контроля качества работ начинающих исследователей, студентов и соискателей. Во всех остальных случаях следует исходить из интересов читателей, а не формальных результатов компьютерного анализа.

Итак, показано, что польза систем класса "Антиплагиат" (тезис) при отрицании исходной нацеленности на контроль качества студенческих работ и переходе ко всеобщему применению переходит во вред (антитезис), а затем отрицание отрицания дает сбалансированные, взвешенные рекомендации.

1. Лойко В. И., Луценко Е. В., Орлов А. И. Современные подходы в наукометрии: монография / Под науч. ред. проф. С. Г. Фалько. - Краснодар: КубГАУ, 2017. - 532 с.

2. Орлов А.И. Вред ориентации на базы данных SCOPUS и WEB OF SCIENCE // Россия: Тенденции и перспективы развития. Ежегодник. Вып. 16: Материалы XX Национальной научной конференции с международным участием "Модернизация России: приоритеты, проблемы, решения" / РАН. ИНИОН. Отд. науч. сотрудничества; Отв. ред. В.И. Герасимов. - М., 2021. - Ч. 1. - С. 835-840.

3. Орлов А.И. Наукометрия и экспертиза в управлении наукой: развитие и борьба полюсов // Научный журнал КубГАУ. 2021. No.173. С. 143-166; Орлов А.И. Науковедение в свете биокосмологической инициативы // Biocosmology - neo-Aristotelism, Vol.11. Nos.3&4 (Summer/Autumn 2021). Pp. 188-206.

4. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.

5. Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н. Э. Баумана, 2011. - 486 с.

6. Фрадков А.Л. Блеск и нищета формальных критериев научной экспертизы // Наукометрия и экспертиза в управлении наукой: сборник статей. - М.: Институт проблем управления РАН, 2013. - С. 346-361.

7. Наукометрия и экспертиза в управлении наукой: сборник статей / Под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева. - М.: Институт проблем управления РАН, 2013. - 572 с.

8. Луценко Е.В., Орлов А.И. Количественная оценка степени манипулирования индексом Хирша и его модификация, устойчивая к манипулированию // Научный журнал КубГАУ. 2016. No. 121. С. 202-234.

9. Орлов А.И. Вред ориентации на базы данных SCOPUS и WEB OF SCIENCE // Россия: Тенденции и перспективы развития. Ежегодник. Вып. 16: Материалы XX Национальной научной конференции с международным участием "Модернизация России: приоритеты, проблемы, решения" / РАН. ИНИОН. Отд. науч. сотрудничества; Отв. ред. В.И. Герасимов. - М., 2021. - Ч. 1. - С. 835-840.

10. Миркин Б.Г. О понятии научного вклада и его измерителях // Наукометрия и экспертиза в управлении наукой: сборник статей. - М.: Институт проблем управления РАН, 2013. - С. 292-307.

11. Луценко Е.В., Орлов А.И., Глухов В.А. Наукометрическая интеллектуальная измерительная система по данным РИНЦ на основе АСК-анализа и системы "Эйдос" // Научный журнал КубГАУ. 2016. No. 122. С. 157-212.

12. Крюков В.А., Тесля П.Н. Что замедляет научный прогресс // ЭКО, 2022, Т.52, No.1, С. 8-34.

13. Физики продолжают шутить. Сборник переводов / Сост.-пер.: Ю. Конобеев, В. Павлинчук, Н. Работнов, В. Турчин. - М.: Мир, 1968. - 318 с.

Публикация:

1220. Орлов А.И. Развитие фундаментальной науки как единство и борьба противоположных полюсов // Россия: тенденции и перспективы развития. Ежегодник. Вып. 17: Материалы XXI Национальной научной конференции с международным участием "Модернизация России: приоритеты, проблемы, решения" / РАН. ИНИОН. Отд. науч. сотрудничества; отв. ред. В.И. Герасимов. - М., 2022. - Ч. 1. - С. 848-852. ISBN 978-5-248-01032-5

http://ukros.ru/archives/30229, https://www.academia.edu/78298937/ , http://innclub.info/archives/22238, http://ukros.ru/archives/29257