ASSESSMENT OF USE OF STATISTICAL METHODS IN SCIENTIFIC ARTICLES OF THE KAZAKHSTAN’S MEDICAL JOURNALS

全文:

Оветов, комиссий; ученым степеням и званиям как на национальном, так и на международном уровнях. В частности, формализованным критерием оценки труда ученого в вузе и научно-исследовательском институте на протяжении ряда лет является количество научных публикаций. На современном этапе обилия информации, непрерывно увеличивающегося количества научных статей и других публикаций и еще более динамично растущего количества попутных информационных материалов публикации зачастую осуществляются без должного отбора, рецензирования и редактирования, что девальвирует их ценность, поэтому критерий их количества уже не представляется столь значимым. На смену упомянутому критерию на первый план выдвинулись такие, как количество публикаций в рецензируемых журналах и индекс цитирования публикаций ученого. Поскольку индекс цитирования отдельных публикаций ученого определять достаточно затруднительно, остановились на публикациях в периодических научных изданиях, имеющих импакт-фактор. Импакт-фактор — показатель важности научного журнала. С 1960-х Медицинские журналы Казахстана движутся в международное пространство, однако сегодня ни один из них не имеет Science Citation Index и не входит в базу данных Web of knowledge, соответственно статьи, опубликованные в казахстанских журналах, не могут выйти на международный уровень. Это обусловливает необходимость анализа и определения ключевых проблем, которые «не способствуют» распространению результатов исследования казахстанских ученых. Цель работы - оценить использование статистики и соответствующего программного обеспечения авторами оригинальных статей в журналах, рекомендованных Казахским Национальным центром научно-технической экспертизы и включенных в базу данных еlibrary.kz Исследование проводилось в соответствии с протоколом, по которому оценивались его дизайн и методы статистического анализа. При оценке дизайна исследования авторами статей чаще всего использовались описание серии случаев, исследования «случай -контроль», описание отдельных случаев. Расчет размера выборки был произведен только в 21,8 % работ, в 63,9 % описание, каким образом проводилась выборка, отсутствовало. Ключевые слова: статистические методы исследования, распространение результатов исследования 61 Экология образования и науки Экология человека 2013.05 годов он ежегодно рассчитывается Институтом научной информации (Institute for Scientific Information, в 1992 г. был приобретен корпорацией Thomson и ныне называется Thomson Scientific) и публикуется в журнале «Journal Citation Report». Индекс ци-тируемости, или импакт-фактор, журнала — количество процитированных статей из журнала за два предыдущих года, отнесенное к общему количеству опубликованных статей в этом же журнале за эти годы. Частота цитирования статей из того или иного журнала определяет его рейтинг. Однако много значат также возраст журнала, заслуженная безупречная репутация и политика главного редактора. Импакт-фактор позволяет по формальным признакам сравнивать разные журналы и исследовательские группы. При присуждении грантов, выдвижении на научные премии (включая Нобелевскую) эксперты непременно обращают внимание на наличие у соискателя публикаций в журналах, охватываемых Journal Citation Reports. Кроме импакт-фактора используются еще «индекс немедленного цитирования» и «период полужизни» статьи. Однако именно импакт-фактор заслужил в последние годы особое внимание. Импакт-фактор как наукометрический критерий имеет следующие достоинства и недостатки (таблица). Основные положительные и отрицательные стороны индекса цитируемости № Положительная сторона Отрицательная сторона 1. Результаты расчета импакт-фактора публичны и легкодоступны Природа результатов в различных областях исследования приводит к различной частоте публикации результатов, которые оказывают влияние на импакт-факторы. Так, например, медицинские журналы часто имеют более высокие импакт-факторы, чем математические 2. Широкий охват научной литературы (в 2010 г. ISI индексировал свыше 16 500 журналов из более чем 60 стран) Языковой барьер — наибольшее число читаемых (и соответственно цитируемых) журналов приходится на англоязычные издания 3. Легкость понимания и использования Промежуток времени, когда учитываются цитирования, слишком короток (классические статьи часто цитируются даже через несколько десятилетий после публикации) В соответствии с импакт-фактором оценивают уровень журналов, качество статей, опубликованных в них, дают финансовую поддержку исследователям и принимают сотрудников на работу. Это в первую очередь относится к «западному» научному сообществу. Однако все большее значение импакт-фактор приобретает и в Казахстане. Публикации в журналах с высоким импакт-фактором в последние годы имеют большой вес для преподавателя при решении вопроса о дифференцированной оплате труда, при избрании по конкурсу на вакантную должность и т. д. Методы Мы провели анализ некоторых казахстанских журналов, рекомендованных Комитетом по контролю в сфере образования Министерства образования и науки Республики Казахстан. Исследование проводилось в соответствии с протоколом исследования, по которому оценивались его дизайн, методы статистического анализа. В паспортной части учитывались такие критерии, как название журнала, его специфика (общественное здравоохранение, клиническая медицина, фарм. медицина), номер выпуска, год издания, количество авторов по местам работы. Вид исследования оценивался по критериям: обзор, метаанализ, информация о конференциях, некрологи, представление лауреатов, оригинальное исследование, другое. Дизайн исследования определялся по названию: рандомизированное контролируемое исследование, когортное исследование, исследование «случай — контроль», перекрестные аналитические случаи, описание серии случаев, описание отдельных случаев. Методы статистического анализа определялись по следующим критериям: - методы расчета выборки; - применение методов статистической обработки (ручная обработка, обработка при помощи пакета статистических программ MS Excel, SPSS, Statgraphics, SAS); - соответствие названия методологии его содержанию (соответствие мнения автора/оценка эксперта); - какие статистические методы применялись для обработки данных: величина р, средние арифметические, стандартная ошибка средней арифметической, среднеквадратическое отклонение, средние геометрические, средние гармонические, медианы, квартили (перцентили), частоты и доли, доверительные интервалы (либо для долей, либо для средних), проверялась ли нормальность распределения (по критериям Шапиро - Уилка или Колмогорова - Смирнова), непарный критерий Стьюдента, парный критерий Стьюдента, поправка Бонферрони для множественых сравнений, критерий Манна - Уитни, критерий Вилкоксона для парных выборок, однофакторный дисперсионный анализ, критерий Краскела - Уоллиса, дисперсионный анализ для парных наблюдений, критерий Фридмана, корреляционный анализ с расчетом коэффициента Пирсона, корреляционный анализ с расчетом коэффициента Спирмена, корреляционный анализ с расчетом коэффициента Кендалла, одномерный (простой, однофакторный) линейный регрессионный анализ, многомерный (множественный, многофакторный) линейный регрессионный анализ, критерий хи-квадрат Пирсона, представлен ли расчет размера выборки в разделе методы, логистический регрессионный анализ, таблицы дожития, анализ выживаемости по методу Каплана — Майера, лог-ранговый критерий и 62 Экология человека 2013.05 Экология образования и науки его аналоги (Вилкоксона — Гехана, Тарона — Варе), анализ пропорциональных рисков Кокса (регрессия Кокса), характеристические кривые (ROC-кривые), анализ временных рядов (любой вид), математическое моделирование (любое, если не подходит под описание выше). Выборка журналов для проведения исследования проводилась сплошным методом за 2011 год (4 издания за один год) по следующим критериям включения и исключения: 1. Журналы, включенные в перечень рекомендованных Комитетом по контролю в сфере образования и науки, всего 44 журнала. 2. Из них журналы, включенные в базу данных еНЬга^кг, находящиеся в свободном доступе в онлайн-режиме, рекомендованные Казахским Национальным центром научно-технической экспертизы. Всего на сайте еНЬте^.^ в области здравоохранения было 8 журналов: из них в доступном онлайн-режиме два. По этическим соображениям, названия журналов обозначаться не будут. Генеральная совокупность составила 189 статей. Анализировались только оригинальные работы, всего 133 статьи (70,4 % от объема генеральной совокупности). Обзоры, некрологи, информации о международных конференциях, отчеты о работе диссертационного совета — всего 56 статей (29,6 % от генеральной совокупности), в которых не использовались методы статистического анализа, не учитывались. Нами был составлен протокол исследования, по которому оценивались дизайн исследования, методы статистического анализа. Результаты Всего было проанализировано 133 статьи. Количество авторов в одной статье в среднем — два человека. По местам работы чаще всего публиковались сотрудники научно-исследовательских институтов — 116 работ, что составило 87,2 % от числа проанализированных. Самыми активными оказались научные сотрудники из г. Алматы — 54 работы (40,6 %). Количество опубликованных работ авторами из городов Атырау, Караганда, а также из Южно-Казахстанской области составило по 13 с каждого региона, каждый -по 9,8 %. От авторов из городов Уральск, Павлодар, Талдыкорган, Актобе было принято и опубликовано по 6 работ, что составило по 4,5 % на каждый указанный регион. Также встречались работы из стран Содружества Независимых Государств, в частности Баку (Азербайджан) — 7 работ (5,3 %). В 11 научных работах (8,3 %) отсутствовала полная информация об авторе (название организации, город, контактные данные и т. д.). Только в 23 работах (17,3 %) есть ссылки на пакет применяемых программ. Из упомянутых наиболее часто исследователи применяли MS Excel — в 11 случаях, что составило 47,8 %; SPSS — в 7 случаях (30,4 %); Statgraphics — в 4 (17,4 %); SAS — 1 (4,3 %). Хотя, по данным некоторых авторов, применение программы MS Excell является наименее удачным, так как не дает возможности исследователю проверить тип распределения данных и имеет в наличии лишь параметрические методы статистики [1]. При оценке дизайна исследования авторами статей чаще всего использовались: описание серии случаев - 84 работы, что составило 63,2 %; исследования «случай — контроль» — 36 (27,1 %); описание отдельных случаев — 13 (9,8 %). Рандомизированные контролируемые исследования, когортные исследования, перекрестные аналитические случаи авторами не использовались. Расчет размера выборки в разделе «Методы исследования» был произведен только в 29 случаях (21,8 %); в 85 случаях (63,9 %) отсутствовало описание, каким образом проводилась выборка; в 18 (13,5 %) выборка отсутствовала вообще, что является неприемлемым при проведении исследования и может привести к заведомо ложным результатам. Методы аналитической статистики применялись в 61 работе (46,0 %): критерий Стьюдента в 24 (39,3 %), корреляционный анализ — в 22 (36,1 %), регрессионный анализ — в 9 (15,4 %), дисперсионный анализ — в 6 (9,8 %). В 30 случаях, что составляет 49,2 %, статистический метод не указан, что уже дает право читателю усомниться в ценности данных исследований. Что касается применения критерия Стьюдента, то ни в одной из работ не проводилась проверка всех трех из необходимых для его применения условий: две группы, нормальность распределения, равенство дисперсии. Такие статистические методы, как доверительные интервалы для долей, для средних; нормальность распределения (по критериям Шапиро - Уилка или Колмогорова - Смирнова), поправка Бонферрони для множественых сравнений; критерий Манна - Уитни, Вилкоксона и т. д. для обработки данных не использовались. Обсуждение результатов Критический анализ научных публикаций не является научной новизной, и проведенные зарубежные и отечественные исследования, где приводится достаточно доказательств того, что ошибки могут встречаться во время планирования, проектирования, анализа и интерпретации статистических данных, служат тому подтверждением [1, 3, 5]. Отрицательным моментом является то, что практически нет литературы, демонстрирующей неправильный расчет и общие недостатки компь

作者简介

A Akanov

Scool of Public Health, Kazakh National Medical University, Almaty, Kazakhstan

B Turdalieva

Scool of Public Health, Kazakh National Medical University, Almaty, Kazakhstan; Center of Evidence Based Medicine, Almaty, Kazakhstan

A Izekenova

Scool of Public Health, Kazakh National Medical University, Almaty, Kazakhstan

Email: aik-99@mail.ru

M Ramazanova

Scool of Public Health, Kazakh National Medical University, Almaty, Kazakhstan

E Abdraimova

Scool of Public Health, Kazakh National Medical University, Almaty, Kazakhstan

A Grjibovski

International School of Public Health, Northern State Medical University, Arkhangelsk, Russia;Department of International Public Health, Norwegian Institute of Public Health, Oslo, Norway

参考

补充文件