THE MOST COMMON ERRORS IN MEDICAL RESEARCH

Full Text

Несомненно, что проведение научных исследований в области медицины, как и в других сферах науки, сопряжено с необходимостью соблюдения различного рода стандартов и правил [3-5, 17, 23]. Их соблюдение позволяет обеспечить достоверность полученных результатов [6-8, 13, 14, 19, 24], их воспроизводимость, то есть возможность повторения полученного автором результата, а также использовать описанные результаты в систематических обзорах для выработки глобального научного знания по различным вопросам. Игнорирование же установленных правил и стандартов зачастую сводит на нет результаты целых исследований. Естественно, допущение различного рода ошибок на стадии планирования или реализации научного исследования может привести к тому, что исследование необходимо проводить заново, имеющиеся результаты непригодны для публикации, а тем более для защиты диссертации. Целью данной статьи является рассмотрение наиболее частых ошибок, которые совершают исследователи на этапе планирования или реализации медицинских научных исследований. Необходимо отметить, что в рамках подготовки данной статьи не проводился анализ уже опублико 59 Методология научных исследований Экология человека 2020.07 ванных научных трудов, так как большинство приведенных ошибок либо не позволяют опубликовать полученные результаты, либо исправляются еще на этапе выполнения исследования или экспертизы его результатов. Ввиду этого в статье приведены ошибки, которые встречались нами чаще всего в процессе научной и редакторской деятельности, а результаты, приведенные в статье, не претендуют на представление истинной частоты встречаемости данных ошибок. Недопущение ошибок очень важно, так как после того, как исследование будет проведено, их уже нельзя будет исправить. Естественно, приведенные в данной статье ошибки не являются исчерпывающим списком ошибок, которые могут допустить исследователи, приведены лишь те, с которыми наиболее часто встречались авторы данной статьи в процессе экспертизы и рецензирования научных статей или диссертаций. Опыт рецензирования и экспертизы отклоненных научных статей, не защищенных в итоге диссертаций, или диссертаций, которые существенно перерабатываются при прохождении защитных процедур практически в 100 % случаев, показывает, что подобные проблемы обусловлены дефектами планирования научных исследований [12, 15, 18, 25]. В ходе описания различного рода ошибок совершена попытка их систематизации на несколько групп: • формальные ошибки; • ошибки планирования; • ошибки формирования и работы с базой данных; • ошибки статистической обработки данных. Для начала рассмотрим формальные ошибки, которые допускаются исследователями при проведении медицинских исследований. К таким ошибкам можно отнести несоответствие исследования и планируемых результатов паспорту специальности, по которой планируется защита диссертации. Диссертация, представляемая к защите на соискание ученой степени, должна соответствовать паспорту той специальности, по которой она защищается. Утешительным вариантом может явиться то, что диссертация может соответствовать паспорту другой специальности, по которой защита не планировалась. При таком относительно благоприятном исходе исследователю предстоит огромная работа по корректировке текста диссертации под паспорт другой специальности. Но может возникнуть ситуация, когда исследование вообще не будет соответствовать какому-либо паспорту специальности. В таком случае вариантов как-то скорректировать диссертацию нет и необходимо будет начинать все заново. В связи с этим каждый исследователь на начальном этапе выполнения исследования, которое планируется представлять в виде диссертации на соискание ученой степени, должен ознакомиться с паспортом специальности, в рамках которой он выполняет свое научное исследование. С актуальными паспортами научных специальностей можно ознакомиться на сайте Высшей аттестационной комиссии в разделе «Справочные материалы» (https://vak.minobrnauki.gov.ru/main). Довольно часто авторами допускается еще одна формальная ошибка, которая заключается в неправильной формулировке цели и задач исследования. Цель исследования (конечный результат) - это результат, к которому приведет исследование, а задачи исследования - это действия, которые необходимо совершить для достижения цели исследования. В связи с этим (за редкими исключениями) цель исследования, как правило, должна начинать формулироваться с существительного, а задача - с глагола. Приведем несколько примеров приблизительных целей исследования, которые, по нашему мнению, соответствуют требованиям к их формулировке: повышение эффективности профилактики, диагностики, лечения или реабилитации заболевания путем совершенствования метода. разработка критериев оценки результатов профилактики, диагностики, лечения или реабилитации заболевания на основе. разработка мероприятий по совершенствованию организации медицинской помощи. снижение частоты осложнений и их последствий путем. и т. д. В дополнение к предыдущей ошибке можно отметить включение в задачи исследования не научных, а организационных задач. Так, например, встречаются такие формулировки задач исследования: провести анализ литературы, сформировать выборку исследования для. проанализировать полученные данные, сформировать выводы, практические рекомендации и т. д. Приведенные задачи несут лишь организационный характер и описывают физические действия, которые совершает исследователь при проведении исследования. В таком случае в задачи исследования можно включить: написать первую главу диссертации, написать вторую главу, сформулировать цель исследования, включить компьютер и т. д., ведь все это действительно необходимо сделать, чтобы достичь конечной цели, но, как уже было сказано, это лишь организационные задачи. Задачи исследования должны иметь научный характер и описывать научный результат, который должен быть получен для достижения конечной цели исследования. Приведем несколько примеров начальной части задач исследования, по нашему мнению, характеризующих и описывающих научный результат, который предполагается получить в ходе реализации данных задач: разработать методику.. разработать рекомендации. усовершенствовать. изучить. оценить влияние. оценить результаты. провести сравнительный анализ. определить. выявить. дать оценку.. установить. проанализировать. и т. д. К следующей группе ошибок, которые допускаются исследователями при проведении медицинских исследований, относятся ошибки планирования. Одной из самых важных, наиболее болезненных и часто допускаемых ошибок планирования является отсутствие заранее спланированного дизайна научного исследования. Под дизайном исследования в данном случае подразумевается цель исследования, его задачи, единицы наблюдения, учетные признаки, груп 60 Экология человека 2020.07 Методология научных исследований пировка единиц наблюдения для сравнения, критерии включения и исключения единиц наблюдения, сроки исследования и т. д. Зачастую подобные исследования можно охарактеризовать как «А давайте возьмем какие-нибудь данные, каким-нибудь образом их сравним, что-нибудь уж точно получим, как-то что-то напишем и как-нибудь защитим». После проведения такого исследования зачастую оказывается, что полученные исследователем результаты уже не имеют научной новизны, актуальности или в принципе не являются научными. В такой ситуации исследователи испытывают огромные затруднения, связанные с проведением исследования заново, а в итоге с переписыванием и корректировкой своего научного труда. Для того чтобы избежать такой ситуации, исследование необходимо начинать с формулировки цели, задач исследования и т. д. Достаточно даже того, что формулировки всех необходимых элементов плана научного исследования будут приблизительными и в процессе исследования будут скорректированы, но это уже даст исследователю возможность систематизировать для себя свое исследование и осознать, чего же он в итоге хочет и может достичь. С наиболее часто используемыми в медицинских исследованиях дизайнами можно ознакомиться в различных статьях [10, 15, 18, 25]. Следующей довольно частой ошибкой планирования является несоблюдение дизайна исследования при решении его частных задач. Под частными задачами исследования в данном случае подразумеваются задачи, решение которых не может ограничиваться применением классических методов описательной статистики, критериев для оценки различий между группами и коэффициентов корреляции для оценки связи между признаками, а возникает необходимость использования специализированных статистических методов и показателей (анализ выживаемости, отношение шансов, чувствительность, специфичность и т. д.). Очень часто исследователи изучают и пишут о факторах риска, анализе эффективности методов лечения или диагностики, но при этом в исследовании ограничиваются классическим сравнением двух или трех групп стандартными статистическими методами и критериями. Классический статистический подход является неприемлемым при решении таких исследовательских задач. Если проводится анализ факторов риска, то должен быть соблюден специализированный дизайн, который позволяет решить задачу анализа влияния фактора риска. Если изучаются методы диагностики, то необходимы специализированные показатели, характеризующие диагностическую ценность изучаемого метода, которые, в свою очередь, также могут быть рассчитаны только при соблюдении специализированного дизайна такого исследования. Классической ошибкой планирования научного исследования является игнорирование заблаговременного расчета минимально необходимого объема выборки. В таком случае, как правило, ис следователь использует данные, которые есть «под рукой», не задумываясь о достаточности объема этих данных для статистических доказательств и формулировки достоверных научных заключений и выводов. Далее исследователем производятся необходимые статистические расчеты, пишутся и публикуются статьи, оформляется диссертация и автореферат, но на одном из заключительных этапов у эксперта или рецензента возникает вопрос - а достаточно ли было изучить 120 пациентов? После такого вопроса зачастую возникает необходимость поиска дополнительного материала (который, как правило, уже не отвечает условиям случайности и репрезентативности выборки), перерасчета всех статистических параметров, использования новых методов и критериев, переписывания диссертации и т. д. А необходимо было лишь один раз разобраться с правилами определения объема выборки, рассчитать его, набрать необходимый объем данных и при возникновении вопросов аргументировано ответить на них, констатировав, что этого объема данных, рассчитанного конкретным способом, достаточно для проведения исследования. С наиболее часто применяемыми при планировании научных медицинских исследований методами расчета минимально необходимого объема выборки можно ознакомиться в различных статьях [2, 11, 20, 21, 22]. Следующей ошибкой планирования является отсутствие обеспечения случайности и репрезентативности выборки. К сожалению, чтение научной статьи или диссертации не позволяет, как правило, оценить была ли обеспечена случайность отбора единиц наблюдения в выборку. Отсутствие обеспечения случайности выборки может полностью перечеркнуть все результаты исследования. В связи с этим необходимо заблаговременно на этапе планирования исследования задаться вопросом об обеспечении случайного отбора. В отличие от обеспечения случайности выборки информация о ее репрезентативности генеральной совокупности вполне доступна из текста статьи или диссертации - исследователем, как правило, указывается, откуда были набраны данные и имеются заключения, в которых автором результаты экстраполируются на генеральную совокупность. Например, исследователем проанализированы пациенты специализированного медицинского центра, занимающегося тяжелыми случаями какой-либо патологии, а заключения сформированы на всех пациентов, страдающих данной патологией. Совершенно очевидно, что даже случайным образом отобранные пациенты специализированного медицинского центра не отражают всей совокупности пациентов, страдающих данной патологией, так как в они находятся в заведомо более тяжелом состоянии, чем все, страдающие данной патологией. Соответственно результаты, полученные из специализированного центра, не могут быть экстраполированы на всех пациентов, страдающих данной патологией. В таком случае необходимо либо использовать данные о пациентах не только из специ 61 Методология научных исследований Экология человека 2020.07 ализированного медицинского центра для обеспечения репрезентативности выборки, либо формулировать заключения, охватывающие лишь ту группу больных, которая была изучена, то есть ограничить генеральную совокупность только больными, страдающими тяжелыми случаями изучаемой патологии. К следующей группе ошибок, которые допускаются исследователями, относятся ошибки формирования и работы с базой данных. Одна из классических ошибок этой группы - неверное формирование электронной базы данных. Эта ошибка зачастую проявляется в том, что анализируемые группы находятся в разных файлах, отсутствуют столбцы в базе данных, указывающие на принадлежность пациентов к изучаемым группам, в одном столбце отражены несколько параметров, вместо «,» в десятичных дробях стоят «.», что не позволяет специальным статистическим программам распознать данные столбцы как количественные, и т. д. Неправильно сформированная база данных не позволит произвести статистическую обработку данных не только самому исследователю, но даже специалисту в области статистической обработки данных. Естественно, ошибку легко исправить, но на это может уйти много времени, а также при корректировке базы данных могут появиться механические ошибки ввода, копирования, вставки и т. д., что в конечном итоге даст неверные результаты расчетов. Следующая ошибка, довольно часто сопряженная с предыдущей, - отсутствие проверки данных на пропуски и ошибки перед анализом. Даже если исследователем верно сформирована структура базы данных, при ее заполнении всегда присутствует человеческий фактор и неминуемо появляются случайные пропуски ввода данных (т. е. данные по факту есть, но случайно не внесены в базу данных) или ошибки в данных (вместо «М»указано «м», вместо «,»указаны «.» и т. д.). Если перед анализом данных не проверить их на предмет пропусков или ошибок, то после окончания такого анализа может оказаться, что изучение одних параметров производилось на одном количестве пациентов, а других параметров на другом, что, собственно, вполне может натолкнуть исследователя на мысль, что нужно проверить данные на пропуски и ошибки, но анализ необходимо будет начинать сначала. К заключительной группе ошибок, которые допускаются исследователями, относятся ошибки статистической обработки полученных в ходе исследования данных. Одной из таких ошибок является отсутствие проверки количественных данных на нормальность распределения. В настоящее время данная ошибка встречается все реже и реже, но тем не менее она до сих пор не теряет своей актуальности. Эта ошибка может привести к неверному использованию статистических методов исследования и неверным выводам о выявленных закономерностях изучаемого объекта. Необходимо четко помнить, что статистические показатели, методы и критерии, предназначенные для анализа нормально распределенных данных, ни в коем случае не могут применяться при анализе количественных данных, нормально не рас пределенных. Обязательно необходима проверка всех количественных данных на нормальность распределения. По личному опыту авторов данной статьи можно отметить, что практически невозможна ситуация, когда все количественные параметры, изучаемые исследователем в процессе медицинского исследования, подчиняются закону нормального распределения. Как правило, закону нормального распределения подчиняются 3-5 параметров из всех имеющихся в базе данных. Опытные исследователи, знакомые довольно хорошо с медицинской статистикой, при анализе статьи или диссертации сразу обратят внимание на то, что автор не проверял данные на нормальность распределения, если увидят, что применены лишь статистические методы и критерии, предназначенные для анализа нормально распределенных данных, так называемые параметрические методы и критерии. Довольно часто встречается отсутствие четких задач, которые ставит перед собой исследователь при анализе данных. В таком случае исследователь применяет все свои знания в медицинской статистике и сравнивает все со всем, коррелирует все имеющиеся параметры друг с другом в надежде получить какие-либо отличия или связи. Чтобы избежать такого хаотичного анализа данных, необходимо задачи исследования разложить на подзадачи так, чтобы каждую подзадачу можно было решить с помощью конкретного статистического метода. Далее реализовать каждую подзадачу, а результаты реализации подзадач и будут основой реализованной задачи исследования в целом. В случаях, когда автором применяются в исследовании корреляционные методы, часто отмечается отсутствие статистического подтверждения отличия коэффициента корреляции от 0. Необходимо отметить, что получение коэффициента корреляции, например 0,9, еще не может свидетельствовать о наличии сильной положительной связи между анализируемыми признаками. Это связано с тем, что формулы расчета коэффициентов корреляции не учитывают при получении результата объема выборки, на котором получен данный результат. Так, коэффициент корреляции 0,9 может быть получен и при объеме выборки, равной 5, и при объеме в несколько тысяч единиц наблюдения. Совершенно очевидно, что коэффициент корреляции 0,9, полученный на данных о 5 пациентах, не может свидетельствовать о фактическом наличии связи между признаками, а носит, скорее всего, лишь случайный характер. Для подтверждения наличия связи между признаками необходимо статистическое подтверждение отличия полученного коэффициента корреляции от 0 в виде уровня значимости (p) данного отличия. Та же самая ошибка встречается при осуществлении частных задач исследования в виде игнорирования необходимости подтверждения статистической значимости показателей, характеризующих влияние факторов риска, диагностические методы, методы лечения и т. д. 62 Экология человека 2020.07 Методология научных исследований Довольно редкая на сегодняшний день ошибка, но иногда все же встречающаяся - сравнение групп по абсолютным значениям, а не по относительным. Например, среди мужчин было 83 пациента с тяжелой формой заболевания, а среди женщин - 98. В таком случае на первый взгляд можно сделать заключение о том, что среди женщин тяжелая форма заболевания встречается чаще, но если пересчитать абсолютные значения в относительные, то может получиться, что среди мужчин было 55,3 % пациентов с тяжелой формой заболевания (83 из 150 мужчин), а среди женщин - 49,0 % (98 из 200 женщин). То есть при пересчете результатов в относительных величинах заключение может кардинально измениться. Еще одной ошибкой, которую допускают исследователи, является неверный выбор статистических методов и критериев. Как указывалось выше, при выборе методов и критериев может игнорироваться проверка на нормальность распределения количественных данных, не определяться связанность или несвязанность сравниваемых групп, вид данных и другие характеристики анализируемых данных. В таком случае получаемые результаты являются неверными и соответственно заключения и выводы, сформулированные на основе этих результатов, также оказываются неверными. При выборе статистического метода или критерия необходимо руководствоваться тем, что они всегда имеют свои ограничения и могут быть применены лишь в конкретных случаях. С правилами корректного выбора метода для статистического анализа медицинских данных можно ознакомиться в других статьях [1, 9, 16]. Таким образом, в статье рассмотрены наиболее частые ошибки, совершаемые исследователями при проведении научных медицинских исследований. Планирование дизайна научного исследования, соблюдение дизайна при решении частных задач исследования, корректное определение и формулировка цели и задач, включение в исследование научных, а не организационных задач, определение минимально необходимого объема выборки и обеспечение случайности и репрезентативности при ее формировании, правильный выбор и применение статистических методов и критериев с подтверждением статистически значимых отличий позволяет исследователю избежать ошибок при проведении научного медицинского исследования. Авторство Наркевич А. Н. внес существенный вклад в концепцию и дизайн исследования, получение, анализ и интерпретацию данных, подготовил первый вариант статьи, окончательно утвердил присланную в редакцию рукопись; Виноградов К. А. внес существенный вклад в концепцию и дизайн исследования, получение, анализ и интерпретацию данных, существенно переработал первый вариант статьи на предмет важного интеллектуального содержания, окончательно утвердил присланную в редакцию рукопись.

About the authors

A. N. Narkevich

V. F. Voyno-Yasenetsky Krasnoyarsk State Medical University

Email: narkevichart@gmail.com
Krasnoyarsk, Russia

K. A. Vinogradov

V. F. Voyno-Yasenetsky Krasnoyarsk State Medical University

Krasnoyarsk, Russia

References

Supplementary files