ECOLOGICAL STUDIES IN MEDICINE AND PUBLIC HEALTH



Cite item

Full Text

Abstract

In this article we present the main methodological principles of planning and performing ecological (correlation) studies as well as the principles of statistical analysis of data obtained in ecological studies. The theoretical background of this study design, its main advantages and disadvantages are presented. We also describe research questions that can be studied using ecological study design. Step by step instructions for statistical data analysis using free online calculators are presented. Correlation coefficients and their interpretation are described using example from real studies. Examples of ecological studies from the literature including examples from the Arkhangelsk region are presented.

Full Text

В настоящей статье читатели смогут познакомиться с основными характеристиками, организацией, методами анализа и интерпретации результатов экологических исследований. Экологическое исследование (ecological study, корреляционное исследование, correlation study) - это эпидемиологическое обсервационное исследование [2, 4, 5, 16, 18]. Экологическое исследование может быть описательным или аналитическим. С основной терминологией, применяемой для характеристики научных исследований, мы подробно знакомили читателей ранее [8]. Исследование называют обсервационным, когда его автор только наблюдает естественное течение событий, не производя никакого воздействия со своей стороны. Одномоментным считается исследование, в котором развитие событий в динамике не оценивается. В своем классическом варианте экологическое исследование является одномоментным. Если хотят оценить динамику, то это уже будет экологическое исследование тренда. Описательным экологическое исследование будет в случае, если целью авторов является параллельное описание распространенности воздействия или исхода в популяции. Если же авторы будут изучать связь между воздействием и исходом, то исследование будет аналитическим. Экологические исследования являются несколько обособленным типом эпидемиологических исследований, что связано с рядом их отличительных признаков: 1. Единицей анализа в исследовании являются не индивиды, как в большинстве других типов исследований [2, 5-7, 9, 10], а группы людей, так как в анализ включаются групповые значения показателей изучаемых переменных. Очень целесообразно применение экологических исследований в тех случаях, когда популяционные (межгрупповые) различия интересует нас больше, чем внутрипопуляционные (внутригрупповые) различия. 2. Объединение интересующих индивидов в группы чаще всего происходит по территориальному принципу (страна, регион, район), но может происходить и по временому принципу (день, неделя, месяц наблюдения). 57 Практикум Экология человека 2016.09 3. Нет основной и контрольной групп. 4. Для анализа используются вторичные данные - официальная информация о социально-демографических показателях, показателях здоровья (заболеваемость, распространенность, смертность и др.), информация о воздействии (распространенность или уровень фактора риска, например, концентрация каких-либо веществ в воздухе на изучаемой территории). Основной задачей экологических исследований является формирование гипотез о наличии связей между изучаемым воздействием и исходом, которые в дальнейшем можно проверить при проведении других типов исследований с более высокой доказательной способностью. Классическая схема проведения экологического исследования представлена на рис. 1. При этом выявление связи между изучаемым фактором и исходом основано на проведении корреляционного анализа, то есть на определении силы и направления связи между воздействием и исходом. На настоящий момент существует несколько вариантов расчета коэффициентов корреляции, но в биомедицинских исследованиях наибольшее распространение получили корреляционные коэффициенты Пирсона и Спирмена [1, 3]. 1. Коэффициент корреляции Пирсона (rp) является параметрическим и применяется при соблюдении ряда условий: • переменные воздействия и исхода представляют собой количественные, непрерывные показатели; • один из признаков (желательно оба) имеют нормальное распределение; • наблюдения не зависят друг от друга; • количество наблюдений 25 и более; • парность наблюдений (воздействие и исход должны быть оценены у одних и тех же единиц исследования); • зависимость между воздействием и исходом носит линейный характер; • гомоскедастичность (разброс значений зависимой переменной не зависит от значений независимой переменной). 2. Коэффициент корреляции Спирмена (rs) является непараметрическим, для его расчета используется ранжирование истинных значений признаков, и его применяют в случаях, когда не соблюдается условие нормальности распределения количественных данных, Ґ Л а также в случае использования ранговых переменных. Корреляционный коэффициент Пирсона имеет большую по сравнению с коэффициентом Спирмена статистическую мощность, однако он очень чувствителен к наличию «выскакивающих величин, выбросов», что может исказить полученные в результате анализа данные. Коэффициент корреляции Спирмена может быть применен и при соблюдении всех условий для применения коэффициента Пирсона, однако в связи с меньшей статистической мощью применять его в таких случаях нецелесообразно. Коэффициенты корреляции Пирсона и Спирмена могут принимать значения от -1 до 1 и интерпретируются следующим образом: 1) r = 0 - связь между признаками отсутствует; 2) r > 0 - имеется прямая связь между признаками • 0 < r < 0,3 - слабая прямая связь • 0,3 < r < 0,7 - прямая связь средней силы • r > 0,7 - сильная прямая связь • r = 1 - полная прямая связь; 3) r < 0 - имеется обратная связь между признаками (интерпретация значений коэффициента аналогична вышеприведенным). В связи с тем, что такая трактовка коэффициентов все-таки условная, более целесообразным для определения силы связи между изучаемыми переменными является коэффициент детерминации, который можно рассчитать путем возведения коэффициента корреляции в квадрат (r2). Коэффициент детерминации обозначает, какую долю вариабельности одной переменной способно объяснить влияние другой переменной. Например, r2 = 1 свидетельствует о том, что вариабельность значений зависимого признака (исхода) обусловлена только значениями независимого признака (фактора риска), а при значении коэффициента корреляции Пирсона r = 0,7 мы уже видим, что одна переменная будет отвечать только за 49 % вариабельности другой (0,7 х 0,7 х 100 %). Не стоит забывать, что при анализе всего двух переменных (1 воздействия и 1 исхода) мы не учитываем потенциальное влияние многих других переменных. Также следует помнить о том, что наличие статистической связи между переменными не тождественно наличию причинно-следственной связи между признаками. Так как экологическое исследование - исследование одномоментное, то есть в один момент времени оценено наличие воздействия Рис. 1. Схема проведения экологического исследования 58 Экология человека 2016.09 Практикум и исхода, выявить причинно-следственные связи на основании экологического исследования не представляется возможным. В случае изучения одновременного воздействия нескольких факторов следует использовать различные варианты регрессионного анализа для осуществления контроля за потенциальными конфаундерами. Следует отличать экологическое исследование от кластерного, то есть любого типа исследования, при котором в качестве метода формирования выборки используют кластерный способ. Кластер - это группа людей, которые объединены каким-либо общим свойством (наличие одних и тех же генов, принадлежность к малой народности или просто проживание в одном месте (многоквартирный дом, район, город и т. д.)). Если формирование кластера происходит по территориальному признаку, существует потенциальная возможность перепутать данный тип исследования с экологическим. Однако главным различием будет являться то, что при использовании кластерного метода формирования выборки сбор данных будет осуществляться на индивидуальном уровне с возможностью последующего обобщения, тогда как в экологическом исследовании доступен для анализа только средний популяционный показатель. Таким образом, основными сферами применения экологических исследований являются сравнения по географическому признаку, исследования влияния каких-либо климатических условий, исследования любых воздействий при наличии только популяционных значений фактора или исхода, исследования тренда (динамические экологические исследования), исследования с участием мигрантов (с целью разделения генетических причин болезней и факторов, связанных с воздействием окружающей среды, которые меняются при миграции), исследования лиц - представителей определенных профессий и различных социальноэкономических групп населения. Основные этапы проведения и статистического анализа результатов экологического исследования [7]: 1) анализ литературы; 2) определение основной цели и задач исследования; 3) формулировка рабочей гипотезы; 4) разработка методологии исследования: • определение изучаемого исхода; • определение изучаемой популяции; • определение факта воздействия изучаемого фактора (факторов) риска; 5) сбор фактического материала; 6) выбор статистических методов для анализа данных; 7) обработка данных; 8) анализ полученных результатов; 9) формулировка выводов; 10) дальнейшие шаги. Рассмотрим пример экологического исследования, которое может быть проведено буквально за несколько минут. Цель исследования - оценить связь между средним употреблением алкоголя в литрах на душу населения и общей смертностью на 1 000 населения в странах Европейского региона Всемирной организации здравоохранения (ВОЗ) по данным за 2010 год. Рабочая гипотеза - чем выше количество употребляемого алкоголя, тем выше общая смертность в стране. Данные для проведения экологического исследования могут быть вторичными (можно использовать опубликованные данные, в нашем случае мы используем информацию с сайта http://data.worldbank.org и из официального статистического отчета ВОЗ [11]), создадим сводную таблицу (табл. 1). Таблица 1 Среднее потребление алкоголя (в литрах на душу населения) и общая смертность (количество случаев на 1 000 населения) за 2010 год № п/п Страна Потребление алкоголя, литров в год на человека (значения х) Смертность на 1000 населения (значения у) 1 Азербайджан 2,3 6 2 Армения 5,3 9 3 Беларусь 17,5 14 4 Бельгия 11,0 10 5 Болгария 11,4 15 6 Венгрия 13,3 13 7 Греция 10,3 10 8 Грузия 7,7 11 9 Испания 11,2 8 10 Италия 6,7 10 11 Казахстан 10,3 9 12 Кипр 9,2 7 13 Латвия 12,3 14 14 Литва 15,4 14 15 Македония 6,7 9 16 Мальта 7,0 7 17 Молдова 16,8 12 18 Польша 12,5 10 19 Португалия 12,9 10 20 Россия 15,1 14 21 Румыния 14,4 13 22 Сербия 12,6 14 23 Словакия 13,0 10 24 Словения 11,6 9 25 Узбекистан 4,6 5 26 Украина 13,9 15 27 Хорватия 12,2 12 28 Черногория 8,7 10 29 Чехия 13 10 30 Эстония 10,3 12 59 Практикум Экология человека 2016.09 Для статистического анализа используем корреляционный анализ с учетом 30 наблюдений. Первоначально необходимо проверить, соблюдаются ли условия, необходимые для применения корреляционного коэффициента Пирсона. Для этого определим тип распределения данных. При проверке типа распределения данных больших выборок применяют критерий Колмогорова - Смирнова, критерий Шапиро - Уилка используют, если необходимо проверить распределение данных в небольших выборках. Предлагаем использовать бесплатный онлайн-калькулятор для расчета критерия Шапиро - Уилка (http://scistatcalc. blogspot.ru/2013/10/shapiro-wilk-test-calculator.html). Интерпретировать значение критерия Шапиро - Уилка можно так: если достигнутый уровень значимости (р) меньше 0,05, мы отклоняем нулевую гипотезу (о том, что распределение не отличается от нормального), следовательно, распределение будет отличным от нормального, что требует применения непараметрических методов анализа (например, коэффициент корреляции Спирмена) [1]. Можно также проверить распределение данных путем построения гистограмм или квантильных диаграмм. Начнем с ввода данных о потреблении алкоголя, обращаем внимание, что введение данных с десятичными значениями происходит с использованием точек, а не запятых (рис. 2). Результаты расчета критерия Шапиро - Уилка и гистограммы для показателей SlaHsDcd Tests Procedures Опйле CatuölDfs 14 OcMWf »13 S ha pi го-Wi Ik Test Calculator Either enter con ma separated numbers below (musl be three or more samples), or press choose file button la enter a single column CSV tile (nole: if you clear (he textarea afler beding a file, please reload page lo be able lo load Ihe same file agan ) 4,6 7. 7.16 S. 13 5.13 9.16 1.14 i. 12 6,15, П 6, л 6.13.9,122. S.7.15,10 3 * \ Clear j..................... ............... ............... QÇsop, Рис. 2. Ввод данных для расчета критерия Шапиро - Уилка потребления алкоголя и смертности представлены на рис. 3 и 4 соответственно. Статистическая значимость критерия Шапиро - Уилка для обоих показателей больше 0,05 (0,489 и 0,157), что свидетельствует о нормальном типе распределения данных. При этом следует обратить внимание, что диаграммы не совсем соответствуют привычному колоколообразному виду, что связано с небольшим числом наблюдений. Проверить условия наличия линейной связи между переменными, а также гомоскедастичности можно с помощью построения скаттерограммы (диаграммы рассеяния) с использованием программы MS Excel или онлайн-калькулятора http://www.socscistatistics. com/tests/pearson/Default2.aspx (рис. 5). На графике видно, что с увеличением значения потребления алкоголя происходит увеличения уровня смертности. Рис. 3. Проверка типа распределения данных о потреблении алкоголя в литрах на душу населения за 2010 год Рис. 4. Проверка типа распределения данных смертности на 1 000 населения за 2010 год 60 Экология человека 2016.09 Практикум X Values Y Values 2.3 6 5.3 * Э А 11.5 И 11 10 11.4 15 13. Э 13 10.3 10 7.7 11 11.2 8 6.7 10 10.3 9 ЭЛ 7 12.3 и 15.4 14 6,7 Э 7 7 1*. S 12 12.5 10 12.9 V 10 у 15.1 И The value of R, Is 0,7351. This is a moderate positive correlation, which means there Js э tendency for high X variable sçcres 90 with high y variable scores {and vice versa). The value of ft*, the coefficient of determination,, Is 0.3-1 IB* I Calculate R J j Reset J Рис. 5. Ввод данных, скаттерограмма (точечная диаграмма) и расчет коэффициента корреляции Пирсона Условия независимости наблюдений (параметров для различных государств), парности наблюдений и другие также соответствуют таковым для возможности применения коэффициента корреляции Пирсона. Значение коэффициента корреляции Пирсона (R = 0,736, но более распространены обозначения r или rp) свидетельствует о сильной положительной (прямой) корреляционной связи между количеством употребляемого алкоголя и уровнем смертности. Коэффициент детерминации (R2 = 0,7362 = 0,542) указывает на то, что 54 % различий в смертности между изучаемыми странами может быть связано с различиями в количестве употребляемого алкоголя. Статистическую значимость коэффициента корреляции можно рассчитать с применением очередного онлайн-калькулятора на том же сайте http://www. socscistatistics.com/pvalues/pearsondistribution.aspx (рис. 6). Значение коэффициента корреляции Пирсона 0,736 при количестве наблюдений, равном 30, имеет значение < 0,00001, то есть выявленная связь статистически значима (значение показателя менее критического для биомедицинских исследований 0,05). This should be self-explanatory, but Just In use It's not; your r store goes In the ft Score box, the number of pairs In your sample goes In the N box [you must luva at Least 3 pairs), then you select your If you rvfrtd t» dertv« 11 мог« from raw dat*, you cm fhd * Р«агоп (0 cikul*tor her«. The P-Valua ts < 0,00001, The result Is significant at p < 0.05, Рис. 6. Расчет уровня статистической значимости для коэффициента корреляции Пирсона Чтобы установить значение коэффициента корреляции для генеральной совокупности, требуется определить его 95 % доверительный интервал (95 % CI - confidence interval), что можно сделать, используя другой онлайн-калькулятор http://vassarstats. net/rho.html (рис. 7). Значение корреляционного критерия Пирсона для генеральной совокупности с 95 % вероятностью попадет в интервал 0,512-0,866, с 99 % вероятностью - в интервал с границами 0,419 и 0,893. Мы видим, что чем выше уровень доверительной вероятности, тем шире границы доверительного интервала. Г - [ 0.736 ] Reset j П = 1 30 Calculate j 0.95 and 0.99 Confidence Intervals of rho Lower Limit Upper Limit 0.95 0.5X2 0.866 , 0.99 0.419 0.S93 Рис. 7. Расчет доверительных интервалов для коэффициента корреляции Пирсона По результатам проведенного нами экологического исследования можно сделать следующий вывод: между средним употреблением алкоголя на душу населения и общей смертностью существует тесная прямая корреляционная связь (r = 0,74, 95 % ДИ: 0,51-0,87, р < 0,001, n = 30) В принципе при представлении доверительных интервалов приводить уровень значимости (р) излишне, но многие русскоязычные журналы по-прежнему предпочитают «р» доверительным интервалам, несмотря на то, что последние обладают большей информативностью. Можно выделить следующие преимущества и недостатки экологических исследований [2, 4, 5, 16, 18]. 61 Практикум Экология человека 2016.09 Преимущества экологических исследований: 1. Быстрота выполнения 2. Низкие финансовые затраты 3. Возможность изучения множества факторов риска 4. Возможность изучения влияния редких исходов 5. Возможность проведения межпопуляционных и межрегиональных сравнений 6. Возможность быстрой проверки исследовательских гипотез 7. Возможность использования вторичных данных 8. Этическая безопасность (нет вмешательста, нет индивидуальных данных). Недостатки экологических исследований: 1. Невозможность выявления причинно-следственных связей 2. Экологическая ошибка (ecological fallaey) - систематическая ошибка, связанная с невозможностью применить выявленные на популяционном уровне ассоциации между признаками к конкретному представителю данной популяции 3. Невозможность доступа к интересующим исследователя данным в некоторых странах 4. Отсутствие интересующих исследователя данных во вторичной документации 5. Невозможность проверить качество сбора данных 6. Сложность сравнения различных популяций, если применяются различные критерии для оценки воздействия и диагностики исхода 7. Сложность изучения изменяемых во времени факторов риска 8. Сложность оценки эффекта при перемещении людей из одной изучаемой популяции (группы) в другую 9. Вероятность наличия коллинеарности - очень тесной связи между несколькими независимыми переменными, включенными в многомерный анализ 10. Возможность «смещения» результатов, если не учитывать конфаундеры. В связи с наличием такого широкого перечня недостатков к концу 20 века интерес к экологическим исследованиям значительно уменьшился. Однако в настоящее время наблюдается повышение интереса к экологическим исследованиям в связи с тем, что был предложен их модифицированный вариант. В новом варианте предлагается дополнять данные на популяционном уровне рядом изучаемых признаков и исходов, информация о наличии или отсутствии которых собирается на так называемом «индивидуальном» уровне для оценки внутригрупповых различий. При этом на первом этапе производится анализ популяционных данных, обладающих высокой статистической мощностью, производится подразделение популяций на определенные группы (стратификация) согласно комбинации географических факторов, воздействия и конфаундеров. После чего на второй стадии исследования в каждой страте производится субанализ данных с учетом внутригрупповых различий по воздействию фактора на исход (например, может быть создана база с наличием данных индивидуального уровня, сформированная из информации для каждой из стат). Такой подход может нивелировать основной недостаток экологических исследований, так как позволяет судить о различиях не только на популяционном уровне, но также и на уровне более узких страт, однако требует сложных статистических расчетов, для чего было предложено несколько аналитических подходов [19]. Примеры использования экологических исследований в литературе В качестве примера экологического исследования можно привести исследование, целью которого было выявление связи между потреблением основных групп продуктов и напитков и смертностью от онкологических заболеваний, ишемической болезни сердца и сахарного диабета в Сербии за 1991-2000 годы. Для статистического анализа был использован коэффициент корреляции Пирсона и множественный линейный регрессионный анализ. Выявлены различные прямые и обратные связи между потреблением продуктов и смертностью от изучаемых причин среди всего населения и в зависимости от пола. Примером того, что одновременный учет влияния нескольких факторов для развития исхода является более предпочтительным, могут служить следующие результаты исследования. Авторами выявлены прямые сильные и средние корреляционные связи между потреблением яиц (на душу населения) и смертностью от рака (rp= 0,890, p < 0,01), от ишемической болезни сердца (rp = 0,544, 0,01 < p < 0,05), от сахарного диабета (rp = 0,680, p < 0,01), которые, однако, не имели независимого влияния при проведении множественного линейного регрессионного анализа [17]. Другим примером является исследование с целью установить, зависит ли смертность при различных видах онкопатологии от температуры окружающей среды, то есть от феномена «глобального потепле- Рис. 8. Скаттерограмма зависимости средней стратифицированной по возрасту смертности от всех видов рака для обоих полов за период 2006-2010 гг. от средней суточной температуры за эти годы в различных штатах или округах США 62 Экология человека 2016.09 Практикум ния», проведенное американским ученым J. Hart [15]. На рис. 8 представлена скаттерограмма связи между средней стратифицированной по возрасту смертности от всех видов рака для обоих полов за период 2006-2010 годов от среднесуточной температуры за эти годы в различных штатах США (каждой точке на рисунке соответствует определенный штат или округ). Авторами выявлена обратная зависимость, то есть чем выше среднесуточная температура, тем ниже смертность от рака, за исключением одного выскакивающего случая (outlier), которым оказался округ Юнион. При проведении множественного регрессионного анализа с учетом других потенциальных факторов риска было установлено, что независимое влияние на уровень смертности оказывают температура (коэффициент регрессии = -4,6, p < 0,001) и курение (регрессионный коэффициент = 2,7, p = 0,010). Следующий пример - это исследование, проведенное в г. Архангельске с целью выявления связи между количеством случаев сальмонеллеза и среднемесячной температурой воздуха за 1992- 2008 годы. Авторы выявили прямую линейную связь между этими показателями, причем повышение температуры на 1 °С было связано с увеличением случаев сальмонеллеза на 2,04 % (95 % ДИ = 0,25-3,84), 1,84 % (95 % ДИ = 0,06-3,63) и 2,32 % (95 % ДИ = 0,38-4,27) при использовании различных математических моделей [12]. В качестве экологического исследования, содержащего дополнительный анализ данных на индивидуальном уровне, можно изучить работу, проведенную J. Wakefield и S. J.-P. A. Haneuse с целью выявления зависимости уровня младенческой смертности от веса при рождении с учетом влияния пола и этнической принадлежности новорожденных. В статье подробно представлен сложный алгоритм статистического анализа второй фазы исследования [20]. С примерами статей, использующих другие многомерные методы статистического анализа, в частности авторегрессионных модулуй Пуассона, при выполнении экологических исследований, читатели могут познакомиться самостоятельно [13, 14].
×

About the authors

K K Kholmatova

Northern State Medical University

Arkhangelsk, Russia

A M Grjibovski

Northern State Medical University; Norwegian Institute of Public Health; North-Eastern Federal University; International Kazakh-Turkish University

Email: Andrej.Grjibovski@gmail.com
INFA, Nasjonalt folkehelseinstitutt, Postboks 4404 Nydalen, 0403 Oslo, Norway

References

  1. Гржибовский А. М. Корреляционный анализ // Экология человека. 2008. № 9. С. 50-60.
  2. Общая эпидемиология с основами доказательной медицины. Руководство к практическим занятиям : учебное пособие / ред.: В. И. Покровский, Н. И. Брико. 2-е изд., испр. и доп. М. : ГЭОТАР-Медиа, 2012. 496 с.
  3. Петухов В. Г., Кучеренко В. З., Манерова О. А. [и др.]. Применение методов статистического анализа для изучения общественного здоровья и здравоохранения : учеб. пособие для практических занятий / под. общ. ред. В. З. Кучеренко. 4-е изд., перераб. и доп. М. : ГЭОТАР-Медиа, 2011. 256 с.
  4. Филиппенко Н. Г., Поветкин С. В. Методические основы проведения клинических исследований и статистической обработки полученных данных : методические рекомендации для аспирантов и соискателей медицинских вузов. Курск : Изд-во КГМУ, 2010. 26 с.
  5. Флетчер Р., Флетчер С., Вагнер Э. Клиническая эпидемиология: Основы доказательной медицины. М. : Медиа Сфера, 1998. 352 с.
  6. Холматова К. К., Гржибовский А. М. Применение исследований «случай-контроль» в медицине и общественном здравоохранении // Экология человека. 2016. № 8. С. 53-64.
  7. Холматова К. К., Харькова О. А., Горбатова М. А., Гржибовский А. М. Особенности применения одномоментных исследований в медицине и общественном здравоохранении // Экология человека. 2016. № 2. С. 49-56.
  8. Холматова К. К., Харькова О. А., Гржибовский А. М. Классификация научных исследований в здравоохранении // Экология человека. 2016. № 1. С. 57-64.
  9. Холматова К. К., Харькова О. А., Гржибовский А. М. Особенности применения когортных исследований в медицине и общественном здравоохранении // Экология человека. 2016. № 4. С. 56-64.
  10. Beaglehole R., Bonita R. Basic epidemiology. 2nd ed. World Health Organization, Geneva, 2006. 213 p.
  11. Global status report on alcohol and health. World Health Organization. Luxembourg, 2014. 392 p.
  12. Grjibovski A. M., Bushueva V., Boltenkov V. P., Buzinov R. V., Degteva G. N., Yurasova E. D., Nurse J. Climate variations and salmonellosis in northwest Russia: a time-series analysis // Epidemiol Infect. 2013. Vol. 141. P. 269-76.
  13. Grjibovski A. M., Kozhakhmetova G., Kosbayeva A., Menne B. Associations between air temperature and daily suicide Counts in Astana, Kazakhstan // Medicina (Kaunas). 2013. Vol. 49. P. 379-85.
  14. Grjibovski A. M., Nurgaliyeva N., Kosbayeva A., Sharbakov A., Seysembekov T., Menne B. Effect of high temperatures on daily counts of mortality from diseases of circulatory system in Astana, Kazakhstan // Medicina (Kaunas). 2012. Vol. 48. P 640-646.
  15. Hart J. Association between air temperature and cancer death rates in Florida: an ecological study // Dose Response. 2015. Vol. 13.
  16. Hulley S. B., Cummings S. R., Browner W. S., Grady D. G., Newman T. B. Designing clinical research. 4rd ed. Philadelphia : LW, 2013. 378 p.
  17. Ilic M., Hic I., Stojanovic G., Zivanovic-Macuzic I. Association of the consumption of common food groups and beverages with mortality from cancer, ischaemic heart disease and diabetes mellitus in Serbia, 1991-2010: an ecological study // BMJ Open. 2016. Vol. 6. Р e008742.
  18. Morgenstern H. Ecologic studies in epidemiology: concepts, principles, and methods // Annual Review of Public Health. 1995. Vol. 16. P 61-81.
  19. Wakefield J. Ecologic studies revisited // Annu Rev Public Health. 2008. Vol. 29. P. 75-90.
  20. Wakefield J., Haneuse S. Overcoming ecologic bias using the two-phase study design // Am J Epidemiol. Vol. 167. P. 908-916.

Supplementary files

Supplementary Files
Action
1. JATS XML

Copyright (c) 2016 Human Ecology



СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 78166 от 20.03.2020.


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies