CROSS-SECTIONAL STUDIES: PLANNING, SAMPLE SIZE, DATA ANALYSIS

Full Text

В предыдущем выпуске журнала мы представили классификацию научных исследований с подробным описанием оснований для их подразделения, а также кратко коснулись основных типов исследований [11]. В настоящей статье мы представляем основные принципы проведения одномоментного (поперечного) исследования, основных целей и задач, этапов проведения исследования, расчета необходимого объема выборки, статистического анализа полученных данных и основных выводов, которые можно сформулировать на основании данного типа исследования. Одномоментное исследование (cross-sectional study, поперечное, кросс-секционное, сквозное или исследование поперечного среза/сечения) - это эпидемиологическое исследование, в ходе которого участники обследуются однократно, а информация как об изучаемом заболевании, так и о факторах риска собирается в один и тот же момент времени. При этом исследователь получает информацию об интересующем его состоянии/заболевании и/или других признаках в определенный момент времени, то есть изучает распространенность (превалентность, prevalence, частота встречаемости, иногда используются термины «патологическая пораженность» и 49 Практикум Экология человека 2016.2 «болезненность») какого-либо состояния/заболевания. Распространенность показывает, у какой доли обследованных имеется интересующее состояние/ заболевание [2, 5, 12]. Число лиц, у которых выявлено изучаемое состояние (за определенный промежуток времени) Распространенность = ----------------------------- Число обследованных лиц (за определенный промежуток времени) Распространенность можно оценить двумя способами: как число лиц с определенным состоянием/ заболеванием на момент обследования или как число всех случаев выявления состояния/заболевания за какой-то период времени (например, в течение одного месяца) [7]. Если изучаемое явление не является стабильным хроническим заболеванием, то логично предположить, что на момент проведения исследования часть лиц может быть реконвалесцентами (то есть у них заболевание уже разрешилось), у части заболевание может начаться позднее (даже если заболевание разовьется в день исследования, но после осмотра, исследователь о нем чаще всего даже не узнает, так как участник проходит обследование однократно), если же заболевание тяжелое, то у части пациентов оно может привести к летальному исходу до начала обследования (при этом они также не попадут в выборку). Таким образом, с помощью одномоментного исследования выше вероятность выявления хронических длительно текущих заболеваний. При проведении поперечного исследования все измерения проводятся однократно в определенный момент времени, а информацию о наличии факторов риска можно получить на момент исследования или провести ретроспективный анализ [6, 7, 12]. Данные могут быть собраны у представляющей интерес популяции целиком (например, перепись населения), но чаще из временных и финансовых соображений для изучения используется часть объектов из интересующей популяции, которые образуют выборку. Способы формирования репрезентативной выборки были рассмотрены нами в предыдущей статье [11]. Необходимый объем выборки (или число лиц, которых нужно обследовать для того, чтобы полученные результаты можно было обобщить на изучаемую популяцию в целом) требуется рассчитать, исходя из численности популяции и распространенности изучаемого явления, которую чаще всего можно найти в литературе 2, 4, 5]. Данный тип исследований очень часто встречается в литературе, является описательным (если исследуется только распространенность и производится ее сравнение в различных группах) или аналитическим (одновременно собирается информация о факторах риска изучаемого состояния/заболевания, изучается отношение распространенностей). Распространенность изучаемого явления среди обследованных, имеющих фактор риска Распространенность изучаемого явления среди обследованных, не имеющих фактора риска Первым широко известным аналитическим вариантом поперечного исследования является работа, проведенная в 1849-1854 гг. английским анестезиологом Джоном Сноу, которого впоследствии стали называть «отцом эпидемиологии», с целью выявления источника заражения холерой жителей Лондона. За тридцать лет до открытия возбудителя холеры ученый провел оценку частоты встречаемости случаев холеры в зависимости от принадлежности домов к определенным источникам водоснабжения и выявил связь наибольшей распространенности случаев холеры в одном из кварталов Лондона с неглубоко залегающим колодцем, что помогло в течение пяти дней остановить вспышку холеры, унесшую жизни более шестисот человек [17]. При статистическом анализе данных, полученных при проведении одномоментных исследований, можно применять следующие методы [1, 6, 19]: 1. Критерий X2 Пирсона, используется для выявления межгрупповых различий для качественных переменных (независимо от количества групп сравнения). 2. Коэффициенты корреляции Пирсона и Спирмена, используются для выявления связей между количественными переменными (для признаков с нормальным и отличным от нормального распределением). 3. Регрессионный анализ, используется для моделирования влияния одной или нескольких независимых переменных (предикторов) на значение одной зависимой переменной (исхода). Основные этапы проведения и статистического анализа результатов одномоментного исследования: 1. Анализ литературы. 2. Определение основной цели и задач исследования. 3. Формулировка рабочей гипотезы. 4. Разработка методологии исследования. 5. Сбор фактического материала. 6. Выбор статистических методов для анализа данных. 7. Обработка данных. 8. Анализ полученных результатов, формулировка выводов и дальнейших рекомендаций. Предположим, мы хотим оценить распространен Отношение распространенностей = 50 Экология человека 2016.2 Практикум ность ожирения среди работников крупного промышленного предприятия и возможную связь с факторами образа жизни. 1. На первом этапе необходимо проанализировать литературу, чтобы понять, проводились ли подобные исследования (особенно в нашем регионе), насколько часто встречается ожирение (повсеместно, в России, в регионе) в популяции с аналогичной половозрастной структурой, какие факторы могут оказывать влияние на развитие и профилактику ожирения. Глубина проведенного анализа определяет степень владения материалом по теме и влияет на этап формирования методологической части исследования. Необходимо выяснить, не проводились ли ранее подобные исследования, в таком случае планируемое исследование не будет иметь новизны с научной точки зрения (единственное исключение, неоднократное проведение аналогичных исследований с целью оценки динамики) [3, 16]. По результатам анализа литературы было выявлено, что распространенность ожирения среди трудоспособного населения России составляет 20-25 %, выявлены связи ожирения с сидячим образом жизни и потреблением избыточного количества пищи. 2. Формулировка цели и задач исследования. Цель исследования - это обобщенная формулировка основного смысла исследования, предполагаемого результата его осуществления. Задачи исследования - это выбор средств или путей достижения цели исследования, более узкие по смыслу разделы исследования (не следует путать с этапами проведения самого исследования) [3, 16]. Цель исследования - выявить распространенность ожирения и его связь с низким уровнем физической активности и избыточным питанием у работников промышленного предприятия «N». Задачи исследования: - выявить распространенность ожирения среди работников промышленного предприятия «N». - выявить распространенность низкого уровня физической активности и избыточного питания среди работников промышленного предприятия «N». - оценить связь ожирения с факторами образа жизни у работников промышленного предприятия «N». 3. Формулировка рабочей гипотезы - один из наиболее ответственных этапов исследования. Гипотеза должна содержать в себе предположение, быть логически правильно построенной и проверяемой. В нашем случае сформулируем ее следующим образом: У 1/5 работников промышленного предприятия «N» есть ожирение, которое связано с низким уровнем физической активности и избыточным питанием. 4. Разработка методологии исследования - второй не менее важный этап исследования, который в конечном итоге определяет полученные результаты. Необходимо тщательно продумать, какие данные необходимы, каким образом они будут собраны (где, кем, когда, за какой период), как в дальнейшем проанализированы. Для определения каких-либо заболеваний необходимо использовать международные классификации и понятия. Если планируется использование опросников, то желательно найти уже ранее используемые, признанные в разных странах (валидированные) анкеты, которые позволят собрать интересующую исследователей информацию. Этот этап требует самого серьезного подхода, потому что после того, как данные будут фактически собраны, изменить или добавить что-либо будет уже невозможно. В данном случае полезным является проведение пилотного исследования - апробирования методологии, которую предполагается использовать, на малом количестве участников. Пилотное исследование позволит выявить ошибки или недочеты способов сбора информации и своевременно внести коррективы в методологию. В нашем случае необходимо решить, какую информацию мы будем собирать. Ожирение будем определять по ИМТ > 30,0 кг/м2 согласно классификации ВОЗ (1997, 2007). Низкий уровень физической активности будем определять с помощью 7-дневного международного опросника физической активности (IPAQ). Избыточное потребление калорий с помощью суточного (24-часового) опросника по питанию. Теперь необходимо выяснить, сколько работников нам нужно обследовать. Всего на предприятии работает около 3 000 человек (генеральная совокупность). Обследование всего штата сотрудников займет слишком длинный период времени. Необходимо сформировать минимальную выборку из работников, которых достаточно обследовать для того, чтобы можно было обобщить (перенести, экстраполировать) полученные выводы на всех работников. Для этого существует ряд статистических программ. Если у нас есть информация о предполагаемой распространенности ожирения, то воспользуемся версией № 7 бесплатной программы «Epi infoTM» (http://www.cdc. gov/epiinfo/). После установки программы необходимо открыть ее и зайти в раздел «StatCalc», «Sample Size and Power», «Population survey» (рис. 1). В открывшемся окне необходимо внести следующие данные в разделы: размер популяции (population size) - 3 000 человек, ожидаемая частота встречаемости признака (expected frequency) - 20 % (при отсутствии информации ожидаемую частоту считаем равной 50 %), в уровень точности оценки (confidence limits) внесем 5,0 % (наиболее распространенный в биомедицинских исследованиях предел ошибки первого рода, то есть ложного выявления значимых различий тогда, когда их фактически нет), в графах дизайн-эффект (design effect) и кластеры (clusters) поставим значение «1» (рис. 2). Таблица расчета необходимого объема выборки представлена справа на рис. 2. Необходимо обследовать 227 работников для того, чтобы с 95,0 % вероятностью иметь возможность перенести полученные результаты на всех работников предприятия. 51 Практикум Экология человека 2016.2 Рис. 1. Главное окно программы «Epi Info» шшт Рис. 2. Расчет объема выборки в программы «Epi Info» Если бы мы захотели повысить вероятность до 99,0 %, то нам потребовалось бы провести обследование 372 человек, то есть с повышением уровня доверительной вероятности объем выборки увеличивается. Если бы размер нашей популяции составил 10 000 человек при распространенности ожирения 20 %, то минимальный объем выборки был бы 240 человек, а если бы штат сотрудников был 3 000 человек, а предполагаемая распространенность ожирения была 40 %, то объем выборки составил бы 328 человек. То есть как при отдельном увеличении объема популяции, так и при увеличении распространенности признака размер выборки увеличивается, но не так значительно. Однако 227 человек - это не окончательный объем выборки, так как в ходе исследования часть работников может отказаться от участия в исследовании, некоторые могут не полностью, неразборчиво и т. д. заполнить опросники, в связи с чем часть информации придется исключить из анализа. С учетом таких моментов при расчете выборки принято увеличивать ее объем на 15-25 % от исходного, то есть выборка будет 227 X 25 % = 284 человека. Если у нас нет информации о предполагаемой распространенности ожирения, то воспользуемся другим бесплатным онлайн калькулятором «RaoSoft» (http://www.raosoft.com/). На панели инструментов слева выбираются разделы «Free tools» «Sample Size Calculator», куда необходимо внести только уровень точности оценки (5 %), значение доверительного интервала (95 %) и размер популяции (3 000) (рис. 3). Мы видим, что в данном случае размер предполагаемой выборки больше и составляет 341 человек (не забудем прибавить еще 25 %). Однако мы имеем информацию о распространенности ожирения, поэтому воспользуемся первым методом расчета выборки и обследуем 284 человека. Далее необходимо определить, каким образом мы будем отбирать единицы выборки или работников. Желательно использовать для отбора случайные методы, таблицу случайных чисел, или аналогичную компьютерную программу (собственно случайный отбор), или механический метод, то есть выбор, например, каждого десятого из списка сотрудников (моделированный случайный отбор). Рис. 3. Расчет объема выборки в программы «RaoSoft» В зависимости от объема выборки необходимо сформировать штат сотрудников и определить предварительные сроки проведения исследования. 5. Сбор фактического материала (обследование работников и заполнение ими опросников) должен производиться в соответствии с методологией исследования подготовленным персоналом. Все опросники должны быть проверены в момент сдачи на предмет отсутствия пропущенных вопросов, что позволит уменьшить потерю данных. Из 284 приглашенных на обследование прошли его 259 человек, у 7 работников опросники были заполнены частично. Таким образом, для анализа были использованы данные 252 человек. 6-7. Выбор статистических методов для анализа баз данных и обработка данных. В данном случае будут использованы оценка распространенности ожирения, а также критерий X2 Пирсона для выявления различий в распространенности ожирения у работников в зависимости от двух неблагоприятных факторов образа жизни. Для обработки данных в первую очередь необходимо сформировать электронную базу данных, где в числовом эквиваленте закодировать все собранные показатели, провести «чистку данных», максимально исключив все случайно неправильно введенные величины. Для статистической обработки можно использовать программы Excel, SPSS, STATA, Statistica, R и др. Из 252 обследованных ожирение выявлено у 67 человек. Распространенность ожирения = (67 / 252) х 100 % = 26,6 %. Чтобы обобщить полученные данные на всю совокупность работников предприятия (изучаемая популяция), нам следует рассчитать интервал значений распространенности, в который с вероятностью 95 % 52 Экология человека 2016.2 Практикум попадет популяционное значение распространенности ожирения. Для расчета 95 % доверительного интервала для доли (95 % ДИ, 95 % CI (confidence interval)) можно использовать метод Уилсона и воспользоваться онлайн калькулятором (http://vassarstats.net/prop1. html). Для расчета в окно «k» вводим количество человек с ожирением, в окно «n» вводим общее количество обследованных, нажимаем на «Calculate» (рис. 4). Калькулятором рассчитываются значения доли (Proportion) и нижнего (lower limit) и верхнего (upper limit) пределов значения 95 % доверительного интервала для доли. Мы видим, что истинное значение распространенности ожирения у всех работников предприятия с 95 % вероятностью будет находиться в интервале 21,5-32,4 %. Ширина доверительного интервала зависит от размера выборки, чем больше выборка, тем уже ширина доверительного интервала и наоборот. Таким образом, распространенность ожирения у работников предприятия составляет 26,6 (95 % ДИ: 21,5-32,4) %. 95% confidence interval: по continuity correction [ Lower limit = 0.2152 I Upper limit = 0.3237 Рис. 4. Расчет 95 % доверительного интервала для доли (онлайн калькулятор http://vassarstats.net/propi.html) Следующий этап - выявление связи ожирения с низким уровнем физической активности и избыточным питанием. Начнем с уровня физической активности и представим данные в виде таблицы (таблица). Ожирение и низкий уровень физической активности Ожирение (исход) Да Нет Всего Низкий уровень физической активности (фактор) Да 42 72 114 Нет 25 113 138 Всего 67 185 252 В ячейках таблицы представлена информация о количестве работников с ожирением и без ожирения, в зависимости от наличия или отсутствия у них низкой физической активности. Если физическая активность не связана с наличием ожирения, то распределение количества человек по ячейкам не должно сильно отличаться. Если связь между фактором и исходом существует, то при положительной связи будет выявлено скопление значений в ячейке на пересечении строк Да - Да, при отрицательной - на пересечении строк Нет - Нет. Для определения, является ли распределение данных по ячейкам случайным или нет и выявления статистической связи между фактором и исходом, необходимо использовать критерий х2 Пирсона. Вновь воспользуемся программой «Epi infoTM», войдем в меню «StatCalc» - «Tables (2 х 2 х n)» и заполним ячейки таблицы (рис. 5). (Хйлпк Уел №> 42 72j 114 Tt.tiX бій'-: ЄЗ.16% ЪВ22% 100.004 45,24% 25 113| 138 18.125: 37,31*'. 81.58% 6Ш% 100.00% 54,76% 67 185 252 26,55V. 100.00% 7341% IM,00% 100. wv. 100,00% Рис. 5. Расчет критерия х2 и отношения шансов в программе «Epi info» Значение критерия х2 равно 11,22, уровень статистической значимости 0,0008 (значение p < 0,001 свидетельствует о том, то распределение значений по ячейкам таблицы не является случайным с 99,9 % вероятностью), то есть наличие ожирения статистически значимо связано с низким уровнем физической активности. Однако данный результат ничего не говорит о том, является ли выявленная связь причинно-следственной. Для определения силы связи мы должны определить отношение распространенностей. Можно рассчитать его по выше представленной формуле: (42 / (42 + 72)) / (25 / (25 + 113)) = 0,37 / 0,18 = 2,05. Мы также можем взять это значение и значения 95 % доверительного интервала из таблицы «Risk-based Parameters» в строке «Risk ratio» (в связи с тем, что отношение распространенностей рассчитывается по той же формуле, что и относительный риск). Мы видим, что ширина доверительного интервала достаточно большая, то есть отношение распространенностей в популяции может быть в пределах 1,3-3,1 (уменьшить ширину доверительного интервала можно с помощью увеличения объема выборки). Мы обращаем внимание читателей на то, что размер выборки, рассчитанный для определения распространенности, недостаточен для решения задач, связанных с определением связей между изучаемым исходом и факторами риска. Расчет необходимого размера выборки для определения связи между исходом и фактором риска также можно произвести в программе Epi Info. 53 Практикум Экология человека 2016.2 Аналогично читатели могут самостоятельно провести расчеты для фактора потребления избытка калорий. Количество человек, потребляющих избыточное количество калорий, с ожирением 36, без ожирения 70. Значение критерия х2 будет равно 2,84, p = 0,09. 8. Анализ полученных результатов, формулировка выводов и дальнейших рекомендаций. Следует делать выводы с учетом возможностей и ограничений данного типа исследования. В нашем случае мы можем сделать вывод о том, что распространенность ожирения у работников одного предприятия составляет 26,6 % (95 % ДИ: 21,5-32,4), а также о наличии связи ожирения с низким уровнем физической активности. Распространенность ожирения у работников с низким уровнем физической активности был в 2,0 (95 % ДИ: 1,3-3,1) раза выше, чем у работников с высоким уровнем физической активности. При этом данный тип исследования не позволяет нам судить о причинно-следственной связи между факторами. Другими словами, мы не можем однозначно сказать, что низкий уровень физической активности явился причиной развития ожирения или же, наоборот, ожирение привело к такому уровню активности. Таким образом, можно сформулировать следующие преимущества и недостатки поперечных исследований [2, 4, 7, 12, 16]: Преимущества: 1. Изучение распространенности. 2. Быстрота выполнения. 3. Невысокие финансовые затраты (по сравнению с другими типами исследований). 4. Возможность использования вторичных данных (например, рутинно собираемых статистических данных). 5. Этическая безопасность (нет вмешательства со стороны исследователя). 6. Подходят для изучения заболеваний с длинным промежутком от момента заболевания до разрешения/ исхода (хронические заболевания). 7. Возможность изучения множества факторов риска, 8. Подходят для выявления неизменных во времени факторов риска (пол, расовая принадлежность и т. д. 9. Возможность изучения множества исходов. 10. Возможность изучения множества ассоциаций между различными вариантами исхода и факторов риска. 11. Очень редко возможность выявления нового и/или редкого исхода в период вспышек заболеваний. 12. Возможность оценки динамики распространенности явления/заболевания при проведении нескольких последовательных одномоментных исследований. 13. Формирование базиса для последующих научных исследований (способствуют разработке причинно-следственных гипотез). Недостатки: 1. Не подходят для изучения заболеваемости (инцидентности). 2. Не дают информации для изучения причинноследственных связей. 3. Возможность ошибок при формировании выборки (изучаемая выборка состоит из выживших в популяции лиц или лиц с длительными явлениями/ заболеваниями, но не с короткими по продолжительности (смещение отбора целевой популяции)). 4. Сложность выявления болезни с коротким промежутком от момента заболевания до разрешения/ исхода (острые заболевания). 5. Возможность наличия информационных ошибок (ненадежность воспоминания информации из прошлого). 6. Возможность невключения потенциальных конфаундеров в перечень исследуемых признаков. 7. Необходимость в большом объеме выборки при изучении редких факторов риска и исходов. Примеры использования одномоментных исследований в литературе Примером крупного поперечного исследования, проведенного в России, может служить исследование «Прометей», целью которого было выявление распространенности гипертриглицеридемии (>1,7 ммоль/л). Проанализированы данные 357 072 человек в возрасте 18 лет и старше, проходивших анализ липидного профиля в лаборатории INVITRO в 2011-2013 гг. в 254 городах Российской Федерации. Распространенность гипертриглицеридемии составила 29,2 %, выявлено ее увеличение с возрастом (уровень триглицеридов увеличивался на 0,61 % за каждый год жизни). Отношение распространенностей гипер-триглицеридемии для мужского пола по отношению к женскому составило 1,25 (1,24-1,26, р < 0,0001). Авторы построили модели для определения влияния изменения уровня каждого из липидов на значение уровня триглицеридов (лог-трансформированный вид), для подгруппы участников также смоделировали изменение уровня триглицеридов в зависимости от повышения уровня гликированного гемоглобина (54 602 человек, имеющих в базе результаты измерения уровня гликированного гемоглобина) [18]. Еще одним примером может служить исследование, проведенное в Архангельской области с целью анализа распространенности и интенсивности основных стоматологических заболеваний, уровня гигиенических знаний детей различных медико-социальных групп и определение уровня оказываемой стоматологической помощи [13-15]. Всего было обследовано 1 436 детей. Одной из подзадач исследования была оценка распространенности и интенсивности кариеса у детей 6, 12 и 15 лет. Было выявлено, что распространенность кариеса составила 93,4 (95% ДИ: 90,9-95,2) %, 83,9 (95 % ДИ: 80,2-87,0) %, 92,2 (95 % ДИ: 89,3-94,3) %, а интенсивность кариеса по индексу КПУ (совокупность кариозных, пломбированных и удаленных/подлежащих удалению зубов) - 6,71 (95 % ДИ: 6,37-7,04), 3,03 (95 % ДИ: 2,81-3,25), 54 Экология человека 2016.2 Практикум 4,99 (95 % ДИ: 4,68-5,30) у детей 6, 12, 15 лет соответственно. При этом распространенность кариеса у детей в Архангельской области была выше, чем в среднем по России, выше у мальчиков по сравнению с девочками во всех возрастных группах и у сельских жителей по сравнению с жителями городов в группах детей 6 и 15 лет. Таким образом, на основании результатов данного исследования выявлена необходимость формирования комплексной программы профилактики стоматологических заболеваний детскому населению Архангельской области. Вариант поперечного исследования для сравнения показателей распространенности в различных группах рассмотрим на примере исследования, в котором данные 451 истории пациентов (73,6 % мужчин) с инфарктом миокарда и сахарным диабетом в г. Архангельске были проанализированы для выявления гендерных различий течения и исходов инфаркта миокарда [8]. Группа женщин характеризовалась более старшим возрастом (69,07 (SD 8,84) и 62,19 (SD 9,71) года, р < 0,001) и длительным стажем сахарного диабета (6,6 (25-75: 0,5-14,0) и 2,0 (0,0-10,8) лет, р = 0,024). При анализе характера и частоты осложнений установлено, что у женщин чаще наблюдалась левожелудочковая сердечная недостаточность (57,8 % и 46,2 %, р = 0,029) и зафиксирована крайне высокая частота встречаемости госпитального летального исхода (25,0 % у женщин и 9,2 % у мужчин соответственно, р < 0,001), при этом не было выявлено различий в частоте применения инвазивных методов восстановления кровотока. При проведении более сложных методов анализа выявлено, что пол не оказывал независимого влияния на развитие летального исхода. Довольно часто определение распространенности какого-либо состояния является первым этапом проведения крупных и/или долгосрочных исследований и служит основой для деления выборки на подгруппы и дальнейшего их изучения. Таким примером может служить еще одно исследование, в котором было обследовано 380 человек до 80 лет с инфарктом миокарда [9, 10]. При отсутствии сахарного диабета и противопоказаний пациентам проводился оральный тест толерантности к глюкозе с целью оценки распространенности нарушений углеводного обмена. По результатам анамнеза и теста у 53,7 % больных выявлены различные варианты нарушений углеводного обмена: у 25,9 % - предиабет (нарушенная гликемия натощак или нарушенная толерантность к глюкозе), у 8,9 % впервые выявлен сахарный диабет 2 типа, у 18,9 % пациентов - существующий сахарный диабет 2 типа. На следующем этапе исследователями были сформированы группы пациентов в зависимости от варианта нарушения углеводного обмена, и наблюдение за ними было продолжено для оценки частоты развития неблагоприятных сердечнососудистых исходов, что будет более подробно представлено в одной из следующих статей, касающихся проспективных исследований.

About the authors

K K Kholmatova

Northern State Medical University

Arkhangelsk, Russia

M A Gorbatova

Northern State Medical University

Arkhangelsk, Russia

O A Kharkova

Northern State Medical University; Arctic University of Norway

Tromse, Norway

A M Grjibovski

Northern State Medical University; Norwegian Institute of Public Health; North-Eastern Federal University; International Kazakh-Turkish University

Email: Andrej.Grjibovski@gmail.com

References

Supplementary files