Prevalence assessment adjusted for laboratory test performance using an example of the COVID-19 serological tests

Full Text

ВВЕДЕНИЕ

Точная оценка распространенности необходима для определения бремени инфекционных болезней и принятия адекватных мер по борьбе с ними [1]. Стандартный способ расчета распространенности заболеваний и состояний представляет собой долю положительных результатов, полученных в результате применения диагностического теста на выборке лиц из изучаемой совокупности. В ряде случаев эта оценка может быть затруднена из-за того, что диагностические тесты, используемые при выявлении того или иного заболевания, обладают различной надежностью, то есть не позволяют разделить исследуемую выборку на группу имеющих и не имеющих заболевание [2]. В связи с этим возникает необходимость не просто оценить результативность теста в виде чувствительности и специфичности в сравнении с так называемым золотым стандартом, но и провести коррекцию полученной оценки распространенности с учетом надежности используемого теста. В последние годы в связи с пандемией новой коронавирусной инфекции COVID-19 тема оценки результативности диагностических тестов, в том числе серологических, становится еще более актуальной как в клинической медицине, так и при проведении эпидемиологических исследований [3].

Целью данной статьи является представление методики расчета основных показателей результативности диагностического теста и коррекции распространенности заболевания с учетом данных величин на примере оценки серопревалентности COVID-19.

ВОЗМОЖНОСТИ ЛАБОРАТОРНОЙ ДИАГНОСТИКИ COVID-19

В условиях пандемии новой коронавирусной инфекции (COVID-19) лабораторное тестирование является одним из важнейших компонентов общей стратегии профилактики данного заболевания. Для диагностики COVID-19 используются как прямые, так и непрямые лабораторные тесты. Прямые методы диагностики выявляют вирус или его компоненты (генетический материал) в исследуемом образце. Примером прямого метода является полимеразная цепная реакция (ПЦР), которая применяется для идентификации вирусной РНК в назофарингеальном мазке и/или мазке из ротоглотки в острой фазе инфекции. ПЦР является золотым стандартом диагностики COVID-19 и рекомендуется ВОЗ для обследования вероятных случаев COVID-19 среди контактных лиц [4]. ПЦР наиболее информативна в течение первой недели заболевания, начиная со второй недели результативность этого метода снижается, что обусловлено продолжительностью персистенции вируса в носоглотке и длительностью вирусовыделения [5]. Результативность ПЦР также зависит от тяжести заболевания. У больных COVID-19 в легкой форме результат обследования может быть ложно отрицательным из-за более низкой вирусной нагрузки [6].

Непрямые методы выявляют иммунный ответ организма на внедрение вируса, например, серологические лабораторные тесты, предназначенные для определения иммуноглобулинов класса А (IgA), М (IgM) и G (IgG) к компонентам вируса, таких как Spikе (S)-белок, рецептор-связывающий домен, нуклеокапсид [5, 7, 8]. Период от начала заболевания до появления в крови антител в достаточной концентрации называется периодом «серонегативного окна». В течение этого промежутка времени серологические тесты неинформативны. Иммуноглобулины разных классов появляются в ответ на инфекцию в разное время. IgM являются ранними и продуцируются со второй недели заболевания, IgG определяются в крови после 12–14 дней от начала болезни [9, 10]. В этот период серологические тесты становятся более результативным методом диагностики COVID-19, чем обнаружение генетического материала методом ПЦР в носоглотке [5]. Таким образом, прямые методы необходимы для быстрой идентификации вирусовыделителей, а непрямые — для подтверждения факта наличия гуморального иммунитета (антител).

ОЦЕНКА ЧУВСТВИТЕЛЬНОСТИ И СПЕЦИФИЧНОСТИ ТЕСТА

Результативность диагностических тестов определяется показателями чувствительности и специфичности. Оценка данных показателей проводится на основании сравнения теста с так называемым золотым стандартом. Золотой стандарт — это лучший отдельный тест (или комбинация тестов), который в настоящее время считается предпочтительным методом диагностики конкретного заболевания [4]. Все другие методы диагностики, включая любой новый тест, необходимо сравнивать с ним. Золотой стандарт различен для разных заболеваний.

Под чувствительностью лабораторного теста в целом понимается вероятность положительного результата данного теста у человека, имеющего заболевание, которая рассчитывается, как доля истинно положительных результатов теста среди обследованных лиц, имеющих заболевание. Специфичность — это вероятность отрицательного результата теста у человека, не имеющего заболевания, которая рассчитывается, как отношение истинно отрицательных результатов к общему числу обследованных людей, не имеющих заболевания.

Рассмотрим оценку чувствительности и специфичности серологического теста на примере исследования образцов сыворотки крови людей, переболевших COVID-19, на наличие IgG к S-белку SARS-CoV-2 (табл. 1). У всех обследованных диагноз COVID-19 был ранее подтвержден путем выявления РНК SARS-CoV-2 в назофарингеальном мазке и/или мазке из ротоглотки методом ПЦР. Забор крови у одной группы переболевших производился через 6–12 дней (N=594), а у другой — через 13–20 дней (N=427) от появления клинических симптомов [8].

 

Таблица 1. Оценка диагностической результативности серологического теста для выявления иммуноглобулинов класса G (IgG) к S-белку SARS-CoV-2 у переболевших COVID-19

Table 1. Evaluation of the diagnostic performance of a serological test for the detection of class G immunoglobulins (IgG) to the SARS-CoV-2 S-protein in patients who recovered from COVID-19

	Переболевшие COVID-19 (ПЦР+) Patients with a history of COVID-19 (PCR+)		Не болевшие COVID-19 Patients without a history of COVID-19
	6–12 день / Day 6–12	13–20 день / Day 13–20
IgG+	425	427	2	427/429
	Истинно положительные True positives		Ложно положительные False positives
IgG–	169	0	1294	1463/1294
	Ложно отрицательные False negatives		Истинно отрицательные True negatives
	594	427	1296	1890/1723

 

Параллельно этот же серологический тест использовался для исследования сывороток крови здоровых доноров, полученных до начала пандемии (N=1296).

Образцы, положительные на IgG к SARS-CoV-2, полученные от людей, переболевших COVID-19, рассматривались как истинно положительные. Отрицательные образцы у людей с подтвержденным диагнозом – как ложно отрицательные. Наличие антител в сыворотках здоровых доноров, полученных до начала пандемии, расценивалось как ложно положительный результат, отсутствие антител в данных образцах – как истинно отрицательный результат (табл. 2).

 

Таблица 2. Оценка диагностической результативности серологического теста для выявления иммуноглобулинов класса G (IgG) у переболевших COVID-19 в зависимости от распространенности инфекции

Table 2. Evaluation of the diagnostic performance of a serological test for the detection of class G immunoglobulins (IgG) in recovered patients with COVID-19, depending on the prevalence of infection

	Распространенность 0,5% Prevalence 0.5%			Распространенность 22% Prevalence 22%
	IG G (+)	IG G (-)	Всего Total	IG G (+)	IG G (-)	Всего Total
Переболевшие COVID-19 (ПЦР+) Patients with a history of COVID-19 (PCR+)	935 (ИП)	244 (ЛО)	1179	935 (ИП)	244 (ЛО)	1179
Не болевшие COVID-19 (ПЦР–) Patients without history of COVID-19	500 (ЛП)	302000 (ИО)	302500	5 (ЛП)	3020 (ИО)	3025
Всего Total	1435	302244	3030679 (N)	940	3264	4204 (N)
Распространенность COVID-19 Prevalence of COVID-19	(ИП+ЛП)/N=1435/3030679=0,005=0,5%			(ИП+ЛП)/N=940/4204=0,22=22%
Чувствительность теста Test sensitivity	ИП/(ИП+ЛО)=935/1179=0,793=79,3%			ИП/(ИП+ЛО)=935/1179=0,793=79,3%
Специфичность теста Test specificity	ИО/(ЛП+ИО)=302000/302500=0,998=99,8%			ИО/(ЛП+ИО)=3020/3025=0,998=99,8%
Положительная прогностическая значимость Positive predictive value	ИП/(ИП+ЛП)=935/1435=0,652=65,2%			ИП/(ИП+ЛП)=935/940=0,995=99,5%
Отрицательная прогностическая значимость Negative predictive value	ИО/(ИО+ЛО)=302000/302244=0,999=99,9%			ИО/(ИО+ЛО)=3020/3264=0,925=92,5%
Частота ложно положительных результатов False positive rate	ЛП/(ИП+ЛП)=500/1435=0,348=34,8%			ЛП/(ИП+ЛП)=5/940=0,005=5%
Коэффициент правдоподобия положительного результата The likelihood ratio of a positive result	Ч/(1–С)=0,793/(1–0,998)=396,5			Ч/(1–С)=0,793/(1–0,998)=396,5
Коэффициент правдоподобия отрицательного результата Likelihood ratio of a negative result	(1–Ч)/С=(1–0,793)/0,998=0,21			(1–Ч)/С=(1–0,793)/0,998=0,21
Точность Accuracy	(ИП+ИО)/N=93(5+302 000)/303 679=0,998			(ИП+ИО)/N=(935+3020)/4204=0,94

Примечание: ИП — истинно положительные, ИО — истинно отрицательные, ЛП — ложно положительные, ЛО — ложно отрицательные, N — число обследованных, Ч — чувствительность, С — специфичность.

Notes: ИП — true positive, ИО — true-negative, ЛП — false positive, ЛО — false negative, N — number of patients examined, Ч ― sensitivity, C ― specificity.

 

Рассчитаем чувствительность серологического теста через 6–12 дней (Ч_6–12) и через 13–20 дней (Ч_13–20) по формуле:

${Ч}_{6-12}=\frac{ИП}{ИП+ЛО}=\frac{425}{594}=0,715=71,5\%$

${Ч}_{13-20}=\frac{427}{427}=1=100\%$

где ИП — истинно положительные результаты; ЛО — ложно отрицательные результаты.

Чувствительность 71,5% означает, что данный тест, выполненный через 6–12 дней от начала заболевания, способен выявить IgG к вирусу и тем самым подтвердить факт перенесенной инфекции у 71,5% людей, переболевших COVID-19. В то время как при заборе крови на антитела с 13 по 20 день от начала заболевания IgG определялись у 100% перенесших COVID-19 (чувствительность 100%). Таким образом, чувствительность серологических тестов зависит от времени появления иммунного ответа (продукции антител), а, следовательно, и сроков забора крови от начала заболевания. Данный метод диагностики является высокочувствительным в период активной продукции и циркуляции антител к SARS-CoV-2, от 1 до 7 месяцев после перенесенной инфекции [5]. В течение указанного промежутка времени данный тест может использоваться для выявления (скрининга) переболевших COVID-19, ввиду низкой вероятности «пропустить» человека, перенесшего заболевание (низкая частота ложно отрицательных результатов). В связи с утратой постинфекционных и поствакцинальных антител по истечению 6–7 месяцев серологические тесты вновь становятся неинформативными [5].

Специфичность (С) серологического метода диагностики рассчитаем по формуле:

$С=\frac{ИО}{ИО+ЛП}=\frac{1294}{1294+2}=0,998=99,8\%$

где ИО — истинно отрицательные результаты; ЛП — ложно положительные результаты.

Специфичность 99,8% означает, что не болевшие COVID-19 получат отрицательный результат исследования в 99,8% случаев (низкая вероятность ложно положительных результатов). Причиной ложно положительных результатов могут быть так называемые перекрестные реакции, когда антитела к сезонным коронавирусам идентифицируются тест-системой как антитела к SARS-CoV-2 [11].

При применении панели последовательных тестов может быть рассчитана также комбинированная специфичность:

Комбинированная специфичность =1–(1–специфичность теста 1)×(1–специфичность теста 2)× (1–специфичность теста n).

Комбинированная чувствительность рассчитывается по аналогичной формуле.

ОЦЕНКА КОЭФФИЦИЕНТА ПРАВДОПОДОБИЯ

В отличие от чувствительности и специфичности, которые не являются показателями, оценивающими вероятность наличия заболевания у конкретного пациента, коэффициент правдоподобия (КП) позволяет оценить результаты диагностического теста применительно к конкретному человеку [12]. КП рассчитывается как отношение вероятности определенного (положительного или отрицательного) результата теста у человека с заболеванием к вероятности такого же результата у человека без заболевания.

КП положительного результата (КП+) рассчитывается как отношение вероятности истинно положительного результата теста на антитела к SARS-CoV-2 (то есть положительного результата у переболевшего COVID-19) к вероятности ложноположительного результата.

$КП+=\frac{ИП/(ИП+ЛО)}{ЛП/(ЛП+ИО)}$

Связь между КП+ и чувствительностью и специфичностью можно выразить следующим образом:

КП+=Ч/(1–С).

КП отрицательного результата (КП–) рассчитывается как отношение вероятности ложноотрицательного результата теста на антитела к SARS-CoV-2 к вероятности истинно отрицательного результата.

$КП-=\frac{ЛО/(ИП+ЛО)}{ИО/(ЛП+ИО)}$

При этом связь между КП– и характеристиками теста будет выглядеть следующим образом:

КП–=(1–Ч)/С.

Чем сильнее КП отличается от единицы в сторону больших значений (КП+) или в сторону нуля (КП–), тем точнее данный тест подтверждает наличие или отсутствие заболевания.

КП описывает изменение вероятности заболевания на основании предтестовой вероятности и результата теста, отвечая на вопрос: «Какова посттестовая вероятность наличия заболевания с учетом результатов теста?». Фактическая посттестовая вероятность зависит от величины КП (которая, в свою очередь, зависит от чувствительности, специфичности теста, распространенности заболевания) и оценки предтестовой вероятности заболевания [13]. Когда проведенный тест дихотомичен, мы можем рассчитать КП на основании известных данных о чувствительности и специфичности.

ОЦЕНКА ПРОГНОСТИЧЕСКОЙ ЗНАЧИМОСТИ ПОЛОЖИТЕЛЬНОГО И ОТРИЦАТЕЛЬНОГО РЕЗУЛЬТАТОВ ТЕСТА

Помимо чувствительности и специфичности оценивается положительная и отрицательная прогностическая значимость лабораторного метода диагностики. Положительная прогностическая значимость (ППЗ) — это вероятность наличия заболевания при положительном результате теста. В случае с COVID-19, в отличие от показателя чувствительности теста, который определяет вероятность положительного результата обследования у человека, перенесшего COVID-19, ППЗ показывает вероятность быть переболевшим COVID-19 при положительном результате теста, что имеет большее практическое значение, например, при бессимптомном течении заболевания.

Рассчитаем ППЗ предложенного серологического теста по формуле:

$ППЗ=\frac{ИП}{ИП+ЛП}=\frac{425}{427}=0,995=99,5\%$

Так, через 6–12 дней после заболевания тест в 99,5% случаев правильно определяет человека, перенесшего COVID-19, а через 13–20 дней — в 100% случаев.

Отрицательная прогностическая значимость (ОПЗ) — это вероятность того, что отрицательный результат теста правильно определяет человека без заболевания. Рассчитаем ОПЗ по формуле:

$ОПЗ=\frac{ИО}{ИО+ЛО}=\frac{425}{1463}=0,884=88,4\%$

Таким образом, точность идентификации человека, не болевшего COVID-19, составляет 88,4%.

Диагностическая точность теста (accuracy) рассчитывается как отношение истинно отрицательных и истинно положительных результатов анализа к общему числу обследованных.

В отличие от чувствительности и специфичности, ППЗ и ОПЗ зависит от распространенности заболевания в популяции [14]. При использовании одного и того же серологического метода диагностики с чувствительностью 79,3% и специфичностью 99,8% при разной распространенности заболевания были получены разные показатели ППЗ и ОПЗ (табл. 2).

ВЛИЯНИЕ ПОКАЗАТЕЛЕЙ РЕЗУЛЬТАТИВНОСТИ ТЕСТОВ НА РАСПРОСТРАНЕННОСТЬ

Показатели ППЗ диагностического теста имеют наибольшее значение для скрининга и целей оценки популяционного иммунитета к ряду заболеваний, например, выявления доли населения, имеющей иммунитет к SARS-CoV-2 [15].

Согласно теореме Байеса, можно определить вероятность события при условии, что произошло другое статистически взаимосвязанное с ним событие, и мы знаем его вероятность. Применительно к диагностическому тесту это означает, что мы можем рассчитать вероятность наличия определенного заболевания или состояния, взяв в расчет как ранее известную информацию (например, распространенность заболевания/состояния в популяции), так и вероятность наличия данного состояния по результатам диагностического теста, основанную на его чувствительности, специфичности, ППЗ и ОПЗ. Суммарно данные вероятности позволяют оценить посттестовую вероятность наличия заболевания или состояния, которая, как правило, становится основой для установления диагноза. Предтестовые шансы конкретного диагноза умноженные на КП определяют посттестовые шансы:

Предтестовые шансы × КП = Посттестовые шансы.

Посттестовая вероятность при положительном результате анализа=ИП/(ИП+ЛО)

Посттестовая вероятность при отрицательном результате анализа=ИО/(ИО+ЛП)

При этом математически оцененная посттестовая вероятность в большинстве случаев не достигает 100%, следовательно, это необходимо учитывать при оценке распространенности, определенной по результатам теста. Используя знания о результативности тестов, оценку серопревалентности COVID-19 в популяции следует проводить с учетом чувствительности и специфичности диагностических методов [16, 17]. Так при оценке серопревалентности COVID-19 большинство крупных популяционных исследований представляют именно скорректированные на результативность серологических тестов данные [18, 19, 20] При этом, скорректированная распространенность (Р_кор) может быть выражена формулой [21]:

Р_кор=(P_грубая+С–1)/(Ч+С–1).

Оценка доверительных интервалов для скорректированной по результативности тестов распространенности может быть проведена при помощи процедуры бутстрепа, если имеются данные о величине соответствующих доверительных интервалов для чувствительности и специфичности используемого теста.

Предположим, что a и b — это границы доверительных интервалов для показателей результативности теста (чувствительности или специфичности), тогда доверительные интервалы для скорректированной распространенности (c и d) будут рассчитаны следующим образом [21]:

$c=max\left[0, \frac{\left\{a-(1-C)\right\}}{(Ч+С-1)}\right]$

$d=min\left[1, \frac{\left\{b-(1-C)\right\}}{(Ч+С-1)}\right]$

Подобные преобразования можно выполнить и с помощью статистического программного обеспечения, например, пакета R, в таком случае необходимы не только данные о самих значениях чувствительности и специфичности, но и о числовых значениях истинно положительных, истинно отрицательных, ложно положительных и ложно отрицательных результатов.

Для проведения расчетов в R предварительно необходимо установить пакет bootComb, синтаксис в таком случае будет выглядеть следующим образом:

install.packages("bootComb")

library(bootComb)

adjPrevSensSpecCI(prevCI = binom.test(x₁, n₁)$conf.int, # 95%CI observedprevalencesensCI = binom.test(x₂, n₂)$conf.int, # 95%CI observed sensitivity specCI = binom.test(x₃, n₃)$conf.int, # 95%CI observed specificity method = "hdi", prev = x₁/n₁,# observed prevalence sens = x₂/n₂, # observed sensitivityspec = x₃/n₃) # observed specificity,

где x₁ – число положительных результатов тестирования в исследуемой выборке, n₁ — численность выборки, x₂ — число истинно положительных и n₂ — число имеющих заболевание при расчете чувствительности, x₃ — число истинно отрицательных и n₃ — число здоровых при оценке специфичности.

Например, при выявлении 867 положительных результатов из 1332 обследованных на антитела к SARS-CoV-2 нескорректированная серопревалентность составила 65,1% (95% CI: 62,5; 67,6). При проведении коррекции серопревалентности и доверительных интервалов на показатели результативности диагностических тестов показатель серопревалентности изменился и составил 73,0% (95% CI: 67,1; 85,7).

ЗАКЛЮЧЕНИЕ

Таким образом, результативность лабораторных тестов следует оценивать с учетом следующих показателей: чувствительности, специфичности, ППЗ и ОПЗ, КП. Учитывая, что данные характеристики влияют на вероятность постановки того или иного диагноза (состояния), то для более точной оценки их распространенности в популяции необходимо проводить коррекцию с учетом указанных показателей результативности используемых лабораторных тестов. Представление скорректированной распространенности с указанием доверительных интервалов необходимо для обеспечения сопоставимости результатов, полученных разными исследователями на разных географических территориях с использованием разных серологических тестов.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ / ADDITIONAL INFORMATION

Финансирование. Настоящее исследование не имело финансовой поддержки.

Конфликт интересов. Авторы декларируют отсутствие конфликта интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Кригер Е.А. — подготовила первый вариант статьи; Гржибовский А.М. — внес существенные коррективы в описание методологии; Постоев В.А. — редактировал текст, разработал концепцию статьи.

Funding source. The present study had no financial support.

Competing interests. The authors declare that there is no conflict of interest.

Authors contribution. All authors confirm that their authorship complies with the international ICMJE criteria (all authors have made a significant contribution to the development of the concept, research and preparation of the article, read and approved the final version before publication). Krieger E.A. — prepared the first version of the article; Grjibovski A.M. — made significant adjustments to the description of the methodology; Postoev V.A. — edited the text, developed the concept of the article.

About the authors

Ekaterina A. Krieger

Northern State Medical University; UiT — The Arctic University of Norway

Author for correspondence.
Email: kate-krieger@mail.ru
ORCID iD: 0000-0001-5179-5737
SPIN-code: 2686-7226

Cand.Sci. (Med.), Associate Professor

Russian Federation, Arkhangelsk; Tromso, Norway

Andrej M. Grjibovski

Northern State Medical University; West Kazakhstan Marat Ospanov Medical University; Al-Farabi Kazakh National University; North-Eastern Federal University

Email: andrej.grjibovski@yandex.ru
ORCID iD: 0000-0002-5464-0498
SPIN-code: 5118-0081

Dr. Med.

Russian Federation, Arkhangelsk; Aktobe, Republic of Kazakhstan; Almaty, Republic of Kazakhstan; Yakutsk

Vitaly A. Postoev

Northern State Medical University

Email: ispha@nsmu.ru
ORCID iD: 0000-0003-4982-4169
SPIN-code: 6070-2486

PhD, Cand. Sci (Med)

Russian Federation, Arkhangelsk

References

Supplementary files