INTELLIGENT DATA ANALYSIS IN BIOMEDICAL RESEARCH: ARTIFICIAL NEURAL NETWORKS

Cover Page


Cite item

Full Text

Abstract

Substantial amounts of biomedical data are being accumulated every year. Large datasets are accumulated in specialized repositories, electronic document management systems, medical information systems, and other repositories. Classical statistical analysis does not always provide opportunities for analysis of these large datasets; therefore, intelligent data analysis (IDA) is becoming more popular in biomedical research. This paper is an introduction to artificial neural networks - one of the most popular methods of IDA. An artificial neural network is an attempt to build a mathematical analog of the brain and mathematically simulate the transmission of a nerve impulse between neurons. We present an example of the application of artificial neural networks in medical research using SPSS and Statistica software packages. The article describes a medical research question, an example of a dataset and a guide on construction and training of an artificial neural network as well as interpretation of the results.

Full Text

На современном этапе развития медицины накапливается значительный объем медицинских данных в специализированных репозиториях, системах электронного документооборота, медицинских информационных системах и других хранилищах различного рода. Существенный объем накапливаемых данных не поддается классическому статистическому анализу, и популярность приобретают математические средства интеллектуальной обработки. Классическим средством интеллектуальной обработки данных являются искусственные нейронные сети [18, 22, 23]. На сегодняшний день в медицинских исследованиях применяются нейронные сети разнообразной структуры. Используются нейросетевые самоорганизующиеся карты Кохонена [12, 14, 24], сверточные нейронные сети [15, 20, 25], рекурентные нейронные сети [11, 13, 19], но классическим представителем такого рода моделей является многослойный перцептрон - полносвязная многослойная искусственная нейронная сеть прямого распространения [16, 17, 21]. В отечественной биомедицинской литературе примеры применения нейронных сетей приведены при решении задач в офтальмологии [7], кардиологии [4, 6], пульмонологии [1], хирургии [2, 8], урологии [5] и других областях [3, 9]. Целью данной статьи является рассмотрение применения искусственных нейронных сетей в медицинских исследованиях, а также представление примеров их построения в наиболее часто применяемых статистических программах. Наиболее частой задачей применения искусственных нейронных сетей является классификация медицинских данных. Классификация в медицинских исследованиях используется, когда выяснение реального значения какого-либо качественного признака является либо очень дорогим, опасным для здоровья человека, либо затруднительным по каким-либо причинам (длительное по времени и т. д.) [10]. Рассматриваемым качественным признаком могут быть разнообразные данные о наличии или отсутствии заболевания у пациента, злокачественности или доброкачественности образования, наличии или отсутствии осложнений после хирургического или терапевтического лечения и т. д. То есть могут использоваться любые данные, которые представляют информацию о пациенте в виде «Да»/«Нет», «Есть»/«Нет», «1»/«0» и т. д. Методологические основы функционирования искусственных нейронных сетей Математическая модель искусственной нейронной сети - это попытка построить математический аналог головного мозга и математически имитировать передачу нервного импульса между нейронами. В связи с этим структурной единицей искусственной нейронной сети является искусственный математический нейрон, представляющий собой набор математических операций (рис. 1). Нейроны образуют слои, а слои, в свою очередь, составляют нейронную сеть (рис. 2). Наиболее часто используемой структурой искусственной нейронной сети является многослойный перцептрон. В полносвязной многослойной нейронной сети прямого распространения каждый нейрон предыдущего слоя связан с помощью синапсов с каждым нейроном следующего слоя. Также существуют искусственные нейронные сети с частичными связями, в которых может отсутствовать часть связей между нейронами предыдущего и последующего слоев. Могут использоваться рекурентные искусственные нейронные сети, где сигнал распространяется не только от предыдущих слоев к последующим. Возвратный сигнал от последующих слоев может передаваться к предыдущим. В данной статье рассмотрим классический вариант искусственной нейронной сети - полносвязную многослойную искусственную нейронную сеть прямого распространения (в дальнейшем будем использовать упрощенный термин - нейронная сеть). y = 2 х - 1, Рассматривая структуру нейронной сети (см. рис. 2) и искусственного нейрона (см. рис. 1), можно пошагово описать процесс функционирования данной сети. Сначала данные о конкретном изучаемом объекте (как правило, о пациенте) подаются на нейроны входного слоя нейронной сети. Все качественные данные (пол, Рис. 1. Структурная единица искусственной нейронной сети - искусственный математический нейрон Входной слой Рис. 2. Общая структура нейронной сети наличие каких-либо факторов риска или заболеваний и т. д.) подаются в виде биномиальных данных, принимающих значения «1» (в случае наличия признака) и «0» (в случае отсутствия признака) и никак не преобразуются во входном слое. Все количественные данные (возраст, рост, вес и т. д.) также подаются на нейроны входного слоя, но в данных нейронах производится нормализация или стандартизация данных признаков. Нормализация или стандартизация необходимы для того, чтобы привести все количественные признаки к единой размерности, иначе признаки, измеряемые в тысячах, будут иметь большее значение, чем признаки, измеряемые в сотнях. Нормализация - преобразование данных, при котором все значения приводятся к величинам в диапазоне от -1 до 1. Нормализация проводится по следующей формуле: х -min max - min где y - нормированное значение параметра; x -исходное значение параметра, min - минимальное значение диапазона параметра; max - максимальное значение диапазона параметра. Таким образом, сначала необходимо определить минимальное и максимальное значения признака, а затем каждое значение нормировать с помощью указанной формулы. Стандартизация - похожее на нормализацию преобразование данных, но при ней все значения приводятся к значениям в диапазоне от приблизительно -3 до приблизительно 3. Стандартизация проводится по следующей формуле: x - mean y =-, standard deviation где y - нормированное значение параметра; x - исходное значение параметра, mean - среднее значение параметра; standard deviation - стандартное отклонение параметра. Таким образом, чтобы стандартизовать значение признака, сначала необходимо рассчитать среднее значение и стандартное отклонение признака, а затем каждое значение данного признака стандартизовать с помощью указанной формулы. После того как значения параметров поступили на нейроны входного слоя нейронной сети и количественные признаки были нормализованы или стандартизованы на данном слое, все полученные значения передаются на все нейроны скрытого слоя. То есть признак, поступивший на первый нейрон входного слоя (и нормализованный или стандартизованный, если этот признак количественный), далее передается на каждый нейрон скрытого слоя (на рис. 2 на 1, 2, 3, 4, 5 и 6-й нейроны скрытого слоя). Признак со второго нейрона входного слоя также передается на все нейроны скрытого слоя и так далее. После того как все значения с входного слоя поступили на нейроны скрытого слоя, начинается работа классического математического нейрона (например, первого нейрона скрытого слоя) (см. рис. 1). Она заключается в проведении нескольких математических операций: 1. По входным синапсам первого нейрона скрытого слоя поступают значения со всех нейронов входного слоя. 2. Каждый синапс имеет свой вес, на который умножается значение, приходящее по этому синапсу. Под весом синапса понимается обычный математический коэффициент. 3. Перемноженные на соответствующие коэффициенты значения со всех синапсов нейрона передаются на сумматор, где суммируются в однозначение. 4. Значение с сумматора преобразуется с помощью одной из функций активации (сигмоидная функция, гиперболический тангенс, Softmax и т. д.). Преобразование значения осуществляется для приведения полученного после сумматора значения (которое может быть довольно большим) к определенному диапазону. 5. После преобразования значение передается на все нейроны следующего слоя нейронной сети. Если скрытых слоев много, такая процедура повторяется на каждом скрытом слое и затем на выходном слое. Количество нейронов на выходном слое, как правило, равно числу классов, на которые исследователь предполагает классифицировать объект. Так как классов таких два, то и, как правило, выходных нейронов также два. При этом выходное значение на первом нейроне выходного слоя характеризует степень принадлежности объекта к первому классу, а на втором нейроне - ко второму классу. На каком нейроне выходного слоя будет значение больше, к тому классу и относится объект. Представленная структура нейронной сети и процесс ее функционирования позволяют постепенно преобразовывать поступившие на входные нейроны данные в ответ нейронной сети, выражающийся в значениях на выходных нейронах. Естественно, такая нейронная сеть сама по себе не сможет осуществлять верную классификацию. Для этого её необходимо обучить на выборке объектов с заранее известными классами. Данная выборка делится на две части -обучающую выборку (обычно она составляет 70 % от первоначальной базы данных) и тестовую (обычно она составляет 30 % от первоначальной базы данных). Обучающая выборка используется для непосредственного обучения нейронной сети, а тестовая - для оценки качества классификации. Обучение нейронной сети осуществляется, как правило, методом обратного распространения ошибки. Первоначально нейронная сеть создается (инициализируется) со случайными весами синапсов. Затем на входные нейроны нейронной сети подаются данные первого объекта из обучающей выборки. Эти данные проходят до выходного слоя, и на нейронах выходной сети оценивается предполагаемый класс объекта. Если предполагаемый класс объекта совпадает с заранее известным классом, осуществляется переход к данным второго объекта. Если предполагаемый класс объекта не совпадает с заранее известным классом, получившаяся ошибка распространяется обратно от выходного слоя к входному, корректируя веса синапсов так, чтобы класс на выходе нейронной сети совпал с заранее известным классом. Затем осуществляется переход к данным следующего объекта. Таким образом, осуществляется проход данных обо всех объектах обучающей выборки по нейросети с коррекцией весов синапсов так, чтобы максимальное число объектов было классифицировано правильно. Один проход данных по нейронной сети называется эпохой. В зависимости от объема данных и структуры нейронной сети для обучения может понадобиться несколько эпох. После окончания обучения нейронной сети оценивается качество классификации с помощью данных об объектах, входящих в тестовую выборку. Для этого применяются показатели доли верно классифицированных объектов на обучающей и тестовой выборках, чувствительности, специфичности и точности. Описание набора данных для построения искусственных нейронных сетей Для примера построения нейронных сетей использовался следующий набор данных о пациентах: наличие заболевания (болен туберкулезом или не болен), рост, вес, индекс массы тела (ИМТ), пол, частое переохлаждение на работе, выполнение тяжелого физического труда, постоянная нервнопсихическая нагрузка на работе, образование (основное общее, среднее, среднепрофессиональное, среднеспециальное, неоконченное высшее, высшее), наличие контакта с больным туберкулезом, пребывание в течение жизни в пенитенциарных учреждениях, наличие сопутствующих заболеваний (ВИЧ, сахарный диабет (СД), язвенная болезнь желудка и двенадцатиперстной кишки (ЯБЖиДПК), другие заболевания желудочно-кишечного тракта (ЖКТ), злоупотребление алкоголем, наркомания, психические заболевания, хронические неспецифические заболевания легких (ХНЗЛ), пылевые заболевания, вирусные заболевания печени) и табакокурение. В табл. 1 приведены столбцы базы данных и их кодировка. База данных для иллюстрации включает в себя 28 признаков у 728 пациентов: 342 пациента, у которых достоверно установлено наличие туберкулеза, 386 пациентов, у которых достоверно установлено отсутствие туберкулеза. Задача заключается в том, чтобы построить математическую модель нейронной сети, которая позволит по наличию 27 признаков (кроме признака «наличие заболевания») классифицировать пациента в группу больных или не больных туберкулезом. Построение модели нейронной сети в IBM SPSS Statistics Для построения модели нейронной сети в IBM SPSS Statistics необходимо в основном меню выбрать «Анализ» - «Нейронные сети» - «Многослойный перцептрон» (рис. 3). В появившемся окне в поле «Зависимые переменные» необходимо включить признак, который планируется прогнозировать -«Наличие заболевания», в поле «Факторы» - качественные признаки, на основе которых планируется прогнозировать«Пол», «Частое переохлаждение» и т. д., в поле «Ковариаты» - количественные признаки, на основе которых планируется прогнозировать «Рост, см», «Вес, кг», «ИМТ», «Возраст, лет». То есть будет построена модель нейронной сети, позволяющая на основе независимых количественных и качественных переменных прогнозировать значение класса, к которому относится пациент - к классу 1 (болен туберкулезом) или 0 (не болен туберкулезом). Необходимо отметить, что в поле «Изменить шкалу ковариатов» можно определить способ изменения шкалы количественных признаков. Рекомендуется установить в данном поле значение «Нормализовать». Кроме этого рекомендуется на вкладке «Вывод» установить все возможные параметры вывода для получения исчерпывающих результатов построения нейронной сети. После выбора переменных и параметров вывода необходимо нажать кнопку «ОК». Подробнее остановимся на полученных результатах. В первой таблице результатов «Сводный отчет по Таблица 1 Столбцы базы данных и их кодировка № стол бца Название столбца Кодировка Интерпретация кодов 1 Наличие заболевания 1/0 Болен туберкулезом/Не болен туберкулезом 2 Рост, см Без кодировки Абсолютные значения роста 3 Вес, кг Без кодировки Абсолютные значения веса 4 ИМТ Без кодировки Абсолютные значения ИМТ 5 Пол 1/0 Мужской/Женский 6 Возраст, лет Без кодировки Абсолютные значения возраста 7 Частое переохлаждение 1/0 Да/Нет 8 Тяжелый физический труд 1/0 Да/Нет 9 Нервно-психическая нагрузка 1/0 Да/Нет 10 Основное общее образование 1/0 Да/Нет 11 Среднее образование 1/0 Да/Нет 12 Среднепрофессиональное образование 1/0 Да/Нет 13 Среднеспециальное образование 1/0 Да/Нет 14 Неоконченное высшее образование 1/0 Да/Нет 15 Высшее образование 1/0 Да/Нет 16 Контакт с больным туберкулезом 1/0 Да/Нет 17 Пребывание в пенитенциарных учреждениях 1/0 Да/Нет 18 ВИЧ 1/0 Да/Нет 19 СД 1/0 Да/Нет 20 ЯБЖиДПК 1/0 Да/Нет 21 Другие болезни ЖКТ 1/0 Да/Нет 22 Злоупотребление алкоголем 1/0 Да/Нет 23 Наркомания 1/0 Да/Нет 24 Психические заболевания 1/0 Да/Нет 25 ХНЗЛ 1/0 Да/Нет 26 Пылевые заболевания 1/0 Да/Нет 27 Вирусные заболевания печени 1/0 Да/Нет 28 Табакокурение 1/0 Да/Нет наблюдениям» указана информация о числе включенных в построение нейронной сети пациентов, их разделении на обучающую и тестовую выборку и исключенных пациентах (если они есть). Во второй таблице результатов «Информация о сети» приведена основная информация о структуре полученной нейронной сети (рис. 4). В данной таблице Многослойный перцептрон Переменные Разделение Архитектура Обучение Вывод Сохранение Экспорт Параметры Зависимые переменные: «р, Наличие заболевания [Наличиезаболевания] а Факторы: а £>Г1ол ^ & Частое переохлаждение [Частоепереохлаждение] Тяжелый физический труд ГГяжепыйфизическийтруд] Нервно-психическая нагрузка [Нервнопсихическаянагрузка] £> Основное общее [Основноеобщее] & Среднее Средне-профессиональное [Среднепрофессиональное] Средне-специальное [Среднеспециальное] _ Ковариаты: в $ Рост, см [Ростсм] $ Вес, кг [Вескг] ^ ИМТ $ Возраст, лет [Возрастет] Чтобы изменить уровень измерения переменной, щелкните п< правой кнопкой мыши в списке Переменные. Изменить шкапу ковариатов: ■. Окно построения нейронных сетей з Справка) Рис. Информация о сети _ Входной СЛОЙ Факторы 1 Пол 2 Частое переохлаждение 3 Тяжелый физический труд 4 Нервно психическая нагрузка 5 Основное общее 6 Среднее 7 Средне профессиональное 8 Средне специальное 9 Неоконченное высшее 10 Высшее 11 Контакте больным туберкулезом 12 Пребывание в пенитенциарных учреждениях 13 ВИЧ 14 СД 15 ЯБЖиДПК 16 ЖКТ 17 Злоупотребление алкоголем 18 Наркомания 19 Псих.заболевания 20 ХНЗЛ 21 Пылевые заболевания 22 Вирусные заболевания печени 23 Табакокурение Ковариаты 1 Рост, см 2 Вес, кг 3 ИМТ 4 Возраст, лет Количество нейронов3 51 Метод изменения шкалы для ковариатов Нормализуются Скрытые слои Количество скрытых слоев 1 Количество единиц в скрытом слое 1а 7 Функция активации Гиперболический тангенс Выходной слой Зависимые 1 Наличие переменные заболевания Количество нейронов 2 Функция активации Softmax Функция ошибки Перекрестная энтропия Рис. 4. Таблица результатов «Информация о сети» Рис. 5. Схема полученной нейронной сети перечисляются все включенные в качестве факторов и ковариат признаки, метод изменения шкалы кова-риат, количество нейронов во входном, скрытом и выходном слое, а также функции активации значений в нейронах скрытого и выходного слоя. Следующим элементом результатов построения нейронной сети является непосредственное изображение самой нейронной сети (рис. 5). К сожалению, при включении 28 параметров пациентов в качестве входных признаков данное изображение уже является малоинформативным, но на представленной схеме можно увидеть 51 нейрон входного слоя, семь нейронов скрытого слоя, два нейрона выходного слоя, а также переплетение синапсов, которые идут от каждого нейрона предыдущего слоя к каждому нейрону последующего слоя. Следующей таблицей результатов построения нейронной сети является таблица «Сводка для модели» (рис. 6). Важнейшим элементом в ней является процент неверных предсказаний на обучающей и тестовой выборках. В настоящем примере доля неверных предсказаний на обучающей выборке составила 10,5 %, а на тестовой - 11,5 %. Соответственно доля верных предсказаний на обучающей выборке составила 89,5%, а на тестовой - 88,5 %. Обычно на обучающей выборке процент верных предсказаний выше, чем на тестовой. Это связано с тем, что на данных пациентов, входящих в обучающую выборку, нейронная сеть обучалась, а данные пациентов, входящие в тестовую выборку, использовались только для оценки качества классификации. Сводка для модели Обучающее Ошибка: перекрестная энтропия 116,132 Процент неверных предсказаний 10,5% Используемое правило 1 последоват. шаг остановки (а/ов) без уменьшения погрешности3 Время обучения 0:00:00,85 Тестовое Ошибка: перекрестная знтропия 61,403 Процент неверных предсказаний 11,5% Рис.6. Таблица результатов «Сводка для модели» В таблице «Оценки параметров» приведены все полученные в нейронной сети веса синапсов, которые необходимы в том случае, когда исследователь планирует включить нейронную сеть в разрабатываемое программное обеспечение. В иных случаях данная таблица практического значения не имеет. Важнейшим элементом результатов построения нейронной сети является таблица «Классификация» (рис. 7). В данной таблице более детально приведены показатели для оценки качества классификации с применением полученной нейронной сети. Например, рассматривая результаты классификации на тестовой выборке, можно отметить, что 110 пациентам, не имеющим туберкулез, нейронная сеть предсказала его отсутствие, 97 пациентам, имеющим туберкулез, - его наличие. При этом для 27 пациентов получено неверное предсказание, и 12 пациентам, имеющим туберкулез, было предсказано его отсутствие. То есть если бы мы не знали о наличии у данных пациентов туберкулеза и использовали полученную нейронную сеть на практике, этим 12 пациентам диагноз туберкулеза был бы ошибочно снят (гиподиагностика). И наоборот, из 27 пациентов 15, не имеющим туберкулез, было предсказано его наличие. Таким образом, если бы мы не знали об отсутствии у них туберкулеза, этим 15 пациентам был бы ошибочно поставлен данный диагноз (гипердиагностика). Классификация Пример Наблюденные Предсказанные 0 1 Процент правильных Обучающее 0 236 25 90,4% 1 27 206 88,4% Общий процент 53,2% 46,8% 89,5% Тестовое 0 110 15 88,0% 1 12 97 89,0% Общий процент 52,1% 47,9% 88,5% Зависимая переменная: Наличие заболевания Рис. 7. Таблица результатов «Классификация» Заключительным необходимым элементом результатов построения нейронной сети является диаграмма важности независимых переменных (рис. 8). На данной диаграмме приведен упорядоченный по снижению важности список входных признаков. В настоящем примере можно увидеть, что наибольшую важность для классификации пациентов, страдающих туберкулезом и не имеющих данного заболевания, полученной нейронной сетью, имеет ИМТ, а наименьшую - наличие или отсутствие среднего образования. Важным отличием инструментария для построения нейронных сетей от инструментария построения деревьев классификации в IBM SPSS Statistics Рис. 8. Диаграмма важности независимых переменных является то, что при построении нейронных сетей отсутствует автоматизированный отбор признаков. То есть какие пользователь признаки задал в качестве входных, такие и войдут в нейронную сеть. В связи с этим информация, представленная на диаграмме важности независимых переменных, приобретает особую важность. Если перед исследователем помимо непосредственного получения модели нейронной сети стоит задача снизить число признаков, входящих в модель, можно воспользоваться этой информацией. Необходимо заново запустить построение нейронной сети, но уже исключить из поля «Факторы» или «Ковариаты» один или часть входных признаков, имеющих наименьшую важность. По опыту построения различных нейронных сетей наиболее приемлемым способом выбора нейронной сети с наименьшим числом входных признаков является следующий подход. На первоначальном этапе строится нейронная сеть с включением всех имеющихся параметров. Затем на основании диаграммы важности независимых переменных производится новое построение нейронной сети с исключенным признаком, имеющим наименьшую важность. Данный шаг повторяется до тех пор, пока в модели не останется один входной признак. После того, как все нейронные сети построены, исследователю необходимо выбрать из них ту, которая имеет наименьшее число входных параметров и при этом удовлетворяет исследователя по качеству классификации (параметрам из таблицы «Классификация»). Необходимо отметить три важных момента в построении нейронных сетей. Во-первых, их построение имеет довольно широкий спектр настроек, манипуляция которыми может позволить повысить качество классификации. Ввиду большого количества настроек в данной статье их использование не представлено, а примеры построения нейронных сетей приведены с целью показать принципиальные возможности и процесс их построения. Во-вторых, использование построенных нейронных сетей в практике весьма затруднительно, так как функционирование самой модели должно быть запрограммировано или модель должна быть включена в существующее программное обеспечение, что сделать достаточно трудно без привлечения специалистов в области программирования. И, в-третьих, практически невозможно дважды получить одну и ту же нейронную сеть. Это связано с тем, что перед обучением нейронная сеть инициализируется случайными весами синапсов. Такая случайная инициализация приводит к тому, что при запуске построения нейронной сети с одинаковыми настройками получение одинаковых нейронных сетей маловероятно. Построение модели нейронной сети в StatSoft Statistica Для построения модели нейронной сети в StatSoft Statistica необходимо в основном меню выбрать «Анализ» - «Автоматизированные нейронные сети». В появившемся окне в поле «Новый анализ» необходимо выбрать «Классификация» и нажать «ОК». После нажатия «OK» в открывшемся окне необходимо нажать кнопку «Переменные», после чего будет открыто окно выбора переменных (рис. 9). Рис. 9. Окно выбора переменных В окне выбора переменных в поле «Категор. целевая (отклик)» необходимо выбрать параметр, который планируется прогнозировать - «Наличие заболевания», в поле «Категориальная входная (предиктор)» - выбрать качественные параметры, на основе которых будет осуществляться прогнозирование. В текущем примере такими параметрами является большинство из имеющихся в наборе данных. В поле «Непрерывная входная (предиктор)» нужно выбрать количественные и ранговые параметры, на основе которых будет осуществляться прогнозирование. В примере такими параметрами являются: «Рост, см», «Вес, кг», «ИМТ» и «Возраст, лет». То есть будет построена модель нейронной сети, позволяющая на основе этих данных прогнозировать значение класса, к которому относится пациент, - больных или не больных туберкулезом. После выбора нужных переменных необходимо нажать кнопку «ОК». После этого откроется окно выбора начальных условий построения нейронных сетей. Рекомендуется на начальных этапах в данном окне никаких изменений не производить. Далее необходимо нажать «Обучить». По умолчанию в процессе обучения в StatSoft Statistica производится построение 20 различных нейронных сетей, из которых автоматически выбираются 5, применение которых позволяет получить наилучшие показатели качества классификации (рис. 10). Для того чтобы все дальнейшие манипуляции производить не с пятью, а с одной нейронной сетью, необходимо нажать «Выбрать/Снять сети» и выбрать одну нейронную сеть, имеющую наибольшее значение доли верных предсказаний на тестовой выборке (Тест. производительность). Если данное значение одинаково у нескольких нейронных сетей, следует выбрать нейронную сеть, имеющую наибольшее значение доли верных предсказаний на обучающей выборке (Производительность обуч.). В нашем примере выбрана третья нейронная сеть «MLP 51-7-2». Цифры в названии нейронной сети обозначают число нейронов в каждом слое, то есть входной слой нейронной сети содержит 51 нейрон, скрытый слой - 7 нейронов, выходной слой - 2 нейрона. Рис. 10. Окно результатов построения нейронных сетей Важным моментом построения нейронных сетей в StatSoft Statistica является то, что данная программная система помимо обучающей и тестовой выборки выделяет еще одну - контрольную. Данная выборка используется для контроля переобучения нейронной сети. Контрольная выборка выделяется и в IBM SPSS Statistics, но не в таком явном виде, и она является частью обучающей. Для получения более детальных результатов построения нейронной сети необходимо перейти на вкладку «Итоги анализа». Надо отметить, что по умолчанию все результаты представляются только по обучающей выборке. Для того чтобы получить результаты по всем выборкам или по части выборок, необходимо в окне результатов установить соответствующие «Выборки». В рамках настоящей статьи приведем результаты по всем трем выборкам одновременно (рис. 11). Рис. 11. Вкладка • нейронных сетей :Итоги анализа» окна результатов построения Тяжелый физический ТРУД Рост, см Возраст, лет Средне-профес сиональное Псих.заболева Наркомания Злоупотреблен ие алкоголем ЖКТ 1,048219 1,029926 1.019341 1,011023 1,010808 1,003899 0,996361 0,990128 Рис. 14. Результаты анализа чувствительности нейронной сети Таким образом, результаты анализа чувствительности позволяют пошагово снижать число признаков, входящих в нейронную сеть, если это необходимо исследователю. Представление результатов построения деревьев классификации При представлении результатов построения нейронных сетей в научной статье или диссертации следует учитывать, что подготовленного читателя будут интересовать, во-первых, стартовые условия, при которых оно осуществилось: число входных призна- При нажатии кнопки «Итоги моделей» можно рассмотреть подробную информацию о полученной нейронной сети (рис. 12). В таблице приведены результаты классификации на обучающей, контрольной и тестовой выборках, а также функции активации скрытого и выходного слоев нейронной сети. При нажатии кнопки «Веса» могут быть получены веса синапсов нейронной сети. Архитектура Производитель ность обуч. Контр. производительн ость. Тест. производительн ость. Алгоритм обучения Функция ошибки Ф-я актив, скрытых нейр. Ф-я актив, выходных нейр. MLP 51-7-2 87,64706 94,49541 88,07339 BFGS 21 Энтропия Экспонента Софтмакс Рис. 12. Графическое представление полученного дерева классификации Еще одним важным результатом построения нейронной сети является матрица ошибок, которая представляется при нажатии на соответствующую кнопку (рис. 13). Матрица ошибок позволяет более детально оценить качество классификации с помощью верно и неверно классифицированных пациентов. Наличие заболевания (Итоги классификации) (Для Выборки: Обучающая, Тестовая, Тестовая статьи) Наличие заболевания-0 Наличие заболевания-1 Наличие заболевания-В се 3.MLP 51-7-2 Все 386,0000 342,0000 728,0000 Правильно 357,0000 289,0000 646,0000 Неправильно 29,0000 53,0000 82,0000 Правильно (%) 92,4870 84,5029 88,7363 Неправильно (%) 7,5130 15,4971 11,2637 Рис. 13. Матрица ошибок В StatSoft Statistica, как и в IBM SPSS Statistics, нет автоматического отбора признаков для включения в нейронную сеть, но имеются результаты оценки важности каждого входного в нейронную сеть параметра. Для получения результатов оценки важности параметра необходимо нажать кнопку «Анализ чувствительности» (рис. 14). В результатах анализа чувствительности приведен упорядоченный по уменьшению важности список входных параметров. Если признак имеет коэффициент важности менее 1, он может быть исключен без ухудшения качества классификации. ков, их наименование, на какие классы исследователь классифицировал объекты. Все это позволит читателю воспроизвести полученный исследователем результат или провести похожее исследование. Во-вторых, важно отразить качество классификации с применением полученной модели. В качестве таких показателей, как и при построении деревьев классификации, как правило, используются чувствительность, специфичность и точность. Как дополнительные показатели могут быть использованы: прогностическая ценность положительного и отрицательного результата, отношение правдоподобия положительного и отрицательного результата. Расчет данных показателей и их интерпретация в работе не рассматриваются, но каждый характеризует качество классификации с разных позиций. Расчет может быть осуществлен с применением онлайн-калькуляторов с помощью значений, которые приводятся в таблицах результатов классификации (см. рис. 7 и 13). Помимо самих показателей желательно приводить их 95 % доверительные интервалы. Существенным недостатком при представлении результатов построения нейронных сетей является невозможность проиллюстрировать данные модели графически. Это связано с тем, что нейронная сеть имеет большой размер и графическое изображение конкретной нейронной сети практически неинформативно. Единственное, что можно получить из графического изображения нейронной сети, - число слоев и нейронов в каждом слое. Заключение Рассмотрены вопросы применения искусственных нейронных сетей в медико-биологических исследованиях, а также представлены примеры их построения в статистических пакетах прикладных программ IBM SPSS Statistics и StatSoft Statistica. Применение нейронной сети при анализе данных медико-биологических экспериментов как одной из наиболее мощных с точки зрения качества классификации модели многомерного анализа данных позволяет получить инструмент для классификации объектов. Однако практическое использование данного метода без привлечения дополнительных специалистов достаточно затруднительно. Авторство Наркевич А. Н. внес существенный вклад в концепцию и дизайн исследования, получение, анализ и интерпретацию данных, подготовил первый вариант статьи, окончательно утвердил присланную в редакцию рукопись; Виноградов К. А. внес существенный вклад в концепцию и дизайн исследования, получение, анализ и интерпретацию данных, существенно переработал первый вариант статьи на предмет важного интеллектуального содержания, окончательно утвердил присланную в редакцию рукопись; Параскевопуло К. М. внес существенный вклад в концепцию и дизайн исследования, получение, анализ и интерпретацию данных, существенно переработал первый вариант статьи на предмет важного интеллектуального содержания, окончательно утвердил присланную в редакцию рукопись; Гржибовский А. М. внес существенный вклад в концепцию и дизайн исследования, анализ и интерпретацию данных, существенно переработал первый вариант статьи на предмет важного интеллектуального содержания, окончательно утвердил присланную в редакцию рукопись.
×

About the authors

A. N. Narkevich

Voino-Yasenetsky Krasnoyarsk State Medical University

Email: narkevichart@gmail.com

K. A. Vinogradov

Voino-Yasenetsky Krasnoyarsk State Medical University

K. M. Paraskevopulo

Voino-Yasenetsky Krasnoyarsk State Medical University

A. M. Grjibovski

Northern State Medical University; West Kazakhstan Marat Ospanov Medical University; Al-Farabi Kazakh National University; M. K. Ammosov North-Eastern Federal University

References

  1. Алексеева О. В., Россиев Д. А., Ильенкова Н. А. Применение искусственных нейронных сетей в дифференциальной диагностике рецидивирующего бронхита у детей // Сибирское медицинское обозрение. 2010. Т. 66, № 6. С. 75-79
  2. Богданова Ю. А., Зарипова Г. Р., Катаев В. А., Галимов О. В. Современные модели экспертных медицинских систем в прогнозировании операционного риска при наиболее распространенных интраабдоминальных вмешательствах (обзор) // Медицинский альманах. 2017. Т. 46, № 1. С. 9-12
  3. Выучейская М. В., Крайнова И. Н., Грибанов А. В. Нейросетевые технологии в диагностике заболеваний (обзор) // Журнал медико-биологических исследований. 2018. Т. 6, № 3. С. 284-294
  4. Горожанцев Ю. Н., Сергиенко С. Г., Воротынцева Е. А., Емельяненко Ю. В., Горожанцева А. В. Использование возможностей искусственных нейронных сетей при анализе записей холтеровского мониторирования // Инновационная медицина Кубани. 2018. Т. 9, № 1. С. 12-15
  5. Ершов А. В., Капсаргин Ф. П., Бережной А. Г., Мылтыгашев М. П. Экспертные системы в оценке данных урофлоуграмм // Вестник урологии. 2018. Т. 6, № 3. С. 12-16
  6. Калиниченко А. Н., Моторина С. В., Лагирвандзе А. К. Алгоритм анализа фибрилляции предсердий по ЭКГ на основе искусственной нейронной сети // Биотехносфера. 2019. Т. 64, № 6. С. 47-51
  7. Качан Т. В., Курочкин А. В., Головатая Е. А., Марченко Л. Н., Федулов А. С., Далидович А. А., Скрыпник О. В., Муштина Т. А. Роль искусственных нейронных сетей в выявлении ранней гибели ганглионарных клеток сетчатки у пациентов с дегенеративными оптиконейропатиями // Офтальмология. Восточная Европа. 2019. Т. 9, № 4. С. 446-456
  8. Лазаренко В. А., Зарубина Т. В., Антонов А. Е., Суд С. Опыт нейросетевого прогнозирования потребности в оперативном лечении у пациентов с заболеваниями гепатопанкреатодуоденальной зоны // Казанский медицинский журнал. 2018. Т. 99, № 4. С. 569-574
  9. Литвин А. А. Интеллектуальные системы поддержки принятия решений на основе искусственных нейронных сетей в неотложной панкреатологии (систематический обзор) // Гастроэнтерология Санкт-Петербурга. 2017. № 2. С. 28-33
  10. Наркевич А. Н., Виноградов К. А. Настольная книга автора медицинской диссертации: пособие. М., 2019. 454 с
  11. Banerjee I., Ling Y., Chen M. C., Hasan S. A., Langlotz C. P., Moradzadeh N. et al. Comparative effectiveness of convolutional neural network (CNN) and recurrent neural network (RNN) architectures for radiology text report classification. Artificial Intelligence in Medicine. 2019, (97), pp. 79-88. doi: 10.1016/j.artmed.2018.1 1.004.
  12. Cao C., Wang W, Jiang P. Clustering of self-organizing map identifies five distinct medulloblastoma subgroups. Cancer biomarker. 2016, 16 (3), pp. 327-332. DOI: 10.3233/ CBM-160570.
  13. Choi E., Schuetz A., Stewart W F., Sun J. Using recurrent neural network models for early detection of heart failure onset. Journal of the American Medical Informatics Association. 2017, 24 (2), pp. 361-370. DOI: 10.1093/ jamia/ocw112.
  14. Kvist T., Voutilainen A., Eneh V., Mantynen R., Vehvilainen-Julkunen K. The self-organizing map clustered registered nurses’ evaluations of their nurse leaders. Journal of Nursing Management. 2019, 27 (5), pp. 981-991. doi: 10.1111/jonm.12758.
  15. Lee J. G., Jun S., Cho Y. W, Lee H., Kim G. B., Seo J. B., Kim N. Deep Learning in Medical Imaging: General Overview. Korean Journal of Radiology. 2017, 18 (4), pp. 570-584. doi: 10.3348/kjr.2017.18.4.570.
  16. Lorencin I., Andelic N., Spanjol J., Car Z. Using multi-layer perceptron with Laplacian edge detector for bladder cancer diagnosis. Artificial Intelligence in Medicine. 2020, (2), e101746. doi: 10.1016/j.artmed.2019.101746.
  17. Makris G. M., Pouliakis A., Siristatidis C., Margari N., Terzakis E., Koureas N., Pergialiotis V., Papantoniou N., Karakitsos P. Image analysis and multi-layer perceptron artificial neural networks for the discrimination between benign and malignant endometrial lesions. Diagnostic Cytopathology. 2017, 45 (3), pp. 202-211. DOI: 10.1002/ dc.23649.
  18. Mendez K. M., Broadhurst D. I., Reinke S. N. The application of artificial neural networks in metabolomics: a historical perspective. Metabolomics. 2019, 15 (11), pp. 142. doi: 10.1007/s11306-019-1608-0.
  19. Rajeev R., Samath J. A., Karthikeyan N. K. An Intelligent Recurrent Neural Network with Long Short-Term Memory (LSTM) BASED Batch Normalization for Medical Image Denoising. Journal of Medical Systems. 2019, 43 (8), pp. 234. doi: 10.1007/s10916-019-1371-9.
  20. Sarigul M., Ozyildirim B. M., Avci M. Differential convolutional neural network. Neural Networks. 2019, (116), pp. 279-287. doi: 10.1016/j.neunet.2019.04.025.
  21. Savalia S., Emamian V. Cardiac Arrhythmia Classification by Multi-Layer Perceptron and Convolution Neural Networks. Bioengineering (Basel). 2018, 5 (2), pp. 35. DOI: 10.3390/ bioengineering5020035.
  22. Shahid N., Rappon T., Berta W Applications of artificial neural networks in health care organizational decision-making: A scoping review. PLoS One. 2019, 14 (2), e0212356. doi: 10.1371/journal.pone.0212356.eCollection 2019.
  23. Sherbet G. V, Woo W L., Dlay S. Application of Artificial Intelligence-based Technology in Cancer Management: A Commentary on the Deployment of Artificial Neural Networks. Anticancer Research. 2018, 38 (12), pp. 6607-6613. doi: 10.21873/anticanres.13027.
  24. Van Gassen S., Callebaut B., Van Helden M. J., Lambrecht B. N., Demeester P., Dhaene T., Saeys Y. FlowSOM: Using self-organizing maps for visualization and interpretation of cytometry data. Cytometry A. 2015, 87 (7), pp. 636-45. doi: 10.1002/cyto.a.22625.
  25. Yasaka K., Akai H., Kunimatsu A., Kiryu S., Abe O. Deep learning with convolutional neural network in radiology. Japanese Journal of Radiology. 2018, 36 (4), pp. 257-272. doi: 10.1007/s1 1604-018-0726-3.

Supplementary files

Supplementary Files
Action
1. JATS XML

Copyright (c) 2021 Narkevich A.N., Vinogradov K.A., Paraskevopulo K.M., Grjibovski A.M.

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 78166 от 20.03.2020.


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies