Применение нейросетей в диагностике диабетической ретинопатии
Э.Р. Добров
Аннотация
Актуальность и цели. Одним из серьезных последствий заболевания сахарным диабетом является негативное воздействие на зрительную систему. Целью работы является обзор источников, посвященных задаче диагностирования диабетической ретинопатии по изображениям глаза с помощью нейронных сетей. Материалы и методы. Рассмотрено использование современных методов, подходов и алгоритмов на таких этапах, как сбор и подготовка наборов данных, предварительная обработка данных, задача распознавания изображений, трансферное обучение, сравнение методов, ансамбли моделей, разработка системы. Обозначены возможные перспективные дальнейшие шаги в будущих исследованиях. Результаты. В процессе анализа публикаций о методах диагностирования диабетической ретинопатии по изображениям глаза на основе нейронных сетей определены следующие направления для улучшения существующих результатов: увеличение наборов данных изображений, методы предварительной обработки изображений, интерпретация модели нейронной сети, вычислительная мощность алгоритмов для внедрения на мобильных устройствах, задачи классификации и сегментации поражений глаза, ложноотрицательные и ложноположительные диагнозы, ансамбли моделей, применение рекуррентных и капсульных нейросетей. Выводы. По итогам исследования определены направления по улучшению достижений в задаче распознавания изображений глаза для диагностирования диабетической ретинопатии.
Ключевые слова: анализ изображений, нейронные сети, диабетическая ретинопатия
Abstract
THE USE OF NEURAL NETWORKS IN THE DIAGNOSIS OF DIABETIC RETINOPATHY
E.R. Dobrov
Background. One of the serious consequences of diabetes is the negative impact on the visual system. The aim of the work is to review the sources devoted to the task of diagnosing diabetic retinopathy from eye images using neural networks. Materials and methods. The use of modern methods, approaches and algorithms at such stages as data collection and preparation, data preprocessing, image recognition task, transfer training, comparison of methods, ensembles of models, system development is considered. Possible promising further steps in the future research are outlined. Results. In the process of analyzing publications on methods of diagnosing diabetic retinopathy from eye images based on neural networks, the following areas were identified to improve the existing results: increasing image data sets, image preprocessing methods, interpretation of the neural network model, computational power of algorithms for implementation on mobile devices, classification and segmentation tasks of eye lesions, false-negative and false-positive diagnoses, ensembles of models, the use of recurrent and capsule neural networks. Conclusions. Based on the results of the study, the directions for improving the achievements in the task of eye image recognition for the diagnosis of diabetic retinopathy were identified.
Keywords: image analysis, neural networks, diabetic retinopathy
Введение
Согласно проведенным исследованиям за последние двадцать лет численность населения, заболевшего сахарным диабетом, продолжает увеличиваться. Сахарный диабет воздействует на многие системы организма, в том числе на зрительную систему. Ухудшение зрения, наступающее из-за поражения сосудов сетчатки глаза, называется диабетической ретинопатией (ДР) [1].
По причине растущей потребности в квалифицированной медицинской помощи пациентам в отдаленных регионах страны и в условиях ограничений, вызванных пандемией, возрастает нагрузка на использование информационных технологий в медицине.
Телемедицинские консультации по профилю «Офтальмология» набирают популярность:
- определение (подтверждение) тактики лечения;
- согласование условий и срока госпитализации в федеральную медицинскую организацию;
- определение (подтверждение) диагноза;
- необходимость выполнения нового и/или редкого вида оперативного вмешательства, процедуры и т.д.;
- разбор клинических случаев;
- формирование экспертного мнения по результатам диагностических исследований;
- другое [2].
В России лидерами по оказанию услуг телемедицины являются крупные города - центры медицинской науки и образования. МНТК «Микрохирургия глаза» улучшает качество услуг, используя в своей практике телемедицинские технологии [3].
В офтальмологии автоматизированная диагностика заболеваний по изображениям глаз пациентов осуществляется посредством методов машинного глубокого обучения [4]. Сверточные нейронные сети распознают снимки глаза [5].
Таким образом, положительная динамика по выявлению сахарного диабета у населения приводит к связанному с ним увеличением выявленного количества пациентов с ухудшенным зрением. В условиях пандемии возрастает нагрузка на медперсонал, что способствует росту использования технологий телемедицины.
В статье представлены результаты исследований методов глубокого машинного обучения в решении задач компьютерного зрения в области офтальмологии для диагностирования заболевания глаза. Изучены нейросетевые методы анализа изображений для диагностирования диабетической ретинопатии.
Целью исследования является анализ статей, посвященных задаче диагностирования по изображениям глаза, наличия поражения органа зрения с помощью нейронных сетей. Для достижения цели необходимо решить следующие задачи:
1) определить популярные методы анализа изображений глаза в диагностировании диабетической ретинопатии;
2) отметить достоинства и недостатки отобранных методов;
3) рассмотреть предлагаемые возможности для улучшения используемых подходов распознавания изображений органов зрения при определении диабетической ретинопатии.
Сбор и подготовка наборов данных
нейросеть диагностика диабетическая ретинопатия
Исследователи в работе [27] отмечают, что сравнивать разные методы сложно по причине того, что многие методы не тестируются на общедоступных данных. Авторы работы делают вывод, что результаты показывают проблемы воспроизведения результатов методов глубокого обучения. Поэтому рекомендуют следующие улучшения в отчетности о методах глубокого обучения: использовать общедоступные данные или предоставлять подробное описание данных, публиковать исходный код или все подробности относительно предварительной обработки данных и все гиперпараметры.
Авторы работы [16] обозначают, что сильной стороной данного исследования является использование хорошо известных, крупномасштабных, общедоступных фотографий глазного дна, подготовленных для глубокого обучения, а также возможность воспроизведения результатов и сравнения с другими исследованиями.
Авторы статьи [22] делают вывод, что сбор данных из одного медицинского центра и из одной этнической группы делает набор данных относительно небольшим и менее гетерогенным.
Исследование [8] посвящено созданию двух систем глубокого обучения для прогнозирования развития диабетической ретинопатии и проверены на двух наборах данных: наборе внутренней проверки, содержащем изображения преимущественно латиноамериканских пациентов из США, и наборе внешней проверки из Таиланда.
Исследование [43] доказывает, что в настоящее время необходимость использования больших наборов данных для обучения является одним из самых больших недостатков при обработке и классификации изображений с использованием архитектур нейронных сетей.
Авторы работы [49] делают вывод, что трудно различить изображения между 0 и 1 стадиями поражений. Поэтому, когда будут собираться новые данные, желательно собрать больше изображений, принадлежащих к 0 и 1 стадиям поражений. Наличие большего количества данных увеличит точность классификации.
В работе [38] исследователи делают вывод, что ограничением разработанного подхода, которое обычно встречается в моделях глубокого обучения, является полнота используемых наборов данных и время обучения, связанное с использованием очень большого количества изображений.
Предварительная обработка данных
Авторы статьи [33] делают вывод, что изображения в наборе данных были получены с использованием камер разных производителей и моделей. Кроме того, могут присутствовать шумы на изображениях, такие как размытый фокус, недодержка или передержка. Поэтому необходимо использовать методы обработки изображений, чтобы извлечь из этих изображений полезные признаки для дальнейшего анализа.
Исследование [31] посвящено решению нескольких проблем с набором данных, в том числе: чрезмерно зашумленные изображения, дубликаты изображений с неправильной маркировкой, неравномерное разрешение изображения и различные размеры выборки классов.
По результатам исследования [19] предложен метод нормализации яркости как один из этапов предварительной обработки для точной работы модели с изображениями глазного дна, полученными с разных камер при разных условиях освещения.
Авторы работы [20] делают вывод, что точность алгоритма зависит от качества полученных изображений сетчатки, и это является основным ограничивающим шагом для его глобального внедрения в немидриатический скрининг ДР сообщества с использованием портативных камер.
В работе [25] по результатам исследования представлен DL-алгоритм, способный выполнять первоначальный анализ изображения, чтобы определить, можно ли его оценить или нет, т.е. имеет ли изображение достаточно высокое качество или его необходимо повторить.
Авторы статьи [23] делают вывод, что оценка качества изображения с помощью искусственного интеллекта может уменьшить долю некачественных изображений. Кроме того, с улучшением качества изображения достоверно повысилась точность диагностики, особенно при легкой степени ДР.
Исследование [50] доказывает, что в будущем планируют внести изменения в некоторые методы предварительной обработки, а также обсудить, как эти изменения влияют на работу модели по классификации стадий ДР.
Задача распознавания изображений
По результатам исследования [37] авторы работы делают вывод, что применение сверточных нейронных сетей (CNN) в обнаружении ДР включает три основные сложные задачи: классификацию, сегментацию и обнаружение.
В статье [42] результаты экспериментов показывают, что сегментация и обнаружение поражения намного сложнее, чем классификация ДР, поэтому необходимы дополнительные исследования алгоритмов глубокого обучения для скрининга диабетической ретинопатии.
Трансферное обучение
Авторы работы [39] использовали модель сверточной нейронной сети, обученной на наборе данных ImageNet, в которой затем заморозили первые несколько слоев модели. Но переобучили последние несколько слоев сети на общедоступном наборе обучающих данных.
В работе [7] по результатам исследования предлагается использовать методологию трансферного обучения, а именно модель сверточной нейронной сети на основе архитектуры DenseNet121.
Авторами статьи [15] предлагается подход глубокого обучения для ранней диагностики ретинопатии с использованием сверточной сети DenseNet-169, которая классифицирует изображения глазного дна в зависимости от степени тяжести: без ДР, легкой, умеренной, тяжелой и пролиферативной ДР.
Исследование [6] посвящено изучению метода на основе трансферного обучения. Авторы использовали предварительно обученную нейронную сеть DenseNet. Модель дала результаты, сопоставимые с предшествующими в литературе с учетом ограничений данных и оборудования, а также наличия искаженных классов.
Исследование [9] доказывает, что в будущем с использованием трансферного обучения моделями DL можно достичь высокой точности в обнаружении и оценке степени тяжести диабетической ретинопатии, что можетпомочь в выборе подходящей стратегии лечения ДР.
Сравнение методов
В работе [35] по результатам исследования используются предварительно обученные на ImageNet модели ResNet, DenseNet и DetNet. Во время эксперимента показано, что ResNet может превзойти две другие сети с точки зрения точности и эффективности. Авторы делают вывод, что в будущей работе планируется тщательно оценивать производительность каждой сети с различными значениями гиперпараметров. Настройка гиперпараметров может повлиять на точность каждой архитектуры.
По результатам исследования [41] предлагается использовать DenseNet-100 вместо ResNet-101 в качестве базовой сети традиционной архитектуры CenterNet.
В статье [11] использовали три типа архитектур сверточных нейронных сетей, например, Inception-v3, ResNet101 и DenseNet121 с одним и тем же обучающим набором данных для обучения моделей. Исследование доказывает, что с учетом сложности модели Inception-v3 может быть оптимальной моделью из трех. Поскольку модели ResNet101 и DenseNet121 сложнее, чем Inception-v3, теоретически они должны превосходить Inceptionv3. Однако при использовании ResNet101 и DenseNet121 значительного улучшения не наблюдалось, сложности модели Inception-v3 было достаточно для обнаружения ДР на изображениях глазного дна.
Авторами работы [17] по результатам исследования продемонстрирована лучшая производительность сети VGG-16 при извлечении признаков из CECED изображения глазного дна по сравнению с изображениями глазного дна CLAHE. Inception V3 показал значительное улучшение производительности при извлечении признаков из изображений глазного дна CLAHE по сравнению с CECED.