Жуй Цуй¹, Хайюй Юй¹,²,⁵, Тинся Сюй³,⁴, Сяоюй Син¹, Сяолун Цао¹, Кэ Янь¹ и Цзин Чэнь¹

¹ Колледж электронной и информационной инженерии, Чанчуньский университет, Чанчунь 130022, Китай

² Ключевая лаборатория идентификации состояния здоровья человека и повышения функциональных возможностей провинции Цзилинь, Чанчуньский университет, Чанчунь 130022, Китай

³ Лаборатория инженерии изображений и видеотехнологий, Школа оптики и фоотоники, Пекинский технологический институт, Пекин 100081, Китай

⁴ Инновационный центр Чунцинского отделения Пекинского технологического института, Чунцин 401120, Китай

⁵ Корреспонденция: yuh82@ccu.edu.cn

Аннотация: С непрерывным прогрессом развития глубокое обучение добилось хороших успехов в анализе и распознавании изображений, что также побудило некоторых исследователей исследовать область сочетания глубокого обучения с гиперспектральными медицинскими изображениями и достичь определённого прогресса. В этой статье представлены принципы и методы гиперспектральных систем визуализации, обобщены распространённые медицинские гиперспектральные системы визуализации и обобщён прогресс некоторых новых систем спектральной визуализации путём анализа литературы. В частности, в этой статье представлены наиболее часто используемые медицинские гиперспектральные изображения и методы предварительной обработки спектров, а в других разделах обсуждаются основные достижения в области медицинской гиперспектральной диагностики заболеваний в сочетании с глубоким обучением. На основе предыдущего обзора изложены ограничивающие факторы в исследовании применения глубокого обучения к гиперспектральным медицинским изображениям, обобщены многообещающие направления исследований и представлены перспективы будущих исследований для последующих учёных.

Ключевые слова: медицинские гиперспектральные системы визуализации; диагностика заболеваний; глубокое обучение

Медицинская визуализация — это технология визуализации, используемая в основном для помощи в клинической работе, часто при первичном выявлении, лечении и диагностике многих заболеваний, а также при проведении операций. Современная медицинская визуализация в основном использует магнитно-резонансную томографию (МРТ), рентгеновские лучи, оптическую когерентную томографию (ОКТ), ультразвук или комбинацию нескольких методов. Эти современные методы медицинской визуализации оказали глубокое влияние на диагностику заболеваний и привели к разработке большего числа методов визуализации для клинических обследований. Глубокое обучение достигло значительного прогресса в других областях обработки медицинских изображений, таких как оптическая когерентная томография (ОКТ) — неинвазивный метод визуализации, который сканирует объект для получения трёхмерных изображений высокого разрешения, в основном используемый для визуализации сетчатки глаза и т.д. Основные алгоритмы в настоящее время сосредоточены на свёрточных нейронных сетях, машинах опорных векторов (SVM) и т.д. Однако большинство этих методов визуализации дороги и даже могут быть вредны для организма человека. Поэтому важно получить недорогую и неинвазивную технологию визуализации для медицинских изображений.

Гиперспектральная визуализация (HSI) изначально возникла из дистанционного зондирования и использовалась НАСА для различных применений, предоставляя более богатую спектральную информацию, а также пространственную информацию, чем обычные оптические изображения. Она широко применяется в различных областях дистанционного зондирования [1,2], сельского хозяйства [3,4], улучшения изображений [5], защиты садоводства [6,7], мониторинга катастроф [8], безопасности и оценки продуктов питания [9,10] и медицины [11–13], демонстрируя свой огромный потенциал.

Гиперспектральные изображения состоят из выравнивания различных изображений в узкой полосе соседних длин волн или спектров и реконструкции спектров отражения всех пикселей в этой полосе для получения трёхмерных гиперкубических данных. Полученные пространственно разрешённые спектры дают доступ к диагностической информации о физиологии, морфологии и составе тканей; таким образом, обеспечивая неинвазивное наблюдение биопсий, гистопатологический и флуорометрический анализ, а также более глубокое понимание биологии заболевания. Гиперспектральная визуализация является одной из развивающихся методик визуализации, и за последние десятилетия были исследованы различные системы спектральной визуализации для использования в оценке различных биологических органов и тканей. От преобладающих и традиционно используемых систем визуализации whiskbroom, pushbroom, staring и snapshot до разработанных флуоресцентных гиперспектральных систем визуализации были реализованы мультиспектральный анализ, а также методы разделения. Преимущества портативных гиперспектральных визуализаторов, которые используют быстрый спектральный захват одного изображения и способны к быстрой визуализации, также постепенно находят применение в исследованиях. Методы спектральной визуализации в биомедицине привлекли больше внимания и заняли важное место в исследованиях.

Применение медицинской гиперспектральной визуализации (MHSI) для диагностики различных заболеваний привело к появлению множества алгоритмов, объединяющихся с ней, чтобы обеспечить более точную и эффективную диагностику и классификационное обнаружение различных заболеваний. Машинное обучение (ML) обычно использует данные и статистические модели, которые учатся и распознают паттерны для выполнения конкретных задач. При обработке медицинских гиперспектральных изображений (MHSI) ML в основном используется в сочетании с MHSI для диагностики и классификации заболеваний, обнаружения и сегментации патологических изображений, включая методы K-ближайших соседей [14] (KNN), линейного дискриминантного анализа [15] (LDA) и машины опорных векторов (SVM). Однако применение методов глубокого обучения (DL) в MHSI всё чаще предлагается [16] и изучается академиками. Оно дало положительные результаты с момента проведения в 2012 году масштабного конкурса по классификации изображений, когда на наборе данных ImageNet была представлена сеть CNN и достигнут значительный прогресс. Например, исследование 2017 года [17] использовало свёрточную нейронную сеть (CNN) для классификации клеток крови в MHSI, различая красные и белые клетки. В медицинских гиперспектральных наборах данных CNN явно превосходят традиционные SVM по точности классификации, демонстрируя огромные перспективы глубокого обучения (DL) в этой области [18].

За последнее десятилетие ряд пионеров в этой области собрал соответствующие ссылки и сравнил параметры распространённых методов медицинской визуализации [19]. Эти исследования иллюстрируют удобство, которое гиперспектральная визуализация приносит в область медицинской биоинженерии по сравнению с традиционными оптическими методами визуализации, позволяя получить большее богатство информации, чем было доступно ранее. В одном исследовании обсуждалось текущее развитие биомедицинских гиперспектральных систем и параллель подходов к визуализации, а также были представлены текущие проблемы [13]. Это исследование вносит вклад в существующую литературу, обеспечивая хорошо сбалансированную интеграцию академических и практических перспектив. Последующие статьи объединили такие методы, как режим сбора, спектральный диапазон и пространственное разрешение, а также режим измерения для классификации MHSI. Методы анализа изображений, а также диагностика заболеваний и хирургическое руководство также были обобщены [11]. Наряду с ростом глубокого обучения оно привлекло много последователей к изучению этой области. Некоторые авторы также сделали обзор медицинской гиперспектральной визуализации в области глубокого обучения и обсудили подход глубокого обучения и то, как этот подход применяется в медицине [20].

Однако существующие исследования гиперспектральной медицины фрагментарны и не всеобъемлющи, в то время как DL быстро развивается, а связанные исследования сложны, но им не хватает теоретической основы. Поэтому необходима чёткая структура для связывания гиперспектральных изображений, гиперспектральной медицины и DL. Обзор опыта развития других связанных и также относительно зрелых областей исследований предоставит ссылку для позднейших учёных, развивающих эту зарождающуюся область. Путём обзора соответствующего чтения литературы, синтеза ключевых технических идей из текущих исследований и раскрытия основных исследовательских тенденций в этой области, это исследование намеревается ответить на следующие области исследований: развитие гиперспектральных систем визуализации; основная архитектура глубокого обучения для приложений MHSI; и проблемы, решаемые в медицинской диагностике.

С развитием DL в MHSI больше внимания будет привлечено к его применению. Это окажет заметное влияние на медицинскую область, особенно на диагностику заболеваний и руководство операциями. В этой статье представлены различные системы визуализации для гиперспектральной визуализации, а также использование глубокого обучения для классификации, сегментации и обнаружения медицинских изображений, а также даётся краткое введение в применение гиперспектральной визуализации в медицинских приложениях.

Гиперспектральная визуализация — это метод, сочетающий визуализацию со спектроскопией. Обычно она охватывает непрерывную часть спектра и обеспечивает непрерывную сканирующую визуализацию десятков или сотен спектральных диапазонов на ультрафиолетовых (УФ), видимых (VIS), инфракрасных и даже среднеинфракрасных длинах волн [12]. Как показано на Рисунке 1, который содержит как двумерную пространственную, так и одномерную спектральную информацию, или как суперпозицию нескольких двумерных изображений [21]. С помощью этого метода можно получить спектры отражения, поглощения или флуоресценции каждого пикселя в изображении. Он имеет более богатый спектральный диапазон, а также более высокое спектральное разрешение, чем обычные RGB-изображения и градации серого. Он позволяет видеть изменения объектов, невидимые при обычных методах визуализации, и улавливать незначительные спектральные нюансы в ответ на различные патологические состояния.

Рисунок 1. Спектральный куб данных.

Системный механизм HSI поясняется на примере типичного принципа построчной гиперспектральной системы [11], как показано на Рисунке 2. Сначала источник света направляется на пространственную информацию и проходит через переднюю линзу в щель, где свет разных длин волн преломляется в разной степени. Затем каждая точка пикселя в этом измерении освещает детектор через дисперсионные устройства, такие как решётки и призмы, для разделения света на узкие спектральные диапазоны. Каждая строка пространственной информации образца обрабатывается как двумерное изображение и визуализируется на матрице детекторов. Перемещаясь по плоскости с помощью механического сканирования, камера HSI собирает смежные двумерные изображения, в результате чего получается гиперкуб с двумя пространственными измерениями и одним спектральным измерением.

Рисунок 2. Принципиальная схема построчной гиперспектральной системы визуализации.

Типичная медицинская гиперспектральная система визуализации может быть классифицирована на: оптический прибор сбора; спектральный спектрометр; детектор; системный контроль и модуль сбора данных [13]. Оптические приборы сбора обозначают устройства, которые создают изображения на спектральном спектрометре, такие как прибор, подобный камере, имеющей реальное изображение, или микроскоп, имеющий виртуальное изображение. После сбора и обобщения системы HSI-визуализации для медицины перечислены в Таблице 1.

В соответствии с методами сбора [22] гиперспектральных систем для спектральной и пространственной информации гиперспектральные системы классифицируются на четыре типичных метода: whiskbroom; pushbroom; staring; и snapshot [13], как показано на Рисунке 3.

Рисунок 3. Типичные методы спектральной визуализации. (a) Whiskbroom. (b) Pushbroom. (c) Staring.

Системы визуализации Whiskbroom, также известные как методы точечного сканирования, обычно используют вращающийся сканирующий механизм, который сканирует одну точку по часовой стрелке вдоль пространственных измерений (x и y) и спектрального измерения (λ). Сигнал к биологической ткани последовательно проходит через поворотное сканирующее зеркало и переднюю оптическую систему, а затем спектральный спектрометр проводит спектроскопию и отображает на ПЗС. Куб данных спектрального изображения (x, y, λ) может быть получен из пространственного измерения (x и y) вместе со спектральным измерением (λ), полученным из двумерной сцены.

Система визуализации Pushbroom также известна как метод линейного сканирования. В отличие от точечного сканирования, линейное сканирование может одновременно сканировать, чтобы получить пространственную информацию щели, и один раз сканировать для спектральной информации каждой пространственной точки. Световой сигнал биологической ткани будет проходить через объектив, входную щель, коллимационный модуль, а затем через дисперсионный элемент для завершения спектроскопии и визуализации на ПЗС по очереди.

ПЗС-камера построчного сканирования TIVITA часто используется для обнаружения медицинской биологической ткани для создания HS-изображений со спектральным разрешением 5 нм5нм, снимаемых в спектральном диапазоне 500–1000 нм500–1000нм, создавая куб данных 640×480×100640×480×100 со временем сбора около 6–7 секунд. Она также может использоваться для реконструкции RGB-изображений на основе HSI. Расстояние между камерой и тканью зависит от объектива, обычно составляя 30–50 см30–50см. При сборе свет в операционной выключается, чтобы избежать помех от внешних источников света, и камера устанавливается на мобильную и маневренную медицинскую систему, как показано на Рисунке 4B и описано в следующих ссылках более подробно [23,24].

Рисунок 4. Построчная камера для тканей TIVITA, (A) схема построчной спектроскопической системы; (B) гиперспектральная камера, установленная на медицинском транспортном средстве [23].

Построчная визуализация обычно собирает больше света, чем визуализация whiskbroom, обеспечивая более длительное время экспозиции и более высокое спектральное разрешение для детектора [25]. Эти две системы визуализации не отображают спектральное изображение в реальном времени, которое получается из спектральных вычислений при завершении сканирования соответствующих точек и областей;

Система визуализации Staring, также называемая методом спектрального сканирования, может одновременно захватывать однодиапазонное двумерное изображение в градациях серого полной пространственной информации с кубами спектральных данных, получаемыми путём сканирования спектральной области в нескольких диапазонах. В методе staring используются такие фильтры, как жидко-кристаллические перестраиваемые фильтры (LCTF) и акустооптические перестраиваемые фильтры (AOTF) [26] для завершения сканирования спектра, а затем фокусирующая оптическая система фильтруется для создания узкого спектрального диапазона и отображается в фокальной плоскости детектора. Таким образом, обычно захватывается двумерная информация об изображении в одном диапазоне, а информация, отображаемая в разных диапазонах, накапливается для формирования куба изображения [27]. Куб, построенный с помощью сканирования по длинам волн, предлагает преимущество отображения спектральной информации в реальном времени, что важно для наведения и фокусировки [28]. Благодаря короткому времени сбора его легко соединять с некоторыми оптическими приборами, такими как камеры, эндоскопы или микроскопы, и он широко используется в биомедицине для обнаружения тканей ex vivo и т.д.;

Системы моментальной визуализации могут регистрировать пространственную, а также спектральную информацию на детекторе в одной области экспозиции, и моментальный режим не требует сканирования в пространственных и спектральных измерениях, что приводит к ограниченному пространственному, а также спектральному разрешению. Следовательно, для данного ПЗС спектральная выборка может быть скомпенсирована за счёт увеличения пространства выборки [29]. Система моментальной визуализации отличается от whiskbroom, pushbroom и staring тем, что она захватывает весь гиперспектральный куб за одно экспозиционное время, что делает её идеальной для динамических процессов и визуализации живых объектов, но за счёт более низкого пространственного или спектрального разрешения.

Таблица 1. Области применения гиперспектральных систем визуализации и медицины.

Примечание: LCTF — жидко-кристаллический перестраиваемый фильтр; PGP — призма-решетка-призма; AOTF — акустооптический перестраиваемый фильтр; FPI — интерферометр Фабри-Перо.

Система гиперспектральной визуализации CRI Maestro (Caliper Life Sciences, Inc. (Nasdaq: CALP), США) [53,63,64] позволяет получать гиперспектральные изображения хирургических образцов in vitro. Спектральное сканирование обычно выполнялось с использованием жидко-кристаллического перестраиваемого фильтра (LCTF) и 300-ваттного фотокаталитического ксенонового источника света (Cermax-тип, 300 Вт, ксеноновый источник света, Excelitas Technologies Corp, США) [65]. Система объединяет мультиспектральную визуализацию и её анализ для получения каждого пикселя в спектральном диапазоне от видимого до ближнего инфракрасного. В сочетании со спектральной информацией от объекта она достигает мультиспектрального анализа, разделения и других методов, становясь методом флуоресцентной визуализации in vivo с высокой точностью и чувствительностью.

В отличие от традиционных построчных гиперспектральных визуализаторов, портативные гиперспектральные визуализаторы используют быстрый спектральный захват одного изображения и способны к быстрой визуализации. Малый форм-фактор и простота эксплуатации снижают сложность обработки обычных изображений.

Райта-Хакола и др. [66] представили портативную гиперспектральную систему визуализации SICSURFIS [40], как показано на Рисунке 5. Это компактный портативный гиперспектральный визуализатор на основе пьезоэлектрически управляемого металлического зеркального интерферометра Фабри-Перо (FPI). Он состоит из прототипа портативного пьезоэлектрического металлического зеркального FPI-гиперспектрального визуализатора, RGB-сенсора и светодиодного источника света. Источник света представляет собой серию из трёх специально выбранных девяти светодиодов, которые могут обеспечивать свет в диапазоне от белого до 940 нм940нм. Он почти так же быстр, как моментальный спектральный визуализатор, адаптированный к сложным поверхностям кожи, и позволяет стереоскопическую визуализацию путём наклона под заданными углами. Таким образом, визуализатор предоставляет спектральные изображения под разными углами для фотометрических стерео-расчётов, позволяя моделировать поверхность кожи на каждой захваченной длине волны. Как показано на Рисунке 5, слева внизу, режим, спектральный разделитель и светодиод HSI спектрального визуализатора независимо управляются и могут быть произвольно и эффективно настроены с помощью программного обеспечения.

Рисунок 5. Портативная гиперспектральная система визуализации SICSURFIS [40]. В статье [66] описывается принцип и тестирование первой фазы трёхэтапного пилотного проекта этой системы визуализации, сосредоточенного на сложной поверхности кожи. Устройство всё ещё является прототипом и требует дальнейшей доработки перед использованием в клинических целях.

Помимо описанной выше портативной гиперспектральной системы визуализации SICSURFIS, существует ещё одна компактная система визуализации [61,67]. Эта система визуализации построена на основе гиперспектральной моментальной камеры и использует FPI для обеспечения спектрального разрешения 6–10 нм6–10нм в спектральном диапазоне 500–900 нм500–900нм. Как показано на Рисунке 6, эта система может визуализировать произвольно выбранные участки кожи, где (a) — обнаружение кожи ладони, а (b) — обнаружение тыльной стороны стопы у пациентов с диабетом.

Рисунок 6. Компактная портативная гиперспектральная система визуализации [61]. Предложенная система визуализации [67] была разработана для обеспечения количественной диагностики и визуализации человеческой кожи. Это включает двумерное картирование хромофоров кожи, картирование гемо-кислородной динамики и оценку перфузии кожи.

Анализ полученных гиперспектральных изображений, особенно медицинских гиперспектральных изображений, может извлечь важную информацию о диагностике и лечении из некоторых тканей и клеток и поэтому очень важен для медицинской диагностики и клинических приложений. В то же время, поскольку гиперспектральные изображения обычно также содержат видимые спектры и сотни спектральных диапазонов, они рассматриваются как гиперкуб, который предоставляет богатую спектральную информацию для анализа изображений и имеет преимущество высокого пространственного и высокого разрешения для получения более полезной информации, но в то же время из-за высокой размерности их также сложнее анализировать, что может привести к избыточности данных и размерной катастрофе. Выбор диапазонов может в некоторой степени решить проблему размерной катастрофы. В Таблице 2 показано сравнение шести методов выбора диапазонов. В Таблице 3 перечислены операции предварительной обработки изображений, используемые в литературе; в Таблице 4 перечислены архитектуры глубокого обучения, используемые в литературе.

После получения гиперспектральных данных, поскольку данные имеют такие факторы, как высокая размерность, избыточность диапазонов внутри изображения и шум приборов, их необходимо обработать с помощью некоторых распространённых алгоритмов предварительной обработки для получения гиперспектральных данных, удаляющих ненужный шум.

Гиперспектральные радиационные наблюдения нормализуются для устранения спектральной неоднородности и эффектов тёмного тока осветительного устройства. Спектральные признаки на основе однородного отражения будут получены для извлечения признаков. Сначала исходные радиационные данные преобразуются в нормализованное отражение [68–70] с использованием (1):

где Iref​ — полученное нормализованное отражение; Iraw​ — исходное HS-изображение; Iwhite​ — эталонное белое изображение; и Idark​ — тёмное эталонное изображение, полученное с использованием системы сбора.

Одним из наиболее популярных методов нормализации является стандартная нормализация (SNV). SNV обычно применяется для устранения эффектов рассеяния, вызванных присутствием частиц разных размеров на поверхности объекта, для уменьшения неоднородности частиц и для устранения эффектов, вызванных спектром диффузного отражения в БИК-диапазоне. SNV обычно обрабатывает один из спектров, и его уравнение (2) показывает преобразованный спектр:

где mx=m∑k=1m​xk​​; m — количество точек длины волны; k=1,2,…,mk=1,2,…,m.

Спектральный шум присутствует при обнаружении спектральных признаков, и HS-сенсор имеет плохой отклик в некоторых диапазонах, которые следует удалить. Затем для фильтрации HS-данных используются сглаживающие фильтры [71] для уменьшения случайного спектрального шума в оставшихся спектральных диапазонах. Сглаживающая фильтрация является самым простым и эффективным методом устранения шума, и обычно используются такие алгоритмы, как смещение окна и метод наименьших квадратов, в которых сглаживание Савицкого–Голая [72] может значительно сохранить характеристики данных, такие как относительные экстремумы и ширины, и выполнить гладкое шумоподавление исходного спектра.

Выбор спектральных диапазонов [73] является важным инструментом и, вероятно, наиболее эффективным и прямым методом, который может смягчить избыточность гиперспектральных данных. Он направлен на выбор крошечного подмножества из гиперспектральных диапазонов, т.е. на выбор некоторой информационно-богатой и отличительной особенности из исходного гиперспектрального куба, что снижает вычислительные затраты и сохраняет физические характеристики диапазонов [74].

Выбор гиперспектральных диапазонов в текущих исследованиях в основном делится на шесть типов: основанные на ранжировании; основанные на поиске; основанные на кластеризации; основанные на разреженности; основанные на встроенном обучении; и основанные на гибридной схеме [74]. Поскольку алгоритмы кластеризации учитывают только избыточную информацию спектральных диапазонов и игнорируют количество информации в подмножестве диапазонов, Ван и др. [75] разработали новый метод выбора диапазонов с помощью адаптивной стратегии разбиения подпространств и добились хороших результатов с точки зрения точности, а также эффективности. Сун и др. [76] предложили быстрый и потенциальный выбор спектральных диапазонов для кластеризации подпространств с низким рангом, с более высокой точностью классификации и меньшими вычислительными затратами в качестве конечного результата.

Таблица 2. Сравнение шести методов выбора диапазонов.

3.1.4. Снижение размерности признаков

Снижение размерности признаков, другими словами, извлечение признаков, также является важным инструментом. Однако извлечение признаков — это преобразование исходных гиперспектральных данных с помощью линейного или нелинейного отображения в более низкие измерения, при этом эффективная информация сохраняется для последующего анализа. Примеры типичных методов включают анализ главных компонент (PCA) [77,78], линейный дискриминантный анализ (LDA) [79], минимизацию шумовой составляющей (MNF) и анализ независимых компонент (ICA).

Анализ главных компонент был наиболее часто используемым методом для уменьшения размерности гиперспектральных признаков, улучшая интерпретируемость без потери большого количества информации. Это статистический метод, который сохраняет максимальное количество информации и устраняет избыточный шум и данные. Преобразование MNF по своей сути представляет собой два одновременно каскадированных преобразования PCA, разработанных для уменьшения спектральной размерности и отделения шума от данных изображения. ICA позволяет получить спектральные признаки, которые максимально разделены, что также является полезным расширением анализа главных компонент. Ключевая идея анализа независимых компонент заключается в предположении, что данные линейно объединены через набор отдельных источников и разлагаются на основе статистической независимости мер перекрёстной информации.

Таблица 3. Методы предварительной обработки изображений.

Таблица 4. Сводка распространённых архитектур и методов глубокого обучения.

Таблица 4. Сводка распространённых архитектур и методов глубокого обучения. (Продолжение)

3.2. Классификация

Классификация медицинских гиперспектральных изображений (MHSI) представляет собой область, где медицинский анализ был впервые применён, и теперь MHSI становится всё более популярным для медицинских диагностических приложений. Гиперспектральные изображения с высоким разрешением могут предоставлять более богатые спектральные признаки для задач классификации, и этот метод в основном используется для обнаружения и классификации рака, а также для классификации клеток [93]. Ранее для классификации медицинских гиперспектральных изображений часто использовались традиционные методы машинного обучения. ML использует данные и статистические модели для задач обучения и распознавания и может принимать решения с учителем или без него. Например, Торти и др. [82] сначала использовали алгоритм классификации с учителем, состоящий из PCA, SVM и KNN, а затем использовали его в сочетании с алгоритмом кластеризации K-средних (K-means) для финальной взвешенной классификации, чтобы правильно классифицировать нормальные и раковые ткани; Фабело и др. [38] использовали комбинацию методов с учителем и без учителя, используя SVM для классификации пикселей с учителем, затем применяя алгоритм уменьшения размерности t-распределённого вложения соседей и, наконец, карты сегментации, сгенерированные путём объединения кластеризации без учителя, были точно идентифицированы на границах новообразований.

DL — это подход на основе глубоких нейронных сетей. По сравнению с ML, DL не требует ручной настройки признаков и получает большую способность к обучению за счёт увеличения числа слоёв сети и автоматического вычисления весовых параметров, а затем непрерывного изучения признаков различных данных. Как сетевая модель «сквозного» типа, он имеет преимущества в обработке изображений и широко используется в классификации гиперспектральных изображений. В традиционных алгоритмах машинного обучения для классификации признаки для классификации представлены одномерным вектором. Напротив, HSI представляет собой многомерные данные, состоящие из двумерной информации об изображении и одномерной спектральной информации, и количество информации, содержащейся в изображениях на разных длинах волн, различно. Каждый элемент изображения состоит из сотен спектральных диапазонов, содержащих богатые спектральные признаки. Таким образом, при обработке необходимо уменьшить размерность многомерных данных; тогда окончательные извлечённые признаки будут содержать только спектральную информацию, а пространственная информация будет игнорироваться. Поэтому всё больше учёных сосредотачиваются на двухканальной структуре одновременного извлечения пространственных и спектральных признаков. Используя методы глубокого обучения, можно не только извлекать признаки в пространственном измерении с помощью свёртки, но и позволить ядру свёртки скользить в спектральное измерение для извлечения высокоуровневых спектральных признаков. Этот метод одновременного извлечения пространственной информации из гиперспектральных изображений вместе со спектральными признаками делает извлечённую информацию более богатой и делает такие операции, как классификация, более точными.

В отличие от использования глубокого обучения в других областях, созревание глубокого обучения для MHSI потребовало некоторого времени. Ранее MHSI использовала искусственные нейронные сети для классификации рака, и Натан и др. [83] использовали алгоритм, сочетающий гиперспектральную визуализацию с машинным обучением, т.е. используя машины опорных векторов (SVM) и искусственные нейронные сети (ANN) для различения различных типов рака.

В последнее время свёрточные нейронные сети (CNN) широко используются для классификации MHSI. Хуан и др. [36] в 2018 году предложили извлечение глубоких признаков MHSI с использованием CNN в сочетании с фильтрами Габора, названное моделью GFCNN, для улучшения классификации клеток крови в условиях малых выборок. В последующие годы Хуан и др. [80] дополнительно применили MGCNN, глубокую свёрточную сеть с фреймворком классификации фильтров Габора, для классификации клеток крови. Вэй и др. [86] построили модель EtoE-Net, состоящую из двухканальной CNN с попиксельным отображением между исходным MHSI и основными изображениями диапазонов для формирования глобально объединённых признаков. Глобальные и локальные признаки были извлечены в двухканальной CNN, и множественные признаки были расширены и соединены в вектор суперпозиции для слияния. В конечном счёте, эта модель показала самую высокую производительность классификации по сравнению с традиционными методами машинного обучения. Ван и др. [84] представили глубокую гипер 3D-свёрточную сеть, которая объединила 3D-CNN с 3D-модулем внимания в сверхглубокой сети для классификации лейкоцитов. Экспериментальные результаты показали наивысшую точность при размещении модуля внимания на последнем слое сети для классификации. Помимо классификации клеток, существует множество приложений медицинской классификации изображений с использованием глубокого обучения в случае некоторых диагнозов рака, и большинство исследований использовали гиперспектральную визуализацию с классификаторами свёрточных нейронных сетей (CNN) для классификации раковых клеток [31,33,35,42,85,91,94]. Например, Зоммер и др. [34] классифицировали нефроны с помощью CNN на основе данных HSI, конкретно с помощью остаточных нейронных сетей (ResNet). Ли и др. [58] использовали архитектуру глубокого обучения с ResNet34 на флуоресцентных гиперспектральных изображениях для классификации рака желудка, и модель достигла точности, специфичности и чувствительности классификации более 96%96%. Бенгс и др. [32] исследовали задачи классификации опухолей in vivo более сложного характера с использованием HSI и различных подходов глубокого обучения. Более эффективный свёрточный управляемый рекуррентный блок (CGRU) использовался для уменьшения трёхмерного гиперспектрального куба. Затем для обработки двумерных данных для финальной классификации использовалась CNN, следующая за плотно связанной свёрточной нейронной сетью (DenseNet). Григоройу и др. [45] реализуют онлайн-классификацию данных из HSI-эндоскопии с помощью CNN для окрашивания и анализа различных стадий заболевания свиного пищевода, а также человеческого пищевода. Были показаны пространственно различные цвета, и были подтверждены свойства алгоритмов глубокого обучения с использованием методов классификации на основе цвета, показывая, что попиксельная классификация возможна для гиперспектральных эндоскопических данных с 18 чистыми цветовыми спектрами, что отражает большой потенциал CNN для цветовой категоризации в реальном времени в эндоскопической HSI.

Сеть U-Net является наиболее часто используемой и эффективной сетью в медицинской области. Первоначально она использовалась только для сегментации изображений, но позже постепенно стала использоваться для классификации и обнаружения. Поскольку эта сеть не применима к анализу гиперспектральных изображений, Манифолд и др. [95] предложили структуру U-within-U-Net (UwU-Net), которая может классифицировать, сегментировать и прогнозировать ортогональные паттерны визуализации с использованием различных методов гиперспектральной визуализации. Прогнозирование множественных локализаций препарата в изображениях тканей печени крыс выполнялось внешним U-Net, обрабатывающим спектральную информацию, и внутренним U-Net, обрабатывающим пространственную информацию.

3.3. Обнаружение

Медицинские гиперспектральные изображения обычно реже используются в обнаружении и имеют больше потенциала для развития. Обычно в клинической медицине обнаружение в патологических изображениях — это то, что может быть использовано в будущем как ключевая часть диагностики. В одной из работ использовалась комбинация признаков вейвлет-преобразования и машинного обучения, упоминалось использование метода классификации признаков на основе дискретного вейвлет-преобразования (DWT) [60]. Средние спектры блоков пикселей одинакового размера были извлечены из раковых и нормальных тканей соответственно как исходные спектры, и машина опорных векторов (SVM) использовалась для классификации исходных данных и извлечённых вейвлет-признаков. Маска опухоли была сгенерирована для изображений, чтобы различать обнаружение раковых и нормальных тканей, и эксперименты показали лучшее различение перекрывающихся спектров на основе классификации вейвлет-признаков.

Обычно MHSI применяет сеть CNN для попиксельной классификации медицинских гиперспектральных изображений для обнаружения опухолей. Больше обнаружений рака головы и шеи, где двухканальная свёрточная модель [96] со спектральными и структурными ветвями использовалась для обнаружения гиперспектральных данных плоскоклеточного рака языка, полученных при сканировании, и разделённых на три области: опухоль, здоровая мышца и эпителий, и, наконец, результаты двухканальной модели превзошли методы, использующие только спектральные или только структурные данные. Бенг и др. [97] предложили технологию обнаружения рака глотки in vivo путём подачи спектрального измерения в сеть DenseNet2D-MS, используемую блоками DenseNet с 3D-свёрточными блоками для извлечения пространственно-спектральной информации. Наконец, опухоли и здоровые ткани были обнаружены после классификации результатов с использованием глобального среднего пулинга (GAP) и классификационных слоёв. С другой стороны, Халицек и др. [48] использовали архитектуру CNN Inception-v4 и ввели алгоритм карт активации, подобный градиенту, для изучения возможностей обнаружения с гиперспектральными изображениями для обнаружения рака. Было показано, что HSI может помочь хирургам и патологам обнаруживать опухоли в железах. В другой статье была применена одноканальная архитектура U-Net, состоящая из сложенных видимого (VIS) и ближнего инфракрасного (NIR) света [54], для достижения сегментации гиперспектральной визуализации в реальном времени во время операции. Впервые для обнаружения опухолей была использована семантическая сегментация на основе глубокого обучения данных HSI, и эксперименты продемонстрировали важность NIR-спектроскопии для обнаружения опухолей.

Кроме того, это также использовалось для обнаружения других заболеваний. Примеры включают обнаружение клеток рака молочной железы с помощью разработки микроскопа для гиперспектральной визуализации и программного обеспечения глубокого обучения для цифровой патологии [42]. Для обнаружения признаков под поверхностью кожи были использованы метод обнаружения локальных ручных признаков и метод обнаружения признаков на основе глубокого обучения, демонстрируя способность системы отслеживать кожные признаки и что признаки кожи, обнаруженные с помощью глубокого обучения, были обнаружены и локализованы лучше, чем локальные ручные признаки [46].

3.4. Сегментация

При сегментации медицинских изображений в основном на изображении набрасываются контуры, чтобы можно было чётко увидеть контуры некоторых органов или важных частей в качестве ориентира. Эта операция важна для различения некоторых органов в организме человека, таких как мозг, для медицинской диагностики. В последние годы сегментации медицинских гиперспектральных изображений было меньше, но методы в статьях относительно новы.

В одном исследовании использовался гибридный подход машинного обучения и HSI [57], применённый к сегментации тканей для хирургии с визуальным сопровождением печени и щитовидной железы, и было выполнено семь моделей машинного обучения. Для каждой модели, кроме U-Net, пространственный анализ выполнялся на трёх уровнях: без пространственного анализа; одноуровневый анализ; и многоуровневый анализ. Экспериментальные результаты для печени показали, что U-Net может идентифицировать ткани с высокой точностью и достигать оптимальной производительности сегментации. SVM с RBF в сочетании с многоуровневым пространственным анализом дала субоптимальную производительность. При распознавании тканей на данных HSI щитовидной железы LR в сочетании с многоуровневым пространственным анализом сегментировала с наибольшей эффективностью. Гарифуллин и др. использовали плотные полносвёрточные сети (Dense-FCN) в сочетании с моделью SegNet [98] для совместной сегментации сосудов сетчатки, зрительного диска и макулы с использованием гиперспектральных изображений сетчатки, а также провели эксперименты на RGB-изображениях. Сравнение показало, что спектры могут предоставить некоторую дополнительную информацию о зрительном диске и макуле и улучшить производительность распознавания.

Архитектура U-Net в основном используется в медицинской сегментации, и главной новизной этой архитектуры является комбинация равных слоёв повышающей и понижающей дискретизации, на которой в настоящее время улучшаются большинство сегментационных сетей. Траяновски и др. [99] сегментировали опухоли плоскоклеточного рака в сети U-Net, случайным образом выбирая 100 патчей размером 256×256256×256 из набора данных каждого пациента для подачи в сеть U-Net. Из-за выбора больших патчей пространственный фон занимает большую площадь и обеспечивает лучшую производительность, чем попиксельные спектральные и структурные методы, демонстрируя важность инфракрасной спектроскопии для анализа. После этого снова была опубликована одноканальная U-Net, состоящая из сложенного видимого и инфракрасного света, подтверждающая важность инфракрасной спектроскопии [54]. Чтобы в полной мере использовать спектральные признаки в 3D гиперспектральных данных, Ван и др. [55] предложили Hyper-Net, 3D полносвёрточную сеть кодирования и декодирования для сегментации гиперспектральных патологических изображений меланомы. Чтобы сохранить мелкие признаки, потерянные из-за глубины, в финальной части кодирования использовался двухпутный подход с добавлением расширенной свёртки для быстрого извлечения мелкозернистых признаков низкого разрешения, что значительно улучшило точность сегментации. Зайдлиц и др. [56] объединили насыщение тканей кислородом (StO2), индекс перфузии в ближнем инфракрасном диапазоне (NPI), индекс воды в тканях (TWI) и индекс гемоглобина в тканях (THI) органических корреляционных изображений, наложенных на входную кубическую модель. Нейронные сети обучались на каждом из трёх входных сетей в соответствии с изученными уровнями детализации данных (на основе пикселей, на основе суперпикселей, на основе патчей и на основе всего изображения). Исследование показало, что необработанные данные HSI имеют большие преимущества в сегментации органов.

В последующих исследованиях существует встраивание трансформера в кодирующую часть U-Net [100] и применение его в сегментации изображений, что может изучать плотные корреляции между диапазонами. Имея преимущества как трансформеров, так и U-Net, он более способен сегментировать медицинские изображения. Однако полученная информация подвержена влиянию некоррелированных диапазонов. Поэтому вводится разреженная схема для формирования спектрального трансформера SpecTr, который экспериментально показал превосходство над 3D-UNet и 2D-UNet.

3.5. Выводы

В процессе чтения и систематизации литературы мы приходим к выводу, что существуют некоторые распространённые модели машинного обучения и глубокого обучения в области медицинской гиперспектральной визуализации, которые могут многократно использоваться и показывать хорошие результаты. В моделях классификации и обнаружения большинство из них улучшаются с использованием распространённых CNN и ResNet, особенно 2D CNN, 3D CNN и 2D CNN в сочетании с 3D CNN, для извлечения пространственных и спектральных признаков в гиперспектральных изображениях. В задачах сегментации изображений в основном используются классические полносвёрточные сети U-Net в различных вариантах для получения более эффективных моделей.

В литературе сетевые модели используют многомасштабный процессорный модуль Inception, 3D-модуль внимания, трансформер, фильтр Габора, дискретное вейвлет-преобразование (DWT) и блок расширенной свёртки (DCC) для улучшения извлечения признаков. Это также некоторые хорошие направления исследований, которые могут оказать большую помощь в последующем улучшении производительности модели.

При вычислении ошибки между предсказанными и истинными значениями модели обычно используются функции потерь, такие как кросс-энтропийная потеря, потеря SoftMax, R-квадрат, среднеквадратичная ошибка (RMSE) и среднеквадратичная ошибка (MSE), для измерения степени соответствия модели данным.

4. Области применения медицинских гиперспектральных изображений

4.1. Медицинская диагностика

По мере увеличения разрешения гиперспектральных медицинских изображений большинство современных основных методов исследования используют комбинацию спектральных признаков гиперспектральных изображений и пространственных признаков, что не только извлекает богатую спектральную информацию гиперспектральных изображений, но и интегрирует извлечение текстурной структуры и детальной информации изображений, что значительно повышает точность классификации. Оптическая визуализация для обнаружения рака представлена, поскольку поражения приводят к изменениям морфологии клеток и вызывают изменения в свойствах поглощения, рассеяния и флуоресценции. Таким образом, оптическая характеристика тканей, наоборот, может предоставить ценную диагностическую информацию. HSI может получать широкоформатные изображения тканей, повышая точность диагностики при диагностике таких состояний, как рак желудка, молочной железы, шейки матки, кожи, а также головы и шеи. В Таблице 5 представлены различные методы для областей применения медицинских гиперспектральных изображений и сравнение различных достижений.

4.1.1. Рак желудка

Большинство исследований за последнее десятилетие или около того могут играть ключевую роль в раннем обнаружении рака, и обнаружение опухолей может помочь врачам диагностировать рак и рассекать злокачественные опухолевые области, когда они могут быть на безопасном расстоянии от края.

Лю и др. [59] использовали систему NIR-HSI для захвата гиперспектральных изображений тканей желудка и извлекли средний спектр и нормальное отклонение нормальных пикселей и пикселей после ракового изображения. Размерность гиперкубических значений была уменьшена с использованием анализа главных компонент (PCA), и шесть были выбраны в качестве оптимальных длин волн. Кроме того, нормальные и раковые ткани были классифицированы с использованием спектрального углового анализатора (SAM), и в конечном итоге SAM достиг индекса классификации с точностью 90%90%.

Коллинз и др. [81] провели эксперименты по обнаружению с использованием машины опорных векторов с ядром радиальной базисной функции (RBF), MLP и 3DCNN на данных, содержащих 12 пациентов с раком толстой кишки и 10 пациентов с раком пищевода соответственно. Окончательные экспериментальные результаты показывают, что 3DCNN работает лучше на обоих наборах данных. Также предлагается, что использование интерактивного порогового принятия решений может быть применено в будущих хирургических процедурах и использоваться с высокой ценностью для улучшения производительности классификации.

Ху и др. [35] построили модель классификации с эффективной совместной CNN для извлечения глубоких спектрально-пространственных признаков опухоли, способствующих классификации. Основываясь на различиях между тканью рака желудка и обычной тканью по микроскопическим гиперспектральным признакам, эксперименты были проведены на наборе данных гиперспектральных данных рака желудка от 30 пациентов. Было показано, что скорость классификации симуляционной модели как раковых, так и нормальных тканей составляла более 97%97% по точности, а также чувствительности и специфичности тканей рака желудка.

Ли и др. [58] использовали метод флуоресцентной гиперспектральной визуализации, который может получать пространственную и спектральную информацию о тканях. Они также использовали архитектуру глубокого обучения в сочетании с методом пространственно-спектральной классификации для классификации полученных флуоресцентных гиперспектральных изображений на группы нераковых поражений, предраковых поражений и рака желудка, и точность, специфичность и чувствительность классификации были выше 96%96%.

4.1.2. Рак мозга

Наиболее важным аспектом хирургии рака мозга является точное иссечение опухолевой части, что сохраняет максимальное количество здоровой ткани для обеспечения послеоперационной безопасности пациента. Фабело и др. [87] использовали подход, связанный с глубоким обучением, для обработки высокоспектральных изображений живой мозговой ткани для определения местоположения опухоли, что может помочь хирургу во время операции. Кроме того, предложенная система визуализации может быть настроена в любое время и может найти наилучший классификационный порог, подходящий для хирургии. Манни и др. [90] исследовали методы идентификации типов тканей во время операции и предложили гибридную архитектуру 3D-2D CNN на основе глубокого обучения для извлечения пространственных и спектральных признаков для классификации нормальной ткани мозга в наборе HS-изображений живых тканей вместе с тканью глиобластомы. В экспериментах было показано, что гибридная 2D-3D сеть имеет большую точность в обнаружении как опухолей, сосудов, так и здоровых тканей.

Ортега и др. [51] обработали срезы человеческой мозговой ткани окрашиванием гематоксилином и эозином (H&E) и автоматически различали глиобластому (GB) и неопухолевую ткань на срезах с использованием HSI и свёрточной нейронной сети (2D-CNN). Эксперименты также были проведены на 13 пациентах, и тест показывает, что средняя чувствительность и собственные значения автоматического обнаружения патологических срезов с использованием свёрточных нейронных сетей на HSI-изображениях были выше, чем у RGB, что указывает на потенциал HSI для гистопатологического анализа.

4.1.3. Рак головы и шеи

Раннее обнаружение опухолей головы и шеи имеет решающее значение для выживаемости пациентов. Для диагностики заболеваний гортани обычно используется эндоскопия. Однако из-за различий в спектральных характеристиках до и после раковых поражений неинвазивное обнаружение было выполнено с использованием гиперспектрального визуализатора.

Мактаби и др. [44] оценили четыре алгоритма классификации с учителем в своих экспериментах: случайный лес; SVM; MLP; и K-ближайшие соседи. Записи HSI процедур эзофагэктомии у 11 пациентов различали злокачественные опухоли и здоровые ткани. Конечная цель — получить методы распознавания тканей в реальном времени при эзофагэктомии и процедурах подтяжки желудка.

Чжоу и др. [52] разработали новую метод поляризационной гиперспектральной визуализации. Нормальные области и раковые области были различены на тканевых срезах головы и шеи, окрашенных гематоксилином и эозином (H&E). Также использовался фреймворк машинного обучения для классификации изображений. Результаты показывают, что классификатор SVM показал наилучшую точность классификации как для исходных поляризационных гиперспектральных данных, так и для синтетических данных RGB-изображений.

Джеярадж и др. [18] использовали разделяющую глубокую обучающую сеть на основе регрессии для диагностики рака полости рта. Два разделяющих слоя были использованы для маркировки и классификации областей интереса на гиперспектральных изображениях, и окончательные результаты классификации были более высокого качества, чем обычная диагностика.

Халицек и др. [63] использовали классификатор CNN для классификации HSI на резецированных образцах плоскоклеточного рака, зоба и здоровых тканей головы и шеи. Это также было подтверждено ручной аннотацией патологоанатома, специализирующегося на раке головы и шеи. Первоначальные результаты на 50 пациентах показывают перспективность HSI с DL для автоматической гистологической маркировки хирургических краёв у пациентов с раком головы и шеи. Халицек и др. [103] использовали подход DL вместо ROI для классификации целого образца ткани, используя свёрточную сеть (CNN) для быстрой классификации тканей на краях карциномы и нормальной ткани. Кроме того, потенциал HSI-основанных методов бесконтактной визуализации для обнаружения плоскоклеточного рака был исследован для хирургического обнаружения SCC. Как CNN, так и SVM + PCA + KNN были использованы для создания карт вероятности прогноза SCC соответственно [49], чтобы исследовать информацию, предоставляемую гиперспектральной визуализацией и ML и CNN в обнаружении рака головы и шеи, а также исследовать ограничения HSI-основанного и SCC-обнаружения.

4.1.4. Рак кожи

Леон и др. [41] объединили методы с учителем и без учителя для автоматической сегментации HS-карты на нормальную ткань вместе с пигментными поражениями кожи (PSL) с помощью алгоритма K-средних, а затем подали сегментированные пиксели PSL в фреймворк классификации для классификации их как доброкачественных и злокачественных опухолей. Это первоначальное исследование иллюстрирует в этом предварительном исследовании возможность метода HSI помочь дерматологам различать доброкачественные и злокачественные PSL в рутинной клинической практике с использованием живых неинвазивных портативных устройств.

Линдхольм и др. [40] использовали новый портативный спектральный визуализатор SICSURFIS в исследовании для предоставления детальных спектрально-пространственных данных. Была предложена новая система SICSURFIS HSI-CNN для эффективного различения аномальной и доброкачественной патологии кожи (меланома, пигментные невусы, дерматомные невусы, базальноклеточная карцинома и плоскоклеточная карцинома), с хорошими результатами даже для сложных поверхностей кожи.

4.1.5. Заболевания глаз

Аду и др. [104] идентифицировали неинвазивный метод визуализации сетчатки. Из-за значительного врождённого глазного отражения у разных людей и внутри людей между разными областями сетчатки исходные спектры отражения сетчатки бесполезны для различения случаев и контролей. Таким образом, была удалена основная ось для спектральных дисперсий внутри групп, и наибольшее расхождение, которое можно было наблюдать среди спектров отражения для случаев и контролей, наблюдалось на более коротких длинах волн. Этот метод играет важную роль в скрининге болезни Альцгеймера.

4.1.6. Рак толстой кишки

Рак толстой кишки является вторым по распространённости раком в мире, а также второй причиной смертности, связанной с раком. Некоторые локализованные, первичные, а также ранние стадии рака толстой кишки в основном лечатся путём полного удаления опухоли.

Янсен-Винкельн и др. [92] использовали различные методы машинного обучения параллельно со статистическим анализом для оценки эффективности HSI для различения слизистой здоровой аденомы толстой кишки от колоректального рака. В экспериментах использовалась гиперболическая функция тангенса в качестве активационного слоя в нейронной сети для тестирования фреймворка классификации с учителем RF/SVM с многослойным восприятием (MLP). Пространственно информативная классификация была достигнута на данных HSI с использованием гауссовского фильтра с точностью 96%96% при классификации ткани рака слизистой.

Манни и др. [39] использовали уже предложенную 3D-CNN в спектральном пространстве, а также структуру Hybrid Spectra Net (HybridSN) 2D-CNN для классификации в шести изолированных образцах для обнаружения. В конечном итоге это дало немного более высокий средний AUC, чем CNN на основе ResNet и 3D-CNN. Также было показано, что метод классификации HybridSN-CNN может использоваться как инновационная техника для обнаружения тканей рака толстой кишки и для хирургии колоректального рака с визуальным сопровождением.

Таблица 5. Сравнение различных методов в области применения медицинских гиперспектральных изображений и различных достижений.

HSI всё ещё является развивающейся медицинской модальностью визуализации, которая может предоставлять пространственную и спектральную информацию о некоторых тканевых образцах. Она отражает качественные характеристики, такие как размер и форма этих образцов, а также их внутреннюю текстурную структуру и различия в составе, и эти богатые признаки предоставляют пространство для развития глубокого обучения в медицинской гиперспектральной визуализации. Её неинвазивный характер также играет огромную роль в хирургическом руководстве.

Однако из-за того, что развитие глубокого обучения всё ещё находится на стадии теоретической разработки и технического исследования в обработке HSI-изображений, его применение в гиперспектральной медицинской диагностике с глубоким обучением ограничено узким местом обработки HSI-изображений. Как извлекать более богатую информацию при высоком спектральном разрешении и пространственном разрешении без потери некоторой детальной информации. Это представляет собой проблему, которую необходимо решить в спектральной обработке изображений. Также важно иметь возможность быстро получать целевую информацию и выдавать диагностические результаты, поскольку требуется много времени от операций предварительной обработки гиперспектральных изображений до архитектуры глубокого обучения и конечных результатов. По мере того как HSI продолжает развиваться, больше экспериментальных исследований уточняют алгоритм и обеспечивают ответственность анализа HSI для рутинного клинического использования.

В статье обсуждаются некоторые часто используемые системы гиперспектральной визуализации, представлены четыре основных метода спектральной визуализации: whiskbroom; pushbroom; staring; и snapshot, а также новые портативные гиперспектральные системы визуализации. Обобщены некоторые распространённые методы предварительной обработки изображений и обсуждается использование глубокого обучения для классификации, обнаружения и сегментации гиперспектральных изображений. Наконец, даётся краткое резюме применения гиперспектральных технологий в медицинской области.

Большинство исследователей стремятся достичь наилучшей производительности методов глубокого обучения и архитектур нейронных сетей в данной области. Однако, глядя на большинство медицинских соревнований по обработке изображений, очевидно, что полагаться только на точные структуры моделей для получения хороших результатов анализа является односторонним. Кроме того, различные методы предварительной обработки данных и методы улучшения данных также необходимы для получения хороших оценок. Поэтому предварительная обработка гиперспектральных изображений является наиболее значимым шагом в проведении исследований и анализа гиперспектральных изображений. Поскольку гиперспектральные изображения получаются в большом количестве диапазонов, изображения содержат много полезной информации, но также вызывают наличие в изображениях избыточной информации, такой как фон и электрический шум, что усложняет анализ изображений. Поэтому большинство исследований выполняют предварительную обработку изображений и спектральную предварительную обработку перед использованием информации из изображений.

Хотя в статье обсуждаются некоторые распространённые методы обработки изображений и спектральной предварительной обработки, некоторые ограничения этих методов существуют в процессе применения, и наиболее подходящие методы должны быть исследованы в непрерывной практике. В процессе сбора данных были найдены новые методы предварительной обработки для преобразования Фурье и вейвлет-преобразования, которые способны к частотной и временной области и показали хорошую производительность в анализе. Эти новые методы предварительной обработки данных дают полезное направление для будущих исследований в анализе данных и хорошую основу для развития исследований в других областях.

Большинство текущих исследований показали, что спектральные изображения могут лучше извлекать диагностические данные соответствующей физиологической, морфологической и композиционной информации тканей. Хотя существует потенциал для ранней диагностики заболеваний, всё ещё есть много ограничений для исследований, которые препятствуют продвижению глубокого обучения в медицинской области.

Во-первых, исследования медицинских изображений в глубоком обучении проводились меньшим числом команд и в более узком масштабе. Большинство исследований заключается в классификации клеток или некоторых тканевых образцов с помощью CNN для определения, есть ли у них рак. Разработка некоторых передовых алгоритмов может более точно различать категории тканей, и исследования в этой области всё ещё медленно развиваются в плане приложений.

Во-вторых, существует крайняя нехватка данных для анализа медицинских изображений в приложениях глубокого обучения. Часто существуют ограничения в калиброванных наборах данных, что приводит к плохой производительности обучения и классификации экспериментов, а некоторые общедоступные наборы данных скудны и малы, и не хватает высококачественной калибровки данных. Хотя эту проблему можно решить с помощью увеличения данных, существует риск переобучения. В настоящее время большинство общих задач компьютерного зрения решаются путём применения меньших фильтров на более глубоком уровне или с помощью гиперпараметрической оптимизации.

Наконец, большинство современных устройств гиперспектрального сбора относительно велики, с меньшим количеством приложений для некоторых портативных устройств, и их применение к глубокому обучению в сочетании с алгоритмами для медицинского анализа в реальном времени ещё предстоит разработать. С созреванием технологии можно реализовать удобную ситуацию, когда анализ тканевых случаев может быть быстрее и безопаснее применён в клинике.

Хотя существует много проблем, препятствующих развитию этой области, по мере того как технологии продолжают развиваться, всё больше команд будут посвящать себя исследованиям в области медицинской гиперспектроскопии и строить более полные базы данных для разработки более удобных и эффективных визуализационных спектрометров. Кроме того, больше учёных будут изучать методы объединения спектральной визуализации с другими биомедицинскими визуализациями. Это сделает анализ более всесторонним и поможет интерпретировать параметрическую информацию различных биологических тканей для замены традиционного диагностического оборудования.

Поэтому в процессе обобщения и интеграции статей мы должны выбирать некоторые значимые статьи и методы для описания и синтеза, чтобы они могли быть более репрезентативными и дать некоторые направления для последующих исследователей. Однако теоретические исследования незаменимы, и практическая применимость также важна для эволюции этой области. Общедоступные наборы данных облегчают агрегацию результатов исследований. Неудивительно, что исследования в области диагностики рака мозга и диабетической стопы показали, что полные размеченные наборы данных могут увеличить внимание исследователей к этому направлению. Ожидается, что легко извлекаемые метки данных станут более доступными в будущем.

В этом обзоре был систематизирован большой объём литературы, и путём изучения различных направлений некоторые существующие исследования были разделены на разные категории, и статьи были обобщены в разных разделах, чтобы представить чёткую структуру, отражающую развитие HSI и развитие комбинации различных технологий. Это развитие произошло через исследования по применению HSI в клиническом анализе и операционном руководстве, к анализу и оценке медицинских HSI-изображений в сочетании с машинным обучением и, наконец, к приложениям глубокого обучения. Всё больше учёных посвящают себя этим исследованиям, что также значительно продвинуло развитие этой области.

Большинство авторов не публиковали экспериментальные данные и коды из-за принципов конфиденциальности или медицинской этики. Однако есть ещё несколько учреждений, которые предоставляют соответствующие наборы данных. Хотя существуют некоторые гиперспектральные данные изображений, принадлежащие тканям животных, это полезно для продвижения исследований алгоритмов и моделей. Мы перечислили собранные общедоступные наборы данных, где это возможно.

1. HSI Human Brain Database

Веб-сайт: https://hsbiandatabase.iima.ulpgc.es/ (доступ 19 марта 2018 г.)

Ссылки позволяют загрузить гиперспектральные изображения человеческого мозга in vivo, использованные в статье [38]. Этот набор данных использовался в нескольких статьях и в настоящее время является самым популярным общедоступным гиперспектральным набором данных;

2. MALDI rat liver anticancer drug spiked-in dataset (imzML)

Веб-сайт: https://www.ebi.ac.uk/pride/archive/projects/PXD016146 (доступ 11 июня 2019 г.)

3. The Hyperspectral SRS and Fluorescence data

Веб-сайт: https://figshare.com/articles/dataset/hs_SRS_fluo_images_zip/13497138 (доступ 29 декабря 2020 г.)

Ссылки позволяют загрузить гиперспектральные SRS и соответствующие изображения флуоресценции органелл, использованные для обучения моделей прогнозирования глубокого обучения с использованием U-within-U-Net.

Ссылки 2 и 3 взяты из [95]. Авторы также поделились исходным кодом:

Исходный код: https://github.com/B-Manifold/pytorch_fnet_UwUnet (доступ 29 декабря 2020 г.)

4. A clinically translatable hyperspectral endoscopy (HySE) system for imaging the gastrointestinal tract

Веб-сайт: https://www.repository.cam.ac.uk/handle/1810/270691 (доступ 17 января 2018 г.)

Ссылки позволяют загрузить сырые и обработанные данные симуляции и экспериментов из статьи (клинически применимая гиперспектральная эндоскопическая система (HySE) для визуализации желудочно-кишечного тракта). Этот набор данных получен из [61];

5. Parallel Implementations Assessment of a Spatial-Spectral Classifier for Hyperspectral Clinical Applications

Веб-сайт: https://ieee-dataport.org/open-access/dataset-parallel-implementations-assessment-spatial-spectral-classifier-hyperspectral (доступ 17 мая 2022 г.)

Ссылки позволяют загрузить HS-изображения, взятые из дерматологических вмешательств. Это очень новый набор данных, предоставленный Химаром Фабело и др. (авторами [38,42,47,49,51]);

6. Microscopic Hyperspectral Choledoch Dataset

Веб-сайт: https://www.kaggle.com/datasets/ethelzq/multidimensional-choledoch-database (доступ 12 декабря2017 г.)

Ссылки позволяют загрузить набор данных как для микроскопических гиперспектральных, так и для цветных изображений холангиокарциномы. Этот набор данных представлен в [100]. Из-за ограничения места для загрузки провайдеры загрузили только часть данных. Оригинальные файлы находятся здесь: http://bio-hsi.ecnu.edu.cn/. Для получения всех данных требуется запрос;

7. Multispectral Imaging Dataset of Colorectal tissue

Веб-сайт: https://figshare.com/articles/figure/Multispectral_Imaging_Dataset_of_Colorectal_tissue/6224957/1 (доступ5 июня 2018 г.)

Ссылки позволяют загрузить изображения двух классов доброкачественных аномалий, а также нормальных и раковых классов. Набор данных состоит из четырёх классов, каждый из которых представлен инфракрасными спектральными диапазонами в дополнение к видимым спектральным диапазонам. Этот набор данных представлен в [51].

Вклад авторов: Концептуализация, Х.Ю. и Т.С.; методология, Р.Ц. и Х.Ю.; программное обеспечение, С.С. и С.Ц.; исследование, С.Ц. и Ц.Ч.; ресурсы, Х.Ю.; курирование данных, К.Я. и Ц.Ч.; написание исходного черновика, Р.Ц.; рецензирование и редактирование, Р.Ц., Х.Ю. и Т.С.; визуализация, С.С.; руководство, Т.С.; управление проектом, Х.Ю. Все авторы прочитали и согласились с опубликованной версией рукописи.

Финансирование: Это исследование было частично поддержано Естественно-научным фондом Департамента науки и технологий провинции Цзилинь (№: 20220101133JC).

Заявление институционального наблюдательного совета: Не применимо.

Заявление об информированном согласии: Не применимо.

Доступность данных: Не применимо.

Благодарности: Авторы хотели бы поблагодарить преподавательский состав за предоставление отличных направлений исследований и руководства во время написания статьи, а также участников исследования за предоставление поддержки, чтобы помочь авторам завершить статью. Все лица, включённые в этот раздел, согласились на упоминание.

Конфликт интересов: Авторы заявляют об отсутствии конфликта интересов.

(Полный список литературы из 104 источников сохранён в оригинале. Здесь я привожу его полностью, как в исходном PDF.)

1. Peyghambari, S.; Zhang, Y. Hyperspectral remote sensing in lithological mapping, mineral exploration, and environmental geology: An updated review. J. Appl. Rem. Sens. 2021, 15, 031501. [CrossRef]

2. Bioucas-Dias, J.M.; Plaza, A.; Camps-Valls, G.; Scheunders, P.; Nasrabadi, N.; Chanussot, J. Hyperspectral Remote Sensing Data Analysis and Future Challenges. IEEE Geosci. Remote Sens. Mag. 2013, 1, 6-36. [CrossRef]

3. Wang, C.; Liu, B.; Liu, L.; Zhu, Y.; Hou, J.; Liu, P.; Li, X. A review of deep learning used in the hyperspectral image analysis for agriculture. Artif. Intell. Rev. 2021, 54, 5205-5253. [CrossRef]

4. Seyrek, E.C.; Uysal, M. Classification of Hyperspectral Images with CNN in Agricultural Lands. Biol. Life Sci. Forum 2021, 3, 6.

5. Lin, Y.; Ling, B.W.-K.; Hu, L.; Zheng, Y.; Xu, N.; Zhou, X.; Wang, X. Hyperspectral Image Enhancement by Two Dimensional Quaternion Valued Singular Spectrum Analysis for Object Recognition. Remote Sens. 2021, 13, 405. [CrossRef]

6. Mahlein, A.-K.; Oerke, E.-C.; Steiner, U.; Dehne, H.-W. Recent advances in sensing plant diseases for precision crop protection. Eur. J. Plant Pathol. 2012, 133, 197-209. [CrossRef]

7. Usha, K.; Singh, B. Potential applications of remote sensing in horticulture—A review. Sci. Hortic. 2013, 153, 71-83. [CrossRef]