Получена: 7 сентября 2021 г. / Исправлена: 28 ноября 2021 г. / Принята: 30 ноября 2021 г.

© Автор(ы) 2021

Измерение морфологических и биохимических особенностей ткани имеет решающее значение для диагностики заболеваний и хирургического руководства, предоставляя клинически значимую информацию, связанную с патофизиологией. Методы гиперспектральной визуализации (HSI) позволяют получать как пространственные, так и спектральные характеристики ткани без мечения молекул, таких как флуоресцентные красители, что даёт богатую информацию для улучшенной диагностики и лечения заболеваний. Недавние достижения в системах HSI продемонстрировали их потенциал для клинических приложений, особенно в диагностике заболеваний и хирургии с визуальным сопровождением. В этом обзоре суммируются основные принципы HSI и оптических систем, анализ изображений на основе глубокого обучения и клинические применения HSI для понимания этой быстро развивающейся области исследований. Кроме того, обсуждаются проблемы, стоящие перед клиническим внедрением методов HSI.

Ключевые слова Гиперспектральная визуализация · Клиническое применение · Оптика тканей · Анализ изображений · Диагностика заболеваний · Хирургия с визуальным сопровождением

Недавние достижения в методах оптической визуализации повысили точность диагностики заболеваний и хирургических операций в клинических условиях [1]. По сравнению с другими медицинскими технологиями визуализации, такими как магнитно-резонансная томография, компьютерная томография и позитронно-эмиссионная томография, оптические методы визуализации являются экономически эффективными, безопасными и простыми в использовании в клиниках [1]. Более того, оптическая визуализация обеспечивает структурное изображение высокого разрешения с компактной оптической системой. Учитывая эти преимущества, за последние несколько десятилетий было разработано множество методов оптической визуализации, включая оптическую когерентную томографию [2], голографическую визуализацию [3, 4] и фотоакустическую томографию [5, 6], для биомедицинских приложений.

Среди них метод спектрально-разрешённой визуализации недавно продемонстрировал множество возможностей для диагностики заболеваний и хирургических инструментов в клиниках [7, 8]. Этот метод может улавливать морфологические и биохимические характеристики, необходимые для точной диагностики заболеваний или функционального анализа во время хирургической операции. Методы спектрально-разрешённой визуализации классифицируются на «мультиспектральные» и «гиперспектральные» технологии визуализации в зависимости от количества измеряемых спектральных каналов. «Мультиспектральная» визуализация регистрирует несколько спектральных признаков (менее 30 каналов). Например, стандартная цифровая цветная камера, простая мультиспектральная система визуализации, измеряет три цвета (красный, зелёный и синий), воспроизводя человеческое зрение (Рис. 1a). Хотя метод цветной визуализации широко используется в клиниках благодаря своим простым и мощным возможностям исследования тканевых образцов, он не способен улавливать информацию за пределами естественно наблюдаемой человеческим глазом. С другой стороны, «гиперспектральная» визуализация (HSI) получает спектральную информацию более чем по 30 каналам, что позволяет регистрировать сложные спектрально-разрешённые взаимодействия света с тканью. HSI измеряет 2D структурную и 1D спектральную информацию в виде 3D набора данных, называемого «гиперкубом» (Рис. 1b, c). Гиперкуб позволяет различать или классифицировать типы образцов, что невозможно с помощью обычных методов цветной визуализации. Поэтому методы HSI широко используются в различных приложениях, включая дистанционное зондирование [9], контроль пищевых продуктов [10], переработку отходов [11], судебную науку [12], обнаружение подделок [13] и биомедицинские приложения [7, 8, 14–18].

Этот обзор посвящён и обобщает последние достижения в области HSI-технологий в клиниках. Благодаря быстрому прогрессу в источниках света, детекторах, методах обработки изображений и вычислительных мощностях, методы HSI недавно были перенесены из исследовательской лаборатории в клинику. Кроме того, многие спектральные устройства визуализации коммерчески доступны, что ускоряет клиническое применение методов HSI. Цель этого обзора – в основном обсудить принципы различных систем HSI и сосредоточиться на текущих клинических приложениях HSI-технологий. В этом обзоре также обсуждаются проблемы перевода системы спектральной визуализации в рутинную клиническую практику и перспективы будущих разработок и применений клинических HSI-методов.

Рис. 1 Схема гиперспектральной визуализации. a Обычное цветное изображение состоит из трёх спектральных каналов. b Гиперспектральное изображение представляет собой 3D-гиперкуб, содержащий спектральную и пространственную информацию. Гиперспектральное изображение экспериментально получается с использованием жидко-кристаллического перестраиваемого фильтра. c Графики показывают спектральные признаки четырёх областей, обозначенных пунктирными квадратами на (b). d Экспериментально измеренное поглощение окси- и дезоксигемоглобина из крови мыши с помощью спектрометра.

HSI измеряет отражённый свет, который взаимодействует с тканью, содержащий информацию о структурных и спектральных особенностях. Когда свет встречает ткань, происходят сложные взаимодействия света с тканью, такие как поглощение, рассеяние или пропускание. Биомолекулы демонстрируют различные поглощающие свойства, что означает, что методы спектрально-разрешённой визуализации могут предсказывать биохимические особенности путём измерения количества ослабленного светового сигнала как функции длины волны [8]. Например, одним из основных ослабителей в ткани является гемоглобин. Он показывает различные коэффициенты поглощения, соответствующие связыванию кислорода (Рис. 1d). Поэтому HSI показала большой потенциал для обнаружения кровеносных сосудов и количественной оценки уровня кислорода в крови. Кроме того, некоторые биомолекулы, такие как НАДФН и ФАД, переизлучают флуоресцентный свет большей длины волны, называемый аутофлуоресценцией [19, 20]. Известно, что эти биомолекулы изменяются во время прогрессирования заболевания, и поэтому сигналы аутофлуоресценции также являются хорошими мишенями для HSI-методов.

Упругое рассеяние света происходит из-за неоднородного распределения показателя преломления в ткани [21]. Ткань представляет собой ансамбль различных веществ размером от нанометров до сотен микрон. Однако во время прогрессирования заболевания происходят изменения в морфологии ткани, что приводит к изменению общих свойств рассеяния [22–24]; рассеивающие особенности могут быть потенциальными маркерами для диагностики заболеваний. Таким образом, HSI отражённого света включает богатую информацию о структурных и биохимических особенностях ткани, что обеспечивает точную диагностику заболеваний и функциональный анализ во время хирургических операций. Другие взаимодействия света с тканью, такие как неупругое рассеяние (рамановское и бриллюэновское рассеяние) и фотоакустический эффект, здесь не обсуждаются, поскольку они выходят за рамки этого обзора.

Основной принцип работы технологии гиперспектральной визуализации заключается в измерении изображения как функции длины волны с использованием спектроскопических методов. Поэтому методы HSI требуют оптических компонентов, которые позволяют обнаруживать спектральную информацию из широкополосных световых сигналов. Методы HSI в основном делятся на три метода: спектральное сканирование, пространственное сканирование и моментальные (snapshot) методы. Каждый метод HSI имеет различное пространственное и спектральное разрешение и скорость визуализации; очень важно выбрать метод, который лучше всего подходит для цели и условий визуализации. Более того, поскольку эти методы могут быть реализованы как блоки освещения или детектирования, обычные микроскопические и мезоскопические оптические системы визуализации могут быть преобразованы в HSI-оптические системы. В этом разделе обобщаются три метода HSI с обсуждением их плюсов и минусов.

Метод спектрального сканирования HSI заключается в последовательном получении изображений на разных длинах волн. Он измеряет 2D структурное изображение в определённых спектральных диапазонах за одно измерение, а затем диапазоны длин волн изменяются для получения полного гиперспектрального изображения. Метод спектрального сканирования обычно использует спектральные фильтры и монохромную камеру (Рис. 2a, b). Поскольку фильтр пропускает свет только в узком спектральном диапазоне, изображение, захваченное монохромной камерой, можно рассматривать как 2D структурное изображение целевой длины волны. Спектральное сканирование может быть реализовано как на стороне освещения, так и на стороне детектирования (Рис. 2d).

Оптические полосовые фильтры позволяют выбирать длину волны освещения из широкополосного источника света. В соответствии с количеством фильтров могут быть измерены несколько изображений на разных длинах волн. Другой подход – использовать перестраиваемый источник света, реализованный с помощью тонкоплёночного перестраиваемого фильтра [25], акустооптического перестраиваемого фильтра (AOTF) [26] и монохроматора [27, 28]. Перестраиваемый источник света может регулировать длину волны освещения со спектральным разрешением от нескольких до десятков нанометров. Недавно для освещения светом разных длин волн использовались цифровое микрозеркальное устройство [29] или несколько светоизлучающих устройств [30, 31].

Метод спектрального сканирования также может быть реализован на стороне детектирования с использованием оптических полосовых фильтров [8], жидко-кристаллического перестраиваемого фильтра [15, 32, 33] и AOTF [14, 34, 35]. Эти фильтры размещаются перед камерой, пропуская свет определённой длины волны из отражённого света. Обычно используется широкополосный источник света, и всё гиперспектральное изображение получается путём регулировки спектральных диапазонов фильтра.

Метод спектрального сканирования требует минимальных модификаций, таких как добавление блока спектрального сканирования на стороне освещения или детектирования; он может легко преобразовывать обычные оптические системы в гиперспектральную систему визуализации. Поэтому метод спектрального сканирования широко используется при разработке гиперспектральной микроскопии для исследования тканевых образцов. Хотя метод спектрального сканирования прост в реализации, у него есть несколько ограничений. Дополнительное время для регулировки спектрального диапазона фильтров неизбежно для получения полного гиперспектрального изображения, что вызывает искажение изображения между спектральными изображениями с разными длинами волн. Таким образом, может потребоваться процесс регистрации изображений, что ограничивает применение метода спектрального сканирования в нестабильных клинических условиях. Другим ограничением является относительно низкое спектральное разрешение. Из-за природы оптических фильтров существуют различные спектральные разрешения от нескольких до десятков нанометров в зависимости от длины волны.

Рис. 2 Представительные методы спектрального детектирования и методы гиперспектральной визуализации. a Различные фильтры пропускают свет с определёнными спектральными диапазонами. b Монохроматор выбирает длину волны освещения, сканируя углы решётки. Спектрометр позволяет измерять спектральное изображение с помощью камеры. c Моментальный сенсор состоит из массивов мозаичных фильтров, размещённых перед сенсором камеры. d Методы спектрального сканирования могут быть реализованы со стороны освещения и детектирования. e Методы пространственного сканирования измеряют спектральную информацию с помощью процедур точечного и линейного сканирования. f Моментальные методы захватывают спектрально-пространственное изображение за одно измерение. Изображения внизу (d–f) показывают репрезентативные спектральные изображения, полученные каждым методом соответственно.

Дисперсионные оптические элементы, такие как призма и решётка, являются ключевыми компонентами для метода пространственного сканирования HSI (Рис. 2b). Отражённый свет от одной точки (точечное сканирование) или одной линии (линейное сканирование) измеряется с помощью спектрометра или спектрографа [7, 36] соответственно. Измеренный сигнал показывает интенсивность света как функцию длины волны, но пространственная информация отсутствует. Чтобы получить полное гиперспектральное изображение цели с использованием метода пространственного сканирования, необходима процедура сканирования оптической системы или цели (Рис. 2e). Для сканирования позиций области визуализации используются моторизованный столик или гальванометрические зеркала. Узкополосный линейно-переменный фильтр также позволяет измерять гиперспектральное изображение путём скольжения фильтра во время измерений [37, 38]. Спектральные свойства этого фильтра непрерывно изменяются вдоль одной оси фильтра, позволяя каждой строке или столбцу пикселей камеры измерять спектральную информацию на разных длинах волн. Таким образом, путём скольжения фильтра в боковом направлении каждый пиксель камеры в конечном итоге захватывает как пространственную, так и спектральную информацию [37].

Метод пространственного сканирования обычно обеспечивает более высокое спектральное разрешение, чем метод спектрального сканирования, за счёт использования дисперсионных материалов [8]. Однако когда цель обладает высокой подвижностью, процедура пространственного сканирования вызывает огромные артефакты. Поэтому требуется постобработка изображений для реконструкции гиперспектрального изображения из множества спектральной информации, измеренной в точках или линиях. Чтобы преодолеть эти ограничения, спектральные и широкопольные изображения захватываются одновременно, чтобы использовать широкопольные изображения в качестве ориентира для реконструкции гиперспектрального изображения [39]. Но если есть огромные артефакты движения, очень сложно реализовать систему гиперспектральной визуализации на основе метода пространственного сканирования.

Моментальный метод (snapshot) – это «бессканерный» метод, который получает пространственную и спектральную информацию за одно измерение [40]. Моментальный метод был интенсивно рассмотрен в предыдущей обзорной статье [41]. Один из моментальных методов использует массивы узкополосных полосовых фильтров на основе интерферометра Фабри-Перо (Рис. 2c) [42]. В соответствии с длиной оптической полости, образованной двумя параллельными отражающими зеркалами, может пропускаться только свет с определённой длиной волны. Поэтому перед сенсором камеры размещаются несколько массивов фильтров; это позволяет измерять как пространственную, так и спектральную информацию без процедур сканирования (Рис. 2f). Хотя моментальные методы идут на компромисс в пространственном и спектральном разрешении, они обеспечивают быструю визуализацию и лёгкую реализацию метода спектральной визуализации в обычных оптических системах визуализации путём добавления массивов фильтров к сенсору изображения. Поскольку каждый пиксель камеры измеряет спектральную информацию на разных длинах волн, необходим процесс «демазаицирования» для получения структурных изображений, соответствующих спектральным каналам [42].

Более того, компактные спектроскопические методы с использованием случайных спектральных фильтров и обработки изображений позволяют разработать моментальную гиперспектральную систему визуализации. Например, пластины фотонных кристаллов (PC) могут создавать спектральные фильтры со случайными спектральными профилями на основе размеров и структур PC-пластин [43]. Эти случайные спектральные фильтры размещаются перед сенсором камеры, и исходные спектральные особенности могут быть восстановлены с использованием методов наименьших квадратов или методов сжатого зондирования. Хотя моментальный метод с использованием случайных спектральных фильтров требует постобработки изображений, он обеспечивает одномоментную гиперспектральную визуализацию со спектральным разрешением в несколько нанометров.

Методы HSI могут быть реализованы как микроскопические и мезоскопические системы визуализации для наблюдения и исследования различных масштабов от клетки до ткани. В зависимости от целей и условий визуализации методы HSI должны тщательно выбираться. Сильные и слабые стороны каждого метода HSI суммированы в Таблице 1. Метод линейного сканирования обеспечивает высокое пространственное и спектральное разрешение; поэтому он использовался для получения высококачественного гиперспектрального изображения. Однако механическая процедура сканирования ограничивает измерение цели с высокой подвижностью. Было предложено несколько подходов для преодоления этого ограничения, но HSI быстро движущейся ткани с использованием методов пространственного сканирования остаётся очень сложной задачей. Метод спектрального сканирования может последовательно захватывать пространственные изображения на разных длинах волн без механического движения оптической системы, что обеспечивает очень стабильные условия визуализации. Хотя спектральное разрешение метода спектрального сканирования хуже по сравнению с методом пространственного сканирования, метод спектрального сканирования широко используется в клиниках, поскольку оптическая система стабильна и проста в сборке.

Бесканерные методы HSI, такие как моментальный метод, продемонстрировали свои возможности в качестве медицинских гиперспектральных методов визуализации. Моментальный метод может одновременно захватывать как пространственную, так и спектральную информацию, что обеспечивает спектральную визуализацию в реальном времени. Поскольку визуализация в реальном времени очень важна в области медицинской визуализации, моментальный метод непрерывно развивается для улучшения пространственного и спектрального разрешения при сохранении скорости визуализации [44–47].

Таблица 1 Сводка сильных и слабых сторон каждого гиперспектрального метода

Из-за высокой сложности данных гиперспектральных изображений было разработано множество методов анализа, включая спектральное разделение, спектральный угловой анализатор, анализ главных компонент и статистические методы для извлечения физиологических и диагностических признаков для клинических приложений. Эти методы анализа изображений были подробно рассмотрены в других обзорных статьях [7, 48]. Эта статья сосредоточена на свёрточных нейронных сетях (CNN) на основе методов анализа гиперспектральных изображений. Как описано в предыдущем разделе, биомолекулы демонстрируют различные спектральные профили, что означает, что спектральная информация представляет собой смесь различных спектральных профилей биомолекул. Поэтому методы анализа гиперспектральных изображений пытаются разложить спектральный сигнал на набор известных спектральных сигнатур (эндэмберов) для количественного анализа биохимических свойств ткани. Однако внутрипациентские и межпациентские вариации затрудняют точное разложение гиперспектральных сигналов. Чтобы преодолеть эти вариации, были предложены методы анализа гиперспектральных изображений на основе данных с использованием статистических методов, таких как машинное обучение [7]. Статистические методы машинного обучения, включая k-ближайших соседей, машину опорных векторов и случайный лес, показывают многообещающие клинические результаты, но эти методы требуют процесса извлечения признаков, что затрудняет перевод методов гиперспектральной визуализации в клиническую практику.

Недавно CNN, один из методов глубокого обучения, стал наиболее успешным и популярным методом анализа изображений [49–55]. Было предложено множество моделей CNN для классификации и регрессии гиперспектральных данных. Архитектура модели CNN состоит из входного, скрытых и выходного слоёв. Скрытые слои состоят из нескольких стеков свёрточных, активационных, пулинговых и полносвязных слоёв, что обеспечивает автоматическое извлечение признаков, классификацию и регрессию. Среди различных слоёв свёрточный слой является основным структурным элементом, который выполняет свёртку входных данных с ядрами (фильтрами). В процессе обучения модели CNN весовые значения, включая ядра и смещения, оптимизируются для получения наиболее точных выходов. Модель CNN может быть обучена с учителем или без учителя. Обучение с учителем требует эталонных данных, которые обычно получаются путём патологического исследования или мнения врача. С другой стороны, обучение без учителя применяется, когда из-за сложной природы заболевания эталонная информация не может быть получена.

Модели CNN для анализа гиперспектральных данных можно классифицировать по размерности входных данных: спектральные (1D) [52, 55], пространственные (2D) [51, 54, 56] и спектрально-пространственные (3D) [53, 56] входы (Рис. 3). Спектральная модель, называемая попиксельной моделью, анализирует спектральные профили без учёта пространственных особенностей. Поскольку спектральная информация представляет собой смесь различных спектральных профилей биомолекул, клинически значимые признаки могут быть непосредственно извлечены из спектральной информации. Для обнаружения признаков из 1D спектрального сигнала свёртка выполняется с использованием 1D ядер (Рис. 3a). Другой подход к анализу 1D спектрального сигнала — преобразование 1D спектрального сигнала в 2D изображение, а затем применение 2D свёртки для модели CNN [52]. Преимущество использования спектральной модели заключается в сборе большого объёма данных для обучения и валидации модели CNN. Например, если гиперспектральное изображение состоит из изображения размером 1024×10241024×1024 пикселей со 100 спектральными каналами, то из одного гиперспектрального изображения можно получить набор спектральных данных размером 1024×10241024×1024. Более того, 1D свёртка вычислительно очень эффективна и быстра. Учитывая эти преимущества, попиксельная модель CNN широко используется в клиническом анализе гиперспектральных данных.

Хотя спектральный метод является многообещающим, он игнорирует пространственные особенности. Злокачественная или аномальная ткань обычно имеет неправильную форму и нечёткие границы, что означает, что морфология ткани также является важным клиническим признаком. Чтобы получить клинически значимые выходные данные на основе морфологии ткани, пространственная модель использовалась для обучения модели CNN с использованием 2D изображений на разных длинах волн в качестве входных данных (Рис. 3b). Для обучения модели CNN используются 2D ядра для свёрточных слоёв, которые извлекают пространственные признаки. Обученная 2D CNN-модель успешно продемонстрировала потенциал для диагностики заболеваний или функциональной визуализации в клинических условиях.

Спектрально-пространственная модель использует полную информацию гиперспектральных данных с помощью 3D свёртки (Рис. 3c). 3D свёртка обычно используется при реконструкции и анализе 3D методов визуализации, таких как магнитно-резонансная томография [57] и компьютерная томография [58]. 3D свёртка гиперспектральных данных может быть выполнена с использованием 3D ядер, сканируемых вдоль трёх измерений, включая оси xx, yy и спектральную ось. Поскольку этот подход обучает модель CNN на полных гиперспектральных данных, выходные результаты включают все морфологические и биохимические особенности ткани. Однако существуют проблемы, связанные с требованием высокой вычислительной мощности из-за 3D свёртки и большого количества гиперспектральных данных по сравнению со спектральными и пространственными моделями.

Благодаря гибкой архитектуре CNN становятся мощными и точными моделями искусственного интеллекта (ИИ) для анализа гиперспектральных данных. Модель CNN может быть обучена и построена на основе спектральных, пространственных и спектрально-пространственных входных данных. Хотя методы анализа гиперспектральных данных на основе CNN показывают большой потенциал в клинических приложениях, остаётся ещё много проблем. Для обучения модели CNN с учителем необходимы точные эталонные данные. В настоящее время эталонные данные в клиниках могут быть получены из патологического анализа. Но проведение патологического анализа у пациентов in vivo очень сложно. Одна из стратегий получения гиперспектральной информации с эталонными данными — сбор ткани у пациента, затем проведение гиперспектральной визуализации, а затем патологическое исследование. Это даёт спектральные сигналы с разметкой эталонных данных, но спектральные особенности различаются между in vivo и ex vivo тканью из-за кровоснабжения и уровня кислорода, что препятствует клиническому применению анализа гиперспектральных изображений на основе CNN. Другая проблема — стандартизация систем и данных гиперспектральной визуализации. Измеренная спектральная информация зависит от системы визуализации и условий, что затрудняет построение стандартной модели CNN для клинических приложений.

Рис. 3 Три метода анализа гиперспектральных изображений на основе свёрточных нейронных сетей. a Спектральные (попиксельные) методы анализируют отдельные спектральные признаки независимо с помощью 1D свёрток. b Пространственный метод использует 2D свёртки для извлечения пространственных признаков для анализа данных. c Спектрально-пространственный метод выполняет 3D свёртку для полного использования пространственной и спектральной информации гиперкуба. Серые области (a–c) обозначают 1D, 2D и 3D ядра для операции свёртки соответственно.

Благодаря вышеупомянутым преимуществам всё больше исследований используют HSI для клинических испытаний в качестве инструментов диагностики заболеваний и хирургического руководства. Коммерчески доступные HSI-системы и новые системы спектральной визуализации, разработанные в лабораториях, ускорили внедрение HSI-методов в клиниках. Следующий раздел обобщает и выделяет репрезентативные клинические применения HSI-методов, выполненных на in vivo и ex vivo тканях человека.

Основой HSI-диагностики заболеваний является то, что морфологические и биохимические изменения, связанные с прогрессированием заболевания, изменяют оптические свойства ткани [59]. Например, злокачественные клетки требуют огромного количества питательных веществ и кислорода из-за быстрого деления клеток. Поэтому повышаются уровни метаболических ферментов и образуются новые сосуды в процессе ангиогенеза для обеспечения кислородом и питательными веществами злокачественных клеток [60]. Эти изменения позволяют HSI обнаруживать поражения и аномальные ткани без гистологического исследования, что имеет преимущества экономии времени и повышения эффективности лечения.

Поскольку биопсийные образцы, такие как клетки и ткани, полученные от пациента, стабильны, метод сканирующей HSI может быть легко реализован как микроскопические и мезоскопические HSI-системы, обеспечивающие высокое пространственное и спектральное разрешение. Многие недавние исследования были сосредоточены на изучении корреляций между гиперспектральными изображениями и результатами гистологического исследования. Если HSI сможет точно определять поражения без гистологии, это сэкономит время, необходимое для гистологического исследования, и повысит эффективность лечения благодаря быстрой диагностике. Недавно многие исследования подтвердили способность HSI как инструмента диагностики заболеваний для различных тканей, включая молочную железу [61–63], печень [64], мозг [65], почку [66], желудок [67, 68], голову и шею [69, 70] и щитовидную железу [71]. Поскольку гиперспектральное изображение сложное, для точной диагностики заболеваний используется искусственный интеллект, и по сравнению с гистологией он показывает сопоставимую диагностическую точность (Рис. 4a) [72].

HSI-диагностика позволяет непосредственно исследовать биопсийную ткань во время операции. В настоящее время для исследования биопсийной ткани необходима гистология, что занимает не менее нескольких часов. Однако HSI может анализировать ткань в течение нескольких минут, что позволяет проверить наличие остаточных опухолевых клеток на краю резекционной области. Кхо и др. сообщили, что HSI может идентифицировать рак молочной железы из иссечённой ткани молочной железы во время операции с точностью более 84%84% [62]. Другое применение HSI — идентификация клеток крови [73]. Лейкоциты были классифицированы на основе богатой спектральной информации. Эти применения демонстрируют, что HSI может использоваться для определения аномальной ткани без биохимических методов, что помогает принимать быстрые и точные решения в клиниках.

Хотя HSI показывает многообещающие результаты в качестве инструментов диагностики заболеваний, возникают проблемы, связанные с биопсийной тканью, которая из-за отсутствия кислорода и кровоснабжения имеет другие физиологические условия, чем нормальная in vivo ткань. Чтобы преодолеть это ограничение, HSI была выполнена на in vivo пациентах, что позволяет измерять функциональную информацию, такую как перфузия крови и уровень кислорода в тканях.

Поскольку кожа и сетчатка человека легко доступны для оптической системы, многие исследования применяли HSI к этим тканям. Меланома, тип рака кожи, развивается в клетках, продуцирующих пигмент меланин. Поэтому HSI использовалась для диагностики рака кожи, используя спектральную информацию меланина [74–76]. Более того, функциональные возможности HSI-метода позволяют характеризовать перфузию крови и уровень кислорода в тканях кожи [77, 78]; таким образом, HSI используется для оценки качества кожных трансплантатов [79].

Недавно HSI была применена для диагностики болезни Альцгеймера (AD) через сетчатку [80, 81]. Бета-амилоид (Aβ)(Aβ) является потенциальным маркером AD, но обнаружить AβAβ в мозге очень сложно. Недавние исследования показали, что AβAβ, накопленный в сетчатке, может быть обнаружен с помощью HSI. Спектральные особенности, измеренные на сетчатке с AD, показали другие спектральные отклики по сравнению с измеренными у здорового человека. Эти результаты позволяют предположить, что ретинальная HSI может быть потенциальным инструментом диагностики AD.

Гиперспектральная эндоскопия была разработана для визуализации тканей внутри тела, таких как желудочно-кишечный тракт, с помощью сканирования [39, 82] и моментальных методов [55]. Юн и др. сообщили о системе HSI-эндоскопии с гибким эндоскопом с использованием метода пространственного сканирования [39, 82]. Спектральные изображения захватывались вместе с широкопольными изображениями; затем широкоформатное гиперспектральное изображение реконструировалось с использованием широкопольных изображений в качестве ориентира для регистрации изображений. Толстая кишка in vivo была измерена с помощью гиперспектрального эндоскопа, и нормальная, полипная и резецированная ткани толстой кишки были сегментированы на основе спектральных особенностей (Рис. 4b). Уотерхаус и др. продемонстрировали, что моментальная система спектральной визуализации и спектрометр позволяют проводить раннее выявление рака пищевода с использованием метода глубокого обучения [55].

HSI также показала потенциал в качестве инструмента хирургического руководства. В хирургии мозга минимально инвазивная хирургия критически важна для сохранения функций мозга. HSI использовалась для обнаружения границ опухоли мозга в условиях in vivo, что помогает хирургам определять оптимальные области иссечения [53, 83, 84]. Функциональная визуализация с помощью HSI была применена для оценки физиологических свойств, таких как кровоснабжение и снабжение кислородом в анастомотических областях после эзофагэктомии [85], резекции печени [86] и колоректальной резекции [87]. Кроме того, HSI может использоваться для оценки качества при трансплантации органов путём измерения функциональной информации [88].

Рис. 4 Клинические применения HSI. a Цветное изображение, патологическое изображение и соответствующее гиперспектральное изображение с результатом классификации резецированной колоректальной опухоли. Классификация на основе HSI была выполнена с помощью обученной искусственной модели. Перепечатано из [72] с разрешения. b Изображения белого света эндоскопии и гиперспектральные сигналы, полученные от in vivo толстой кишки человека. Репрезентативные цветные изображения (вверху) нормальной слизистой, полипа и ткани после резекции. Синие пунктирные линии обозначают полип, отмеченный клиницистом. Нижние графики показывают репрезентативные гиперспектральные сигналы каждого типа ткани, полученные из серых областей выше. Перепечатано из [82] с разрешения.

3.2. Проблемы клинических HSI-систем

Хотя методы HSI показали свой потенциал в доклинических и клинических исследованиях, остаются ключевые проблемы для практического применения HSI в клиниках. Во-первых, необходима оптимизация оптической системы HSI. В настоящее время HSI выполняется в различных спектральных диапазонах, от УФ до БИК. Исследования, использующие разные спектральные окна, показали результаты с различной точностью диагностики заболеваний [7, 67, 89]. Более того, экспериментальные условия и параметры также влияют на результаты. Таким образом, должна быть исследована оптимизация системы визуализации HSI и экспериментальных параметров для получения высококачественных данных.

Во-вторых, не хватает методов оценки различных модальностей и систем HSI. В соответствии с методами спектральной визуализации оптическая система показывает различные характеристики, такие как пространственное, спектральное и временное разрешение, что препятствует разработке стандартных HSI-систем. Недавно были предложены стандартные тканеподобные фантомы для количественной оценки оптических систем [1, 90]. Это поможет преодолеть проблемы, связанные со стандартизацией оптической системы HSI.

В-третьих, требуется согласованная и устойчивая оптическая система HSI со скоростью визуализации в реальном времени. Как суммировано в Таблице 1, существуют разные показатели производительности среди методов HSI. Однако конечной целью клинической HSI-системы является получение информации в реальном времени для точной и эффективной диагностики и лечения заболеваний. Поэтому метод HSI в реальном времени с высококачественной информацией позволил бы получать надёжные и клинически важные данные от пациента.

Наконец, очень сложно выполнять количественную 3D гиперспектральную визуализацию в клиниках. Возможность количественной 3D визуализации оптических методов важна для определения границ поражений или диагностики метастазов. Однако обычные HSI-методы измеряют широкополосные световые сигналы с помощью спектроскопических подходов; таким образом, информация о 3D глубине теряется. Одним из решений для получения 3D гиперспектрального изображения является разрезание ткани на тонкие срезы, аналогично гистологической подготовке ткани. Но это непрактично для быстрого получения изображений. Чтобы преодолеть эти ограничения, были предложены спектральная оптическая когерентная томография [91] и мультиспектральная фотоакустическая томография [92] для получения 3D спектральной информации. Однако для практического клинического применения требуются усовершенствования оптических систем.

Решая вышеупомянутые проблемы, HSI станет универсальным клиническим инструментом для диагностики заболеваний и хирургического руководства в ближайшем будущем.

4. Резюме и перспективы

В этом обзоре представлены принципы HSI, методы анализа изображений и клинические применения для диагностики заболеваний и хирургического руководства. Недавние тенденции клинических HSI-методов позволяют предположить, что морфологическая и биохимическая информация может играть значительную роль в клинической практике, экономя время и ресурсы, необходимые для гистологического исследования. Например, гистологическое исследование тратит большую часть времени на подготовку образца с помощью нарезки, окрашивания и визуализации. Хотя HSI сложно предоставить количественную 3D информацию о глубине, HSI может диагностировать поражения на основе измеренной структурной и биохимической информации поверхностной ткани без нарезки и окрашивания. Таким образом, HSI может сэкономить время, необходимое для гистологического исследования в случае поражений, расположенных на поверхности ткани, таких как аденокарцинома или меланома.

В этом обзоре суммированы методы HSI на основе обычных оптических систем. Кроме того, существует важная область исследований — методы HSI на основе глубокого обучения. В последнее время это активно изучается для преодоления ограничений оптических компонентов. Глубокое обучение позволяет восстанавливать мульти-/гиперспектральные изображения из RGB-изображения [93–97]. RGB-изображения имеют только три канала спектральной информации, но недавний прогресс в глубоком обучении позволяет обучать модель ИИ на RGB-изображении и его исходной спектральной информации. Модель ИИ изучает корреляцию между RGB-изображениями и их исходными спектральными профилями, а затем успешно создаёт мульти-/гиперспектральное изображение из RGB-изображения. Этот процесс аналогичен методу улучшения изображений на основе ИИ, который повышает качество изображения для лучшего пространственного разрешения [98, 99]. Вместо улучшения пространственного разрешения, метод спектральной визуализации на основе ИИ восстанавливает высокоразмерную спектральную информацию из дискретизированных спектральных изображений, таких как RGB-изображения. Это означает, что спектральное изображение может быть получено из обычных систем цветной визуализации без каких-либо модификаций оптической системы. Именно поэтому было предложено много новых моделей ИИ для клинического применения технологий гиперспектральной визуализации на основе ИИ.

В дополнение к разработке клинических HSI-систем, методы анализа и классификации изображений очень важны для клинического применения HSI-технологий. Как обсуждалось в предыдущем разделе, данные HSI, полученные от разных оптических систем, показывают много неоднородностей. Поэтому было интенсивно предложено множество методов анализа изображений, включая методы на основе глубокого обучения.

Учитывая недавний экспоненциальный рост клинических HSI-методов, HSI станет универсальным клиническим инструментом для диагностики заболеваний и хирургического руководства в ближайшем будущем путём решения вышеупомянутых проблем.

Благодарности Это исследование было поддержано Университетом Аджу и Национальным исследовательским фондом (NRF) Кореи (№ 2021R1C1C1011047, 2021R1A4A5032470).

Финансирование Финансирование было предоставлено Национальным исследовательским фондом (NRF) Кореи (№ 2021R1C1C101104711, 2021R1A4A5032470).

Декларации

Конфликт интересов Автор заявляет об отсутствии конкурирующих финансовых интересов.

Открытый доступ Эта статья распространяется по лицензии Creative Commons Attribution 4.0 International License, которая разрешает использование, распространение, адаптацию и воспроизведение на любом носителе и в любом формате при условии указания соответствующего авторства, ссылки на лицензию и указания изменений. Изображения или другие сторонние материалы в этой статье включены в лицензию Creative Commons статьи, если иное не указано в строке ссылки на материал. Если материал не включён в лицензию Creative Commons и ваше предполагаемое использование не разрешено законодательством или превышает разрешённое использование, вам необходимо получить разрешение непосредственно от владельца авторских прав. Чтобы просмотреть копию этой лицензии, посетите http://creativecommons.org/licenses/by/4.0/.
Список литературы

1. Waterhouse, D.J., Fitzpatrick, C.R., Pogue, B.W., O'Connor, J.P., Bohndiek, S.E.: A roadmap for the clinical implementation of optical-imaging biomarkers. Nat. Biomed. Eng. 3, 339-353 (2019)
2. Prati, F., et al.: Expert review document on methodology, terminology, and clinical applications of optical coherence tomography: physical principles, methodology of image acquisition, and clinical application for assessment of coronary arteries and atherosclerosis. Eur. Heart J. 31, 401-415 (2010)
3. Jung, J., et al.: Biomedical applications of holographic microspectroscopy. Appl. Opt. 53, G111-G122 (2014)
4. Park, Y., Depeursinge, C., Popescu, G.: Quantitative phase imaging in biomedicine. Nat. Photonics 12, 578-589 (2018)
5. Wang, L.V., Yao, J.: A practical guide to photoacoustic tomography in the life sciences. Nat. Methods 13, 627-638 (2016)
6. Luke, G.P., Yeager, D., Emelianov, S.Y.: Biomedical applications of photoacoustic imaging with exogenous contrast agents. Ann. Biomed. Eng. 40, 422-437 (2012)
7. Lu, G., Fei, B.: Medical hyperspectral imaging: a review. J. Biomed. Opt. 19, 010901 (2014)
8. Clancy, N.T., Jones, G., Maier-Hein, L., Elson, D.S., Stoyanov, D.: Surgical spectral imaging. Med. Image Anal. 63, 101699 (2020)
9. Van der Meer, F.D., et al.: Multi-and hyperspectral geologic remote sensing: a review. Int. J. Appl. Earth Obs. Geoinf. 14, 112-128 (2012)
10. Feng, Y.-Z., Sun, D.-W.: Application of hyperspectral imaging in food safety inspection and control: a review. Crit. Rev. Food Sci. Nutr. 52, 1039-1058 (2012)
11. Singh, N., et al.: Recycling of plastic solid waste: a state of art review and future applications. Compos. B Eng. 115, 409-422 (2017)
12. Edelman, G., Gaston, E., Van Leeuwen, T., Cullen, P., Aalders, M.: Hyperspectral imaging for non-contact analysis of forensic traces. Forensic Sci. Int. 223, 28-39 (2012)
13. Polak, A., et al.: Hyperspectral imaging combined with data classification techniques as an aid for artwork authentication. J. Cult. Herit. 26, 1-11 (2017)
14. Vo-Dinh, T.: A hyperspectral imaging system for in vivo optical diagnostics. IEEE Eng. Med. Biol. Mag. 23, 40-49 (2004)
15. Martin, M.E., et al.: Development of an advanced hyperspectral imaging (HSI) system with applications for cancer detection. Ann. Biomed. Eng. 34, 1061-1068 (2006)
16. Johnson, W.R., Wilson, D.W., Fink, W., Humayun, M.S., Bearman, G.H.: Snapshot hyperspectral imaging in ophthalmology. J. Biomed. Opt. 12, 014036 (2007)
17. Goto, A., et al.: Use of hyperspectral imaging technology to develop a diagnostic support system for gastric cancer. J. Biomed. Opt. 20, 016017 (2015)
18. Fei, B., et al.: Label-free reflectance hyperspectral imaging for tumor margin assessment: a pilot study on surgical specimens of cancer patients. J. Biomed. Opt. 22, 086009 (2017)
19. Blacker, T.S., Duchen, M.R.: Investigating mitochondrial redox state using NADH and NADPH autofluorescence. Free Radic. Biol. Med. 100, 53-65 (2016)
20. Bartolomé, F., Abramov, A.Y.: Measurement of mitochondrial NADH and FAD autofluorescence in live cells. Mitochondrial Med. 1264, 263-270 (2015)
21. Yu, H., et al.: Recent advances in wavefront shaping techniques for biomedical applications. Curr. Appl. Phys. 15, 632-641 (2015)
22. Collier, T., Arifler, D., Malpica, A., Follen, M., Richards-Kortum, R.: Determination of epithelial tissue scattering coefficient using confocal microscopy. IEEE J. Sel. Top. Quantum Electron. 9, 307-313 (2003)
23. Nandy, S., et al.: Characterizing optical properties and spatial heterogeneity of human ovarian tissue using spatial frequency domain imaging. J. Biomed. Opt. 21, 101402 (2016)
24. Volynskaya, Z.I., et al.: Diagnosing breast cancer using diffuse reflectance spectroscopy and intrinsic fluorescence spectroscopy. J. Biomed. Opt. 13, 024012 (2008)
25. Favreau, P.F., et al.: Excitation-scanning hyperspectral imaging microscope. J. Biomed. Opt. 19, 046010 (2014)
26. Sheoran, G., Dubey, S., Anand, A., Mehta, D.S., Shakher, C.: Swept-source digital holography to reconstruct tomographic images. Opt. Lett. 34, 1879-1881 (2009)
27. Castellanos-Gomez, A., Quereda, J., van der Meulen, H.P., Agrait, N., Rubio-Bollinger, G.: Spatially resolved optical absorption spectroscopy of single-and few-layer MoS2 by hyperspectral imaging. Nanotechnology 27, 115705 (2016)
28. Torabzadeh, M., et al.: Hyperspectral imaging in the spatial frequency domain with a supercontinuum source. J. Biomed. Opt. 24, 071614 (2019)
29. Wood, T.C., Elson, D.S.: A tunable supercontinuum laser using a digital micromirror device. Meas. Sci. Technol. 23, 105204 (2012)
30. Islam, K., Ploschner, M., Goldys, E.M.: Multi-LED light source for hyperspectral imaging. Opt. Express 25, 32659-32668 (2017)
31. Wang, H., et al.: An active hyperspectral imaging system based on a multi-LED light source. Rev. Sci. Instrum. 90, 026107 (2019)
32. Keller, M.D., et al.: Autofluorescence and diffuse reflectance spectroscopy and spectral imaging for breast surgical margin analysis. Lasers Surg. Med. 42, 15-23 (2010). https://doi.org/10.1002/lsm.20865
33. Wirth, D., et al.: Hyperspectral imaging and spectral unmixing for improving whole-body fluorescence cryo-imaging. Biomed. Opt. Express 12, 395-408 (2021)
34. Zhang, C., et al.: Narrowband double-filtering hyperspectral imaging based on a single AOTF. Opt. Lett. 43, 2126-2129 (2018)
35. Yushkov, K.B., Champagne, J., Kastelik, J.-C., Makarov, O.Y., Molchanov, V.Y.: AOTF-based hyperspectral imaging phase microscopy. Biomed. Opt. Express 11, 7053-7061 (2020)
36. Abdo, M., Badilita, V., Korvink, J.: Spatial scanning hyperspectral imaging combining a rotating slit with a Dove prism. Opt. Express 27, 20290-20304 (2019)
37. Luthman, A.S., Dumitru, S., Quiros-Gonzalez, I., Joseph, J., Bohndiek, S.E.: Fluorescence hyperspectral imaging (fHSI) using a spectrally resolved detector array. J. Biophotonics 10, 840-853 (2017)
38. Renhorn, I.G., Bergström, D., Hedborg, J., Letalick, D., Möller, S.: High spatial resolution hyperspectral camera based on a linear variable filter. Opt. Eng. 55, 114105 (2016)
39. Yoon, J., et al.: A clinically translatable hyperspectral endoscopy (HySE) system for imaging the gastrointestinal tract. Nat. Commun. 10, 1-13 (2019)
40. Johnson, W.R., Wilson, D.W., Fink, W., Humayun, M., Bearman, G.: Snapshot hyperspectral imaging in ophthalmology. J Biomed Opt 12, 014036 (2007). https://doi.org/10.1117/1.2434950
41. Hagen, N.A., Kudenov, M.W.: Review of snapshot spectral imaging technologies. Opt. Eng. 52, 090901 (2013)
42. Williams, C., Gordon, G.S.D., Wilkinson, T.D., Bohndiek, S.E.: Grayscale-to-color: scalable fabrication of custom multispectral filter arrays. ACS Photonics 6, 3132-3141 (2019). https://doi.org/10.1021/acsphotonics.9b01196
43. Wang, Z., et al.: Single-shot on-chip spectral sensors based on photonic crystal slabs. Nat. Commun. 10, 1020 (2019). https://doi.org/10.1038/s41467-019-08994-5
44. Sahoo, S.K., Tang, D., Dang, C.: Single-shot multispectral imaging with a monochromatic camera. Optica 4, 1209-1213 (2017)
45. Park, J., Feng, X., Liang, R., Gao, L.: Snapshot multidimensional photography through active optical mapping. Nat. Commun. 11, 1-13 (2020)
46. Pawlowski, M.E., Dwight, J.G., Nguyen, T.-U., Tkaczyk, T.S.: High performance image mapping spectrometer (IMS) for snapshot hyperspectral imaging applications. Opt. Express 27, 1597-1612 (2019)
47. Hedde, P.N., Cinco, R., Malacrida, L., Kamaid, A., Gratton, E.: Phasor-based hyperspectral snapshot microscopy allows fast imaging of live, three-dimensional tissues for biomedical applications. Commun. Biol. 4, 1-11 (2021)
48. Khan, M.J., Khan, H.S., Yousaf, A., Khurshid, K., Abbas, A.: Modern trends in hyperspectral image analysis: a review. IEEE Access 6, 14118-14129 (2018)
49. Paoletti, M., Haut, J., Plaza, J., Plaza, A.: Deep learning classifiers for hyperspectral imaging: a review. ISPRS J. Photogramm. Remote Sens. 158, 279-317 (2019)
50. Trajanovski, S., Shan, C., Weijtmans, P.J., de Koning, S.G.B., Rusers, T.J.: Tongue tumor detection in hyperspectral images using deep learning semantic segmentation. IEEE Trans. Biomed. Eng. 68, 1330-1340 (2020)
51. Yun, B., et al.: SpecTr: spectral transformer for hyperspectral pathology image segmentation (2021). arXiv:2103.03604
52. Grigoroiu, A., Yoon, J., Bohndiek, S.E.: Deep learning applied to hyperspectral endoscopy for online spectral classification. Sci. Rep. 10, 1-10 (2020)
53. Manni, F., et al.: Hyperspectral imaging for glioblastoma surgery: Improving tumor identification using a deep spectral-spatial approach. Sensors 20, 6955 (2020)
54. Fabelo, H., et al.: Deep learning-based framework for in vivo identification of glioblastoma tumor using hyperspectral images of human brain. Sensors 19, 920 (2019)
55. Waterhouse, D.J., et al.: Spectral endoscopy enhances contrast for neoplasia in surveillance of Barrett's esophagus. Cancer Res. 81, 3415-3425 (2021)
56. Ortac, G., Ozcan, G.: Comparative study of hyperspectral image classification by multidimensional convolutional neural network approaches to improve accuracy. Expert Syst. Appl. 182, 115280 (2021)
57. Chen, L., et al.: MRI tumor segmentation with densely connected 3D CNN. Medical Imaging 2018: Image Processing, vol. 105741F, Houston, Texas, US (2018)
58. Ker, J., et al.: Image thresholding improves 3-dimensional convolutional neural network diagnosis of different acute brain hemorrhages on computed tomography scans. Sensors 19, 2167 (2019)
59. Bashkatov, A.N., Genina, E.A., Tuchin, V.V.: Optical properties of skin, subcutaneous, and muscle tissues: a review. J. Innov. Opt. Health Sci. 4, 9-38 (2011)
60. Kroemer, G., Pouyssegur, J.: Tumor cell metabolism: cancer's Achilles' heel. Cancer Cell 13, 472-482 (2008)
61. Aboughaleb, I.H., Aref, M.H., El-Sharkawy, Y.H.: Hyperspectral imaging for diagnosis and detection of ex-vivo breast cancer. Photodiagn. Photodyn. Ther. 31, 101922 (2020)
62. Kho, E., et al.: Hyperspectral imaging for resection margin assessment during cancer surgery. Clin. Cancer Res. 25, 3572-3580 (2019)
63. Kho, E., et al.: Broadband hyperspectral imaging for breast tumor detection using spectral and spatial information. Biomed. Opt. Express 10, 4496-4515 (2019)
64. Zhang, Y., et al.: Explainable liver tumor delineation in surgical specimens using hyperspectral imaging and deep learning. Biomed. Opt. Express 12, 4510-4529 (2021)
65. Ortega, S., et al.: Hyperspectral imaging for the detection of glioblastoma tumor cells in H&E slides using convolutional neural networks. Sensors 20, 1911 (2020)
66. Lv, M., et al.: Membranous nephropathy classification using microscopic hyperspectral imaging and tensor patch-based discriminative linear regression. Biomed. Opt. Express 12, 2968-2978 (2021)
67. Liu, N., Guo, Y., Jiang, H., Yi, W.: Gastric cancer diagnosis using hyperspectral imaging with principal component analysis and spectral angle mapper. J. Biomed. Opt. 25, 066005 (2020)
68. Li, Y., et al.: Diagnosis of early gastric cancer based on fluorescence hyperspectral imaging technology combined with partial-least-square discriminant analysis and support vector machine. J. Biophotonics 12, e201800324 (2019)
69. Halicek, M., Little, J.V., Wang, X., Chen, A.Y., Fei, B.: Optical biopsy of head and neck cancer using hyperspectral imaging and convolutional neural networks. J. Biomed. Opt. 24, 036007 (2019)
70. Halicek, M., et al.: Hyperspectral imaging of head and neck squamous cell carcinoma for cancer margin detection in surgical specimens from 102 patients using deep learning. Cancers 11, 1367 (2019)
71. Halicek, M., Dormer, J.D., Little, J.V., Chen, A.Y., Fei, B.: Tumor detection of the thyroid and salivary glands using hyperspectral imaging and deep learning. Biomed. Opt. Express 11, 1383-1400 (2020)
72. Baltussen, E.J., et al.: Hyperspectral imaging for tissue classification, a way toward smart laparoscopic colorectal surgery. J. Biomed. Opt. 24, 016002 (2019)
73. Huang, Q., et al.: Blood cell classification based on hyperspectral imaging with modulated Gabor and CNN. IEEE J. Biomed. Health Inform. 24, 160-170 (2019)
74. Fabelo, H., et al.: 2019 XXXIV Conference on Design of Circuits and Integrated Systems (DCIS), pp. 1-6. IEEE
75. Leon, R., et al.: Non-invasive skin cancer diagnosis using hyperspectral imaging for in-situ clinical support. J. Clin. Med. 9, 1662 (2020)
76. Hosking, A.M., et al.: Hyperspectral imaging in automated digital dermoscopy screening for melanoma. Lasers Surg. Med. 51, 214-222 (2019)
77. Zherebtsov, E., et al.: Hyperspectral imaging of human skin aided by artificial neural networks. Biomed. Opt. Express 10, 3545-3559 (2019)
78. He, Q., Wang, R.: Hyperspectral imaging enabled by an unmodified smartphone for analyzing skin morphological features and monitoring hemodynamics. Biomed. Opt. Express 11, 895-910 (2020)
79. Kohler, L.H., et al.: Hyperspectral imaging (HSI) as a new diagnostic tool in free flap monitoring for soft tissue reconstruction: a proof of concept study. BMC Surg. 21, 1-9 (2021)
80. More, S.S., Beach, J.M., McClelland, C., Mokhtarzadeh, A., Vince, R.: In vivo assessment of retinal biomarkers by hyperspectral imaging: early detection of Alzheimer's disease. ACS Chem. Neurosci. 10, 4492-4501 (2019)
81. Hadoux, X., et al.: Non-invasive in vivo hyperspectral imaging of the retina for potential biomarker use in Alzheimer's disease. Nat. Commun. 10, 1-12 (2019)
82. Yoon, J., et al.: First experience in clinical application of hyperspectral endoscopy for evaluation of colonic polyps. J. Biophotonics (2021). https://doi.org/10.1002/jbio.202100078
83. Fabelo, H., et al.: In-vivo hyperspectral human brain image database for brain cancer detection. IEEE Access 7, 39098-39116 (2019)
84. Florimbi, G., et al.: Towards real-time computing of intraoperative hyperspectral imaging for brain cancer detection using multi-GPU platforms. IEEE Access 8, 8485-8501 (2020)
85. Kohler, H., et al.: Evaluation of hyperspectral imaging (HSI) for the measurement of ischemic conditioning effects of the gastric conduit during esophagectomy. Surg. Endosc. 33, 3775-3782 (2019)
86. Sucher, R., et al.: Hyperspectral Imaging (HSI) in anatomic left liver resection. Int. J. Surg. Case Rep. 62, 108-111 (2019)
87. Jansen-Winkeln, B., et al.: Determination of the transection margin during colorectal resection with hyperspectral imaging (HSI). Int. J. Colorectal Dis. 34, 731-739 (2019)
88. Sucher, R., et al.: Hyperspectral imaging (HSI) of human kidney allografts. Ann. Surg. (2020). https://doi.org/10.1097/SLA.0000000000004429
89. Larsen, E.L., et al.: Hyperspectral imaging of atherosclerotic plaques in vitro. J. Biomed. Opt. 16, 026011 (2011)
90. Hacker, L., et al.: A copolymer-in-oil tissue-mimicking material with tuneable acoustic and optical characteristics for photoacoustic imaging phantoms. IEEE Trans. Medical Imaging 40(12), 3595-3603 (2021). https://doi.org/10.1109/TMI.2021.3090857
91. Harper, D.J., et al.: Hyperspectral optical coherence tomography for in vivo visualization of melanin in the retinal pigment epithelium. J. Biophotonics 12, e201900153 (2019)
92. Diot, G., et al.: Multispectral optoacoustic tomography (MSOT) of human breast cancer. Clin. Cancer Res. 23, 6912-6922 (2017)
93. Li, H., et al.: 25th IEEE International Conference on Image Processing (ICIP), pp. 3323-3327. IEEE (2018)
94. Zhang, J., Sun, Y., Chen, J., Yang, D., Liang, R.: Deep-learning-based hyperspectral recovery from a single RGB image. Opt. Lett. 45, 5676-5679 (2020)
95. Shi, Z., Chen, C., Xiong, Z., Liu, D., Wu, F.: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp. 939-947
96. Kaya, B., Can, Y.B., Timofte, R.: 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), pp. 3546-3555. IEEE
97. Zhang, W., et al.: Deeply learned broadband encoding stochastic hyperspectral imaging. Light Sci. Appl. 10, 1-7 (2021)
98. Liu, T., et al.: Deep learning-based super-resolution in coherent imaging systems. Sci. Rep. 9, 1-13 (2019)
99. Fang, L., et al.: Deep learning-based point-scanning super-resolution imaging. Nat. Methods 18, 406-416 (2021)