Гипер- и мультиспектральная визуализация

Гипер- и мультиспектральные изображения позволяют получить изображение как в пространственном (положение в пространстве), так и в спектральном (длина волны) измерениях, где каждое выбранное пространственное положение содержит несколько значений интенсивности, соответствующих различным спектральным диапазонам. При переходе от мультиспектральной визуализации к гиперспектральной (HSI) спектральная выборка имеет гораздо более высокую плотность, что позволяет восстанавливать непрерывные спектры. Эти данные более высокой размерности позволяют как идентифицировать материалы или объекты с помощью спектральных данных, так и определять их местоположение с помощью плоскости изображения с пространственным разрешением, обычно имеющей двумерную пространственную размерность. Эта технология нашла применение во многих областях, но при этом требует обработки большого объема данных и тщательного выбора источников освещения. Поскольку гиперспектральные камеры становятся все меньше, дешевле и оснащены встроенной системой обработки данных, область получения изображений расширяется.[1]2][3]

HSI также известен как визуализирующая спектроскопия или 3D-спектроскопия, поскольку обычная спектроскопия анализирует только непрерывный спектр точечного источника, по-прежнему позволяя идентифицировать материалы. С другой стороны, обычные изображения с использованием датчиков в оттенках серого или RGB (трехцветных) ограничены в своих возможностях идентификации, но вместо этого обычно обеспечивают более высокое пространственное разрешение.[4][5]

Спектральная визуализация

Гиперспектральная и мультиспектральная визуализация охватывает более широкий диапазон электромагнитного спектра. Их диапазон охватывает ультрафиолетовый (UV, длина волны 200–400 нм) и видимый (VIS, 400–780 нм), ближний инфракрасный (NIR, 780–2500 нм) и средний инфракрасный (MIR, 2500–25000 нм), что значительно превосходит спектральный диапазон, предлагаемый обычными камерами.[6]
Спектральные системы визуализации регистрируют интенсивность излучения, поступающего в камеру на различных длинах волн. Общий интервал от самой низкой до самой высокой длины волны, охватываемый этим диапазоном, называется спектральным диапазоном, обычно разделенным на несколько спектральных полос равной ширины полосы. Каждая из этих полос упрощенно определяется как имеющая определенное окно длин волн для реагирования, но из-за характеристик материалов эта реакция неравномерна. Она подчиняется сложному распределению чувствительности, которое может распространяться на более широкий диапазон длин волн и на соседние полосы [7].

Эти отобранные спектральные полосы могут быть разделены промежутками или расположены непосредственно друг за другом. Спектральное разрешение описывает предел разделения соседних спектральных полос [6] и не связано напрямую с их разделением или перекрытием.

Камера интегрирует интенсивность входящего излучения по определенной спектральной кривой отклика, которая охватывает ограниченный диапазон длин волн [6]. Сами по себе датчики камеры могут измерять только один такой канал интенсивности и естественным образом выдавать изображения в оттенках серого (однополосные), за исключением специальных сенсорных технологий. Следовательно, любое спектральное различение должно происходить до того, как свет будет захвачен пикселями датчика.

В обычных RGB (цветных) камерах это делается с помощью матрицы фильтров Bayer, где доступные пиксели группируются в кластеры размером 2 × 2, каждый из которых состоит из двух зеленых, одного красного и одного синего спектральных фильтров. Пространственное разрешение уменьшается для получения спектрального разрешения, а интерполяция данных восстанавливает недостающие значения цвета [7]. В качестве альтернативы, можно сохранить исходное пространственное разрешение, разделив входящий свет на три спектральных диапазона с помощью светоделителей и фиксируя каждый из них отдельным датчиком [2].

Мульти- и гиперспектральные системы визуализации

Мульти- и гиперспектральные системы визуализации имеют те же конструктивные особенности, но захватывают более трёх спектральных диапазонов в конечном изображении. Мультиспектральные камеры регистрируют от 4 до 12 спектральных диапазонов, обычно в видимом и инфракрасном диапазонах, разделённых промежутками [5][3][8][29]. Они не могут обеспечить реальный спектр в каждом пикселе, дискретные и разрозненные данные непригодны для профилирования материалов [2][5].

Гиперспектральные системы визуализации регистрируют от десятков до сотен спектральных диапазонов в зависимости от технологии камеры, а в отдельных случаях их число достигает тысяч. Обычно они охватывают более одного субволнового диапазона, например, видимый и ближний инфракрасный. В сочетании с высокой плотностью дискретизации это позволяет создавать непрерывные спектральные профили для характеризации и идентификации, но значительно увеличивает сложность обработки данных [9][5][3][8][9][10]. Существуют и другие различия, такие как ультраспектральный, но они не дают объективного и чёткого разделения с гиперспектральным обозначением [2].

Методы получения данных

Технологии получения мульти-/гиперспектральных изображений сталкиваются с одной фундаментальной проблемой проектирования: двумерный датчик должен захватывать трёхмерную структуру данных, содержащую одно спектральное и два пространственных измерения. Эта проблема решается либо путём распределения пространственной информации во времени путём сканирования в двух или одном направлении, либо путём распределения спектральной информации по нескольким компонентам перед попаданием на матрицу датчиков. Оба подхода требуют обработки данных для сборки пространственно-спектрального куба данных. [11][12] Кроме того, существуют смешанные подходы, сочетающие аспекты этих двух подходов, или косвенный захват, основанный на вычислительной обработке для заполнения информации. Наконец, описаны подходы с более высокой размерностью для 3D- и видеосъёмки.

Классический / прямой подход

Точечное сканирование
Точечное сканирование (также известное как сканирование по кругу) позволяет получить полный спектр в одном месте и использует поступательное или вращательное сканирование для последовательной реконструкции всей сцены. Это приводит к замедлению работы и требует точного позиционирования, но не позволяет отображать изображение в реальном времени. Возможны артефакты движения. Это обеспечивает очень высокое спектральное разрешение для детального анализа материала (гиперспектрального), обычно при микроскопическом сканировании. [1][12][3][6][11][13]

Линейное сканирование

Линейное сканирование (push broom scanning) захватывает сцену вдоль одного пространственного измерения и использует перпендикулярную ось для спектральной идентификации. Недостающее второе пространственное измерение получается при поступательном или вращательном сканировании, первое обычно выполняется путем перемещения объекта перед камерой или перемещения камеры поперек объекта. Таким образом, одно пространственное измерение растягивается во времени, что может привести к появлению артефактов движения. Это не дает живого изображения и требует относительного перемещения, но выполняется очень быстро.[3][14][12][11][6]

Спектральное сканирование

Спектральное сканирование (плоскостное сканирование, прицеливание, направленное вниз изображение, последовательная 2D-визуализация, датчики изображения-кадра) захватывает всю сцену сразу в фиксированном режиме, отбирая оба пространственных измерения. Он ограничивает регистрируемый спектральный диапазон для каждого снимка, распределяя спектральную выборку по нескольким экспозициям и формируя полную структуру данных в цифровом виде. Спектральная дискриминация выполняется с помощью электронных или ручных фильтров перед датчиком изображения или с помощью источника освещения с ограниченной полосой. Этот подход не подходит для движущихся сред и обычно имеет более низкое спектральное разрешение, чем при точечном/линейном сканировании, но обеспечивает высокое пространственное разрешение и живое изображение. Недорогое решение заключается в размещении различных цветовых фильтров перед цветной камерой RGB и восстановлении спектральной информации с помощью программного обеспечения [7].[3][14][13]

Пространственно-спектральное сканирование

Пространственно-спектральное сканирование (наклонная выборка) захватывает всю двумерную пространственную информацию о сцене, но одновременно спектрально различает ее в одном пространственном направлении. Обычно при этом используется переменный фильтр перед датчиком изображения, который может быть более качественным, чем фильтры, используемые при плоском сканировании. Многократная съемка со смещенной камерой позволяет получить недостающую пространственную информацию, используя достаточно высокую частоту кадров. Обработка данных позволяет повторно собрать ее для получения полного куба пространственно-спектральных данных, но повышает требования к хранилищу. Этот подход позволяет снимать сцену с разных точек в пространстве и, таким образом, обычно используется для реконструкции пространственных 3D-данных, о чем будет рассказано в следующем разделе.[15][4]

Моментальная съемка

Мгновенная съемка (однократная многоточечная спектрометрия) позволяет получить все спектральные и пространственные данные одновременно, предоставляя полный куб данных без многократной экспозиции или сканирования. Это достигается за счет комбинации оптических элементов разделения изображения и дисперсии (различения длины волны), расположенных перед сенсором, и обработки данных. Это позволяет получать более высокие частоты кадров, что позволяет получать спектральное видео, и, как правило, обеспечивает высокую светопропускаемость. С другой стороны, как пространственное, так и спектральное разрешение снижаются по сравнению с большинством других методов. Получение данных по-прежнему не является полностью мгновенным, поскольку время экспозиции сенсора и скорость считывания кадров могут приводить к размытию изображения и появлению артефактов.[5][16][13][12][15]

Вычислительные / косвенные подходы

Предыдущие четыре метода получения данных представляют собой классические подходы, позволяющие получать мульти-/гиперспектральные изображения с использованием оптических элементов. Вся обработка данных осуществляется на основе полностью доступной информации. Следующие методы отличаются от этого, либо путем интерполяции данных, либо с использованием нескольких датчиков. Они сокращают количество измерений или используют более дешевые решения, иногда в качестве компромисса с повышенными требованиями к вычислительной обработке.

Специальные RGB-камеры (indirect spectral imaging) используют доступные и недорогие датчики цветного RGB-изображения в смартфонах или фототехнике для восстановления гиперспектральных данных. Они захватывают данные в трех широких, перекрывающихся спектральных диапазонах в определенных спектральных характеристиках и требуют спектральной и радиометрической калибровки. В некоторых подходах для расширения спектрального диапазона используется несколько камер, возможно, разных производителей. Эти решения обеспечивают очень высокое пространственное разрешение, но часто ограниченное радиометрическое разрешение, поскольку выборка каждого значения интенсивности составляет всего 8 бит на канал. [7][15][17][18]

Вместо использования RGB-камер многокамерные системы визуализации могут также снимать проекции сцены с ограниченным диапазоном, например, используя фильтры перед каждой из них. Поскольку камеры расположены рядом друг с другом, их данные также смещаются в пространстве, и обработка данных выполняется для обеспечения правильного спектрального и пространственного соответствия. Обычно это ограничивается 4-9 спектральными диапазонами.[15] Когда используется только одна (мульти-/гиперспектральная) камера и она перемещается в разные положения для каждого снимка для последующего восстановления данных, это называется пошаговым наблюдением[9].
При разреженной выборке используются оптические волокна для проецирования фрагментов сцены на датчик изображения и восстановления недостающих данных в цифровом виде.[19][20]

Благодаря компрессионной выборке цифровое микрозеркальное устройство (DMD) проецирует пространственно и/или спектрально различимую сцену на линейный датчик, что позволяет экономить средства по сравнению с датчиками площади, особенно при измерениях за пределами видимого диапазона с использованием необычных материалов для датчиков.[21][22]

Высокая размерность

Для захвата сцены не только в двух, но и в трёх пространственных измерениях (3D) с сохранением спектральной информации используются различные подходы к визуализации. Иногда их называют 4D-визуализацией из-за четвёртого спектрального измерения. Первый подход позволяет захватывать только неглубокие / почти плоские структуры в пределах глубины резкости (ГРИП) оптической системы. Можно использовать эффект параллакса, присущий пространственно-спектральному сканированию. Кисти на поверхности масляной картины были оцифрованы с помощью модифицированного многополосного планшетного сканера. В качестве альтернативы, для обнаружения поперечного поля используются специальные сенсорные технологии.[15][23][12]
Для более глубоких, неограниченных трёхмерных поверхностей можно использовать пространственно-спектральное сканирование в сочетании с движущейся камерой. Стандартная стереоскопическая 3D-визуализация с использованием двух расположенных рядом камер обеспечивает гораздо более высокое пространственное разрешение, а алгоритмы компьютерного зрения позволяют реконструировать поверхность по этим данным.[15][4][9]

Гиперспектральное видео обычно реализуется с помощью систем одиночной/мгновенной съёмки с высокой частотой кадров[2]. Также может использоваться обратный подход: захват видео со спектральной информацией и восстановление недостающего пространственного измерения с помощью медленного движения камеры[24].

Освещение

Освещение играет важную роль в мультиспектральной визуализации, поскольку как спектральные характеристики используемого источника света, так и взаимодействие света с объектом съемки имеют решающее значение для точных измерений. Каждый материал по-разному реагирует на отражение, поглощение, рассеяние и возбуждение света во всем спектре длин волн.[1][13]

Режимы измерения

Существует три основных режима измерения, описывающих взаимодействие освещения с объектом:
·         Измерение коэффициента отражения позволяет осветить объект с одной и той же стороны камеры, обычно под выбранным углом или с определенной настройкой поляризации, чтобы избежать прямых/зеркальных отражений, которые не несут никакой информации о химическом составе образца. Кроме того, может использоваться рассеиватель, например, интегрирующая сфера. Он определяет внешние характеристики, такие как цвет, размер, форма и дефекты поверхности, прост в использовании и обеспечивает высокую интенсивность освещения.[1][2][25][3]
·         При измерении коэффициента пропускания источник света находится на противоположной стороне от образца и камеры, просвечивая объект насквозь. Хотя уровень освещенности значительно ниже, этот свет несет информацию о внутреннем составе образца, включая дефекты и различия в концентрации.[1][2]
·         Измерение коэффициента взаимодействия (флуоресценции) представляет собой комбинацию режимов отражения и пропускания, при этом источник света располагается с той же стороны, что и камера. Это делается таким образом, чтобы максимально уменьшить прямые отражения, и позволяет проводить анализ жидкостей, полутвердых и твердых веществ. Образец реагирует на поглощенный свет и испускает собственное излучение.[1][3][2]

Источники света

Источники света можно разделить на широкополосные для освещения объектов и узкополосные источники для возбуждения. Что касается метода получения данных с помощью спектрального сканирования, то они могут быть отфильтрованы спектрально (настраиваемый свет) для достижения различения по длине волны в качестве альтернативы фильтрации внутри камеры.[1][14][2]
·         Дневной свет обеспечивает широкий спектр, но требует калибровки интенсивности и меняется с течением времени в зависимости от облачности, времени суток и других факторов. Галогенные лампы также обладают широким спектром излучения с плавным, непрерывным спектром без пиков в инфракрасном диапазоне, но имеют короткий срок службы, высокую теплоотдачу и изменения спектра в зависимости от температуры.
·         Светодиоды (светоизлучающие диоды) обычно имеют неоднородный спектр, но последние достижения значительно улучшили качество их свечения. Они могут использоваться в качестве широкополосного белого или узкополосного цветного света, а также в качестве импульсного источника возбуждения. Они имеют низкую стоимость, небольшие размеры, обеспечивают быструю реакцию и длительный срок службы при низкой теплоотдаче и энергопотреблении.
·         Лазеры - это монохроматический источник света с высокой когерентностью, высокой интенсивностью и высокой направленностью, обычно используемый для возбуждения.
·         Люминесцентные лампы имеют сложное спектральное распределение мощности с пиками, а также существуют ксеноновые или ртутные газоразрядные лампы.
[7][2][13][3]

Технические реализации

В зависимости от типа системы получения мультиспектральной/гиперспектральной визуализации (точечная, линейчатая, спектральная развертка или моментальный снимок) используются принципиально разные конструкции камер для достижения спектральной и пространственной идентификации и сбора данных. Выбор типа датчика и системы сбора данных в значительной степени зависит от области применения.[13]

Системы точечного сканирования

При точечном сканировании свет, проходящий через точечное отверстие, проецируется на рассеивающий элемент (обычно призму). Это позволяет разделить свет на спектральные составляющие в одном направлении, которые улавливаются линейным детектором. Свет каждый раз проходит по одному и тому же пути, что упрощает калибровку. Распространенные варианты реализации включают в себя интерферометрические установки и конфокальную рамановскую микроскопию (CRM). Здесь не показано сканирующее движение, необходимое для захвата нескольких точек, реализуемое с помощью линейных двигателей или гальванических зеркал.[14][11][16][1][12]

Системы линейного сканирования

Системы линейного сканирования обычно используют узкую щелевую апертуру и рассеивают свет с помощью призмы или другого оптического элемента на спектральные составляющие, сохраняя при этом пространственную выборку вдоль одной оси. Рассеянный свет попадает на матрицу двумерных датчиков, и для захвата всей области требуется сканирующее движение в поступательном или вращательном режиме. В некоторых случаях для достижения этой цели требуется вращать головку эндоскопа (в области медицины) или саму камеру. Обычный сценарий - это промышленный конвейер со стационарной камерой или бортовая система, в которой камера перемещается по сцене.[11][16][24][1][12]

Системы моментальных снимков

Системы получения моментальных снимков существуют в широком спектре технических реализаций, касающихся оптических компонентов и обработки данных. Хаген и Куденов предоставляют всесторонний обзор, включающий историю и подробные технические соображения, а также анализ теоретического использования матриц детекторов[12]. Технология Integral field позволяет разделить изображение на множество частей с помощью зеркального блока slicer, пучка волокон или матрицы линз, которые затем перестраиваются, распределяются и проецируются на сенсор. Мультиспектральное светоделение (MSBS) основано на светоделительных призмах, матрице фильтров, наклонном наборе фильтров или элементе объемной голограммы для получения множества пространственно идентичных, но спектрально отличающихся изображений, которые будут получены отдельными матрицами датчиков. Компьютерная томографическая спектрометрия (CTIS) использует пропускающий распределительный элемент, который обеспечивает спектральное и пространственное разделение на датчике, что требует тщательной обработки данных. Камеры с многоапертурным фильтром (MAFC) разделяют поступающий свет с помощью матрицы линз в сочетании со спектральными фильтрами. Подобно им, детекторные матрицы со спектральным разрешением (SRDA) (также называемые камерами с мозаичным фильтром на кристалле) размещают набор цветных фильтров непосредственно на пикселях сенсора для выделения большего количества спектральных полос, чем у обычных RGB-камер с фильтром Байера, хотя принцип действия и настройка объектива идентичны. В перестраиваемом эшелонированном тепловизоре (TEI) на световом пути используется эталон Фабри-Перо, который периодически производит спектральную выборку с помощью передачи, зависящей от длины волны. Затем дифракционная решетка раздвигает их, чтобы они были зафиксированы 2D-датчиком для последующей цифровой обработки. Спектрометр для воспроизведения изображений (IRIS) использует набор волновых пластин и поляризаторов Wollaston для получения четких, спектрально разделенных изображений на сенсоре, каждое из которых полностью сохраняется в пространстве. Спектральные томографы CASSI (Coded aperture snapshot spectral imagers) используют маску с кодированной апертурой на световом пути, создавая множество пропусков в поле изображения. Пространство, сэкономленное за счет пропусков, используется для распределения оставшихся областей изображения для цифровой реконструкции. Спектрометрия отображения изображений (IMS) разбивает изображение на чередующиеся линии, где каждая отдельная световая дорожка представляет сцену, отобранную с регулярным интервалом. Матрицы Prism и lenslet размещаются на датчике для последующей повторной сборки данных. Это требует меньшей вычислительной нагрузки и, следовательно, позволяет работать в режиме реального времени. Гиперспектральные спектрометры с преобразованием Фурье (SHIFT) для получения моментальных снимков выглядят как радужная оболочка глаза, но на сенсоре отображаются субизображения, преобразованные в Фурье. Мультиспектральный интерферометр Саньяка (MSI) также преобразует изображение в Фурье, используя оптическую схему, в которой два луча движутся в противоположных направлениях. Для восстановления данных изображения требуется обратное преобразование Фурье.[12][26][15][27][11]

Оптические элементы

Как указывалось ранее, мультиспектральные камеры используют различные оптические элементы для проецирования сцены на сенсор с необходимым спектральным разделением. Во многих реализациях используются обычные объективы, доступные для других систем камер, которые отличаются своим фокусным расстоянием (и, следовательно, полем зрения), размером сенсора, коэффициентом увеличения, максимальным разрешением и характеристиками передачи по длине волны.[3]

Отображение изображений

Устройства отображения изображений перераспределяют участки светового пути под другим углом или в другом положении. Для этого используются режущие/граненые зеркала, цифровые микромоторные устройства (DMD) или пучки оптоволокна.[22][12]

Дисперсия и фильтрация

Для распределения света по различным диапазонам длин волн используются дисперсионные элементы: призмы, дифракционные решетки или сборка призма-решетка-призма (PGP). В качестве альтернативы, фильтры пропускают только определенную часть падающего света. Простые фильтры могут быть установлены внутри диска фильтров или непосредственно поверх отдельных пикселей матрицы сенсора, или где-то между ними, или использоваться для управления спектральными характеристиками света, освещающего сцену. Также могут использоваться полосовые светоделители. Среди перестраиваемых фильтров наиболее распространены акустооптические перестраиваемые фильтры (AOTF), обеспечивающие очень быстрое переключение, или жидкокристаллические перестраиваемые фильтры (LCTF), обеспечивающие лучшее качество изображения. Другой подход — линейные переменные фильтры (LVF), также называемые клиновидными фильтрами, которые обеспечивают переменное спектральное пропускание вдоль одной оси.[3][6][1][12]

Следующие характеристики могут количественно оценить качество оптической мульти- или гиперспектральной системы:
·         светопропускание/пропускание в %
·         геометрические искажения в %
·         пространственное разрешение в мкм/пикс
·         количество спектральных каналов
·         спектральное разрешение в нм
·         спектральная точность в %
·         ширина спектральной полосы пропускания в нм
·         дисперсия в пикс/нм
Большинство спектральных характеристик измеряются по их полной ширине на половине максимального значения (FWHM) спектральной кривой отклика.[6][22][27][26]

Сенсорная технология

Датчики изображения (матрица в фокальной плоскости: FPA) улавливают поступающий свет и преобразуют его интенсивность в электрический сигнал, который используется при обработке данных[6]. Выбор датчика изображения зависит от ряда факторов, наиболее важным из которых является диапазон длин волн, который необходимо зафиксировать. Различные материалы сенсоров демонстрируют свои собственные спектральные диапазоны, для которых они лучше всего подходят: две наиболее распространенные технологии - ПЗС (устройство с зарядовой связью) и КМОП (комплементарный металл-оксид-полупроводник) - используют кремний и лучше всего подходят для использования в диапазоне от 400 до 1000 нм. Для NIR лучше всего подходят InGaAs (арсенид индия-галлия) (900-1700 нм) или MCT (теллурид ртути-кадмия, HgCdTe) (900-2500 нм).[5][2][1]

Отдельные пиксели обладают следующими техническими характеристиками:
·         размер пикселя в нм
·         предел насыщенности
·         отношение сигнал/шум (SNR)
·         динамический диапазон в дБ
·         разрядность в битах
·         квантовая эффективность
·         линейность
·         чувствительность к длине волны

Для всего сенсорного блока время считывания кадра в секундах, частота кадров (дискретизация) в Гц и время интегрирования (экспозиция) в секундах в совокупности определяют, как движение отображается на конечном изображении.[26][12][27][25] Например, если при слабом освещении требуется длительная экспозиция, движение во время экспозиции приводит к размытию изображения в движении. Если время считывания кадра значительно больше по сравнению с перемещением по сенсору, могут стать заметными искажения при работе подвижного затвора, поскольку показания датчика считываются не мгновенно, а последовательно, строка за строкой. Глобальный затвор решает эту проблему.[12][15]

Обработка данных

Представление данных

Данные изображения, полученные с помощью HSI, хранятся в кубе данных (гиперкуб, объем данных, спектральный куб/volume), который можно рассматривать как набор изображений в оттенках серого с различными длинами волн или несколькими спектрами в соответствующих пространственных местоположениях. Точки данных внутри называются вокселами или векторными пикселями, каждая из которых представляет интенсивность зафиксированного излучения в пространственном местоположении в определенном спектральном диапазоне.

Типичные размеры (выраженные в x × y × λ, двумерное пространство × 1D спектр) составляют:
·         1600 × 1300 × 5 с фильтрованными отдельными камерами на борту квадрокоптера DJI
·         285 × 285 × 60 с IMS
·         от 512 × 512 × 31 до 1392 × 1040 × 251 с LCTF
·         512 × 512 × 510 с CRM
·         От 1 × 307 × 191 до 1 × 1004 × 826 с системами линейного сканирования, в которых сканируемая пространственная ось по своей сути не ограничена матрицей датчиков.

Для научных приложений и профессиональных камерных систем каждый пиксель обрабатывается с разрешением 16 бит, в то время как недорогие камеры RGB обычно обеспечивают только 8 бит.[3][2][27][14][13][15]

Формат хранения данных

Формат хранения данных зависит от технологии получения, поскольку каждая пиксельная линия или спектры записываются в память непосредственно после захвата. При точечном сканировании создается структура с попиксельным чередованием полос (BIP), где каждый пиксель содержит все спектральные полосы до сохранения соседнего пикселя. Построчное сканирование выполняется с чередованием полос (BIL), каждая строка в пикселях содержит полный спектр, прежде чем будет сохранена следующая строка. Данные с полосовой последовательностью (BSQ) подходят для методов плоского сканирования, когда вся доступная пространственная информация содержится в изображении, а следующее 2D-изображение относится к другому спектральному диапазону. Для систем моментальных снимков конкретный формат хранения зависит от настройки камеры и обработки данных, и после завершения работы сразу сохраняется полный куб данных.[5][2][12]

Предварительная обработка

Гиперспектральные данные часто требуют многоэтапной обработки для получения полезной информации из большого количества изображений, которые содержат шумы и избыточность, присущие системам обработки изображений и спектральным характеристикам материалов. После получения и сохранения изображения выполняются этапы предварительной обработки, позволяющие откалибровать полученные данные, устранить артефакты и шумы и применить геометрические поправки и коррекцию интенсивности для повышения качества.[28][14]

Спектральное разделение

Затем основной анализ часто включает спектральное разделение. Зарегистрированные спектры могут представлять собой комбинацию различных материалов, смешанных вместе, как линейно, так и нелинейно. Алгоритмы разделения разделяют спектральные отклики и их относительные интенсивности для прямого анализа и сопоставления с существующими библиотеками спектров.[6][28][14]

Снижение размерности

Снижение размерности улучшает модели и снижает вычислительную нагрузку. Гиперспектральные данные обычно содержат лишь незначительные различия в спектральных откликах в соседних диапазонах, что приводит к высокой избыточности. Простые алгоритмы, такие как пропуск диапазонов, приводят к потере информации, в то время как более сложные процессы учитывают все доступные диапазоны. Это важный шаг перед извлечением признаков для уменьшения переобучения и коллинеарности. Для получения наиболее релевантной информации и её представления в более низкой размерности используются контролируемые или неконтролируемые алгоритмы извлечения признаков. Они часто также опираются на априорные знания и статистические методы.[29][6][14][28][6]

Сжатие

Из-за требований к объёму хранилища и ограниченной полосы пропускания в приложениях дистанционного зондирования сжатие данных является центральным звеном многих цепочек обработки гиперспектральных данных. Сжатие без потерь сохраняет все данные в целости и сохранности, хотя и ограничивает производительность, в то время как сжатие с потерями обеспечивает гораздо более высокую степень сжатия за счёт отбрасывания части данных. Другие алгоритмы включают анализ главных компонент (PCA), многомерное разрешение кривых (MCR) или многомерную регрессию изображений, а также кодеки сжатия видео.[30][25][31]

Программное обеспечение

Существуют различные программные решения для обработки и анализа мультиспектральных и гиперспектральных изображений:
·         ENVI обеспечивает обработку изображений без хемометрических функций.
·         MathWorks MATLAB предлагает более гибкую обработку изображений и многомерный анализ. Графический пользовательский интерфейс HYPER-tools, реализованный в нём, включает инструменты визуализации и взаимодействия.
·         Camo Analytics Unscrambler HSI выполняет хемометрический анализ и многомерный анализ данных без обработки изображений.
·         National Instruments LabVIEW.
·         Cognex VisionPro.
·         Datalogic IMPACT.
·         Поддерживаемые языки программирования: C, C++, IDL, R и Visual Basic.

Визуализация

Методы визуализации можно разделить на основанные на изображениях для пространственных отношений, часто с использованием ложных цветов, основанные на графиках для спектральных характеристик, таких как диаграммы рассеяния и анализ главных компонент (PCA), или основанные на признаках для группировки в двумерных или трёхмерных представлениях кластеров.[14]

Применение

В аддитивном производстве мультиспектральные камеры используются для получения более точных тепловизионных изображений или прогнозирования качества деталей с помощью нейронных сетей[32][33]. Точная сортировка пластиковых деталей, минералов или стекла улучшает качество переработки [34]. Можно проверить состояние и подлинность произведений искусства[26].
В медицине и биомедицине они обеспечивают хирургическое руководство и диагностику заболеваний, включая рак.[6][13][26]

В пищевой промышленности и научных исследованиях контроль качества повышается, поскольку гиперспектральные изображения позволяют выявлять посторонние частицы, дефекты и анализировать химический состав.[7][34][26]
В геологических целях обнаруживаются минералы и измеряется однородность покрова. В лесном хозяйстве определяются зараженные деревья, их состояние, проводится планирование расчистки, а также идентифицируется растительность. Кроме того, можно контролировать параметры окружающей среды. В сельском хозяйстве анализируются состояние растений, борьба с вредителями, степень спелости, а также местоположение стрессовых факторов и урожайность культур.[28][7][26][5]

В сфере землепользования можно отслеживать такие изменения в землепользовании, как рост городов, передвижение поселений и населения, а также риски пожаров и наводнений и качество воды для обеспечения общественной безопасности. Военные используют гиперспектральные камеры для обнаружения взрывчатых веществ, целей противника и наземных мин.[28][7][26]
Воздушные приложения включают мониторинг разливов нефти в море и на побережье, а также мониторинг качества воды. В атмосфере измеряются загрязняющие вещества и изменения условий окружающей среды. В космосе с помощью спектров анализируется термодинамика и кинематика звёзд и галактик, а также их химический состав.[28][26][4][7]

Сокращения

Общие
2D Двумерный
3D Трехмерный
FWHM Полная ширина на полувысоте
HSI Гиперспектральная визуализация (система)
IR Инфракрасный
MIR Средний инфракрасный (2500–25000 нм)
NIR Ближний инфракрасный (780–2500 нм)
RGB Красный, зеленый, синий
UV Ультрафиолетовый (200–400 нм)
VIS Видимый диапазон (400–780 нм)
SNR Отношение сигнал/шум
Технологии и материалы
CCD ПЗС-матрица
CMOS КМОП (комплементарная логика с транзисторами на металл-оксид-полупроводнике)
InGaAs арсенид индия-галлия
Laser Усиление лазерного излучения методом вынужденного излучения
LED Светодиод (светоизлучающий диод)
MCT   теллурид кадмия-ртути
Камера системы
CASSI Кодированная апертура моментального спектрального изображения 
CRM Конфокальная рамановская микроскопия 
CTIS Вычислительная томографическая спектрометрическая система
DOF Глубина резкости 
FOV Поле зрения 
FPA Массив фокальной плоскости (изображение датчика) 
FTIR Инфракрасное изображение преобразования Фурье 
IFS-F Спектрометр с интегральным полем с волоконными массивами
IFS-L Спектрометр с интегральным полем с массивами линзовых решеток  
IFS-M Спектрометр с интегральным полем с фасеточными зеркалами
IMS Спектрометр картирования изображений 
IRIS Спектрометр для воспроизведения изображений
MAFC Камера с многоапертурным фильтром
MSBS Многоспектральное расщепление луча
SHIFT Спектрометр моментального гиперспектрального изображения преобразования Фурье 
SRDA Детекторная матрица со спектральным разрешением
TEI Туннельный эшелле-изображающий спектрометр 
MSI Мультиспектральный интерферометр Саньяка
Оптические компоненты
AOTF – акустооптический перестраиваемый фильтр
DMD – цифровое микрозеркальное устройство
FP – интерференционный фильтр Фабри-Перо
LCTF – жидкокристаллический перестраиваемый фильтр
PGP –решетка-призма
LVF – линейный регулируемый фильтр
Обработка данных
BIL метод записи данных в многоканальных изображениях
BIP чередование полос по пикселям
BSQ последовательный анализ полос
PCA главный компонентный анализ
MCR разрешение многомерной кривой

Литература

1.    Kamruzzaman M, Sun D-W (2016) Introduction to Hyperspectral Imaging Technology, in: Computer Vision Technology for Food Quality Evaluation, pp. 111–139: Elsevier.
2.    Di Wu, Sun D-W (2013) Advanced application of hyperspectral imaging technology for food quality and safety analysis: A review. Innovative Food Science & Emerging Technologies 19, 1–14. 10.1016/j.ifset.2013.04.14.
3.    Lodhi V, Chakravarty D, Mita P (2019) Hyperspectral Imaging System: Development Aspects and Recent Trends. Sensors 19(1), 10.1016/j.ifset.2013.04.14.
4.    Grusche S (2014) Basic slit spectroscope reveals three-dimensional scene through diagonal slices of hyperspectral cubes. Applied optics 53(20), 4594–4603.
5.    Adão T, Hruska J, Padua L, Bessa J, Perez E, Moraira S, Sousa J (2017) Hyperspectral Imaging: A Review on UAV-Based Sensors, Data Processing and Applications for Agriculture and Forestry. Remote Sensing 9(11), 1110. 10.3390/rs9111110.
6.    Lu G, Fei B (2014) Medical hyperspectral imaging: a review. Journal of Biomedical Optics 19(1), 10901. 10.1117/1.JBO.19.1.010901.
7.    Nieves J (2020) Hyperspectral Imaging, in: Sharma R (ed) Encyclopedia of Color Science and Technology, pp. 1–8. Berlin, Heidelberg: Springer.
8.    Shippert P (2003) Introduction to Hyperspectral Image Analysis. Online Journal of Space Communication.
9.    Pust O, Fabricius H (2018) Continuously variable bandpass filters aid optics and HSI. Photonics Spectra 52(6), pp. 51–55.
10. Kale KV, Solankar MM, Nalawade DB, Dhulak R, Kite HR (2017) A Research Review on Hyperspectral Data Processing and Analysis Algorithms. Proc. Natl. Acad. Sci., India, Sec. A Phys. Sci. 87(4), 441–555. 10.1007/s40010-017-0433.
11. Willett RM, Duarte MF, Davenport MA, Baraniuk RG (2014) Sparsity and Structure in Hyperspectral Imaging Sensing, Reconstruction, and Target Detection. IEEE Signal Process. Mag. 31(1), 116–126. 10.1109/Msp.2013.2277950.
12. Hagen N, Kudenov MW (2013) Review of snapshot spectral imaging technologies. Opt. Eng. 52(9), 090901. 10.1117/1.OE.52.9.090901.
13. Halicek M, Fabo H, Ortega S, Calico GM, Fei B (2019) In-Vivo and Ex-Vivo Tissue Analysis through Hyperspectral Imaging Techniques: Revealing the Invisible Features of Cancer. Cancers 11(6). 10.3390/cancers11060756.
14. Labitzke B (2013) Visualization and Analysis of Multispectral Image Data. Dissertation, University of Siegen.
15. Aasem H, Honkaaraa E, Lucier A, Zarco-Tedaa P (2018) Quantitative Remote Sensing at Ultra-High Resolution with UAV Spectroscopy: A Review of Sensor Technology. Remote Sensing 10(7), 1091. 10.3390/rs10071091.
16. Wang YW, Roder NR, Kang S, Glaser AK, Liu JTC (2017) Multilexed Optical Imaging of Tumor-Directed Nanoparticles: A Review of Imaging Systems and Approaches. Nanoscale 9(14), 369–388. 10.1755/nto.21166.
17. He Q, Wang R (2020) Hyperspectral imaging enabled by an unmodified smartphone for analyzing skin morphological features and monitoring hemodynamics. Biomedical optics express 12(2), 895–910. 10.1364/BOE.378470.
18. Seung Wug Oh, Michael S. Brown, Marc Polfey, Seon Joo Kim (2016) Do It Yourself Hyperspectral Imaging With Everyday Digital Cameras. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 10.1109/CVPR.2016.270.
19. Bershady MA (2009) 3D Spectroscopic Instrumentation. Journal of the International Colour Association 52(6), pp. 51–55.
20. Geiger AC, Ulicks Jr, Liu Y, Witinski MF, Blanchard R, S, Systems, and Applications VI, pp. 46: PIERS.
21. Fowler James (2014) Compressive pushbroom and whiskbroom sensing. IEEE International Conference on Image Processing.
22. Bedard N, Hagen N, Gao L, Tyczysz TS (2012) Image mapping spectrometry: calibration and characterization. Optical engineering (Redondo Beach, Calif) 51(11). 10.1117/1.OE.51.1111711.
23. Tomianaga S, Nakamoto S, Horuchi T (2014) Estimation of surface properties for art paintings using a six-band scanner. Journal of the International Colour Association 2014. 10.1364/JC.53.000000.
24. Eon, R, Roder NR, Kang S, Glaser AK, Liu JTC (2019) A Low-Rate Video Approach to Hyperspectral Imaging of Dynamic Scenes. Journal of Imaging 5(1), 10.3390/imaging5010000.
25. Barbara Boldrini, Waltraud Kessler, Karsten Reber and Rudolf W. Kessler (2012) Hyperspectral imaging: a review of best practice, performance and pitfalls for in-line and on-line applications. Journal of Near Infrared Spectroscopy 20(5), 10.1255/jnirs.1003.
26. Palowski ME, Dwight JG, Nguyen T-U, Tyczysz TS (2019) High performance image mapping spectrometer (IMS) for snapshot hyperspectral imaging applications. Optics express 18(14), 14303–14344. 10.1364/OE.27.001597.
27. Gao L, Kester RT, Hagen N, Tyczysz TS (2010) Snapshot image mapping spectrometer (IMS) with high sampling density for hyperspectral microscopy. Optics express 18(14), 14303–14344. 10.1364/OE.27.001597.
28. Camps-Valls G (2014) Hyperspectral Image Processing. Valencia, Spain.
29. Swamy V, Soman KP, Hassaballah M (2019) Hyperspectral Image: Fundamentals and Advances, in: Hassaballah M, Hosny KM (eds) Recent Advances in Computer Vision, pp. 401–424. Cham: Springer International Publishing.
30. Du A, Kumar V, Singh RS (2020) Comprehensive review of hyperspectral image compression algorithms. Opt. Eng. 59(9), 10.1117/1.OE.59.9.090902.
31. Babu KS, Ramachandran V, Thyagarajan KK, Santhosh G (2015) Hyperspectral Image Compression Algorithms—A Review, in: Suresh LP, Dash SS, Panigrahi BK (eds) Artificial Intelligence and Evolutionary Algorithms in Engineering Systems, pp. 127–138. New Delhi: Springer India.
32. Murphy RD (2016) A Review of In-situ Temperature Measurements for Additive Manufacturing Technologies. Procedia CIRP 44, 25–28.
33. Gerdes N, Hoff C, Hermsdorf J, Karier S, Overmeyer L (2020) Snapshot hyperspectral imaging for quality assurance in Laser Powder Bed Fusion. Procedia CIRP 94, 25–28.
34. Beyer J, Puente León F, Frese C (2012) Automatised Stitchprüfungen. Berlin, Heidelberg: Springer.