Для спектральных классификаторов каждый пиксель гиперспектрального изображения рассматривается как комбинация серии спектральных измерений, не содержащих пространственной информации. Гамизи и др. подробно сравнил наиболее широко используемые спектральные классификаторы, включая метод опорных векторов (SVM), случайный лес (RF), нейронную сеть с обратным распространением, машина экстремального обучения, ротационный лес, канонический корреляционный лес и одномерная (1-D) глубокая CNN. В недавних исследованиях гиперспектральных изображений глубокое обучение внесло большой вклад. По сравнению с поверхностными моделями высокоуровневые, иерархические и абстрактные функции извлекаются из моделей глубокого обучения. Модель автоэнкодера — это типичный подход к классификации гиперспектральных изображений, основанный на глубоком обучении. Примерами моделей автоэнкодера являются многоуровневый автоэнкодер и автоэнкодер с разреженными ограничениями. Сети глубокого анализа также использовались для классификации путем изучения спектральных признаков.
В спектрально-пространственном классификаторе гиперспектральное изображение классифицируется с учетом пространственных зависимостей соседних пикселей. Пространственная информация может использоваться в классификации гиперспектральных изображений разными способами. Ма и др. в 2014 предложил смешанный метод классификации, который включает пространственную информацию путем слияния сегментации на основе объектов с SVM. В этом методе используются две стратегии смешанной классификации — алгоритм сегментации с несколькими разрешениями и сегментация с несколькими масштабами водосбора, — которые применялись к гиперспектральным городским данным TG-01. Пространственно-спектральное совместное контекстуальное разреженное кодирование также было предложено для классификации гиперспектральных изображений и включает три основные части: (1) построение словаря; (2) решение разреженных коэффициентов; и (3) классификация SVM. В этом методе словарь сначала получается путем обучения выборок, выбранных из достоверных данных, а затем на основе изученного словаря вычисляются разреженные коэффициенты каждого пикселя. Затем разреженные коэффициенты вводятся в классификатор SVM, и получается окончательный результат классификации. Цзяо и др. в 2019 году для классификации прибрежных водно-болотных угодий была применена иерархическая структура классификации, в которой дерево решений использовалось для выделения типов земельного покрова (здания, сельскохозяйственные культуры, растения и водно-болотные угодья), а SVM использовалось для классификации подтипов со спектральной и пространственной информацией. Являясь одной из самых активных областей исследований в области компьютерных наук, глубокое обучение показало отличные результаты во многих задачах. Например, Ци и др. предложили новую модель каскадного леса. (2019), чтобы преодолеть ограничения традиционных глубоких нейронных сетей, такие как потребность в большом количестве обучающих выборок и оптимизация большого количества гиперпараметров. Усовершенствованная модель каскадного леса представляет собой совокупность слоев, каждый из которых состоит из двух лесов деревьев решений и классификатора логистической регрессии. По сравнению с традиционной моделью количество лесов в усовершенствованном методе уменьшено с четырех до двух при той же точности и эффективности.
При объединении пространственно-спектральных признаков подходы, основанные на глубоком обучении, показали лучшие результаты, чем традиционные алгоритмы машинного обучения. Согласно модели CNN, методы, основанные на глубоком обучении, можно разделить на методы, основанные на патчах, и методы, основанные на полностью сверточных нейронных сетях. Ци и др. в 2019 г. была предложена совместная структура классификации 3D CNN и сети сверточной долговременной памяти (CLSTM) под названием SSCC для классификации на основе патчей гиперспектральных изображений, в которой 3D CNN использовалась для изучения спектрально-пространственных характеристик, а затем функции последовательности были извлечены с помощью CLSTM. Чтобы избежать избыточных вычислений в методах классификации patch-wish и использовать глобальную пространственную информацию, в классификацию гиперспектральных изображений были введены полностью сверточные нейронные сети. Поскольку обучающие выборки для гиперспектральных изображений часто очень разрежены, а традиционная стратегия обучения в полностью сверточных нейронных сетях больше не подходит для классификации гиперспектральных изображений, Ху и др. в 2020 предложил матрицу масок, чтобы помочь обратному распространению на этапе обучения. Глобальный стохастический стратифицированный сэмплер был предложен Дженг и др. в 2020 в Глобальной системе обучения без исправлений (FPGA). Модель условного случайного поля (CRF) также можно использовать для дальнейшего баланса локальной и глобальной информации в полностью сверточных нейронных.
3.4. Обнаружение объектов и обнаружение аномалий
Методы обнаружения гиперспектральных объектов обычно можно разделить на две категории — методы обнаружения аномалий и методы обнаружения объектов на основе сигнатур — в зависимости от того, доступны ли предварительные знания об интересующих материалах.
3.4.1. Обнаружение объектов на основе сигнатур
Для методов обнаружения объектов на основе сигнатур сигнатуры объектов известны заранее. Традиционные методы обнаружения объектов на основе сигнатур основаны на проверке бинарных гипотез. То есть для каждого пикселя существуют две гипотезы: H0 (цель отсутствует) и H1 (цель присутствует) (Манолакис, Марден и Шоу, 2003). Кроме того, для аппроксимации распределения гиперспектральных данных можно использовать определенные статистические распределения, такие как распределение Гаусса (Требеш и Колб, 2009 г.) или распределение хи-квадрат (Ду и Чжан, 2011 г.). Затем используется критерий отношения правдоподобия (LR) (Lee and Carder 2007) или обобщенного отношения правдоподобия (GLR) (Kraut and Scharf 1999) для создания постоянного детектора частоты ложных тревог. Типичные методы включают в себя различные алгоритмы обнаружения подпространства, такие как подход ортогональной проекции подпространства (OSP) (Harsanyi and Chang 1994), детектор согласованных подпространств (MSD) (Scharf and Friedlander 1993) и адаптивный когерентный/косинусный оценщик (ACE). (Краут и Шарф, 1999; Манолакис, 2005). Подход OSP включает в себя построение подпространства, ортогонального фоновому подпространству, для реализации подавления фона. MSD строит целевое и фоновое подпространства, а затем строит детектор GLR. Принцип ACE аналогичен принципу MSD, но метод построения подпространства отличается.
Совсем недавно разреженное представление успешно применялось для обнаружения объектов. Детекторы на основе разреженности основаны на том принципе, что фон находится в низкоразмерном фоновом подпространстве, а объект находится в низкоразмерном объектовом подпространстве. Разреженное представление было впервые применено в гиперспектральном обнаружении объектов Ченом, Насрабади и Траном (2011a). С тех пор было предложено множество улучшенных алгоритмов, основанных на основных принципах и методах (Чен, Насрабади и Тран, 2011b, 2011c; Ли и др., 2014). В этих алгоритмах, основанных на разреженности, целевой и фоновый словари создаются с использованием обучающих выборок для представления объектового и фонового значений соответственно. Благодаря полноте построенных словарей для описания одного вида материала используется множество атомов, что решает проблему спектральной изменчивости (Сакла и др., 2011). Кроме того, для дальнейшего использования пространственной информации в гиперспектральных изображениях при решении проблемы спектральной изменчивости модели разреженного представления были объединены с пространственно-контекстными моделями (Гу и др., 2015; Чжао и др., 2013; Ву и др., 2019; Zhang et al. 2017), в котором используется информация о пространственном соседстве в адаптивных локальных окнах или соседних окрестностях.
3.4.2. Обнаружение аномалий
Обнаружение аномалий направлено на обнаружение наблюдений, имеющих значительные отличия от окружающего фона по спектральным характеристикам (Штайн и др., 2002). Для методов обнаружения аномалий, в отличие от методов обнаружения объектов на основе сигнатур, априорные сигнатуры аномалий недоступны (Манолакис 2005). В этом случае оценка и подавление фона становится ключевым вопросом в задаче обнаружения гиперспектральных аномалий (Matteoli et al. 2013). Чтобы решить эту проблему, статистические методы используют априорные статистические распределения для оценки фона. Примерами таких методов являются хорошо известный детектор Рида-Сяоли (RX) (Reed and Yu 1990) и его усовершенствованные методы, все из которых основаны на расстоянии Махаланобиса, включая регуляризованный детектор RX (Nasrabadi 2008), сегментированный детектор RX (Matteoli, Diani, and Corsini 2010), взвешенный детектор RX и детектор RX на основе линейного фильтра (Guo et al. 2014). Однако, поскольку предположения о статистическом распределении обычно не согласуются с реальными данными, также были предложены методы, основанные на представлении. Например, Панг и др. (2015) предложили детектор на основе совместного представления, основанный на наблюдении, что фоновый пиксель может быть приблизительно представлен как линейная комбинация окружающих его пикселей, а аномалии - нет.
В гиперспектральных изображениях обычно предполагается, что фон обладает свойством низкого ранга, а аномалии редки. Таким образом, априорные методы низкого ранга (Донохо, 2006; Райт и др., 2009; Кандес и др., 2011) были введены в обнаружение гиперспектральных аномалий, образуя методы, основанные на низком ранге. В низкоранговых методах задача обнаружения гиперспектральных аномалий моделируется как низкоранговая и разреженная задача разложения матрицы, тем самым отделяя аномалии от фона. Методы на основе низкого ранга обычно можно разделить на две категории: (1) методы на основе надежного анализа главных компонентов (RPCA) (Sun et al. 2014; Zhang et al. 2015); и (2) методы, основанные на представлении низкого ранга (LRR) (Янг и др., 2016; Ин и др., 2018; Хуян и др., 2019). Методы, основанные на RPCA, напрямую накладывают низкоранговые и разреженные ограничения на исходную матрицу гиперспектральных данных. Примером такого метода является метод расстояний Махаланобиса на основе низкоранговой и разреженной матрицы (LRaSMD) для обнаружения гиперспектральных аномалий (LSMAD) (Zhang et al. 2015). В отличие от методов, основанных на RPCA, методы, основанные на LRR, накладывают низкоранговые и разреженные ограничения на разреженные матрицы коэффициентов кодирования, которые возникают в результате разреженного кодирования гиперспектральных данных на основе спектральных словарей. Примерами методов на основе LRR являются метод обнаружения аномалий на основе низкорангового и разреженного представления (LRASR) (Янг и др., 2016) и низкоранговая декомпозиция на основе изобилия и словаря (ADLR) (Ин и др. 2018) метод.
Совсем недавно автокодировщики применялись для обнаружения гиперспектральных аномалий (Чжао, Ли и Чжу, 2017 г.; Чжао и Чжан, 2018 г.; Чанг, Ду и Чжан, 2019 г.; Лу, Чжан и Хуанг, 2019 г.; Се и др., 2019 г.), поскольку автокодировщики могут изучить иерархические, абстрактные и высокоуровневые представления гиперспектральных данных. Методы на основе автокодировщика используют автокодировщик для автоматического извлечения скрытых особенностей изображения, а затем детекторы разрабатываются для реализации окончательного обнаружения аномалий. Например, состязательный автокодер со спектральными ограничениями (SC_AAE) был предложен Xie et al. (2019), в котором стратегия спектрального ограничения включена в состязательный автокодер для изучения скрытого представления предварительно обработанных гиперспектральных данных, а затем используется двухуровневая архитектура для реализации обнаружения аномалий.
3.5. Спектральное разделение
Из-за эффекта низкого пространственного разрешения, многократного рассеяния фотонов и микроскопического смешения гиперспектральные изображения страдают от серьезных эффектов смешения (Биукас-Диас и др., 2012). В результате на гиперспектральных изображениях часто бывает много смешанных пикселей, содержащих более одного материала. Спектральное разделение — это процедура, которая разлагает смешанный пиксель на конечные члены (спектральные характеристики материалов) и содержания (относительные вклады материалов). Спектральное разделение — полезный способ анализа гиперспектральных данных в таких приложениях, как хемометрика планетологии, материаловедение и другие области микроспектроскопии в медицине (Dobigeon et al. 2013). Точнее, разделение — это обобщенная обратная задача, которая использует наблюдаемый сигнал для оценки параметров для описания объекта (Тарантола и Валетте, 1982). Когда входящий свет взаимодействует со всеми материалами в пределах мгновенного поля зрения, могут возникать различные физические взаимодействия, так что это влияет на наблюдаемый спектр пикселей (Heylen, Parente, and Gader 2014).
Вообще говоря, существуют две основные категории моделей смешивания: (1) линейная модель смешивания (LMM); и (2) модель нелинейного смешения (NMM) (Keshava and Mustard 2002). LMM чаще возникает в смешанных макроспектральных сценах, где наблюдаемые фотоны в основном взаимодействуют с одним материалом, прежде чем достигнут датчика. В NMM, который часто присутствует в интимных сценах, соотношение смешивания различных компонентов нелинейно, поскольку световые фотоны рассеиваются более чем одним компонентом. В большинстве случаев NMM превосходит LMM тем, что может лучше описывать реальные взаимодействия, происходящие на поверхности Земли.
Спектральное разделение на основе LMM обычно можно разделить на два этапа: (1) извлечение конечных элементов; и (2) инверсия численности. Извлечение конечного члена направлено на извлечение спектрального вектора признаков с относительно высоким содержанием из изображений HRS. Подходы, основанные на геометрии, получают вершину путем нахождения минимального или максимального объема симплекса для получения желаемого конечного элемента. Примерами таких методов являются индекс чистоты пикселей (PPI) (Boardman, Kruse, and Green 1995), анализ вершинных компонентов (VCA) (Nascimento and Dias 2005), N-FINDR (Michael 1999) и симплекс минимального объемного охвата ( MVES) (Чан и др., 2009). Проблема спектрального разделения также может быть превращена в проблему слепого разделения источников (BSS). Для метода анализа независимых компонентов (ICA) (Bayliss, Gualtieri, and Cromp 1998) предполагается, что многомерный сигнал наблюдения состоит из нескольких статистически независимых компонентов. Однако ограничение количества по сумме к одному означает, что компоненты не могут быть независимыми, поэтому для решения проблемы слепого гиперспектрального разделения можно использовать неотрицательную матричную факторизацию (NMF). Некоторые современные подходы к слепому разделению, такие как NMF с ограничением разреженности L1/2 (L1/2 NMF) (Qian et al. 2011), NMF с ограничением минимального объема (MVCNMF) (Miao and Qi 2007), и пространственная групповая разреженность-регуляризованная NMF (SGSNMF) (Wang et al. 2017b) используют преимущества NMF. Разреженное разделение предполагает, что изображения HRS можно учитывать как задачу линейной разреженной регрессии. Алгоритм разреженного разделения с помощью переменного разделения и расширенного лагранжиана (SUnSAL) (Иордаче, Биукас-Диас и Плаза, 2011) был предложен для решения проблемы линейного разреженного спектрального разделения. Чтобы в полной мере использовать пространственную информацию в изображениях, также был разработан ряд алгоритмов пространственного разреженного разделения, таких как нелокальное разреженное разделение (NLSU) (Zhong, Feng, and Zhang 2013) и разреженное разделение с помощью переменного разделения. и расширенный лагранжиан с полной вариацией (SUnSAL-TV) (Иордаш, Биукас-Диас и Плаза, 2012).
Теория переноса излучения (RTT) (Chandrasekhar 1960) может описать преобразование энергии, когда наблюдаемые фотоны взаимодействуют с компонентами сцены. Однако подход полного нелинейного разделения, основанный на физике, требует предварительной информации о сцене, которую может быть трудно или даже невозможно получить. Также были предложены билинейные модели (Фан и др., 2009; Халими и др., 2011; Альтманн и др., 2012) для обработки эффектов рассеяния второго порядка. Эти модели вводят дополнительные условия взаимодействия на основе стандартной линейной модели. Основное отличие состоит в том, что они накладывают разные параметры смешивания на ограничения аддитивности. Можно обнаружить, что для наблюдаемого спектрального сигнала существенную роль начинают играть множественные взаимодействия фотонов, и уже нельзя просто игнорировать отражения третьего или более высоких порядков. Поэтому также были предложены методы, учитывающие взаимодействия высокого порядка (Хейлен и Шейндерс, 2016; Вей и др., 2017; Ян и Ван, 2018).
С развитием глубокого обучения преимущества, основанные на данных, стали учитываться во многих методах. Неконтролируемый расширенный нелинейный автоэнкодер (ENAE) (Zhu et al. 2019) был предложен для нелинейного разделения данных GF-5. Этот метод включает две фазы, где первая фаза представляет собой инициализацию сетевой структуры, которая определяет количество узлов кодировщика и начальные значения конечных элементов и содержаний, а вторая фаза представляет собой нелинейное разделение, которое в основном включает в себя минимизация функции потерь.
Дистанционное зондирование дает нам возможность контролировать экосистемы и окружающую среду в больших масштабах (Hadeel et al. 2011). Ляо и др. 2012 использовал разделение для улучшения извлечения информации о частичном растительном покрове района Шихэцзы в Синьцзяне с использованием гиперспектральных данных, полученных со спутника HJ-1A. Авторы выбрали спектры конечного элемента, объединив среднеквадратичную ошибку конечного элемента (EAR) и PPI. Мангровые заросли — это типичная растительность, встречающаяся на стыке суши и моря и очень важная для экологической защиты береговой линии и прилегающих территорий. Ван и др. (2017a) предложили метод, основанный на гиперспектральном разделении, для распознавания мангровых зарослей по экспериментам с данными из района залива Шэньчжэнь, которые были получены платформой TG-1. Марзи и др. (2019) предложили схему для обеспечения точных оценок распределения содержания полезных ископаемых на лунной поверхности. Кроме того, они предоставили подробную информацию о геофизическом составе лунной поверхности.
4. Применение китайских гиперспектральных спутников
Ввиду высокой точности и сильной способности идентифицировать различные особенности, гиперспектральные данные ДЗЗ можно использовать для точного различения различных типов грунта и достижения количественной инверсии, тем самым поддерживая приложения для исследования природных ресурсов, управления городским строительством, сельскохозяйственного производства и мониторинга окружающей среды. Быстрое развитие китайских гиперспектральных спутниковых технологий направлено на удовлетворение основных национальных потребностей, таких как снижение загрязнения, контроль за качеством окружающей среды, мониторинг состава атмосферы и изменения климата, а также съемка земель и ресурсов, а также содействие применению гиперспектральных данных ДЗЗ в сельском и лесном хозяйстве, при стихийных бедствиях, в городском строительстве, водном хозяйстве, морских исследованиях, геодезии и картографировании, статистики и других областях. В следующем разделе представлены типичные применения китайских спутников HRS в этих областях.
4.1. Сельскохозяйственные приложения
На момент написания статьи точное земледелие стало основной целью и направлением Национального плана модернизации сельского хозяйства Китая (2016–2020 гг.). Технология гиперспектральных данных ДЗЗ как простого, быстрого, недорогого и неразрушающего метода спектрального анализа привлекла большое внимание в приложениях точного земледелия. Гиперспектральные данные ДЗЗ использовались для мониторинга роста сельскохозяйственных культур, физиологических и биохимических характеристик сельскохозяйственных культур, а также для оценки посевных площадей и урожайности, обеспечивая гарантию посадки и управления сельскохозяйственными культурами (Zhang and Li 2019; Shi et al. 2017; Chong et al. 2017). ).
Рост и здоровье сельскохозяйственных культур с течением времени можно установить путем анализа физиологических параметров сельскохозяйственных культур в разные периоды, которые можно предсказать по спектральной отражательной способности сельскохозяйственных культур. Индекс листовой поверхности (LAI) является не только важным основным параметром структуры сельскохозяйственных культур, но и одним из ключевых параметров климатических и экологических исследований. Ли и др. (2016b) предсказали непрерывные изменения LAI озимой пшеницы, извлекая различные особенности из изображений HJ-1 A/B CCD четырех сезонов выращивания озимой пшеницы. Другой важный параметр сельскохозяйственных культур – содержание азота, играющий ключевую роль в фотосинтезе растений, может отражать состояние питания сельскохозяйственных культур. Например, Чжоу и др. (2016) использовали гиперспектральные данные PHI, полученные с воздуха, чтобы сделать вывод, что индексы, подобные «Нормализованному разностному индексу вегетации (NDVI)», являются лучшими индексами для оценки содержания азота в растительном покрове озимой пшеницы (CNC). Лян и др. (2018) также разработали новые гиперспектральные индексы — первый производный нормированный разностный азотный индекс (FD-NDNI) и первый производный азотный вегетационный индекс отношения (FD-SRNI) — и оценили содержание азота в листьях (LNC) пшеницы по изображениям OMIS.
Классификация сельскохозяйственных культур и методы картографирования, основанные на гиперспектральных изображениях, хорошо зарекомендовали себя и могут помочь нам получить своевременную информацию о посевах сельскохозяйственных культур на большой площади. Авторы использовали гиперспектральные данные OHS в пиковый период роста сельскохозяйственных культур для классификации озимой пшеницы и рапса. Как показано на рисунке 5, результат классификации культур для данных OHS Zhuhai-1 указывает на возможность использования данных OHS Zhuhai-1 для точного картирования культур на больших площадях. Ши и др. (2017) использовали переменные спектральных характеристик, извлеченные из данных HJ-1A, для классификации различных культур в водоразделе реки Хуан в провинции Цинхай с помощью метода SVM после выбора полосы. Чжан и Ли (2019) использовали гиперспектральные изображения OHS для точной классификации и оценки посевных площадей озимой пшеницы с использованием методов максимального правдоподобия и SVM. Ян и др. (2008) создали модель спектрального отклика и обнаружения бедствия урожая на основе гиперспектральных изображений PHI и объединили ее с методом Spectral Angle Mapper (SAM) для точной классификации и картирования как пшеницы, пораженной полосатой ржавчиной, так и здоровой пшеницы. Кроме того, Пан и соавт. (2015) получили фенологическую карту сельскохозяйственных угодий на равнине Гуаньчжун в Китае, извлекая NDVI из временного ряда изображений HJ-1A/B CCD. Такое картирование сельскохозяйственных культур на больших площадях может обеспечить эффективную поддержку управления сельским хозяйством.