Подходы к классификации гиперспектральных изображений - Подробный обзор

Kushalatha M R, Prasantha H S, Beena R. Shetty

Аннотация: Гиперспектральная съемка или гиперспектральная визуализация (HSI – HyperSpectral Imaging) – перспективное направление в области получения и углубленного анализа изображений. Основная причина успешного развития гиперспектральной визуализации в последние годы заключается в огромном объеме спектральной и пространственной информации, содержащейся в получаемых с ее помощью изображениях. В настоящее время гиперспектральная съемка широко используется в области мониторинга окружающей среды, для сельского и лесного хозяйства, геологии и других сферах. Спектральная и пространственная информация, содержащаяся в гиперспектральных изображениях, имеет высокое разрешение. Гиперспектральная визуализация продемонстрировала значительное развитие и широкое использование в большинстве приложений дистанционного зондирования благодаря наличию информации о сцене в сотнях смежных спектральных диапазонах.

Основная цель настоящей статьи заключается в рассмотрении современных методов глубокого обучения, таких как сверточные нейронные сети (CNN), искусственные нейронные сети (ANN), метод опорных векторов (SVM) и метод k ближайших соседей (KNN), используемых для повышения точности классификации. В заключение приводится обсуждение текущего состояния передовых схем, основанное на обзоре работ других исследователей, а также оценка современного уровня точности классификации с использованием нейронных сетей.

Ключевые слова: Гиперспектральная визуализация (HSI), контролируемая и неконтролируемая классификация, полуконтролируемая классификация, нейронная сеть, точность классификации

I. Введение

Гиперспектральная визуализация считается быстро развивающейся областью исследований в области дистанционного зондирования, где для одной и той же пространственной области спектрометр визуализации собирает сотни (примерно от 100 до 200 полос) полос изображений на разных длинах волн.
Гиперспектральная визуализация помогает определить уровень яркости или интенсивности для каждого пикселя изображения сцены с большим количеством доступных узких полос, распознает объекты, находит материалы, а также помогает в обнаружении различных процессов. В основном для получения гиперспектральных изображений широко используются датчики трех типов:
1.    Сенсоры push-broom и связанные с ними whisk-broom сканеры, используемые для сканирования изображений.
2.    Последовательные сканеры полосы, применяемые для спектрального сканирования, где снимки одного участка местности фиксируются в разных длинах волн.
3.    Мгновенная гиперспектральная визуализация, где неподвижная матрица создает изображение мгновенно.
Исследования, проведенные за последние несколько десятилетий, позволили получить большой объем информации о пространственном, временном и спектральном разрешении. HSI содержат большой объем спектральной информации, что привело к появлению множества новых приложений, новых технологических задач и продвижению в новых областях исследований [1]. Высокое спектральное разрешение позволило использовать HSI для извлечения малозаметных объектов, материалов и широко используется в такие области применения, как дистанционное зондирование, количественная оценка [2], идентификация, наблюдение [3] и точное сельское хозяйство [4]
Первый индийский спутник для съемки изображений Hyper Spectral Imaging Satellite (HySIS), запущенный Индийской организацией космических исследований (ISRO) 29 ноября, обеспечивает съемку гиперспектральных изображений и используется для наблюдения за Землей, лесным хозяйством, геологией, прибрежными зонами, сельским хозяйством и вопросами экологии. HySIS объединяет цифровую фотографию и спектроскопию, обеспечивая получение высококонтрастных снимков. Спутник способен распознавать твердые тела и жидкости, используя видимый диапазон и ближний инфракрасный свет с примерно 55 цветовыми каналами.
Сейчас НАСА также активно работает над методами классификации гиперспектральных изображений. Работы, проведённые с применением гиперспектральных изображений НАСА в сельском хозяйстве, показали улучшение характеристик классификации, моделирования и картографирования гиперспектральных данных. Эффективность классификации находится в пределах 88–95,17%.
Очень ограниченное число организаций занимается обработкой данных HSI. Лаборатория обработки изображений Университета Валенсии, Испания, является одним из таких учреждений. Текущие исследования сосредоточены на извлечении биофизических параметров, обратных моделях в классификации и сегментировании изображений, обнаружении целей и отделении источников гиперспектральных изображений. Процесс отнесения отдельных пикселей к определённым классам (обученным или необученным в зависимости от контролируемого или неконтролируемого метода классификации) является трудоёмким процессом в процессе классификации изображений.
Набор данных, используемый в процедуре классификации, делится на два основных вида: контролируемые и неконтролируемые. В контролируемом подходе процедура классификации основана на (классификации входных данных) уже имеющихся образцах, известных как обучающие образцы, тогда как в неконтролируемом не имеет таких доступных образцов для целей классификации.
За последние годы достигнут значительный прогресс в повышении эффективности классификации HSI.; Тем не менее, остаются следующие ключевые проблемы:
1.    Проблема высокой размерности данных: Гиперспектральные изображения обладают огромным объемом спектральных данных, что сильно осложняет процесс классификации.
2.    Несбалансированность и малочисленность обучающих выборок: Недостаточное количество обучающих примеров негативно влияет на качество классификации.
3.    Эффект увеличения размерности («проклятие размерности») и избыточность признаков: Рост числа измерений ведет к снижению производительности классификации.

Было проведено большое количество обзоров литературы для преодоления этих проблем и эффективного проведения классификации гиперспектральных изображений. Сверточные нейронные сети, методы максимального правдоподобия (ML), архитектуры нейронных сетей [6], опорные векторные машины (SVM) [7], байесовский подход [8], а также методы ядра [9] являются предлагаемыми методами, используемыми в последние годы в отношении классификации гиперспектральных изображений. На основе методов использования доступных образцов обучения процесс классификации изображений классифицируется как контролируемая, неконтролируемая и полуконтролируемая классификация гиперспектральных изображений.

II. ПРОВЕДЕННОЕ ИССЛЕДОВАНИЕ

Несколько ученых и исследователей из разных частей мира предложили и внедрили методы классификации для мониторинга состояния и разнообразия урожая, используя различные подходы к обработке изображений, в последнее время. Здесь перечислены подробный обзор методов предварительной обработки, идентификация алгоритма, методы извлечения признаков, используемые методы классификации и инструмент, используемый для различных типов изображений. Лан и др. (2019) предложили новый метод, основанный на K-разреженном автоэнкодере (KDAE) и особенностях гиперспектральных изображений с ограниченными спектральными данными. Данный метод направлен на решение значительных различий в пространственном содержании соседних пикселей. Результаты показывают повышение эффективности KDAE, демонстрируя преимущество использования пространственно-ограниченных спектральных признаков для классификации. Основным недостатком системы было затруднительное разрешение существенных отличий спектральных информационных элементов соседствующих пикселей [10].
 Хасан и др. (2019) провели сравнение различных методов классификации, таких как машина опорных векторов (SVM), искусственная нейронная сеть (ANN) и свёрточная нейронная сеть (CNN). Использовались инструменты, такие как матрицы путаницы, традиционные статистические методы и управление структурированным риском. Исследователи использовали диапазон теплового инфракрасного спектра (2,5–14 мкм) для классификации тринадцати различных видов растений. Общая точность, достигнутая CNN, ANN и SVM составила соответственно 99%, 94% и 91% [9].
Куреши и др. (2019) описали методы обработки гиперспектральных изображений документов и их применения.
Область исследований была сосредоточена на преодолении увеличенной скорости изображения и на снижении стоимости камеры HSI. Методология помогла решить проблемы, связанные с анализом изображений, включая старение документа или чернил, извлечение подписи и поиск информации. Недостатком этого документирования изображений была относительно высокая стоимость. В заключении и в будущем исследовании рекомендуется использовать небольшие и
портативные гиперспектральные изображения документов, которые включают в себя ПЗС-матрицы, спектральные фильтры и подсветку [10].Чжао и др. представили новый алгоритм слияния слоев свёртки (Multiple Convolutional Layers Fusion), который экстрагирует характеристики от грубых до мелких масштабов. Авторы предлагают двухсетевую архитектуру, включающую полную CNN и боковую выходную сеть принятия решений (Side Output Decision Fusion Network, SODFN). Эта методика показала значительные улучшения в показателях классификации и генерации изображений по сравнению с традиционными сетями слияния [11].
Эргул и др. (2019) Авторы доказывают, что иерархический каскадный классификатор (Hierarchical Cascade Kernel Boosting, HCKB) для классификации HSI является стандартным методом, не требующим сложной оптимизации. Это упрощает внедрение алгоритма в реальные сценарии. Дальнейшее исследование показало потенциал улучшения пространственных признаков для повышения точности классификации [12].
Пан и др. (2018) разработали комбинированную технику активного обучения (Active Learning, AL) и полууправляемой классификации для обработки гиперспектральных изображений. Тестирование на разных наборах данных подтвердило превосходство предложенной схемы псевдо-маркировки, позволяющей эффективно использовать усилия человеческих аннотаторов. Однако данная схема применима лишь к промаркированным данным [13]. Шветанк и др. (2018) предлоилин метод классификации лиц на основе гиперспектральных данных с использованием подхода максимизации правдоподобия (Maximum Likelihood). Результаты показали высокий отклик, открывая перспективу разработки продвинутых и устойчивых систем биометрической аутентификации, основанных исключительно на обработке изображений, без использования дорогостоящих приборов [14].
Исследователь Шао и др. (2018) предложили использовать регуляризованную разрежённую репрезентация с учётом пространственной и классовой структуры (Spatial and Class Structure Regularized Sparse Representation, SCSSR) для классификации HSI. Усовершенствование модели путём включения Лапласианской регуляризации позволило достичь значительного прогресса в характеристиках графического представления пространственной окрестности и общего показателя классификации. Остаётся открытым вопрос адаптации метода к последовательным данным и потенциальному использованию генератора состязательных сетей (GAN) для полууправляемых задач классификации [15].
Guo et al. (2018) предложили использовать рекуррентные нейронные сети (Recurrent Neural Network, RNN) для классификации HSI. Данная модель позволила добиться высоких показателей точности и устойчивости при минимальном количестве обучающих выборок (всего 10%), превзойдя показатели традиционных классификаторов SVM и автокодировщиков [16].
Pan et al. (2017) предложили многоуровневую сеть (Multi-Grained Network, MugNet) направлена на решение проблем ограниченной доступности моделей классификации HSI. Новая архитектура включает слои различной степени детализации, повышающие точность классификации в условиях нехватки данных .
Этот метод представлял собой комбинацию трех новых стратегий: спектральной зависимости, сверток и пространственной корреляции. Комбинированный подход показал лучшие результаты классификации даже при небольшом объёме обучающего набора данных. Однако авторы не уделяли внимание улучшению вычислительной эффективности метода [17].
 Wang и др. (2017) предложили совместную разреженную модель на основе конуса (C-JM). В этом методе реализован алгоритм одновременного поиска ортогонального соответствия (SOMP), что привело к более стабильному и более высокая классификация, чем при использовании любых других средств. Предлагаемая модель C JSM может использоваться совместно с подходами к адаптации окна для улучшения согласованности классификации, но она обеспечивает только разреженность, пространственную согласованность или неотрицательность, что является основным недостатком. Этот метод был предпочтителен для использования демонстрации нелинейности [18]. Хаоет и др. (2016) предложили классификация и обучение словаря. Исследования показали незначительную вычислительную нагрузку и улучшение дискриминационной способности словарей. Вопрос о применении автономного обучения на данных остался вне обсуждения [19].
Гу и Лю (2016) предложили эффективный метод S2MKL для успешной классификации гиперспектральных данных для решения задач оптимизации. Три типичных гиперспектральных данных с группами из множества измененных контекстов были получены и записаны разными датчиками. Полученные результаты были последовательными, что свидетельствовало о том, что предложенный метод позволил повысить эффективность точность выше, чем у методов RMKL и RBMKL, и позволяет определять коэффициенты группировки MKL с помощью систем повышения точности. Главный недостаток заключался в низкой обобщаемости метода на небольшие обучающие выборки [20].
Соумья и др. (2016) предложили методику снижения размерности и классификации для наборов данных Indian Pines и Salinas-A с использованием техники отбора спектральных полос. Основное внимание уделялось сохранению ключевой информации при уменьшении вычислительной нагрузки. Даже при сокращении размерности на 50% точность оставалась удовлетворительной, приближаясь к результатам, достигаемым ядрами и реальным изображениям [21].
2.1. Неконтролируемая классификация
Основной проблемой, связанной с классификационными подходами в гиперспектральной визуализации, является высокая размерность. Для преодоления этого недостатка в процессе классификации широко используются различные методы выделения признаков. Выделяющиеся элементы выбираются только для того, чтобы уменьшить проблему размерности, вместо того, чтобы выделять все элементы изображения целиком. В случае неконтролируемых методов выполняется автоматический выбор группы пикселей которые несут схожую информацию, такую ​​как средние значения, отклонения. Концепция основана на типе используемых алгоритмов. Преимущество этого типа классификации в том, что для нее не требуется предварительная информация о том, как обрабатывать данные. Анализ главных компонент (PCA) [22], независимый Компонентный анализ (ICA) [23] является одним из самых известных методов классификации в рамках неконтролируемой классификации.
2.1.1. Анализ главных компонент (PCA):
PCA — это главным образом используемый метод классификации, поскольку он помогает в снижении размерности.
Снижение размерности достигается путем сокращения числа переменных, при этом в исходном наборе данных большая часть информации все еще сохраняется.
Основа, на которой работает PCA, — это наличие хорошей корреляции между полосами гиперспектрального изображения. PCA в основном имеет дело со статистикой второго порядка, и эта статистика не может описывать данные с более высоким разрешением, которые в основном используются в гиперспектральной визуализации.
2.1.2. Анализ независимых компонентов (ICA):
Неспособность PCA работать со статистикой более высокого порядка устраняется ICA. Метод в большей степени уменьшает проблему, которая возникает из-за высокой размерности. ICA хорошо подходит для снижения размерности, извлечения признаков, поиска и сохранения статистики второго порядка [25, 26].
2.2. Контролируемая классификация
Контролируемая классификация берет данные, которые помечены заранее, как для обучения классификатора. Преимущество контролируемой классификации по сравнению с неконтролируемой заключается в том, что ее можно применять к тем изображениям, которые содержат богатую спектральную информацию. Подход контролируемой классификации может использоваться во многих приложениях, таких как мониторинг роста городской растительности, изменения в навыках и методах эффективного управления ресурсами ландшафта. Многие методы контролируемой классификации широко используются, что зависит от приложения и пользователя. Максимальное правдоподобие (Maximum Likelihood, ML): этот метод оценивает вероятность принадлежности каждого пикселя к заданному классу, исходя из распределения яркости. Машины опорных векторов (Support Vector Machines, SVM): этот метод ищет оптимальный гиперплоскостный разделитель, отделяющий классы друг от друга. Отображение углов спектров (Spectral Angle Mapper, SAM): классифицирует пиксели на основе угла между векторами спектров.и т. д. — вот некоторые из широко используемых методов классификации заданных гиперспектральных изображений.
2.2.1. Классификатор ML (MLC): Классификатор ML работает на предположении, что каждый класс в каждой полосе изображения имеет нормальное распределение, а выбранные обучающие образцы имеют определенные классы. Предположение делается на оценке вероятности вычисления определенного класса. Порог вероятности должен быть выбран для выполнения плавного процесса классификации. На следующем этапе выполняется распределение каждого из пикселей взятого изображения в определенный класс. Процесс классификации останавливается, если оцененная вероятность оказывается меньше установленного порогового уровня. Что касается реализации метода ML classifier , то сначала необходимо выполнить оценку средних векторов и ковариационной матрицы с использованием процесса обучения [27]. Точность классификации выше по сравнению с большинством других подходов к классификации. Выделить классы растительного покрова непросто, поскольку гиперспектральные изображения - это изображения , которые отличаются от мультиспектральных изображений сотнями полос, которые они содержат. MLC зависим от качественного подбора обучающих выборок. Если обучающая выборка представлена плохо, точность классификации резко снижается. Таким образом, в случае многоклассовой классификации рекомендуется рассмотреть альтернативные методы.
2.2.2. Алгоритм K-ближайшего соседа (KNN):
Предлагаемый метод состоит из следующих шагов. Первым шагом является адаптация метода опорных векторов (SVM). SVM помогает получить карты вероятностей классификации, которые, в свою очередь, помогают отразить вероятность, с которой каждый из пикселей
HSI принадлежит к различным классам классификации.
Процесс фильтрации в KNN включает в себя сопоставление и нелокальное усреднение соседних пикселей. Доказано, что этот метод является конкурентоспособным методом классификации, поскольку в нем не используются стратегии оптимизации. Применение KNN к двум широко используемым наборам данных доказало, что эффективность классификации выше по сравнению с традиционными методами. Принцип работы метода KNN основан на правиле голосования большинством голосов, которое предполагает, что все соседние пиксели в равной степени участвуют в процессе классификации. Еще один важный параметр, используемый
KNN - это евклидова метрика расстояния, которая работает как метрика расстояния, когда данные однородны.
2.2.3. Отображение углов спектров (SAM)
Отображение углов спектров (Spectral Angle Mapper, SAM) — это разновидность управляемых методов классификации, предназначенная специально для гиперспектральных данных. Основная идея метода заключается в измерении углового отклонения спектров исследуемого изображения от эталонных спектров.
Принцип работы SAM:
- Метод быстро осуществляет классификацию, определяя угол между тестовым изображением и известным эталонным спектром.
- Угловой показатель характеризует степень подобия между сравниваемыми изображениями и спектрами.
- Чем больше угол, тем меньше сходство, и наоборот, меньший угол свидетельствует о большем сходстве.
Таким образом, метод SAM позволяет оперативно сравнивать спектры и проводить быструю классификацию гиперспектральных данных, полагаясь на точные измерения спектральных углов.
2.2.4. Метод опорных векторов (SVM): SVM - это очень сильный и заметный классификационный подход, который использует функции ядра и работает на основе теории
оптимизации. Доказано, что SVM является лучшим методом классификации в средах, где изображение представлено в большем количестве спектральных полос и с меньшим количеством обучающих выборок. На рисунке 1 показана модель SVM в многомерном пространстве, которая представляет различные классы в гиперплоскости. Процесс итерации включен таким образом, чтобы сгенерировать гиперплоскость, которая уменьшает ошибку в
классификация. Максимальная предельная гиперплоскость (MMH) получается с помощью SVM путем разделения заданных наборов данных на множество классов.

2.5. Классификатор случайных лесов (RFC): Классификатор случайных лесов
(RF) - это метод контролируемой классификации. Метод основан на концепции древовидных классификаторов. Отдельное дерево предварительно обучено с использованием набора доступных обучающих данных. Входными данными для классификатора являются данные или изображения, которые необходимо классифицировать, и меры, которые необходимо предпринять, чтобы передать эти входные данные/изображения каждому дереву, присутствующему в лесу. Каждое дерево участвует в процессе классификации и называется “голосованием” за этот класс. Лес, набравший наибольшее количество голосов выбирается лесом для процесса классификации. Определение разделения важно в процессе классификации
, который сопровождается процессом поиска в подмножестве, который является случайным по своей природе, а также переменным по своей природе в каждом узле дерева.Классификатор случайных лесов широко используется из-за его выдающихся характеристик, таких как высокая точность и скорость обработки. В RFC следует внимательно отнестись к выбору независимости и корреляции, которые фактически влияют на точность окончательной карты покрытия.

2.2.6. Пространственно-спектральный классификатор (SSC)
Основным недостатком метода попиксельного классификатора является сложность распознавания классов из-за его межклассовой спектральной изменчивости. Решением проблемы является использование пространственной зависимости, которая, в свою очередь, повышает точность классификации. Объединяя пространственную информацию в классификацию HSIC [29] , можно улучшить информацию о межклассовой классификации. Этот процесс совершенствования побуждает к изучению методов пространственно–спектральной классификации. Изучение извлечения информации включает и вращается вокруг двух сущностей, а именно пикселя и метки. Концепция соседних пикселей и их пространственных отношений являются основными исследованиями, которые необходимо изучить при оценке SSC. Существует связь между пиксельной зависимостью и пространственной зависимостью, которая, в свою очередь, определяет уровень корреляции между соседними пикселями и метками. Для классификации используются следующие подходы.

2.2.6.1. Структурная фильтрация:
В этом методе используется концепция оконных технологий для извлечения информации, относящейся к пространственному контенту и их взаимосвязи в гиперспектральном изображении. Используются такие подходы, как спектрально – пространственные вейвлет-методы, методы Габора и Методы фильтрации Винера.

2.2.6.2. Морфологический профиль (MP): пространственное соотношение между пикселями с использованием формы и размера, названных структурным элементом, используется при исследовании пространственного соотношения между пикселями в математической
морфологии. Различные методы с точки зрения нелинейных обработка изображений, которую можно использовать в MP, включает в себя такие операции , как расширение и эрозия. Процесс получения информации о контрасте и размере структур, присутствующих на изображении, называется гранулометрией. MP размера ‘n’ может быть получен с помощью процесса гранулометрии путем открытия и закрытия реконструкции.

2.2.6.3. Случайное поле (RF): случайные поля Маркова (MRF) и условные случайные поля (CRF) [30] являются широко используемыми методами в методах случайных полей для классификации HSI. В CRF условная вероятность используется для маркировки данных, а оптимальная пространственная информация используется для благоприятной производительности; при этом MRF оценивает параметры, связанные с классами, независимо от параметров, полученных из поля. Оценочная сложность в методе классификации RF оказывается меньшей.
2.2.7. Классификация на основе разреженного представления: В алгоритме, основанном на разреженности, изначально формируется структурированный словарь, который содержит группу обученных выборок. Методы линейного комбинирования и разреженное представление пикселей включены в этот подход для повышения эффективности классификации. Восстановление разреженного вектора является следующим этапом, который помогает обозначить классы для заданных выборок. Нелокальное взвешенное совместное разреженное представление (NLW- JSRC) [30] метод является хорошо известным методом в категории разреженного представления; метод помогает в удалении недопустимые пиксели. Классификационный подход доказал, что дискриминативный словарь, полученный на основе обучающих выборок, может снизить сложность классификации, возникающую при классификации.
2.2.8. Глубокое обучение (DL): Метод глубокого обучения использует очень глубокие нейронные сети, которые пытаются иерархически изучить глубокие признаки, связанные с гиперспектральными входными данными и глубже 3 слоев [31]. На первом уровне сеть инициализируется посредством неконтролируемого обучения, а затем контролируемым способом. Низкоуровневые признаки помогают сформулировать правильные признаки на начальном этапе, а правильные признаки используются для классификации шаблонов на конечном этапе. Модели глубокого обучения приводят к более релевантным признакам и постоянны по отношению к изменениям, которые имеют место в данных на входе.

2.2.8.1. Глубокое обучение в классификации HSI: DL — это тип неконтролируемого метода обучения признакам, который использует большой объем набора данных изображений. Несколько слоев или уровней информации, которые существуют между данными, можно организовать с помощью методов на основе DL. Процесс DL на основе нейронной сети становится сложным, когда принимается во внимание гиперспектральная визуализация. Модели глубокого обучения гиперспектральных данных в основном состоят из 3 слоев (i) Слой входных данных (ii) Построение глубокого слоя (iii) Процесс классификации. Различные подходы — это Стекированный автокодировщик (SAE), сверточная нейронная сеть (CNN) и глубокая сеть убеждений (DBN). DBN — это метод неконтролируемой классификации, который обучает один слой за раз. DBN сначала выполняет неконтролируемые методы на
немаркированных образцах, а затем контролируемые на маркированных образцах. Предварительно обученная DBN получает необходимую информацию из немаркированных образцов. Метод тонко настраивает небольшое количество маркированных образцов. Факторы, связанные с мертвыми или потенциально сверхустойчивыми в DBN связаны с декрементом в исходной модели, что, в свою очередь, снижает способность классификации. Чтобы преодолеть эту проблему, необходимо использовать скрытые факторы по-разному. Улучшение, осуществляемое в производительности классификации с использованием диверсификации избыточных факторов данной модели, стало в настоящее время темой отраслевых исследований. Скрытые модели являются одним из важных элементов в методе классификации машинного обучения. Структура DBN показана на Рисунке 3.

Метод Diversified DBN (D-DBN), используемый в классификации, содержит два набора данных, а именно сцены Indian Pines и University of Pavia [32]. Спектральные каналы, доступные в данных Indian Pines, составляют 200 в диапазоне от 0,4 до 2,45 мкм в видимом и ИК-спектре. Разрешение с точки зрения его пространственного содержания этих изображений составило 20 м × 20 м. Из 200 изображений около 20 изображений были отброшены из-за шума и поглощения воды. University of Pavia содержал около 115 полос с 610 × 340 пикселей и обладал разрешением 1,3 м × 1,3 м с точки зрения его пространственного содержания. Классификационные и вычислительные характеристики DBN можно улучшить, внеся значительные изменения в предварительную подготовку образцов и путем тонкой настройки D-DBN. Методы, связанные с классификацией DBN, выполняют очень быстрый вывод и помогают в идентификации гиперспектральных изображений. Подход к классификации, основанный на DBN, обеспечивает высокую эффективность классификации. Изображение в ложном цвете (3 полосы) и достоверные данные о наземных условиях показаны на рисунках 4 и 5.

2.2.8.2. Сверточные нейронные сети (CNN): CNN — это новый подход к классификации на основе 3D для HSI, который применяет как спектральные, так и пространственные данные. Он также реализует политику визуализации границ для эффективного продвижения пограничных областей на изображении, а графические процессоры (GPU) были эффективно развернуты. Метод позволил сократить время вычисления и повысить точность классификации HSI по сравнению с традиционными методами ANN. Системе не хватало многоразрешения. Что касается контролируемых и полуконтролируемых подходов к классификации, в ранее выполненной работе были предложены методы на основе нейронных сетей, такие как (i) классификаторы нейронных сетей с прямой связью (FN), используемые в основном для работы с вариациями на основе оптимизации второго порядка, (ii) экстремальная обучающая машина (ELM). Позже концепция CNN была использована в многослойных скрытых сетях. Примерами многослойных скрытых сетей являются сети радиальной базисной функции (RBF) и сети обучения ядра. Сети на основе ELM успешно применяются в нелинейных классификационных данных и показали замечательную эффективность с точки зрения точности и вычислительной сложности. Основными тремя частями CNN являются сверточный слой, нелинейная функция и слой объединения.

Глубокая CNN используется для извлечения признаков, найденных во входных данных. Архитектура глубокой CNN показана на рисунке 6.

CNN была введена для понимания глубокого представления сетей. CNN основана на спектральных сигнатурах, которые уникальны по своей природе. Подход классификации CNN привел к лучшей производительности по сравнению с SVM. В CNN во время процесса обучения неконтролируемых разреженных признаков извлекаются уровни пространственных признаков. В случае глубокой CNN для достижения лучшей классификации изучались признаки пар пикселей. DL обладает некоторыми недостатками (i) Чрезмерная подгонка: для преодоления проблемы чрезмерной подгонки (результаты очень хороши на обучающих наборах данных, но не на тестовых наборах данных HSI) в глубоком обучении следует использовать мощные методы регуляризации.
(ii) Дискриминативное представление: этот тип проблемы обычно возникает в данных RS, поскольку они сложны по своей природе, что приводит к плохому обучению признакам от объектов. (iii) Исследования в более глубоком слое DL: более глубокие слои в контролируемых сетях, таких как CNN, имеют сложные структурные распределения и являются открытой темой для изучения исследователем.

III. ПРОБЛЕМЫ И ОБСУЖДЕНИЕ

Основными проблемами , с которыми сталкиваются гиперспектральные изображения, являются высокая размерность, время обработки, предварительная обработка, атмосферная коррекция и доступ к обучающим выборкам. Некоторые из проблем обсуждаются ниже. Также обсуждаются эффективность классификации и коэффициенты каппа, полученные с использованием различных подходов к классификации .
Случай 1:
По сравнению с Contrasted и RBF SVM, классификатор на основе CNN продемонстрировал большую точность классификации , когда общий набор данных рассматривается со всеми конкретными классами, как показано на рисунке 6. С увеличением времени обучения точность классификации всех данных в гиперспектральном режиме может превысить 90%. В этом случае следует признать, что процедура обучения требует умеренного увеличения времени для обеспечения превосходного выполнения; как бы то ни было, предлагаемый классификатор CNN имеет сходные преимущества с алгоритмами глубокого обучения. Кроме того, эффективность работы CNN может быть значительно повышена , или можно использовать другие структуры CNN, например, Caffe (Jia et al., 2014), чтобы сократить время обучения и тестирования. Как показали испытания, для достижения 90%-ной точности в наборе данных MNIST требуется меньше времени (Lecun, 1998) при использовании Caffe и более 120 минут при использовании реальной платформы.

Случай 2:
Приведенная ниже диаграмма показывает, что глубина помогает развить точность классификации. Однако чрезмерное количество слоев может снизить результаты классификации. Количество соответствующих слоев свертки составляет 5 для Indian Pines, 3 для Pavia и 4 для наборов данных KSC. На это влияет прирост размерностей, наблюдаемый в источниках данных. Взятые размерности составляют 200, 103 и 176 для Indian Pines, University of Pavia и наборов данных KSC соответственно.

Случай 3:
В этом случае рекомендуется использовать метод SVM для классификации, даже если у нас есть небольшое количество наборов данных гиперспектральных изображений, где экспериментируют с двумя вариациями SVM. Наблюдаемые результаты показали, что точность классификации снизилась незначительно, когда количество признаков превысило 50 или около того для каждого из этих трех классификаторов.

Случай 4:
Случай 4, часть (a) показывает вариации в общей точности по отношению к числу образцов, а часть (b) показывает вариацию коэффициента каппа, измеренного как функции величин на класс в качестве обучающих образцов (3, 4, 5… 15). График демонстрирует, что приращение образцов в обучающем наборе данных оказывает идеальное влияние на экспозицию всех рассматриваемых методов. Два классификатора на необработанных гиперспектральных данных (RAW-KNN и RAW-SVM) передают самые превосходящие результаты как правило, как для OA, так и для мер каппа. Экспозиция на признаках Габора (Gabor-KNN и Gabor SVM) превосходит по сравнению с морфологическими характеристиками (MOR-KNN и MOR-SVM), что из-за различимой интенсивности признаков Габора. Кроме того, эта стратегия CNN надежно дает наилучшие результаты. В основном, когда размер обучающей выборки меньше, контрасты между алгоритмами отчетливо видны (Yu et al. 2017).
IV. СРАВНИТЕЛЬНОЕ ИССЛЕДОВАНИЕ
Методы, результаты и различия в различных исследованиях , проведенных на данный момент, приведены в таблице

4.1 Параметры сравнения
 Сравнение между CNN и SVM с точки зрения точности их классификации показано в таблице 1. На рис. 11 и 12 приведены схемы классификации, определенные при использовании Классификаторов CNN и SVM. D-CNN классификатор обеспечивает лучшую точность классификации по сравнению с SVM.
Таблица 1: Результаты сравнения классификаторов D-CNN и SVM для 2 наборов данных

V.ЗАКЛЮЧЕНИЕ

В этом обзоре обсуждаются различные подходы, используемые в классификации гиперспектральных изображений. Перечислены вариации в производительности точности, общей точности и коэффициентах Каппа для различных методов классификации HSI.
Перечислены ограничения точных данных и возможные решения для получения большей точности. Исследование, рассмотренное здесь, признало, что метод нейронной сети является жизнеспособным для классификации HSI. Аналогичным образом, производительность этого обычного классификатора, такого как CNN, KNN, ANN и SVM, была достигнута. Однако необходима дальнейшая работа, прежде чем нейронная сеть станет приемлемой альтернативой классификатору HSI. В этой статье частично проанализирована сбор предыдущих записей о точности производительности HIS с использованием нейронной сети. Из различных тематических исследований мы можем сделать вывод, что новый подход на основе CNN для классификации HSI по сравнению с классификатором на основе SVM и DNN дает высокую точность, даже если обучающие выборки были меньше. Опрос может мотивировать исследователей на разработку новых методов с производительностью эффективности в контексте HSI с использованием нейронной сети. Технология глубокого обучения может быть сделана как гибридная технология путем объединения с другими существующими методами, такими как разреженное кодирование, ансамблевое кодирование. Гибридный метод может быть будущей областью исследований в области классификации гиперспектральных изображений.

ССЫЛКИ
1. Rahul Nigam1, Rojalin Tripathy, Sujay Dutta, Nita Bhagia, Rohit Nagori, K. Chandrasekar, Rajsi Kot, Bimal K. Bhattacharya and Susan Ustin (2019) “Crop type discrimination and health assessment using Hyperspectral imaging” Journal of Current Science, Vol. 116, 10.
2. Qureshi, R., Uzair, M., Khurshid, K., & Yan, H. (2019), “Hyperspectral document image processing: Applications, challenges, and future prospects. Pattern Recognition”, 90, 12-22.
 3. Zhang, L., Zhang, L., Du, B., You, J., & Tao, D. (2019), “Hyperspectral Image Unsupervised Classification by Robust Manifold Matrix Factorization”, Information Sciences, 485, 154-169.
4. Liu, Y., Wu, T., Yang, J., Tan, K., & Wang, S (2019), “Hyperspectral band selection for soybean classification based on information measure in FRS theory, Bio- systems Engineering, 2019 178, 219-232. 5. Zhou, F., Hang, R., Liu, Q., & Yuan, X. (2019), “Hyperspectral image classification using spectral-spatial LSTMs”, Neurocomputing, 328, 39 - 47.
 6. Lan, R., Li, Z., Liu, Z., Gu, T., & Luo, X. (2019), “Hyperspectral image classification using k-sparse de- noising autoencoder and spectral–restricted spatial characteristics”, Applied Soft Computing, 2019, pp 74, 693-708.
7. Carlan, I, Mihai, B. A., Nistor, C., & Grobe-Stoltenberg (2019), "Identifying urban vegetation stress factors based on open access remote sensing imagery and field observations”, Ecological Informatics 55, pp. 01032.
8. Hasan, M, Ullah, S., Khan, M. J., & Khurshid, K (2019), “Comparative Analysis of SVM, ANN and CNN for Classifying Vegetation Species Using Hyperspectral Thermal Infrared Data”, International Archives of the Photogrammetric, Remote Sensing & Spatial Information Sciences.
9. Sun, Z., Zhao, X., Wu, M. and Wang, C (2019), “Extracting Urban Impervious Surface from WorldView-2 and Airborne LiDAR Data Using 3D Convolutional Neural Networks”, Journal of the Indian Society of Remote Sensing, 47(3), pp.401-412.
10. Brabant Ca, Alvarez-Vanhard E., Morin G., Thanh Nguyen K., Laribi A., Houet T (2018), “Evaluation of Dimensional Reduction Methods on Urban Vegetation Classification Performance using hyperspectral Data”, IEEE, pp.1636-1639.
11. Cao Jinging, Wanchun Leng, Kai Liu, Lin Liu, Zhi He ID and Yuanhui Zhu (2018), “Object-Based Mangrove Species Classification Using Unmanned Aerial Vehicle Hyperspectral Images and Digital Surface Models”, Article published in Hyper Spectral Remote Sensing for Forest and Trees outside Forests.
12. Peng, J, Jiang, X., Chen, N., & Fu, H (2018), “Local Adaptive Joint Sparse representation for Hyperspectral image classification. Neuro - computing”, 2019 334, 239-248.
13. Zhao, G., Liu, G., Fang, L., Tu, B., & Ghamisi, P (2018), Multiple Convolutional Layers Fusion Framework for Hyperspectral Image Classification. Neurocomputing, 2019, pp 339, 149-160.
 14. Yinhua, X Gao, R Wei – Optik (2018), “Hyper spectral image classification based on adaptive segmentation”, Optik Volume 172.
15. Annala, L., Eskelinen, M., Hämäläinen, J., Riihinen, A. and Pölönen, I (2018), “Practical approach for Hyperspectral image processing in python”, International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences (Vol. 42, No.3), International Society for Photogrammetry and Remote Sensing.
16. Brabant, C., Alvarez-Vanhard, E., Morin, G., Laribi, A. and Houet, T (2018), “Evaluation of Dimensional Reduction Methods on Urban Vegetation Classification Performance Using Hyperspectral Data”, IGARSS 2018-2018 IEEE International Geosciences and Remote Sensing Symposium (pp. 1636-1639), IEEE.
 17. Ouerghemmi, W., Gadal, S. and Mozgeris (2018), “Urban Vegetation Mapping using Hyperspectral Imagery and Spectral Library”, IGARSS 2018-2018 IEEE International Geosciences and Remote Sensing Symposium (pp. 1632-1635), IEEE. 18. Ishida, T., Kurihara, J., Viray, F.A., Namuco, S.B., Paringit, E.C., Perez, G.J., Takahashi, Y. and Marciano Jr, J.J (2018), “A Novel Approach for Vegetation Classification using UAV-based Hyperspectral Imaging”, Computers and electronics in agriculture, 144, pp.80-85.
19. Audebert, N., Le Saux, B. and Lefèvre, S (2018), “Beyond RGB: Very high resolution urban remote sensing with multimodal deep networks”, ISPRS Journal of Photogrammetry and Remote Sensing, 140, pp.20-32.
20. Binge Cui et al (2017), “A noval Hyper spectral image classification approach based on multiresolution segmentation with a few labeled samples”, Binge Cui et al, International Journal of Advanced Robotic Systems.
21. Namita M Kulkarni (2017), “Crop Identification Using Un-supervised ISODATA and K-Means from Multispectral Remote Sensing Imagery” Int. Journal of Engineering Research and Application ISSN: 2248 9622, Vol. 7, Issue 4, (Part -1), and pp.45.
 22. R.Hang, Q. Liu, H. Song, Y. Sun, F. Zhu, H. Pei (2017) , “Graph regularized nonlinear ridge regression for remote sensing data analysis, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing”, 10 (1) 277–285.
23. Zelang Miao, Wezhong Shi (2016), “A New Methodology for Spectral Spatial Classification of Hyperspectral Images”, Journal of Sensors, Article ID 1538973.
24. Dian, Y., Pang, Y., Dong, Y., & Li, Z. (2016), “Urban tree species mapping using airborne LiDAR and Hyperspectral data”, Journal of the Indian Society of Remote Sensing, 44(4), 595-603.
25. Feng, Q, Liu, J. and Gong, J (2015), “UAV remote sensing for urban vegetation mapping using random forest and texture analysis”, Remote sensing, 7(1), pp.1074-1094.
26. Buyadi, S.N.A., Mohd, W.M.N.W. and Misni, A (2015), “Vegetation's Role on Modifying Microclimate of Urban Resident”, Procedia - Social and Behavioral Sciences, 202, pp.400-407.
27. Rajesh K. Dhumal, Amol D. Vibhute, Ajay D. Nagne, Yogesh D Rajendra, Karbhari V. Kale and Suresh C. Mehrotra (2015), “Advances in Classification of Crops using Remote Sensing Data”, International Journal of Advanced Remote Sensing and GIS.
28. R. N. Sahoo1, S. S. Ray2 and K. R. Manjunath (2015), “Hyperspectral remote sensing of agriculture” Current Science, Vol. 108, No. 5, 10.
29. M. Arafat, Mohamed A. Aboelghar, Eslam F. Ahmed (2013), “Crop Discrimination Using Field Hyper Spectral Remotely Sensed Data” Advances in Remote Sensing, 2, pp. 63-70.
30. Tigges, J., Lakes, T. and Hostert, P (2013), “Urban vegetation classification: Benefits of multi temporal Rapid Eye satellite data. Remote Sensing of Environment”, 136, pp 66-75.
31. Zhang, C. and Xie, Z (2013), “Combining object-based texture measures with a neural network for vegetation mapping in the Everglades from Hyperspectral imagery”, Remote Sensing of Environment, 124, pp.310-320.
32. Ramdani, F (2013), “Urban vegetation mapping from fused Hyperspectral Image and LiDAR data with Application to Monitor Urban Tree Heights”, Journal of Geographic Information System, 5(04), pp.404. AUTHORS PROFILE Kushalatha.M.R, received Bachelor’s degree and Master’s degree from VTU, Belgaum and currently research scholar under VTU. She is working as an Assistant Professor in the Department of Electronics and communication Engineering, Nitte Meenakshi Institute of Technology, Bangalore and has a teaching experience of 13 years. Her area of research is “Hyperspectral imaging” and Signal processing. Dr. Prasantha.H.S. received Bachelor’s degree from Bangalore University, Master’s Degree from VTU Belgaum and PhD from Anna University, Chennai, in the area of signal and image processing. He has 20+ years of teaching and research experience. His research interests includes Multimedia and Signal Processing. He has published more than 35 papers in International conferences and Journals. He is the reviewer for various reputed conferences and Journals. He is currently guiding four students for their research program under VTU. .Currently, he is working as a Professor in the department of Electronics and Communication Engineering, Nitte Meenakshi Institute of Technology (Affiliated to VTU, Belgaum), Bangalore Beena.R.Shetty, is currently working as an Assistant Professor in the department of Electronics and Communication in Nitte Meenakshi Institute of Technology, Bangalore has a total teaching experience of 8 years. Her areas of research are Image processing