1

2 Эпоха гиперспектральных данных: новые вызовы (1980-е)

Появление гиперспектральной визуализации в 1980-х годах внесло новый вызов в существующие методы анализа данных. Сжатие стало важной задачей, а поиск новых техник для работы с большим объёмом информации и соответствующей избыточностью потребовал пересмотра парадигмы анализа.

Идеи из сообщества обработки сигналов предоставили средства для работы с большими объёмами данных и решения проблемы смешанных пикселей. Программные пакеты, посвящённые анализу гиперспектральных изображений, начали включать спектральные библиотеки, что вызвало особый интерес в геологическом сообществе дистанционного зондирования.

Именно в этот период Александр Гетц и его коллеги в NASA JPL начали развитие концепции imaging spectrometry, а прогресс требовал разработок в электронике, вычислениях и программном обеспечении на протяжении 1980-х и в 1990-е годы. Ключевыми элементами для использования этого источника данных стали программное обеспечение, прежде всего ENVI, и полевые спектрометры, такие как производимые Analytical Spectral Devices Inc.

3 Коммерциализация и первые специализированные пакеты (1980–2000-е)

3.1 SIPS и рождение ENVI

Разработка программного обеспечения для анализа изображений с сотнями спектральных диапазонов, названного SIPS, была впервые выполнена в CSES (Center for the Study of Earth from Space) Джо Бордманом, Фредом Крузе, Адамом Лефкоффом и Кэти Киррейн-Янг.

После сокращения финансирования программы HIRIS NASA эта группа обратилась в университет с просьбой разрешить продолжить разработку SIPS в качестве отдельного программного пакета для коммерческой продажи. Они добились успеха и создали ENVI — признанный стандарт в области дистанционного зондирования. В 2000 году права на программное обеспечение были проданы Kodak.

Развитие ENVI признано ключевым элементом в применении и использовании гиперспектральных данных для изучения Земли.

3.2 Атмосферная коррекция: ATREM и НАТСН

В 1988 году Бо-Цай Гао присоединился к CSES и начал работать над проблемой удаления эффектов водяного пара и аэрозолей из гиперспектральных изображений на основе самих данных изображения.

Гао успешно создал ATREM (ATmospheric REMoval) — программу, которая оставалась стандартом на протяжении последующего десятилетия. Позже Чжэн Цю разработал новую программу атмосферной коррекции НАТСН, обеспечивающую более точные результаты и позволяющую корректировать pushbroom-спектрометры, такие как Hyperion на миссии EO-1.

3.3 Другие ранние системы

Обзор семи важнейших программных систем, разработанных специально для imaging spectroscopy, показывает, что инструменты охватывали спектр коммерческих, государственных и академических разработок. Системы варьировались от специализированного ПО, созданного для конкретных систем или реализации специализированных алгоритмов, до платформ общего назначения, стремящихся обслуживать множество задач для множества источников данных.

Среди исторически важных систем упоминаются SPAM (JPL), ISIS/QL3 (USGS Flagstaff), SIPS (CSES/CU), разработанный в 1983 году, и ISIS 2.0, начатый в USGS Flagstaff в 1989 году.

Отдельного упоминания заслуживает MultiSpec — инструмент для анализа мультиспектральных и гиперспектральных данных, разработанный Ларри Билом и Дэвидом Лэндгрибом в Университете Пердью (2002).

3.4 Вычислительные ограничения эпохи

Масштаб вычислительных проблем был огромен. Один снимок AVIRIS размером 600×512 пикселей требовал примерно месяца для анализа в 1989 году. Сегодня аналогичный анализ может быть выполнен менее чем за день. Этот контраст наглядно демонстрирует, насколько критичным было развитие вычислительной техники для прогресса в обработке гиперспектральных данных.

4 Период 2000–2010: зрелость коммерческих пакетов и первые шаги к открытости

Этот период стал временем, когда гиперспектральная обработка окончательно оформилась как самостоятельная дисциплина, а её инструментарий — от строго коммерческого к постепенно открывающемуся.

4.1 Доминирование ENVI и IDL

К началу 2000-х годов ENVI, построенный на платформе IDL (Interactive Data Language), стал де-факто стандартом для гиперспектрального анализа. IDL, разработанный в 1970-х годах для астрономических приложений, предоставлял мощные инструменты для работы с многомерными массивами данных, что делало его идеальной основой для обработки гиперкубов. В 2000 году права на ENVI были проданы Kodak, что ознаменовало его переход в разряд корпоративных продуктов.

В течение этого десятилетия ENVI активно развивался: появлялись новые алгоритмы классификации, инструменты для спектрального анализа, атмосферной коррекции и картирования минералов. Для многих исследователей ENVI оставался единственным доступным инструментом, позволяющим работать с гиперспектральными данными «из коробки».

4.2 Появление MATLAB-инструментов

Параллельно росла популярность MATLAB как среды для научных вычислений. В 2004 году был представлен Hyperspectral Image Analysis (HIA) Toolbox — набор алгоритмов, расширяющих возможности MATLAB для обработки гиперспектральных изображений. Позднее появился Hyperspectral Image Analysis Toolbox (HIAT), также ориентированный на анализ гиперспектральных данных. MATLAB-инструменты предоставляли исследователям гибкость в реализации собственных алгоритмов, но требовали программирования и не были ориентированы на конечных пользователей. Тем не менее, они сыграли важную роль в академических исследованиях, позволив быстро прототипировать новые методы.

4.3 Ранние open-source инициативы

Первые шаги к открытости были сделаны в начале 2000-х. В 2000 году компания Ball Aerospace совместно с ВВС США разработала Opticks — open-source платформу для анализа гиперспектральных изображений, которая позже была расширена дополнительными модулями. Opticks стал одним из первых примеров того, как коммерческая компания передаёт инструмент в открытое сообщество.

Однако в целом open-source гиперспектральные инструменты в этот период оставались немногочисленными и не составляли серьёзной конкуренции коммерческим пакетам.

4.4 Ключевые алгоритмические достижения

Именно в 2000-е годы в гиперспектральной обработке прочно утвердились методы опорных векторов (SVM). В 2000 году Дж. А. Гуалтьери и С. Четтри опубликовали работу о применении SVM для классификации гиперспектральных данных AVIRIS (224 канала), показав, что SVM эффективно решает задачу в высокоразмерном пространстве даже при малом числе обучающих выборок.

В 2004 году Ф. Мелгани и Л. Бруццоне опубликовали ставшую классической работу по классификации гиперспектральных изображений с помощью SVM, которая окончательно закрепила этот метод как один из основных инструментов. В том же году Г. Кампс-Валлс и коллеги предложили робастный SVM-метод для гиперспектральной классификации и извлечения знаний.

Также в 2000-е годы активно развивались методы спектрального смешивания, извлечения конечных членов (endmember extraction) и субиксельного анализа, которые стали стандартными в арсенале гиперспектральной обработки.

4.5 Спектральные библиотеки

Важным событием стало создание и широкое распространение спектральных библиотек — эталонных коллекций спектров минералов, растительности и других материалов. Библиотеки JHU (Johns Hopkins University), JPL и USGS стали основой для пиксельной классификации и до сих пор используются в современных исследованиях.

5 Период 2010–2020: переход к deep learning и open-source экосистемам

Этот период ознаменовался двумя ключевыми сдвигами: сменой алгоритмической парадигмы (от классических ML к глубокому обучению) и сменой инструментальной (от коммерческих пакетов к open-source экосистемам на Python).

5.1 Глубокое обучение приходит в гиперспектр

С начала 2010-х годов в гиперспектральной обработке начали активно применяться нейросетевые архитектуры. В 2010 году на конференции WHISPERS (Workshop on Hyperspectral Image and Signal Processing) были представлены работы по сравнению продвинутых нейросетевых архитектур для классификации гиперспектральных данных.

К середине 2010-х годов глубокое обучение стало доминирующим направлением. В 2015 году появились работы по использованию свёрточных нейронных сетей (CNN) для гиперспектральной классификации, включая знаковую работу Ху и коллег, а также исследования по интеграции спектральных и пространственных признаков с помощью CNN. К 2020 году вышли обзоры, систематизирующие advances в области глубокого обучения для гиперспектрального анализа.

5.2 Рождение Python-экосистемы

Ключевым событием стало появление Spectral Python (SPy) — чистого Python-модуля для обработки гиперспектральных данных, распространяемого под лицензией MIT. SPy предоставлял функции для чтения, отображения, манипулирования и классификации гиперспектральных изображений, что сделало его первым по-настоящему доступным open-source инструментом для широкой аудитории.

Позже появились другие библиотеки: hypers (2018), scikit-hyper (2018), которые предоставляли структуры данных и инструменты машинного обучения для гиперспектральных данных. Эти библиотеки, хотя и не получили массового распространения, заложили основу для будущих экосистем.

5.3 Развитие ENVI и появление альтернатив

ENVI продолжал развиваться, интегрируя новые алгоритмы и улучшая интерфейс. Однако рост open-source экосистем начал постепенно подтачивать его монополию. Исследователи всё чаще предпочитали Python-библиотеки для прототипирования и публикации воспроизводимых результатов.

В этот же период начали появляться облачные платформы для обработки гиперспектральных данных, такие как Google Earth Engine, которые предоставляли доступ к вычислительным ресурсам и данным без необходимости устанавливать локальное ПО.

5.4 Вычислительные прорывы

Развитие GPU-вычислений и появление таких фреймворков, как TensorFlow и PyTorch, радикально ускорило обработку гиперспектральных данных. Если в 2000-х годах обучение сложных моделей на гиперкубах было практически невозможно, то к концу 2010-х это стало рутинной операцией.

6 Период 2020–2026: зрелость open-source, low-code и бортовая обработка

Современный этап характеризуется зрелостью open-source экосистем, появлением low-code платформ и переносом обработки непосредственно на сенсоры.

6.1 Зрелые open-source экосистемы

К 2020-м годам сформировался устойчивый набор open-source инструментов для гиперспектральной обработки:

• Spectral Python (SPy) продолжает развиваться как базовый модуль для чтения, визуализации и классификации данных.

• PyHAT (Python Hyperspectral Analysis Tool), разработанный Геологической службой США (USGS), предоставляет единый бесплатный источник инструментов и алгоритмов для анализа спектроскопических данных, включая GUI для быстрого старта.

• hsi-wizard — Python-пакет, поддерживающий всё от базового спектрального анализа до продвинутых методов машинного обучения и ИИ.

• hylite — инструмент для open-source гиперспектрального анализа, представленный на симпозиуме ESA Living Planet Symposium 2025.

6.2 Low-code и автоматизация

(2025) представляет собой open-source low-code экосистему для сбора данных, предварительной обработки и обучения моделей. Пакет написан на Python и предоставляет обёртки вокруг распространённых библиотек машинного обучения, позволяя обучать как классические, так и глубокие модели на гиперспектральных данных.

Кодовая база абстрагирует взаимосвязи обработки и зависимости данных между операциями, чтобы минимизировать сложность кода для пользователей. Пакет инстанцирует узлы в направленном ациклическом графе для обработки всех этапов экосистемы машинного обучения — от сбора данных до финального назначения класса или предсказания свойств.

6.3 Herschel Vision и подготовка данных для ML

Herschel Vision (2025) — open-source приложение для анализа гиперспектральных изображений, позволяющее пользователям визуализировать и анализировать данные. Система автоматизирует калибровку по белому и тёмному эталонам, визуализацию и извлечение спектральных данных, генерацию псевдо-RGB изображений, кадрирование и сегментацию областей интереса, сохранение изображений в виде трёхмерных кубов и применение предварительных коррекций сигнала.

Herschel Vision может обрабатывать proximally записанные гиперспектральные данные для курирования обучающих наборов данных машинного и глубокого обучения. Код доступен на GitHub под лицензией GPL-2.0.

6.4 Другие современные инструменты

• prismatools (2026): open-source Python-пакет для доступа и обработки данных PRISMA Level 2.

• hyperspec-py (2026): быстрая обработка гиперспектральных данных для дистанционного зондирования и ML-пайплайнов, написанная на Rust с Python-биндингами.

• i.hyper (2026): обработка гиперспектральных изображений в GRASS GIS, разработанная для поддержки таких миссий, как EnMAP, PRISMA и Tanager.

• specpipe (2025): файловый пайплайн для эффективной пакетной обработки и моделирования гиперспектральных изображений.

• ОПТИВИСТА (2025): современный программно-аппаратный комплекс, созданный для обработки и анализа гиперспектральных данных, полученных с помощью специализированных сенсоров. Представляет собой готовое рабочее место аналитика, объединяющее программное обеспечение IMC Hyperspectral и методическую базу для полного цикла обработки гиперспектральных данных. Программная часть комплекса построена на современных алгоритмах обработки изображений, включая предварительную подготовку (устранение шумов, повышение чёткости, атмосферная коррекция), радиометрическую коррекцию, спектральный анализ и классификацию изображений с обучением и без обучения (K-MEANS, нечёткая кластеризация). Поддерживаются популярные гиперспектральные форматы (Geotiff, HDF5, SPE) и типы данных (целочисленные 8–32 разряда, Float32, Float64). Комплекс также включает гиперспектральные камеры IQ VIS NIR, FS-IQ-SWIR, FS23, FS60, FS62 для БПЛА, полевых и лабораторных исследований с полной совместимостью с ПО.

6.5 Бортовая обработка и ИИ в реальном времени

Современные исследования сосредоточены на бортовой обработке гиперспектральных изображений с использованием глубокого обучения. Примеры включают:

• DPSPM (Deep Pushbroom SubPixel Mapping) — платформа для субиксельного картирования в реальном времени на pushbroom-сенсорах, работающая на маломощных встраиваемых ускорителях.

• FPUF-Net — физически обоснованная сеть для восстановления спектров кукурузы из RGB-изображений.

• AI-фреймворки для слияния данных: объединение Sentinel-2 с БПЛА для 80-кратного повышения разрешения (до 12,5 см) при PSNR > 30 дБ.

6.6 Слияние данных и мультимодальность

Современные обзоры рассматривают эволюцию от классического слияния изображений к глубокому обучению представлений в контексте гиперспектрального паншарпенинга. Слияние гиперспектральных и панхроматических изображений позволяет получать гиперспектральные данные высокого разрешения. Мультимодальные подходы, объединяющие гиперспектральные данные с лидаром, RGB и спутниковыми снимками, становятся стандартной практикой.

7 Ключевые тренды в обработке и ПО

7.1 Демократизация через open-source

Переход от дорогостоящих коммерческих пакетов к open-source экосистемам делает гиперспектральный анализ доступным для широкого круга исследователей, малых предприятий и образовательных учреждений. MIT License, GPL и другие свободные лицензии снимают барьеры для входа.

7.2 Low-code и автоматизация

Современные low-code платформы позволяют пользователям без глубоких знаний программирования собирать пайплайны обработки данных, что существенно снижает порог входа в гиперспектральный анализ.

7.3 Интеграция с ML-пайплайнами

Современные инструменты, такие как Herschel Vision, специально разработаны для подготовки данных в пайплайнах машинного обучения, автоматизируя калибровку, визуализацию и генерацию обучающих наборов.

7.4 Обработка в реальном времени и на борту

Развитие встраиваемых ускорителей и оптимизированных нейросетевых архитектур позволяет обрабатывать гиперспектральные данные непосредственно на сенсоре или БПЛА, без передачи больших объёмов данных на землю.

7.5 Мультимодальность и слияние данных

Объединение гиперспектральных данных с лидаром, RGB, Sentinel-2 и другими источниками становится стандартной практикой, позволяя компенсировать ограничения отдельных сенсоров.

7.6 От статистики к нейросетям

Методы обработки прошли путь от РСА и спектрального смешивания через SVM и случайные леса к CNN, трансформерам и физически обоснованным сетям. Каждый этап расширял возможности анализа, но и требовал новых вычислительных ресурсов.

8 Заключение

За четыре десятилетия методы обработки гиперспектральных данных прошли путь от первых статистических подходов, требующих месяца на анализ одного снимка, до современных нейросетевых моделей, работающих в реальном времени на бортовых ускорителях.

Программное обеспечение эволюционировало от специализированных правительственных пакетов (SIPS, ISIS) через коммерческий стандарт ENVI к современным open-source экосистемам (Spectral Python, Herschel Vision, cuvis.ai). Период 2000–2010 годов стал временем зрелости коммерческих инструментов и первых шагов к открытости, а 2010–2020 годы — переходом к глубокому обучению и Python-экосистемам. Современный этап (2020–2026) характеризуется зрелостью open-source, появлением low-code платформ и переносом обработки на сенсоры.

Ключевые тренды — демократизация через открытый код, low-code автоматизация, интеграция с ML-пайплайнами, бортовая обработка в реальном времени и мультимодальное слияние данных — определяют облик современных инструментов анализа гиперспектральной информации.