• Атмосферные возмущения. Водяной пар, аэрозоли и другие компоненты атмосферы вносят нелинейные искажения, различающиеся по длинам волн и высоте. Особенно заметно это в SWIR и тепловом инфракрасном диапазоне (TIR).
• Анизотропия поверхности. Отражение материалов зависит от углов наблюдения и освещения из-за двунаправленного характера отражения. Стандартные методы коррекции редко полностью компенсируют этот эффект.
• Особенности датчиков. Различия в конструкции, методиках калибровки и функциях спектрального отклика создают существенные расхождения между данными разных платформ.
• Трудности коррекции. Атмосферную коррекцию на основе физических моделей и радиометрическую нормализацию сложно устойчиво применять к неоднородным сценам, что ограничивает переносимость моделей и стандартизацию.
Задачи анализа
Высокая размерность и сложная структура данных HSI создают трудности для разработки алгоритмов, вычислительной эффективности и интерпретации. Их усугубляют различия характеристик датчиков и ограниченное количество качественно размеченных образцов.
• Многомерная структура. Тензорная пространственно-спектральная структура HSI-кубов обусловливает высокую размерность и сложность данных. При съёмке временных рядов размерность дополнительно возрастает, усиливая «проклятие размерности» [89]. Это осложняет эффективное хранение, масштабируемую обработку и надёжный анализ.
• Спектральная избыточность и шум. Узкополосная регистрация приводит к сильной межканальной корреляции и существенной спектральной избыточности. В сочетании с низким отношением сигнал/шум в отдельных областях спектра это затрудняет выявление информативных признаков, пригодных для различения объектов.
• Недостаток стандартизации. Большие различия числа каналов, диапазонов длин волн и характеристик датчиков затрудняют гибкое повторное использование предварительно обученных моделей и воспроизведение результатов тестирования. Разобщённость ограничивает масштабирование между датчиками и препятствует разработке устойчивых переносимых процедур анализа.
• Ограниченность разметки. Качественный анализ зависит от точной эталонной разметки, которая трудоёмка, занимает много времени и часто требует специальных знаний. Поэтому размеченные наборы редки и невелики, что ограничивает разработку устойчивых моделей и замедляет переход к масштабной, высокопроизводительной и быстрой обработке и интерпретации HSI.
• Сложность и непрозрачность моделей. Высокая размерность и сложная взаимосвязь пространственных и спектральных параметров требуют специализированных архитектур с высокими вычислительными затратами. Глубокое обучение даёт перспективные результаты, однако непрозрачность моделей и недостаток физической интерпретируемости вызывают опасения в ответственных областях применения HSI, таких как сельское хозяйство, экология и здравоохранение, где важны объяснимость и доверие.
• Сдвиг между предметными областями. Модели, обученные на лабораторных или синтетических данных, часто плохо обобщаются на реальные условия из-за особенностей съёмки, например изменчивого освещения, атмосферных воздействий или неоднородности материалов. Такой сдвиг снижает устойчивость и мешает надёжному использованию на разных платформах и в разных областях применения.
Стратегии оптимизации
Вычислительная гиперспектральная съёмка
Неотъемлемые аппаратные ограничения, включая неизбежные компромиссы между пространственным и спектральным разрешением, качеством данных и скоростью съёмки, по-прежнему ограничивают обычные HSI-системы. Перспективный подход — вычислительная гиперспектральная съёмка, объединяющая конструкцию оптики и алгоритмическую реконструкцию. Совместная оптимизация оборудования и цифровой обработки в таких гибридных системах позволяет преодолевать традиционные ограничения производительности.
Например, обучаемое сверхразрешение или методы HSI можно встроить непосредственно в схему получения данных [90], повышая пространственное и спектральное разрешение одновременно без ухудшения отношения сигнал/шум. Нейросетевые архитектуры [91], адаптированные к аппаратным ограничениям, например облегчённые свёрточные сети или квантованные спектральные кодировщики, позволяют выполнять вывод в реальном времени на встраиваемых платформах. Параллельная реализация классификации и разложения смесей на графических процессорах (GPU) или программируемых логических интегральных схемах (FPGA) приближает интерпретацию данных в реальном времени, в том числе на борту носителя [92]. Совместное проектирование позволяет согласовать компактные недорогие датчики с требованиями высокоточных приложений и служит одним из основных направлений развития HSI следующего поколения.
Генеративная предобработка
На получение гиперспектральных данных неизбежно влияют физические, химические, природные и аппаратные факторы, осложняющие воспроизводимость, надёжность и переносимость последующего анализа. Традиционные физические модели коррекции полезны, однако часто не позволяют полностью устранить эти трудности, особенно при нелинейных искажениях, зависящих от сцены, или артефактах конкретного датчика. Генеративные модели ИИ [93], включая состязательное обучение, перенос стиля и нормализацию с учётом датчика, способны учиться моделировать и компенсировать такие сложности и изменчивость на основе данных при восстановлении и реконструкции. Эти модели показали повышенную адаптируемость и способность к обобщению в задачах восстановления данных и спектральной реконструкции. Интеграция генеративных моделей в обработку HSI как этапа предобработки позволяет уменьшить различия условий съёмки и повысить устойчивость последующего анализа.
Предварительно обученные фундаментальные модели
Предварительно обученные фундаментальные модели — перспективное решение в условиях высокой размерности и сложной структуры HSI, трудностей извлечения различающих признаков из избыточных и шумных спектров и нехватки размеченных образцов. Например, архитектуры на основе трансформеров [94] можно обучать на больших массивах HSI без ручной разметки методами самоконтролируемого обучения [95], извлекая содержательные спектрально-пространственные представления из неразмеченных данных. После предварительного обучения для дообучения требуется лишь небольшой объём размеченных данных, однако по качеству такие модели могут быть сопоставимы с моделями, обученными на значительно больших размеченных наборах. Подход «предварительное обучение и дообучение» становится одним из основных в HSI [96,97]. Он обеспечивает гибкое и масштабируемое решение разных последующих задач с лучшей обобщаемостью и эффективностью использования данных.
Количественная оценка неопределённости
Хотя методы машинного обучения на основе данных всё шире используются в HSI, сохраняются вопросы их стабильности, переносимости и надёжности на практике. Обычно модели полностью извлекают представления из данных по принципу «чёрного ящика». Это приводит к непрозрачности и непредсказуемости поведения, особенно при переносе на новые сцены или области. Неопределённость можно оценивать или уменьшать с помощью явного моделирования уверенности, включения знаний предметной области или байесовских подходов [98]. Эти стратегии повышают надёжность, воспроизводимость и прозрачность [99], особенно важные в ответственных областях HSI, таких как сельское хозяйство, здравоохранение и экологический мониторинг.
Перспективы
На основе современных ограничений и новых стратегий оптимизации HSI мы формулируем долгосрочное видение развития области. Оно выделяет направления для следующего поколения HSI, объединяющие прогресс оборудования, вычислительных моделей и инициатив профессионального сообщества.
Концепция 3J для будущего гиперспектральной съёмки, обработки и анализа
Дальнейший прогресс HSI, вероятно, будет определяться интегративными подходами, объединяющими проектирование оптики, обработку данных и аналитическое моделирование. Мы предлагаем концепцию 3J как основу HSI-систем следующего поколения. Она включает совместное проектирование программного и аппаратного обеспечения, совместное использование разных HSI-датчиков и совместное моделирование мультимодальных данных на основе HSI. Концепция предполагает тесную связь зондирования, вычислений, квантования и интерпретации, чтобы преодолеть спектрально-пространственные компромиссы, трудности стандартизации данных и ограничения обобщения между областями. Она может обеспечить будущим HSI-платформам новые уровни производительности, масштабируемости и адаптируемости для научных, промышленных и общественных задач.
Первый принцип J — совместное проектирование аппаратного и программного обеспечения
В традиционной разработке HSI аппаратную часть и аналитическую обработку часто рассматривают как независимые компоненты. Это ухудшает сквозную эффективность и приводит к несоответствию ограничений съёмки требованиям алгоритмов. Совместное проектирование позволяет оптимизировать оборудование, например оптику, детекторы и сканирующие механизмы, вместе с программной частью — алгоритмами реконструкции, моделями ИИ или квантовым обучением — для повышения эффективности всей системы.
Второй принцип J — совместное использование разных датчиков HSI
Будущие системы HSI выиграют от согласованного применения нескольких гиперспектральных датчиков на разных платформах — спутниках, пилотируемых воздушных судах, БПЛА и ручных приборах — и в разных диапазонах, например видимом и ближнем инфракрасном (VNIR), коротковолновом (SWIR) и тепловом инфракрасном (TIR). Благодаря взаимодополняющим пространственным, спектральным и временным характеристикам такие системы обеспечат съёмку в разных масштабах и разрешениях, преодолевая ограничения каждого отдельного типа датчика. Совместное применение обеспечивает более полное понимание сцены, надёжную перекрёстную валидацию и улучшенное обобщение в разных средах. Реализация требует совершенствования объединения данных датчиков, согласования спектральных откликов и единых протоколов калибровки для обеспечения сопоставимого качества данных разных платформ.
Третий принцип J — совместное моделирование нескольких модальностей на основе HSI
Аналитические системы нового поколения будут всё чаще использовать совместное моделирование, объединяющее гиперспектральные данные с дополнительными модальностями: датчиками глубины (например, лидаром или структурированным светом), радиолокационными системами (например, SAR), тепловизорами, событийными камерами или семантическими и контекстными данными, включая текст, метаданные и сведения из социальных сетей. При таком объединении HSI служит центральным слоем многоканальной системы восприятия, предоставляющей расширенную информацию о глубине, структуре и свойствах материалов, которую нельзя получить только по спектрам. Совместные модели перспективны для преодоления ограничений пространственного разрешения, оценки глубины и семантической интерпретации. Ключевые задачи включают разработку алгоритмов совмещения модальностей, единых представлений признаков и масштабируемых архитектур для согласованной обработки разнородных источников и обучения на их данных.
Пространственно структурированная HSI и съёмка со всех ракурсов
Данные HSI представляют в виде трёхмерного куба с двумя пространственными и одним спектральным измерением, однако такая структура лишь условно трёхмерна. Современные методы обычно используют один или фиксированный ракурс и дают плоскую проекцию сцены без истинной стереоскопической или объёмной информации. Многоракурсная и пространственно структурированная съёмка может преодолеть это ограничение. Объединение съёмки светового поля с регистрацией гиперспектральных данных позволит восстанавливать истинные трёхмерные и даже четырёхмерные спектрально-пространственные представления с учётом динамики и формированием гиперспектрального видео.
Сочетание многоракурсных или многоапертурных систем с вычислительной реконструкцией позволит одновременно получать спектральную информацию и геометрическую глубину и полнее описывать сцену. Генеративные модели ИИ будут учиться синтезировать объёмные гиперспектральные кубы по ограниченному набору ракурсов, интерполировать отсутствующие углы и восстанавливать виды с ненаблюдавшихся позиций. Это позволит сформировать HSI со всех ракурсов — целостное представление объектов и сред с сохранением спектральной и геометрической достоверности.
Пространственно структурированная HSI может существенно изменить такие области, как цифровые двойники, прецизионная робототехника, сохранение культурного наследия и автономная навигация, где важны и состав материалов, и трёхмерная геометрия. В отдалённой перспективе объединение съёмки светового поля, структурированного освещения и гиперспектрального зондирования с моделированием на основе ИИ может создать поколение четырёхмерных HSI-платформ, учитывающих спектральные, пространственные, угловые и временные измерения в единой системе.
Фундаментальные модели и агенты HSI
Благодаря быстрому развитию ИИ гиперспектральная съёмка движется к созданию фундаментальных моделей, действующих как универсальный «спектральный мозг», способный в единой системе работать с разными задачами, датчиками и средами. Такие модели обучаются на крупных разнородных данных и формируют целостные спектрально-пространственные представления, объединяющие съёмку, предобработку, анализ и интерпретацию. Включение априорной физической информации и самоконтролируемого спектрального обучения направлено на преодоление нехватки данных, разобщённости данных разных датчиков и сдвигов между областями применения.
В перспективе фундаментальные модели могут стать основой агентов HSI — автономных систем, способных воспринимать среду, адаптивно анализировать спектральные признаки и принимать решения с учётом контекста в реальном времени. Агент на базе такой модели объединит восприятие, рассуждение и действие, от динамической настройки съёмки и анализа на борту до получения практических выводов для приложений от точного земледелия до автономных планетных исследований. Такая концепция предполагает самооптимизирующуюся универсальную платформу и меняет подход к регистрации и использованию гиперспектральных данных.
Универсальная парадигма OFA
Стремительное развитие ИИ и сопутствующих технологий может коренным образом изменить возможности HSI. На горизонте 5–10 лет мы предполагаем развитие парадигмы «один для всех» (one-for-all, OFA), пересматривающей структуру данных и аналитические модели гиперспектральных систем.
На уровне данных концепция OFA предполагает представления сверхвысокой степени сжатия, при которых полный гиперспектральный куб сводится к компактному информативному эквиваленту одного канала. Такое представление позволит по запросу восстановить требуемый спектральный куб, карту признаков или аналитический продукт. Подход может преодолеть ограничения, связанные с типом датчика, размером данных, разрешением или особенностями платформы, и обеспечить преимущества в хранении, передаче и совместимости разных датчиков. Снижение нагрузки на оборудование позволит проводить масштабируемый, адаптивный и общедоступный анализ HSI как при достаточных, так и при ограниченных вычислительных ресурсах.
На уровне моделей концепция OFA подразумевает единую гибкую архитектуру для разных задач и входных данных HSI. Такая модель объединит данные разных спектральных диапазонов, пространственных разрешений и схем съёмки, а также сведёт несколько аналитических моделей или процессов в одну систему. Независимо от числа и типов входов, единая модель сможет адаптивно обрабатывать и анализировать их, устраняя необходимость в моделях для каждого датчика или каждой задачи. Это создаёт предпосылки для упрощения гиперспектрального анализа, универсальности и масштабирования между областями и приложениями.
На прикладном уровне мы ожидаем появления OFA-приложений, когда одна интеллектуальная система гибко решает разные задачи HSI — от мониторинга окружающей среды и точного земледелия до здравоохранения, промышленности и культурного наследия — без специализированных моделей для каждого сценария. Этот подход упростит процессы, ускорит внедрение и расширит доступ к гиперспектральному анализу, формируя универсальную платформу для науки, технологий и принятия решений на практике.
Работа сообщества над открытой, ответственной и масштабируемой HSI
Будущее значение HSI зависит как от технических достижений, так и от последовательной работы сообщества над открытостью, воспроизводимостью и доступностью. Общая инфраструктура — открытые программные инструменты, эталонные наборы данных, платформы разметки и репозитории моделей — необходима для прозрачности, сопоставимости и прогресса между предметными областями. Не менее важно снижать технические барьеры внедрения с помощью модульных программных библиотек, облачных платформ анализа и отраслевых учебных материалов. Это даст исследователям, практикам и лицам, принимающим решения, дополнительные возможности в таких областях, как сельское хозяйство, экология, мониторинг среды и здравоохранение. По мере внедрения HSI в действующие системы профессиональное сообщество будет играть важную роль в ответственной разработке, строгой валидации и равноправном доступе к спектральной аналитике в разных странах и условиях.
Список литературы
[1] Rybicki, G. B. & Lightman, A. P. Radiative processes in astrophysics (John Wiley & Sons, 2024).
[2] Goetz, A. F., Vane, G., Solomon, J. E. & Rock, B. N. Imaging spectrometry for earth remote sensing. Science 228, 1147–1153 (1985).
[3] Vane, G. et al. The airborne visible/infrared imaging spectrometer (aviris). Remote. Sens. Environ. 44, 127–143 (1993).
[4] Chang, C.-I. Hyperspectral imaging: techniques for spectral detection and classification, vol. 1 (Springer Science & Business Media, 2003).
[5] Greenacre, M. et al. Principal component analysis. Nat. Rev. Methods Primers 2, 100 (2022).
[6] Zhao, S., Zhang, B., Yang, J., Zhou, J. & Xu, Y. Linear discriminant analysis. Nat. Rev. Methods Primers 4, 70 (2024).
[7] Bioucas-Dias, J. M. et al. Hyperspectral unmixing overview: Geometrical, statistical, and sparse regression-based approaches. IEEE journal selected topics applied earth observations remote sensing 5, 354–379 (2012).
[8] Hong, D. et al. Interpretable hyperspectral artificial intelligence: When nonconvex modeling meets hyperspectral remote sensing. IEEE Geosci. Remote. Sens. Mag. 9, 52–87 (2021).
[9] Hong, D. et al. Multimodal artificial intelligence foundation models: Unleashing the power of remote sensing big data in earth observation. The Innov. Geosci. 2, 100055 (2024).
[10] Hardeberg, J. Y., Schmitt, F. & Brettel, H. Multispectral color image capture using a liquid crystal tunable filter. Opt. engineering 41, 2532–2548 (2002).
[11] Chang, I. Acousto-optic tunable filters. Opt. Eng. 20, 824–829 (1981).
[12] Chlus, A. et al. HyTools (1.6.0) (2025). Accessed: 2025-04-28.
[13] Boggs, T. Spectral Python (SPy) User Guide. https://www.spectralpython.net/user guide.html (2020). Accessed: 2023-11- 24.
[14] Bakker, W. et al. Hyperspectral python: Hyppy. Algorithms 17, 337 (2024).
[15] Aburaed, N., Alkhatib, M. Q., Marshall, S., Zabalza, J. & Al Ahmad, H. A review of spatial enhancement of hyperspectral remote sensing imaging techniques. IEEE J. Sel. Top. Appl. Earth Obs. Remote. Sens. 16, 2275–2300 (2023).
[16] Yokoya, N., Yairi, T. & Iwasaki, A. Coupled nonnegative matrix factorization unmixing for hyperspectral and multispectral data fusion. IEEE Transactions on Geosci. Remote. Sens. 50, 528–537 (2011).
[17] He, J. et al. Spectral super-resolution meets deep learning: Achievements and challenges. Inf. Fusion 97, 101812 (2023).
[18] Rasti, B. et al. Feature extraction for hyperspectral imagery: The evolution from shallow to deep: Overview and toolbox. IEEE Geosci. Remote. Sens. Mag. 8, 60–88 (2020).
[19] Green, A. A., Berman, M., Switzer, P. & Craig, M. D. A transformation for ordering multispectral data in terms of image quality with implications for noise removal. IEEE Transactions on Geosci. Remote. Sens. 26, 65–74 (1988).
[20] Ahmad, M. et al. A comprehensive survey for hyperspectral image classification: The evolution from conventional to transformers and mamba models. Neurocomputing 130428 (2025).
[21] Jain, A. K., Murty, M. N. & Flynn, P. J. Data clustering: a review. ACM Comput. Surv. 31, 264–323 (1999).
[22] Peterson, L. E. K-nearest neighbor. Scholarpedia 4, 1883 (2009).
[23] Hearst, M. A., Dumais, S. T., Osuna, E., Platt, J. & Scholkopf, B. Support vector machines. IEEE Intell. Syst. Their Appl. 13, 18–28 (1998).
[24] Breiman, L. Random forests. Mach. Learn. 45, 5–32 (2001).
[25] Boardman, J. W., Kruse, F. A. & Green, R. O. Mapping target signatures via partial unmixing of aviris data. In The fifth annual JPL Airborne Earth Science Workshop., 23–26 (Pasadena, CA, 1995).
[26] Winter, M. E. N-findr: An algorithm for fast autonomous spectral end-member determination in hyperspectral data. In Imaging spectrometry V, vol. 3753, 266–275 (SPIE, 1999).
[27] Nascimento, J. M. & Dias, J. M. Vertex component analysis: A fast algorithm to unmix hyperspectral data. IEEE Transactions on Geosci. Remote. Sens. 43, 898–910 (2005).
[28] Nocedal, J. & Wright, S. J. Quadratic programming. Numer. optimization 448–492 (2006).
[29] Bioucas-Dias, J. M. & Figueiredo, M. A. Alternating direction algorithms for constrained sparse regression: Application to hyperspectral unmixing. In 2010 2nd Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing, 1–4 (IEEE, 2010).
[30] Lee, D. & Seung, H. S. Algorithms for non-negative matrix factorization. Adv. neural information processing systems 13 (2000).
[31] Jilge, M., Heiden, U., Neumann, C. & Feilhauer, H. Gradients in urban material composition: A new concept to map cities with spaceborne imaging spectroscopy data. Remote. Sens. Environ. 223, 179–193 (2019).
[32] Van der Meer, F. D. et al. Multi-and hyperspectral geologic remote sensing: A review. Int. journal applied Earth observation geoinformation 14, 112–128 (2012).
[33] Space4Water. Exploring the exciting potential of hyperspectral imaging for water quality monitoring. https://www.space4water.org/news/exploring-exciting-potential-hyperspectral-imaging-water-quality-monitoring (2022). Retrieved 2025-06-01.
[34] Ding, L. et al. A survey of sample-efficient deep learning for change detection in remote sensing: Tasks, strategies, and challenges. IEEE Geosci. Remote. Sens. Mag. (2025).
[35] Mauceri, S., Kindel, B., Massie, S. & Pilewskie, P. Neural network for aerosol retrieval from hyperspectral imagery. Atmospheric Meas. Tech. 12, 6017–6036 (2019).
[36] Yi, C. et al. Aerial hyperspectral remote sensing classification dataset of xiongan new area (matiwan village). Natl. Remote. Sens. Bull. 24, 1299–1306 (2020).
[37] Ma, Y., Zhao, Y., Im, J., Zhao, Y. & Zhen, Z. A deep-learning-based tree species classification for natural secondary forests using unmanned aerial vehicle hyperspectral images and lidar. Ecol. Indic. 159, 111608 (2024).
[38] Thenkabail, P. & Aneece, I. Global hyperspectral imaging spectral-library of agricultural crops for conterminous united states v001 (2019). Distributed by NASA EOSDIS Land Processes Distributed Active Archive Center.
[39] Yokoya, N., Zhu, X. X. & Plaza, A. Multisensor coupled spectral unmixing for time-series analysis. IEEE Transactions on Geosci. Remote. Sens. 55, 2842–2857 (2017).
[40] Deng, J. et al. Rustqnet: Multimodal deep learning for quantitative inversion of wheat stripe rust disease index. Comput. Electron. Agric. 225, 109245 (2024).
[41] Deng, J. et al. Quantitative estimation of wheat stripe rust disease index using unmanned aerial vehicle hyperspectral imagery and innovative vegetation indices. IEEE Transactions on Geosci. Remote. Sens. 61, 1–11 (2023).
[42] Leon, R. et al. Hyperspectral imaging benchmark based on machine learning for intraoperative brain tumour detection. npj Precis. Oncol. 7, 119 (2023).
[43] Ksiazek, K., Romaszewski, M., Glomb, P., Grabowski, B. & Cholewa, M. Blood stain classification with hyperspectral imaging and deep neural networks. Sensors 20, 6666 (2020).
[44] Ng, P. C., Chi, Z., Verdie, Y., Lu, J. & Plataniotis, K. N. Hyper-skin: A hyperspectral dataset for reconstructing facial skin-spectra from rgb images. Adv. Neural Inf. Process. Syst. 36, 24158–24170 (2023).
[45] Gao, L., Smith, R. T. & Tkaczyk, T. S. Snapshot hyperspectral retinal camera with the image mapping spectrometer (ims). Biomed. optics express 3, 48–54 (2011).
[46] Hadoux, X. et al. Non-invasive in vivo hyperspectral imaging of the retina for potential biomarker use in alzheimer’s disease. Nat. Commun. 10, 4227 (2019).
[47] Leiva-Valenzuela, G. A., Lu, R. & Aguilera, J. M. Prediction of firmness and soluble solids content of blueberries using hyperspectral reflectance imaging. J. Food Eng. 115, 91–98 (2013).
[48] Coic, L. et al. Comparison of hyperspectral imaging techniques for the elucidation of falsified medicines composition. Talanta 198, 457–463 (2019).
[49] Zheng, Y., Bai, J., Xu, J., Li, X. & Zhang, Y. A discrimination model in waste plastics sorting using nir hyperspectral imaging system. Waste Manag. 72, 87–98 (2018).
[50] Yan, Y. et al. Non-destructive testing of composite fiber materials with hyperspectral imaging—evaluative studies in the eu h2020 fibreeuse project. IEEE Transactions on Instrumentation Meas. 71, 1–13 (2022).
[51] Chen, X. et al. A multiscale enhanced pavement crack segmentation network coupling spectral and spatial information of uav hyperspectral imagery. Int. J. Appl. Earth Obs. Geoinformation 128, 103772 (2024).