Спектральная визуализация для дистанционного зондирования наземных объектов и особенностей местности возникла как альтернатива системам спутниковой визуализации с высоким пространственным разрешением и большой апертурой. Ранние применения спектральной визуализации были ориентированы на классификацию земного покрова, разведку полезных ископаемых и оценку состояния сельскохозяйственных угодий с использованием небольшого числа тщательно выбранных спектральных диапазонов, охватывающих видимую и инфракрасную области электромагнитного спектра. Улучшенные версии этих ранних мультиспектральных датчиков продолжают использоваться и сегодня. Появился также новый класс датчиков — гиперспектральные визуализаторы, использующие сотни смежных диапазонов для обнаружения и идентификации различных природных и искусственных материалов. В этой обзорной статье представлены основные элементы спектральной визуализации и обсуждается историческая эволюция как самих датчиков, так и методов обнаружения целей и классификации.

Зрительное восприятие и интерпретация мира играют ключевую роль в жизни человека. Когда мы слышим громкий удар, чувствуем запах гари или ощущаем, как что-то выскальзывает из рук, наша первая реакция — визуальная: мы смотрим на источник проблемы, чтобы оценить ситуацию и отреагировать. Наши глаза и мозг могут быстро предоставить детальную информацию о любом событии, происходящем вокруг нас, что позволяет выбрать соответствующие действия. Важность зрительного восприятия также очевидна, если учесть, что обработка зрительной информации потребляет непропорционально большую часть функций человеческого мозга. Поэтому неудивительно, что исторически большая часть наших успехов в дистанционном зондировании, будь то для гражданских, военных, наземных или внеземных целей, опиралась на получение точных изображений и их эффективную человеческую интерпретацию и анализ.

Электрооптическое дистанционное зондирование включает получение информации об объекте или сцене без физического контакта с этим объектом или сценой. Панхроматические (т.е. полутоновые) и цветные (т.е. красный, зелёный, синий) системы визуализации доминировали в электрооптическом зондировании в видимой области спектра. Длинноволновая инфракрасная (ДИК) визуализация, аналогичная панхроматической, основана на тепловом излучении объектов сцены, а не на отражённом свете.

В последнее время пассивная визуализация эволюционировала от одного панхроматического диапазона или трёх цветовых диапазонов, охватывающих видимый спектр, к множеству диапазонов — нескольким сотням и более — охватывающих видимый спектр, а также ближний инфракрасный (БИК) и коротковолновый инфракрасный (КВИК) диапазоны. Эта эволюция пассивной визуализации стала возможна благодаря достижениям в технологии фокальных плоскостей и направлена на использование того факта, что материалы, из которых состоят различные объекты сцены, отражают, рассеивают, поглощают и излучают электромагнитное излучение способами, характерными для их молекулярного состава, а также макроскопического масштаба и формы. Если измерять излучение, поступающее на датчик, на многих длинах волн в достаточно широком спектральном диапазоне, то полученная спектральная сигнатура, или просто спектр, может быть использована для идентификации материалов в сцене и различения разных классов материалов.

Хотя измерения излучения на многих длинах волн могут дать больше информации о материалах в сцене, полученное изображение не поддаётся простой визуальной оценке. Для извлечения всей релевантной информации, содержащейся в множестве спектральных диапазонов, требуется сложная обработка изображений.

В этом номере Lincoln Laboratory Journal мы сосредотачиваем внимание на спектральных измерениях в области солнечного отражения, простирающейся от 0,4 до 2,5 мкм, охватывающей видимый, БИК и КВИК диапазоны. Эти три диапазона вместе называются VNIR/SWIR. Измерение, анализ и интерпретация электрооптических спектров известны как спектроскопия. Сочетание спектроскопии с методами получения спектральной информации на больших площадях называется визуализирующей спектроскопией. На Рисунке 1 проиллюстрирована концепция визуализирующей спектроскопии на примере спутникового дистанционного зондирования.

Рисунок 1. Концепция визуализирующей спектроскопии. Бортовой или космический датчик одновременно производит выборку множества спектральных диапазонов на большой площади наземной сцены. После соответствующей обработки каждый пиксель результирующего изображения содержит дискретные спектральные измерения отражения, которые можно интерпретировать для идентификации материала, присутствующего в сцене. Графики на рисунке иллюстрируют спектральную изменчивость отражения для почвы, воды и растительности. На основе этой спектральной информации можно построить визуальное представление сцены на разных длинах волн.

На протяжении всего этого специального выпуска Journal мы ссылаемся на условия освещения в сцене, а также на отражательные свойства материалов и поверхностей в этой сцене. Облучённость (irradiance) относится к световой энергии за единицу времени (мощности), падающей на поверхность, нормированной на площадь поверхности, и обычно измеряется в ваттах на квадратный метр (Вт/м2)(Вт/м2). Коэффициент отражения (reflectance) — это безразмерное число от 0 до 1, характеризующее долю падающего света, отражённую поверхностью. Отражательная способность может дополнительно характеризоваться такими параметрами, как длина волны отражённого света, угол падения и угол отражения. Яркость (radiance) — важное смежное понятие, которое не различает свет, освещающий поверхность, и свет, отражённый от поверхности. Яркость — это просто облучённость, нормированная на телесный угол (в стерадианах) наблюдения или направления распространения света, и обычно измеряется в Вт/м2/стерадианВт/м2/стерадиан. Нормировка яркости на длину волны света, которая обычно указывается в микронах (μм)(μм), даёт спектральную яркость с единицами Вт/м2/μм/стерадианВт/м2/μм/стерадиан.

Мы привыкли использовать цвет как один из способов различения и идентификации материалов и объектов. Цвет и отражательная способность объекта обычно являются важными признаками его материального состава, поскольку разные материалы поглощают и отражают падающий свет по-разному в зависимости от длины волны. В первом приближении отражённый свет, или спектральная яркость Ls​(λ), которую мы видим или регистрирует датчик, является произведением падающей яркости сцены Ls​(λ) и спектра отражения материала ρ(λ), которые оба зависят от длины волны λ:

Если спектр освещения известен, то спектр отражения материала, или отражательная способность, в принципе может быть восстановлен из наблюдаемой спектральной яркости в тех областях спектра, где освещение не равно нулю. Поскольку спектр отражения не зависит от освещения, он даёт наилучшую возможность для идентификации материалов в сцене путём сопоставления спектров отражения сцены с библиотекой известных спектров.

Рисунок 2. Кривые спектральной облучённости Солнца на верхней границе атмосферы и на уровне земли. Солнечная облучённость за пределами атмосферы (чёрная кривая) хорошо известна. На уровне земли (красная кривая) она изменяется из-за поглощения и рассеяния в атмосфере. Восстановление спектров отражения различных объектов и материалов должно учитывать влияние атмосферы как на спектр солнечного освещения, так и на отражённый свет.

В случае солнечного освещения спектральная облучённость света, достигающего атмосферы, достаточно хорошо известна, как показано на Рисунке 2. Однако уравнение (1) упрощает связь между отражением и освещением. Многие факторы окружающей среды и явления, связанные с зондированием, могут усложнить восстановление спектров отражения. Например, хотя спектр солнечного излучения, достигающего атмосферы, хорошо изучен, спектр солнечного излучения, достигающего земли, изменяется во времени и в зависимости от местоположения из-за распространения солнечного излучения через постоянно меняющуюся атмосферу Земли. Такие эффекты модуляции атмосферы должны учитываться для надёжного восстановления спектров отражения материалов на земле в освещённой солнцем сцене.

Ошибки датчиков могут дополнительно препятствовать восстановлению спектров отражения, искажая и загрязняя исходные изображения. Например, вибрация фокальной плоскости может привести к перекрёстному загрязнению соседних спектральных диапазонов, искажая наблюдаемый спектр. Всестороннее обсуждение ошибок и артефактов датчиков выходит за рамки этой статьи. Однако в следующем разделе представлен обзор процесса формирования изображения.

Сбор двумерных пространственных изображений во многих узких спектральных диапазонах с помощью двумерного матричного датчика обычно включает некоторую форму последовательной во времени визуализации. Этот сбор может быть осуществлён либо путём временной последовательности двумерных пространственных изображений в каждом интересующем спектральном диапазоне, либо путём временной последовательности пространственно-спектральных изображений (одномерных линейных изображений, содержащих все интересующие спектральные диапазоны), причём несколько одномерных пространственных изображений собираются с течением времени для получения второго пространственного измерения.

Разработано множество методов сбора требуемых данных. Распространённый формат сбора данных — построчный (push-broom) датчик визуализации, в котором поперечная линия пространственных пикселей разлагается на KK спектральных диапазонов. На Рисунке 3 показана геометрия такой системы сбора данных. Спектральное разложение может быть выполнено с использованием любого из нескольких механизмов, таких как дифракционная решётка или клиновидный фильтр [1].

Исторически спектральная визуализация для дистанционного зондирования восходит к серии спутников Television Infrared Observation Satellite (TIROS), первый из которых был запущен в 1960 году [2]. Наследие TIROS продолжилось приборами Advanced Very High Resolution Radiometer (AVHRR) и Moderate Resolution Imaging Spectroradiometer (MODIS) [3], запущенными на космическом аппарате Terra (латинское «земля») в 1999 году. Пространственное разрешение AVHRR составляет четыре километра, а пространственное разрешение мультиспектрального датчика MODIS варьируется от 250 метров в одних спектральных диапазонах до одного километра в других. Для сравнения, в статьях этого номера Journal основное внимание уделяется датчикам с пространственным разрешением лучше тридцати метров, а в некоторых случаях — лучше одного метра.

Рисунок 3. (a) Геометрия построчной гиперспектральной системы визуализации. Скорость покрытия площади равна ширине полосы обзора, умноженной на путевую скорость платформы \(\nu\). Площадь пикселя на земле равна квадрату расстояния между отсчётами на местности (GSD). (b) Визуализирующий спектрометр на самолёте диспергирует свет на двумерную матрицу детекторов, с \(n_{y}\) элементами в поперечном (пространственном) измерении и \(K\) элементами в спектральном измерении, всего \(N = K \times n_{y}\) детекторов.

При сборе спектральных данных выполняются четыре операции дискретизации: пространственная, спектральная, радиометрическая и временная. В системах, обсуждаемых в этом номере, мы предполагаем, что пространственное разрешение идентично расстоянию между отсчётами на местности (GSD), хотя в общем случае GSD может быть меньше пространственного разрешения. Для описываемых систем GSD варьируется от долей метра до десятков метров и определяется в первую очередь апертурой датчика и высотой платформы. Высота платформы слабо ограничена классом платформы (например, космическая или воздушная).

Как отмечалось ранее, спектральная дискретизация достигается путём разложения яркости, принимаемой в каждом пространственном пикселе, на несколько спектральных диапазонов. Спектральные диапазоны могут различаться по разрешению и могут быть перекрывающимися, смежными или разрозненными в зависимости от конструкции датчика. Цветное изображение, состоящее из красного, зелёного и синего диапазонов, является хорошо известным примером спектральной дискретизации, в которой спектральные диапазоны (спектральные каналы) не перекрываются и относительно широки.

Аналого-цифровой преобразователь дискретизирует яркость, измеренную в каждом спектральном канале, создавая цифровые данные с заданным радиометрическим разрешением. В результате получается трёхмерный спектральный куб данных, представленный на иллюстрации Рисунка 4. На Рисунке 4(a) показаны спектры в строках поперечного сканирования, собираемые бортовым датчиком. На Рисунке 4(b) показано, как строки сканирования накапливаются для формирования трёхмерного гиперспектрального куба данных с пространственной информацией в измерениях xx и yy и спектральной информацией в измерении zz. На Рисунке 4(b) спектры отражения пикселей, составляющих верхний и правый края изображения, спроецированы в измерение zz и закодированы цветом в соответствии с амплитудой спектров, где синий обозначает наименьшие значения отражения, а красный — наибольшие.

Рисунок 4. Структура гиперспектрального куба данных. (a) Построчный датчик на бортовой или космической платформе собирает спектральную информацию для одномерной строки поперечных пикселей, называемой строкой сканирования. (b) Последовательные строки сканирования, состоящие из спектров для каждой строки поперечных пикселей, накапливаются для получения трёхмерного гиперспектрального куба данных. На этой иллюстрации пространственная информация сцены представлена измерениями \(x\) и \(y\) куба, в то время как амплитудные спектры пикселей спроецированы в измерение \(z\). (c) Собранный трёхмерный гиперспектральный куб данных можно рассматривать как стек двумерных пространственных изображений, каждое из которых соответствует определённому узкому спектральному диапазону. Гиперспектральный куб данных обычно состоит из сотен таких сложенных изображений. (d) Альтернативно, спектральные отсчёты могут быть построены для каждого пикселя или для каждого класса материалов в гиперспектральном изображении. Различительные признаки в спектрах обеспечивают основной механизм для обнаружения и классификации материалов в сцене.

Спектральная информация в измерении zz может быть дискретизирована регулярно или нерегулярно в зависимости от конструкции датчика. Данные спектрального изображения можно рассматривать как стек двумерных пространственных изображений, по одному изображению для каждого дискретизированного спектрального диапазона, как показано на Рисунке 4(c), или как отдельные спектры для заданных пикселей, как показано на Рисунке 4(d). (Примечание: на Рисунке 4 цвет в частях cc и dd представляет спектральные диапазоны, а не амплитуды отражения.)

Хотя с процессом формирования изображения связано время интегрирования τdτd​, мы используем термин «временная дискретизация» для обозначения не времени формирования изображения, а процесса сбора нескольких спектральных изображений одной и той же сцены, разделённых во времени. Временная дискретизация является важным механизмом для изучения природных и антропогенных изменений в сцене [4, 5].

Концепция спектральной визуализации, проиллюстрированная на Рисунке 1, кажется простой. Однако существует множество практических вопросов, которые необходимо решить при проектировании и реализации системы спектральной визуализации. Эти вопросы включают пространственное и спектральное разрешение датчика, атмосферные эффекты, такие как поглощение и рассеяние, спектральную изменчивость поверхностных материалов в сцене и другие воздействия окружающей среды, такие как угол обзора, вторичное освещение и затенение. На Рисунке 5 показан ряд этих важных аспектов для репрезентативной сцены.

Рисунок 5. Атмосферные и сценарные факторы, которые могут способствовать ухудшению качества процесса визуализации. Пространственное разрешение датчика и степень атмосферного рассеяния и поглощения являются наиболее значимыми факторами снижения качества изображения.

Стоимость датчика обычно сильно зависит от размера апертуры, особенно для космических систем. Уменьшение размера апертуры снижает стоимость датчика, но приводит к ухудшению пространственного разрешения (т.е. к увеличению GSD). Для спектрального визуализатора наилучшая производительность обнаружения ожидается, когда угловое разрешение датчика, выраженное в терминах GSD, соизмеримо с размером целей интереса. Однако цели бывают разных размеров. Следовательно, для данной конструкции датчика некоторые цели могут быть полностью разрешены пространственно, в то время как другие могут занимать лишь часть площади GSD, определяющей пиксель. Поэтому алгоритмы обнаружения и идентификации должны быть разработаны для эффективной работы независимо от того, полностью ли разрешены цели (т.е. полностью заполняют пиксель) или составляют лишь часть материала в заданном пикселе (т.е. субпиксельные).

Атмосфера поглощает и рассеивает свет в зависимости от длины волны. Это поглощение и рассеяние имеет несколько важных последствий, создающих трудности для визуализации датчиками. Четыре из этих трудностей описаны ниже.

Во-первых, атмосфера модулирует спектр солнечного освещения до того, как он достигнет земли, и эта модуляция должна быть известна или измерена, чтобы отделить спектр освещения (падающую солнечную яркость) от отражательной способности (спектра отражения), характеризующей интересующие материалы в сцене. На Рисунке 6 показана кривая полного атмосферного пропускания для двух различных условий содержания водяного пара и аэрозолей, соответствующих крайним случаям влажной и грязной атмосферы по сравнению с чистой и сухой. На Рисунке 6 также показан вклад хорошо перемешанных газов, аэрозолей и водяного пара в общее пропускание. По мере изменения угла солнечного освещения и угла обзора датчика общий путь через атмосферу меняется, что, в свою очередь, влияет на общее атмосферное пропускание. Кроме того, распределение водяного пара (а также характеристики аэрозолей атмосферы) варьируется в зависимости от местоположения и времени, поэтому методы компенсации этих эффектов должны основываться на сцене.

Рисунок 6. Влияние атмосферных газов, аэрозолей и водяного пара на полное атмосферное пропускание. Зелёные кривые представляют случай умеренного влияния (0,4 см столба водяного пара), что соответствует сельской местности с дальностью видимости 23 км. Красные кривые представляют случай сильного влияния (4,1 см столба водяного пара), что соответствует городской среде с дальностью видимости 5 км.

Во-вторых, часть солнечного излучения рассеивается атмосферой в поле зрения датчика, никогда не достигая земли. Этот рассеянный свет накладывается на отражённый свет, поступающий от сцены, и называется яркостью трассы (path radiance), поскольку он появляется вдоль линии визирования к сцене. В-третьих, солнечное излучение, рассеянное атмосферой, преимущественно в синей области видимого спектра, действует как вторичный источник диффузного цветного освещения. Это диффузное небесное освещение наиболее важно для затенённых объектов, поскольку области, затенённые от прямых солнечных лучей, всё ещё могут освещаться диффузным небесным излучением, не являющимся белым. В-четвёртых, солнечное освещение, достигающее сцены и отражённое целью, дополнительно поглощается и рассеивается атмосферой при распространении к датчику.

В настоящее время используется ряд методов для оценки и компенсации этих эффектов распространения в атмосфере. В приложении «Основы атмосферной компенсации» приведены дополнительные сведения об этих методах компенсации.

Помимо атмосферного поглощения и рассеяния, на спектральную визуализацию влияют несколько других важных параметров окружающей среды и связанных с ними явлений. Угол солнца относительно зенита, угол обзора датчика и ориентация поверхности цели — все это влияет на количество света, отражённого в поле зрения датчика. Облака и растительный покров могут отбрасывать тени на цель, существенно изменяя освещение поверхности. Близлежащие объекты также могут отражать или рассеивать солнечный свет на цель, накладывая различные цветные освещения на доминирующее прямое солнечное освещение, как показано на Рисунке 5.

На ранних этапах развития спектральной визуализации исследователи выдвинули гипотезу, что спектр отражения каждого материала уникален и, следовательно, представляет собой средство для уникальной идентификации материалов. Термин «спектральная сигнатура», который используется и сегодня, предполагает уникальное соответствие между материалом и его спектром отражения. Однако в полевых данных, а также в лабораторных данных мы наблюдаем изменчивость спектра отражения большинства материалов. Многие механизмы могут быть ответственны за наблюдаемую изменчивость, включая нескомпенсированные ошибки датчика, нескомпенсированные атмосферные и экологические эффекты, загрязнение поверхности, изменения материала, такие как возрастное выцветание цвета из-за окисления или отбеливания, и эффекты смежности, при которых отражения от близлежащих объектов в сцене изменяют кажущееся освещение материала. Сезонные изменения также вносят огромные изменения в спектральный характер сцены. Нам достаточно понаблюдать за изменениями в лиственном лесу весной, летом, осенью и зимой, чтобы оценить степень спектральной изменчивости, которая может возникать в природных материалах, составляющих сцену.

Есть некоторые основания ожидать, что искусственные материалы демонстрируют меньшую спектральную изменчивость, чем природные материалы в сцене. На Рисунке 7 показано несколько примеров спектров отражения, полученных для нескольких случаев полностью разрешённых пикселей автомобильной краски в сцене. Обратите внимание, что хотя формы спектров довольно согласованы, амплитуда значительно варьируется по всей сцене. В попытке использовать инвариантность формы спектра некоторые из более успешных алгоритмов обнаружения придают больший вес форме спектра, чем амплитуде, при определении того, присутствует ли конкретный материал в пикселе.

Рисунок 7. Пример изменчивости спектров отражения, измеренных для нескольких экземпляров данного материала (в данном случае автомобильной краски) в сцене. Формы спектров довольно согласованы, но амплитуды значительно варьируются по всей сцене. Чтобы использовать эту инвариантность формы спектра, некоторые алгоритмы обнаружения придают больший вес форме спектра, чем спектральной амплитуде, при определении того, присутствует ли данный материал в пикселе. Пробелы соответствуют полосам поглощения водяного пара, где данные ненадёжны и отбрасываются.

Как показано на Рисунке 3, спектральные датчики обычно используют движение платформы как средство сканирования сцены. Однако нелинейное движение датчика может исказить спектральное изображение, смешивая спектральные сигналы от разных частей пространственного изображения. Движение объектов в сцене также может создавать артефакты, если движение имеет порядок GSD в течение времени интегрирования τdτd​. Этот тип пространственной миграции может ухудшить качество изображения, но, к счастью, он не так значителен, как спектральная миграция, с точки зрения влияния на последующую обработку для обнаружения и идентификации материалов. Визуализация сцены, включая детектирование и преобразование яркости в цифровую последовательность, вносит ряд артефактов, таких как тепловой шум, квантование и геометрические искажения. Природа этих артефактов датчика и методы их моделирования более подробно обсуждаются в статье «Моделирование гиперспектральных систем визуализации» Джона П. Керекеса и Джеррольда Э. Баума.

Появление радиолокационных датчиков в конце 1930-х годов открыло путь к обнаружению и различению радиолокационных целей без использования традиционных пространственных изображений. Однако менее чем через шестнадцать лет после внедрения первой действующей радиолокационной станции исследователи уже проводили эксперименты с бортовыми радиолокаторами бокового обзора (SLAR) для преобразования радиолокационных сигналов в изображения [6]. Радиолокация с синтезированной апертурой (SAR) была разработана для создания изображений из двумерных карт отражения в диапазоне-Доплере [7]. Интерферометрическая SAR была разработана позже как средство создания трёхмерных радиолокационных изображений [8]. Внедрение технологии лазерного обнаружения и дальнометрии (лидар) предоставило ещё один способ создания трёхмерных изображений в виде карт отражения угол-угол-дальность с высоким разрешением. На протяжении всей эволюции пассивных и активных методов визуализации улучшение пространственного разрешения было основным направлением разработок, что подталкивало оптические датчики к большим апертурам, а радиолокационные — к более высоким частотам. Вместе с этими датчиками развивались и алгоритмы автоматического обнаружения и распознавания, но визуальный анализ человеком продолжает оставаться преобладающим средством интерпретации изображений с действующих датчиков.

Увеличение пространственного разрешения датчиков — дорогостоящее предприятие как с точки зрения самого датчика, так и с точки зрения объёма данных, которые впоследствии должны быть обработаны и интерпретированы. Обученный аналитик традиционно нёс основную нагрузку по эффективной интерпретации изображений, но по мере развития технологий объём высококачественных оптических и радиолокационных изображений рос быстрее, чем число обученных аналитиков.

В 1960-х годах сообщество дистанционного зондирования, осознав огромную стоимость вывода на орбиту больших пассивных оптических апертур, восприняло концепцию использования спектральных, а не пространственных признаков для идентификации и классификации земного покрова. Эта концепция опирается в первую очередь на спектральную сигнатуру, а не на пространственную форму, для обнаружения и различения различных материалов в сцене. Для подтверждения концепций были проведены эксперименты с линейно-сканирующими датчиками, обеспечивающими до двадцати спектральных диапазонов в видимой и инфракрасной областях [9]. Эта экспериментальная работа помогла создать интерес и поддержку для запуска первого космического мультиспектрального визуализатора Landsat-1 [10], который был запущен в 1972 году (Landsat-1 первоначально назывался Earth Resource Technology Satellite, или ERTS-1). Landsat-7, последний в этой серии высоко успешных спутников, был запущен в 1999 году. Прототип мультиспектрального усовершенствованного наземного визуализатора (ALI), разработанный в Lincoln Laboratory, был запущен в ноябре 2000 года на борту спутника NASA Earth Observing (EO-1) [11]. На EO-1 также установлен гиперспектральный датчик VNIR/SWIR, называемый Hyperion, с 220 спектральными диапазонами и GSD 30 метров.

Основываясь на успехе мультиспектрального зондирования и благодаря достижениям в технологии фокальных плоскостей, исследователи разработали гиперспектральные датчики для дискретизации расширенной отражательной части электромагнитного спектра, которая простирается от видимой области (0,4(0,4 до 0,7 μm)0,7μm) через КВИК (около 2,5 μm2,5μm) в сотнях узких смежных диапазонов шириной около десяти нанометров. Большинство гиперспектральных датчиков работают в диапазонах VNIR/SWIR, используя солнечное освещение для обнаружения и идентификации материалов на основе их спектров отражения.

Если рассматривать произведение пространственных пикселей на спектральные диапазоны (по сути, количество трёхмерных элементов разрешения в гиперкубе) как меру сложности датчика, то можно сохранить общую сложность при переходе от панхроматического датчика (с одним широким спектральным диапазоном) к гиперспектральному (с несколькими сотнями узких спектральных диапазонов) путём уменьшения количества пространственных пикселей в несколько сотен раз при сохранении постоянного поля зрения. Фактически, одномерное уменьшение пространственного разрешения примерно в пятнадцать раз (т.е. квадратный корень из KK, числа спектральных диапазонов, которое обычно составляет около 220) компенсирует увеличение числа спектральных отсчётов и уменьшает требуемый диаметр апертуры во столько же раз, снижая потенциальную стоимость датчика. Однако, хотя общее количество трёхмерных элементов разрешения сохраняется, информационное содержание изображения обычно не сохраняется при таких компромиссах между пространственным и спектральным разрешением.

Во многих случаях основной мотивацией для применения спектральной визуализации в дистанционном зондировании является снижение требуемого пространственного разрешения, а следовательно, размера и веса датчика. Поэтому, даже в этом кратком обзоре, стоит рассмотреть проектные компромиссы, связанные с выбором пространственного и спектрального разрешения спектрального датчика. В Таблице 1 суммированы важные параметры формирования спектрального изображения в этом обсуждении.

Таблица 1. Параметры формирования спектрального изображения

Когда достижимое отношение сигнал/шум (SNR) ограничено процессом визуализации в датчике, а не шумом (помехами) в сцене, SNR2 датчика растёт пропорционально произведению площади приёмной апертуры d2, площади пикселя на земле (которую для целей этого простого анализа мы приравниваем к квадрату GSD), интервала времени τd​, в течение которого сигнал интегрируется на детекторе, и яркости сцены Ls​ на датчике:

Время интегрирования пропорционально GSD, делённому на скорость платформы v:

В спектральном датчике сигнал яркости от каждого пикселя раскладывается на K спектральных диапазонов, так что средняя спектральная яркость Ls​ в каждом спектральном диапазоне (детекторе) на фокальной плоскости равна

Подставляя τd​ в уравнение (2) и поглощая масштабный коэффициент яркости сцены в знак пропорциональности, пропорциональность SNR на детекторе можно выразить как

Чтобы связать это выражение со скоростью покрытия площади (ACR), отметим из Рисунка 3, что ширина полосы обзора (SW) равна GSD, умноженному на количество поперечных отсчётов:

где N — общее количество детекторов в фокальной плоскости. Следовательно, уравнение (3) можно переписать как

Тогда достижимая ACR определяется как

Фиксируя размер апертуры d и количество детекторов N на фокальной плоскости, мы находим, что ACR пропорциональна квадрату площади наземного отсчёта и обратно пропорциональна как квадрату SNR, так и квадрату числа спектральных диапазонов:

Выражение для ACR, приведённое в уравнении (4), можно использовать для дальнейшей количественной оценки компромисса между спектральным и пространственным разрешением. Рассмотрим в качестве базовой линии для сравнения панхроматическую систему визуализации (K=1) с GSD=0,3м, SNR=100 и ACR=30км/ч. В следующем сравнении мы рассматриваем 10-диапазонную систему как представителя мультиспектрального датчика и 100-диапазонную систему как представителя гиперспектральной системы.

Рисунок 8.Пример компромиссного пространства для пространственного, спектрального разрешения и скорости покрытия площади (ACR). График слева показывает улучшение ACR, которое может быть достигнуто с помощью мультиспектрального датчика путём обмена пространственного разрешения на спектральное. Базовой эталонной системой является однодиапазонный панхроматический визуализатор с разрешением \(0,3 \, \mathrm{м}\) и ACR \(30 \, \mathrm{км}^2 / \mathrm{ч}\). Красная кривая представляет семейство многодиапазонных визуализаторов, достигающих той же ACR, что и базовый, путём одновременного снижения пространственного разрешения (т.е. увеличения GSD) и SNR в отдельном детекторе. GSD и SNR для однодиапазонной панхроматической системы, 10-диапазонной мультиспектральной системы и 100-диапазонной гиперспектральной системы показаны в красной рамке таблицы справа. Синяя и зелёная кривые соответствуют другим компромиссам, при которых ACR мультиспектрального датчика увеличивается по отношению к панхроматическому базовому уровню. В таблице снова приведены конкретные значения GSD, SNR и ACR для случая 10-диапазонной мультиспектральной системы и 100-диапазонной гиперспектральной системы.

Согласно уравнению (4), увеличение числа спектральных диапазонов при сохранении постоянных GSD и SNR детектора приводит к уменьшению ACR. Поскольку одной из основных причин использования мультиспектральной и гиперспектральной визуализации является снижение зависимости от высокого пространственного разрешения для обнаружения и идентификации, ACR может быть сохранена при увеличении числа спектральных диапазонов путём увеличения GSD (т.е. снижения пространственного разрешения). Согласно уравнению (4), один из способов сохранения ACR при увеличении спектральных диапазонов в KK раз — это уменьшить GSD в K1/2K1/2 раз. Однако, поскольку каждый пиксель раскладывается на KK диапазонов, обработка обнаружения, такая как согласованная фильтрация, которая объединяет KK диапазонов для обнаружения, может дать улучшение SNR в K1/2K1/2 раз, что является выигрышем от некогерентного интегрирования KK отсчётов. Поэтому имеет смысл уменьшить SNR в каждом детекторе в K1/2K1/2 раз и увеличить GSD на меньшую величину. Увеличение GSD в K1/4K1/4 раз и уменьшение SNR в K1/2K1/2 раз сохраняет общую ACR. Уменьшение SNR пикселя в K1/2K1/2 раз вместе с увеличением GSD в K1/2K1/2 раз увеличивает ACR в KK раз по сравнению с базовым панхроматическим датчиком. На Рисунке 8 показаны эти компромиссы между спектральным и пространственным разрешением и их влияние на ACR.

На Рисунке 8 производительность базового панхроматического датчика (один спектральный диапазон) представлена схождением трёх кривых при нормированной ACR, равной 1,0. По мере добавления спектральных диапазонов ACR может быть сохранена путём увеличения GSD пропорционально K1/4K1/4, в то время как SNR детектора уменьшается пропорционально 1/K1/21/K1/2, как показано красной кривой. В сопутствующей таблице приведены примеры результирующих GSD и SNR для случаев K=10K=10 и K=100K=100, соответствующих представительным мультиспектральным и гиперспектральным датчикам. Синяя кривая представляет проектный компромисс, при котором ACR увеличивается в K1/2K1/2 раз по сравнению с панхроматическим базовым уровнем. Из таблицы видно, что увеличение ACR в K1/2=10K1/2=10 раз для K=100K=100 достигается ценой снижения SNR на детектор в K1/4=3,2K1/4=3,2 раза. Согласованная фильтрация спектральной информации в пикселе может компенсировать значительную часть снижения SNR в отдельных детекторах.

Способ обработки данных спектральных изображений сильно зависит от высокой размерности данных. Чтобы проиллюстрировать концепцию размерности данных, рассмотрим мультиспектральный датчик только с тремя спектральными диапазонами λ1​,λ2​,λ3​. Как и в многомерном случае, для характеристики материала используется его отражательная способность в зависимости от длины волны. Для этого малоразмерного примера, если измеряется несколько различных материалов, каждый материал может быть представлен точкой в трёхмерном пространстве, как показано синими точками на Рисунке 9. Каждая уникальная точка в этом пространстве представляет спектральную сигнатуру, определяемую тройкой (λ1​,λ2​,λ3​). Таким образом, спектральная сигнатура рассматривается как вектор длины (или размерности) три. Такое представление очень совместимо со многими численными алгоритмами обработки.

Рисунок 9. Пример данных от мультиспектрального датчика только с тремя спектральными диапазонами \(\lambda_{1}, \lambda_{2}, \lambda_{3}\). В этом трёхмерном примере отражательная способность материала в зависимости от длины волны измеряется в каждом из трёх диапазонов и используется для характеристики материала. Если измеряется несколько различных материалов, каждый материал может быть представлен точкой в трёхмерном пространстве, как показано синими точками. Снижение размерности данных иллюстрируется проекцией облака данных в пространство меньшей размерности, определяемое плоскостью \((\lambda_{1}, \lambda_{2})\). Проецируемые данные, представленные красными точками, всё ещё сохраняют уникальность исходных точек данных, хотя разделение по евклидову расстоянию между точками данных уменьшается.

В зависимости от природы данных может быть возможным спроецировать облако данных в пространство меньшей размерности, сохранив при этом разделение и уникальность точек данных. На Рисунке 9 проиллюстрирован этот процесс, в котором трёхмерное представление (синие точки) проецируется на двумерную плоскость (красные точки), уменьшая размерность на единицу. Если две или более синих точек проецируются в одну и ту же точку на двумерной плоскости, уже невозможно различить спроецированные синие точки как уникальные. В общем случае нахождение проекции, сохраняющей релевантную информационную нагрузку данных (разделение) при уменьшении размерности, является сложной задачей. Статья в этом номере журнала, написанная Нирмалом Кешавой, «Обзор алгоритмов спектрального разделения» (A Survey of Spectral Unmixing Algorithms), описывает эту тему более подробно.

Та же концепция размерности, проиллюстрированная на Рисунке 9, может быть применена к гиперспектральным датчикам с сотнями смежных спектральных диапазонов. В отличие от трёхмерного примера, вся информация, содержащаяся в многомерном облаке данных, не может быть визуализирована с помощью двумерного или трёхмерного перспективного графика. В лучшем случае мы можем построить двумерные и трёхмерные визуализации, проецируя KK-мерный спектральный вектор в соответствующим образом выбранное двумерное или трёхмерное подпространство.

Важным следствием примера снижения размерности является то, что, в отличие от обычных панхроматических и цветных изображений, для максимального извлечения информации и визуализации гиперспектральных изображений большей размерности требуется компьютерная обработка. Эта обработка может быть полностью автоматизированной или выполняться под руководством аналитика. После завершения обработки информация может быть выделена, возможно, с помощью псевдоцвета, и отображена в виде двумерного изображения, но этап компьютерной обработки является необходимым предшественником визуализации.

Если задача состоит в том, чтобы различить конкретный материал цели и конкретный класс фона, нескольких хорошо выбранных спектральных диапазонов обычно достаточно для разделения материалов цели и фона. Если это так, можно задаться вопросом о мотивации гиперспектрального зондирования, при котором датчик измеряет сотни смежных узких диапазонов. Однако разные материалы имеют разные спектральные признаки. Некоторые краски и растительность могут характеризоваться широкими, медленно меняющимися спектральными признаками. Другие материалы, такие как минералы и газы, имеют очень узкие спектральные признаки, и расположение этих узких признаков в спектральном диапазоне различается для каждого класса материалов. Поэтому узкие спектральные диапазоны могут потребоваться для разрешения признаков, помогающих различать похожие спектры, а смежные диапазоны необходимы для обработки ожидаемого разнообразия материалов, поскольку важные признаки могут находиться в разных спектральных положениях для каждого материала. Кроме того, узкие спектральные диапазоны, примыкающие к полосам поглощения водяного пара, важны для оценки и коррекции переменного содержания водяного пара в атмосфере.

Таким образом, если бы нас интересовали только несколько материалов целей и фонов, ограниченное число тщательно выбранных узких спектральных диапазонов было бы достаточным для восстановления ключевых спектральных признаков. Однако по мере добавления в список большего числа типов целей и фонов количество и расположение спектральных диапазонов, необходимых для различения любой заданной спектральной пары, быстро растёт. Одним из возможных решений было бы создание множества специализированных датчиков, каждый из которых собирает только минимальный набор диапазонов, необходимых для ограниченного набора целей и фонов. Более экономически эффективным и надёжным решением является создание одного типа датчика, который передискретизирует спектральную информацию, и разработка алгоритмов для конкретных приложений или семейства алгоритмов, которые удаляют избыточную или нежелательную спектральную информацию, сохраняя информацию, релевантную для данного приложения. Суть гиперспектральной обработки для обнаружения и идентификации материалов заключается в извлечении ключевых признаков и подавлении избыточных или общих признаков.

Передискретизируя спектральную информацию, мы можем применять гиперспектральные датчики к различным задачам, адаптируя обработку для извлечения релевантной информации. Однако есть большая ценность в адаптации пространственного разрешения и поля зрения датчика к предполагаемому классу приложений. Более высокое пространственное разрешение обеспечивает улучшенное отношение сигнал/фоновая помеха для пространственно малых целей, обычно ценой уменьшенного поля зрения датчика. В общем, пространственное разрешение датчика выбирается на основе пространственной протяжённости основных целей интереса. На Рисунке 10 представлена упрощённая таксономия многих различных типов приложений гиперспектральной визуализации, выделяющая три основные категории: обнаружение аномалий, распознавание целей и характеризация фона.

Рисунок 10. Упрощённая таксономия приложений для гиперспектральной визуализации. Три основные категории приложений: обнаружение аномалий, распознавание целей и характеризация фона. Обнаружение аномалий разделяет пиксели на искусственные объекты или природные особенности, распознавание целей предоставляет параметры обнаружения вместе с параметрами классификации потенциальных целей, а характеризация фона идентифицирует состояние природных особенностей, связанных с сушей, океаном или атмосферой.

Обнаружение аномалий характеризуется желанием найти и идентифицировать необычные объекты на изображении. Эти объекты могут быть искусственными материалами, рассеянными в природном фоне, или отклонениями природных особенностей от нормы. Одним из ранних применений мультиспектральной визуализации было обнаружение распространения кукурузной гнили на Среднем Западе [10]. Это применение зависит в первую очередь от способности различать увядшие коричневые листья, вкраплённые в поля здоровых зелёных стеблей кукурузы.

Распознавание целей отличается от обнаружения аномалий наличием некоторой априорной информации о цели. Эта информация может быть библиотекой спектральных сигнатур отражения, связанных с целями, или менее явной информацией, такой как сигнатура отражения, извлечённая из самой сцены. Например, обнаружение аномалий может быть использовано для выделения конкретных материалов в сцене, а последующие пролёты датчика визуализации могут быть использованы для поиска аналогичных материалов, а также для проверки того, что ранее обнаруженные объекты или материалы не переместились. Со спектральной библиотекой материалы могут быть идентифицированы и связаны с конкретными типами целей, что обеспечивает форму распознавания целей.

Первые две категории приложений, перечисленные на Рисунке 10, подчёркивают обнаружение и идентификацию пространственно изолированных объектов на изображении в виде аномалий или целей. Третья категория подчёркивает общий анализ и идентификацию фоновой сцены и охватывает области суши, океана и атмосферы. Поскольку программа спутниковой визуализации Landsat работает уже более тридцати лет, большая часть данных спектральных изображений, собранных до настоящего времени, была ориентирована на характеристику суши с использованием мультиспектральных датчиков со значениями GSD 30 метров и более.

Примером характеризации фоновой сцены является прибрежная характеризация, включая батиметрию мелководья. В боковой вставке «Гиперспектральное и мультиспектральное дистанционное зондирование для прибрежной характеризации» показана эволюция мультиспектральных датчиков для этого приложения и приведены примеры информационных продуктов, которые могут быть получены из мультиспектральных и гиперспектральных данных.

Как было показано в предыдущем разделе, количество и разнообразие приложений для гиперспектрального дистанционного зондирования потенциально очень велико. Однако большинство алгоритмов, используемых в этих приложениях, могут быть организованы в соответствии со следующими примитивными задачами, специфичными для приложения: (a) поиск пикселей гиперспектрального куба данных на наличие редких спектральных сигнатур (обнаружение аномалий или обнаружение целей); (b) обнаружение значимых (т.е. важных для пользователя) изменений между двумя гиперспектральными сценами одной и той же географической области (обнаружение изменений); (c) присвоение метки или класса каждому пикселю гиперспектрального куба данных (классификация); и (d) оценка доли площади пикселя, занимаемой каждым материалом, присутствующим в пикселе (разделение). Отметим, что с точки зрения обработки сигналов задача cc (присвоение меток пикселям) является задачей классификации, тогда как задача dd (определение составляющих элементов пикселя) является задачей оценивания.

Исходные данные с датчика обычно должны пройти серию операций калибровки и коррекции для компенсации артефактов и вариаций усиления в датчике. Результатом является калиброванный куб яркости, который может быть обработан непосредственно или к которому может быть применена атмосферная компенсация для получения куба отражения. После создания калиброванного куба данных уменьшение размерности данных перед применением алгоритмов обнаружения или классификации может привести к значительному снижению общей вычислительной сложности. Уменьшение размерности данных также снижает количество пикселей, необходимых для получения точных оценок статистических параметров, поскольку количество выборок (пикселей), необходимое для получения статистической оценки с заданной точностью, обычно пропорционально некоторой степени размерности данных. Наиболее широко используемым алгоритмом для уменьшения размерности является анализ главных компонент (PCA), который является дискретным аналогом преобразования Кархунена-Лоэва для непрерывных сигналов. Алгоритм PCA более подробно описан в статье этого выпуска «Повышение производительности гиперспектральных систем визуализации с помощью слияния датчиков» (Enhancing Hyperspectral Imaging System Performance with Sensor Fusion) Сю Мэй Сю и Сяо-Хуа К. Берк.

На Рисунке 11 представлена упрощённая блок-схема цепи спектральной обработки, начиная с калиброванного куба яркости и иллюстрирующая общие элементы атмосферной компенсации и уменьшения размерности. Последующая специализированная обработка зависит от предполагаемого приложения. На Рисунке 11 показаны два из многих возможных приложений — разделение (unmixing) и обнаружение, каждое из которых кратко обсуждается в следующих разделах и более подробно рассматривается в сопутствующих статьях этого выпуска.

Рисунок 11. Упрощённая схема спектральной обработки. Спектральная обработка обычно начинается с калибровки куба данных, за которой следует атмосферная компенсация и уменьшение размерности. Последующая специализированная обработка определяется конечным приложением пользователя, таким как разделение или обнаружение.

Формально классификация — это процесс присвоения метки наблюдению (обычно вектору числовых значений), тогда как обнаружение — это процесс идентификации существования или наступления условия. В этом смысле обнаружение можно рассматривать как задачу двухклассовой классификации: цель существует или цель не существует. Традиционные классификаторы присваивают одну и только одну метку каждому пикселю, создавая так называемую тематическую карту. Этот процесс называется жёсткой классификацией. Однако необходимость более эффективной работы с пикселями, содержащими смесь различных материалов, приводит к концепции мягкой классификации пикселей. Мягкий классификатор может присвоить каждому пикселю несколько меток, при этом каждая метка сопровождается числом, которое может интерпретироваться как вероятность правильности этой метки или, в более общем смысле, как доля материала в пикселе.

С точки зрения информационных продуктов цель алгоритмов обнаружения целей — создание карт целей при постоянной вероятности ложной тревоги (CFAR), что является весьма желательной особенностью этих алгоритмов. Алгоритмы обнаружения изменений создают карту значительных изменений сцены, которые для надёжной работы зависят от наличия надёжного порога CFAR для обнаружения изменений. Жёсткие или мягкие тематические карты, создаваемые этими CFAR-алгоритмами, передают информацию о материалах в сцене, и эта информация может быть более эффективно использована для обнаружения целей или изменений.

Подход с тематическими картами неосуществим для приложений обнаружения целей из-за отсутствия обучающих данных для цели. На первый взгляд, обнаружение и классификация выглядят обманчиво похожими, если не идентичными. Однако существуют некоторые фундаментальные теоретические и практические различия, возникающие из-за редкости класса цели, желаемого конечного продукта (карты обнаружения целей против тематических карт) и различных функций стоимости (ошибка классификации пикселей в тематической карте не так критична, как пропуск цели или перегрузка алгоритма отслеживания целей ложными тревогами). Алгоритмы CFAR-обнаружения более подробно обсуждаются в статье «Обработка гиперспектральных изображений для автоматического обнаружения целей» (Hyperspectral Image Processing for Automatic Target Detection Applications) Димитриса Манолакиса, Дэвида Мардена и Гэри А. Шоу.

Как отмечалось в обсуждении пространственного разрешения, поскольку материалы интереса (т.е. цели) могут быть не полностью разрешены в пикселе, существует ценность в возможности разложить спектральную сигнатуру каждого пикселя сцены на отдельную совокупность спектров материалов, составляющих каждый пиксель. Разработка алгоритмов для извлечения составляющих спектров, образующих пиксель, — процесс, называемый разделением (unmixing), активно велась только в последнее десятилетие. В отличие от обнаружения и классификации, разделение является задачей оценивания. Следовательно, это более сложный процесс и он извлекает больше информации из данных. Статья в этом номере журнала «Обзор алгоритмов спектрального разделения» (A Survey of Spectral Unmixing Algorithms) Нирмала Кешавы более подробно обсуждает вопросы, связанные с разделением.

Общее качество пассивных изображений и успех в извлечении и идентификации спектральных сигнатур из мультиспектральных или гиперспектральных изображений сильно зависят от условий освещения сцены. Как отмечалось ранее, освещение в сцене может значительно варьироваться из-за теней, атмосферных эффектов и угла солнца. Фактически, на многих широтах недостаток адекватного солнечного освещения препятствует надёжной спектральной визуализации отражения в течение большей части суток. Очевидное решение этой проблемы — обеспечить активное контролируемое освещение интересующей сцены. Однако достижение этой простой цели требует гораздо большей сложности, чем можно было бы сначала предположить.

В пиковые месяцы солнечное освещение, достигающее земной поверхности, может составлять 800 Вт/м2800Вт/м2 и более, концентрируясь в видимой области спектра. На примере гиперспектрального датчика AVIRIS (Airborne Visible Infrared Imaging Spectrometer) Лаборатории реактивного движения NASA (JPL) [12] для искусственного создания такого уровня непрерывного освещения над полосой обзора 17 м×11 км17м×11км, составляющей строку сканирования AVIRIS, потребовалась бы оптическая мощность порядка 150 МВт150МВт, что явно непрактично. Можно предпринять несколько шагов для снижения требуемой мощности освещения. Можно уменьшить площадь проекции мгновенного поля зрения датчика на землю. Это уменьшение может быть достигнуто путём сужения углового поля зрения датчика, приближения датчика к сцене или комбинации того и другого. Поскольку площадь уменьшается пропорционально квадрату дальности и квадрату углового поля зрения, уменьшение каждого в десять раз снизит требуемую мощность освещения в 10 000 раз.

Интенсивность искусственного освещения также может быть снижена по сравнению с естественным солнечным освещением, но это требует, чтобы датчик и связанная с ним обработка работали при более низких SNR. Снижение на порядок по сравнению с пиковым солнечным освещением может быть возможным в зависимости от освещаемой сцены. Уменьшение интенсивности освещения может быть достигнуто либо равномерным снижением оптической мощности, либо выборочным уменьшением освещения в отдельных спектральных диапазонах. Например, с мультиспектральным датчиком нет смысла освещать спектральные диапазоны, лежащие вне диапазонов обнаружения датчика. Другой способ уменьшить общую энергию освещения — использовать импульсное освещение, аналогично работе фотовспышки на камере.

Благодаря комбинации уменьшенной дальности до цели, уменьшенного поля зрения, более низкого рабочего SNR и импульсного избирательного по диапазонам освещения можно активно освещать сцены для мультиспектральных и гиперспектральных датчиков. Ранним примером такого датчика был мультиспектральный активно-пассивный датчик (MAPS) Lincoln Laboratory, который включал активное импульсное лазерное освещение на 0,85 μм0,85μм и 10,59 μм10,59μм, а также тепловизор в диапазоне 8–12 μмμм [13]. Более поздняя работа, обсуждаемая в статье «Активная спектральная визуализация» (Active Spectral Imaging) Мелиссы Л. Нишан, Роуз М. Джозеф, Джастина К. Либби и Джона П. Керекеса, расширяет концепцию активного изображения на гиперспектральный режим с использованием нового импульсного лазера белого света для освещения.

Существуют интересные параллели в развитии радиолокационной визуализации и спектральной визуализации, и в особенности гиперспектральной визуализации. На Рисунке 12 показаны вехи в разработке мультиспектральных и гиперспектральных бортовых и космических датчиков. Для сравнения в нижней части рисунка также включены основные вехи в развитии SAR-визуализации. Первая действующая радиолокационная система — Chain Home Radar — начала работу в Великобритании в 1937 году. Менее чем через шестнадцать лет, в 1953 году, в США начались эксперименты с бортовой SAR бокового обзора. Работы по бортовой SAR в конечном счёте привели к разработке и запуску NASA в 1978 году экспериментального космического SAR Seasat. Ровно четверть века прошло между первой демонстрацией бортовой SAR бокового обзора и запуском космического SAR Seasat.

Для сравнения, один из первых успешных бортовых мультиспектральных сканирующих визуализаторов, M-7 Исследовательского института окружающей среды Мичигана (ERIM), был продемонстрирован в 1963 году. Двадцать четыре года спустя, в 1987 году, был введён в эксплуатацию первый бортовой гиперспектральный визуализатор, названный AVIRIS. AVIRIS был первым наземным визуализирующим спектрометром, охватывающим всю солнечно-отражательную часть спектра в узких смежных спектральных каналах. Через тринадцать лет после ввода в эксплуатацию AVIRIS первый космический гиперспектральный датчик, названный Hyperion, был выведен на орбиту на спутнике EO-1. Тридцатичетырёхлетний разрыв между первой бортовой SAR в 1953 году и первым бортовым гиперспектральным визуализатором в 1987 году и двадцатидвухлетний разрыв между запусками Seasat и Hyperion позволяют предположить, что гиперспектральная визуализация следует временной шкале развития, аналогичной SAR, но на несколько десятилетий менее зрела.

Рисунок 12. Временная шкала, показывающая развитие трёх различных категорий спектральной визуализации, а также параллельные разработки в области радиолокации с синтезированной апертурой (SAR). Верхняя временная шкала представляет эволюцию мультиспектрального зондирования от бортовых экспериментов через серию спутниковых визуализаторов Landsat, кульминацией которых стал эксперимент с усовершенствованным наземным визуализатором (ALI) на борту спутника NASA Earth Observing (EO-1). Вторая временная шкала иллюстрирует, что гиперспектральное зондирование с высоким пространственным разрешением ( \(\leq 30 \, \text{м}\) ) было реализовано на ряде экспериментальных бортовых платформ, включая Hyperspectral Digital Imagery Collection Experiment (HYDICE) и Airborne Visible Infrared Imaging Spectrometer (AVIRIS). EO-1 также несёт гиперспектральный датчик Hyperion в дополнение к мультиспектральному датчику ALI. Третья временная шкала показывает, что активное мультиспектральное и гиперспектральное зондирование на сегодняшний день ограничено лишь несколькими исследовательскими проектами.

Заимствуя из работ по алгоритмам и уроков, извлечённых при разработке радиолокационных и мультиспектральных датчиков, есть основания полагать, что разрыв в зрелости более чем в двадцать лет между SAR-визуализацией и гиперспектральной визуализацией может быть быстро сокращён. По сравнению с двадцатипятилетним разрывом между первой бортовой SAR и запуском космической SAR, разрыв всего в тринадцать лет между AVIRIS, первым бортовым гиперспектральным датчиком, и космическим Hyperion является обнадёживающим признаком того, что гиперспектральная технология быстро созревает.

В Таблице 2 приведено резюме этого обзора систем спектральной визуализации, сравнивающее ключевые особенности трёх гиперспектральных датчиков — Hyperspectral Digital Imagery Collection Experiment (HYDICE) [14], AVIRIS и Hyperion [15] — упомянутых на Рисунке 12. Обратите внимание, что датчики охватывают диапазон высот и значений GSD. На Рисунке 13 (не в масштабе) сравниваются ширины полос обзора датчиков, иллюстрируя компромисс между пространственным разрешением, ACR и высотой. На Рисунке 13 также показана ширина полосы обзора Landsat-7, который предшествует EO-1 на орбите на одну минуту. Данные с этих и других датчиков дают сообществу дистанционного зондирования возможность совершенствовать и улучшать алгоритмы и концепции приложений.

Таблица 2. Сравнение гиперспектральных систем визуализации

Рисунок 13. Режимы высоты и покрытия площади для платформ гиперспектральных датчиков HYDICE, AVIRIS и Hyperion (на EO-1). Номинальная ширина полосы обзора и пространственное разрешение каждого датчика показаны в скобках. Обратите внимание на разницу в ширине полосы обзора между зрелым действующим мультиспектральным датчиком Landsat-7 (185 км) и экспериментальными гиперспектральными датчиками — HYDICE (0,25 км), AVIRIS (11 км) и Hyperion (7,6 км).

В этом выпуске Journal содержатся шесть статей, посвящённых областям исследований спектральных изображений в Lincoln Laboratory. Первая статья «Компенсация атмосферных эффектов в гиперспектральных данных» (Compensation of Hyperspectral Data for Atmospheric Effects) Майкла К. Гриффина и Сяо-Хуа К. Берк посвящена важному вопросу атмосферной или, в более общем смысле, экологической компенсации и характеризации. Алгоритмы, предназначенные для обнаружения или идентификации материалов по спектральной сигнатуре, должны учитывать влияние окружающей среды, включая солнечное освещение, атмосферное ослабление и рассеяние, а также затенение. Для пользователя, ищущего спектральные сигнатуры на изображении, атмосферные артефакты являются помехой, которую необходимо удалить. Однако для учёного-атмосферника эти артефакты дают богатую информацию об изменениях в атмосферных газах и аэрозолях.

Вторая статья «Обзор алгоритмов спектрального разделения» (A Survey of Spectral Unmixing Algorithms) Нирмала Кешавы посвящена широкому классу алгоритмов, играющих центральную роль в раскрытии информации, содержащейся в гиперспектральном сигнале. Поскольку данный пиксель в гиперспектральном изображении может состоять из многих материалов, были разработаны методы для оценки количества и типов материалов в пикселе, а также относительной доли площади пикселя, занимаемой каждым материалом. Эта задача оценивания обычно называется разделением (unmixing).

Третья статья «Обработка гиперспектральных изображений для автоматического обнаружения целей» (Hyperspectral Image Processing for Automatic Target Detection Applications) Димитриса Манолакиса, Дэвида Мардена и Гэри А. Шоу посвящена автоматическому обнаружению пространственно разрешённых и пространственно неразрешённых целей в гиперспектральных данных. По сравнению с традиционной задачей классификации земного покрова, использование гиперспектральных изображений для обнаружения целей предъявляет новые требования к алгоритмам обработки и обнаружения. Цели обычно разрежены на изображении, и их пикселей слишком мало для поддержки статистических методов классификации. Кроме того, ошибка при объявлении цели, когда её нет (ложная тревога), может быть дорогостоящей с точки зрения последующих действий или может просто перегрузить аналитика, если слишком много ложных целей объявлено. В этой статье описывается теоретическая основа автоматического обнаружения целей, а также характеризуется производительность детекторов на реальных данных, указывая на отклонения от теории.

Сбор гиперспектральных изображений для поддержки разработки алгоритмов, исследований и оценки производительности является дорогостоящим предприятием, отчасти из-за эксплуатационных расходов датчика, но также из-за необходимости тщательной характеризации сцен (т.е. определения наземной истины), в которых собираются данные. Даже когда кампания по сбору данных проходит гладко и предоставляется всесторонняя наземная истина, результатом всё равно является набор данных ограниченного географического и временного масштаба (ограниченные фоны, освещение, сезонные вариации) с ограниченным числом целей. Из-за трудоёмкого и дорогостоящего характера кампаний по сбору данных, а также ограниченного масштаба собранных данных моделирование и симуляция играют важную роль в дополнении наборов данных и рассмотрении системных компромиссов. Четвёртая статья «Моделирование гиперспектральных систем визуализации» (Hyperspectral Imaging System Modeling) Джона П. Керекеса и Джеррольда Э. Баума представляет статистическую модель гиперспектральной визуализации и описывает её использование для поддержки различных прогнозов производительности и компромиссов производительности.

Недавние достижения в технологии открыли возможность объединения мультиспектральных и гиперспектральных методов визуализации с активным освещением и стробированием по дальности. Пятая статья «Активная спектральная визуализация» (Active Spectral Imaging) Мелиссы Л. Нишан, Роуз М. Джозеф, Джастина К. Либби и Джона П. Керекеса описывает исследовательские усилия по выявлению приложений и количественной оценке преимуществ производительности активного освещения сцен как в гиперспектральной, так и в мультиспектральной визуализации.

Гиперспектральная визуализация в основном полагается на спектральные признаки для обнаружения и идентификации целей (точнее, для идентификации поверхностных покрытий целей), тогда как высокоразрешающая панхроматическая визуализация и радиолокационная визуализация больше полагаются на пространственно инвариантные признаки. Каждая из этих модальностей зондирования имеет свои сильные и слабые стороны. Важной областью исследований являются методы объединения или слияния информации из мультимодального зондирования для улучшения общей производительности обнаружения и идентификации различных классов целей. Шестая статья «Мультисенсорное слияние с данными гиперспектральной визуализации: обнаружение и классификация» (Multisensor Fusion with Hyperspectral Imaging Data: Detection and Classification) Сю Мэй Сю и Сяо-Хуа К. Берк описывает несколько методов слияния пространственной и спектральной информации из гетерогенных датчиков для повышения производительности обнаружения и идентификации, а также для создания более легко интерпретируемых объединённых изображений.

Авторы хотели бы поблагодарить наших коллег Майкла Гриффина, Джерри Баума и Питера Бётчера за их вклад в Рисунки 2, 4 и 9 соответственно, а также Джона Керекеса и Дона Ленчиони за полезные обсуждения компромиссного пространства спектр-пространство. Большая часть работы, описанной в этом специальном выпуске по спектральной визуализации, была профинансирована Управлением заместителя министра обороны (по науке и технике).

На протяжении многих лет было приложено много усилий для разработки методов количественной оценки и компенсации вредных эффектов атмосферы на спектральную визуализацию, что привело к появлению различных методов и моделей атмосферной компенсации. Большинство этих методов можно классифицировать либо как статистические методы, основанные на сцене, либо как методы, основанные на физическом моделировании. Первые используют априорные знания об отражательных характеристиках конкретных эталонных объектов (таких как калибровочные панели) в сцене для установления статистических соотношений между наблюдениями на датчике и известным поверхностным отражением. Метод эмпирической линии (ELM) является одним из старейших и наиболее часто используемых статистических методов атмосферной компенсации [1, 2].

Концепция метода ELM проста. Полевые измерения поверхностного отражения выбранных эталонных объектов проводятся на земле, с близкого расстояния, в контролируемых условиях. Эти измерения представляют собой наземные эталонные данные. Обычно эталонные объекты тщательно выбираются или изготавливаются для обеспечения относительно постоянного отражения в интересующих спектральных диапазонах измерений, и они размещаются в сцене для обеспечения хорошей видимости по линии визирования с бортовой или космической платформы. Во время сбора данных эти эталонные объекты включаются в изображения, собираемые датчиком. Для каждого спектрального диапазона в данных датчика выполняется линейная регрессия для связи исходной или калиброванной яркости, измеренной в каждом спектральном диапазоне, с соответствующим наземным эталонным поверхностным отражением. Результатом является коэффициент коррекции усиления и смещения для каждого спектрального диапазона.

Рисунок 1. Эмпирические калибровочные линии для набора данных HYDICE от эталонных панелей отражения, размещённых в сцене. Три произвольно выбранные длины волн иллюстрируют коррекции усиления и смещения для этих диапазонов. Точки данных, определяющие линии, соответствуют двум эталонным панелям с отражением \(4\%\) и \(32\%\).

На Рисунке 1 проиллюстрирована концепция для трёх различных спектральных диапазонов с использованием данных HYDICE, содержащих два эталонных объекта отражения, один — панель с номинальным отражением 4%, а другой — панель с номинальным отражением 32%. На этом рисунке средняя яркость для всех пикселей на данной панели построена в зависимости от наземного эталонного измерения отражения. Обратите внимание, что усиление G и смещение Lo​ варьируются в зависимости от диапазона. Для данного измерения яркости датчика Ls​ в другом месте сцены отражение ρρ в этом месте может быть оценено, зная коэффициенты усиления и смещения для каждого спектрального диапазона, по простой формуле

ρ=GLs​−Lo​​.

В первом приближении член смещения Lo​ равен восходящей яркости трассы, которая накладывается на желаемый сигнал яркости на уровне земли, представляющий интерес. Член усиления пропорционален двустороннему атмосферному пропусканию, модулированному спектральной облучённостью Солнца.

Метод ELM обычно даёт хорошие оценки поверхностных отражений сцены при условии, что отражения эталонных объектов точны и спектрально однородны. Однако недостатком ELM является предположение о том, что атмосферные условия, наблюдаемые над эталонными объектами, одинаковы в других частях сцены. Фактически, информация, относящаяся к промежуточной атмосфере, не выводится с помощью подхода ELM, и, следовательно, ELM не может учитывать любые вариации атмосферы по сцене. Например, топографические вариации атмосферного пути приводят к остаточным атмосферным поглощениям, зависящим от высоты. Крайний пример, но хорошо знакомый всем, — это карманы тумана в низинах, в то время как соседние участки, на немного большей высоте, свободны от тумана.

Рисунок 2. Коррекции метода эмпирической линии (ELM) для (a) усиления и (b) смещения, вычисленные по отражениям эталонных панелей и калиброванным данным яркости HYDICE.

На Рисунке 2 показаны члены коррекции усиления и смещения ELM в зависимости от длины волны, вычисленные для сбора данных HYDICE Forest Radiance-I. Обратите внимание на сходство формы между членом коррекции усиления на Рисунке 2(a) и кривой спектральной яркости Солнца на Рисунке 2 основной статьи. ELM-выведенное отражение, полученное путём применения коррекции усиления и смещения к данным яркости, измеренным для одной из эталонных панелей, сравнивается с наземным эталонным отражением на Рисунке 3. Поскольку коррекции усиления и смещения ELM частично выводятся из измерений панели, неудивительно, что соответствие хорошее.

Рисунок 3. Отражение, полученное методом ELM на основе измерений яркости HYDICE для эталонной панели с отражением \(32\%\).

Когда эталонные панели не могут быть предварительно размещены в интересующей сцене, были разработаны методы для оценки членов коррекции усиления и смещения с использованием некоторых природных объектов в сцене. Например, гладкие водные поверхности обычно имеют очень низкое отражение, поэтому яркость, измеренная над такими тёмными объектами, может быть отнесена к восходящему члену яркости трассы Lo. Однако зависимость от присутствия подходящих эталонных объектов в сцене для выполнения атмосферной компенсации часто ограничивает возможности. Даже если такие объекты могут быть найдены, подразумеваемое предположение об атмосферной однородности по всей сцене часто нарушается. По этим причинам были разработаны модели на основе физики для обеспечения атмосферной компенсации даже в отсутствие эталонных объектов с известным отражением.

Двумя наиболее часто используемыми моделями на основе физики являются алгоритм атмосферного удаления (ATREM) [3] и быстрый анализ атмосферы по линии визирования для спектральных гиперкубов (FLAASH) [4]. Хотя ATREM и FLAASH различаются в деталях своего подхода, оба включают ключевой этап использования методов отношения диапазонов [5, 6] для количественной оценки влияния водяного пара на гиперспектральные измерения. Детальное обсуждение и сравнение этих методов атмосферной компенсации на основе физики выходит за рамки этой статьи, но количественные оценки производительности можно найти в других источниках [7, 8], включая статью в этом выпуске «Компенсация атмосферных эффектов в гиперспектральных данных» (Compensation of Hyperspectral Data for Atmospheric Effects) Майкла К. Гриффина и Сяо-Хуа К. Берк.

Вкратце, метод отношения диапазонов включает сравнение отношений измерений яркости вблизи краёв известных атмосферных полос поглощения водяного пара для оценки столбового водяного пара в атмосфере на попиксельной основе. Таблицы поиска (LUT), индексируемые измеренными величинами в сцене в сочетании с другой заданной информацией, такой как зенитный угол Солнца, предоставляют информацию, необходимую для оценки отражения по всей сцене без использования эталонных объектов в сцене. Другая информация, помимо отражения, также может быть получена из моделей на основе физики, включая оценки высоты местности и оптической толщины аэрозолей (дальность видимости). На Рисунке 4 показана упрощённая блок-схема процесса обработки FLAASH.

Рисунок 4. Упрощённая блок-схема кода быстрого анализа атмосферы по линии визирования для спектральных гиперкубов (FLAASH).

Гэри А. Шоу — старший научный сотрудник группы перспективных космических систем и концепций. В настоящее время его исследования сосредоточены на концепциях совместного зондирования, включая энергоэффективные методы как для прямой, так и для непрямой электрооптической связи и сетевого взаимодействия. Он присоединился к Lincoln Laboratory в 1980 году для работы над адаптивной обработкой радиолокационных систем и был членом исследовательской группы, которая в начале 1980-х годов запустила программу разработки концепций доступной космической радиолокации. С 1984 по 1987 год он занимал должность руководителя испытаний и помощника руководителя радиолокационных станций ALCOR и MMW на полигоне измерения точек входа на атолле Кваджалейн. После работы на Кваджалейне он занимал должности помощника руководителя группы, а затем заместителя руководителя группы в том, что сейчас является группой сенсорных технологий и системных приложений, где он применял свои знания в области обработки сигналов к разработке алгоритмов для радиолокационных и пассивных датчиков. Он получил степени бакалавра и магистра в области электротехники в Университете Южной Флориды и докторскую степень в области электротехники в Технологическом институте Джорджии, где он был как стипендиатом Президента, так и стипендиатом Schlumberger.

Сяо-Хуа К. Берк является руководителем группы сенсорных технологий и системных приложений. В области дистанционного зондирования она специализируется на применении оптических датчиков, особенно на анализе данных и разработке алгоритмов. Недавняя область интересов — применение гиперспектральных технологий для Министерства обороны, включая слияние информации гиперспектральных данных с другими датчиками. Она получила докторскую степень по физике атмосферы в Университете Райса и присоединилась к Lincoln Laboratory в качестве научного сотрудника в 1981 году.