Рабочий процесс создания гиперспектрального беспилотного летательного аппарата: проблемы и возможности

C. Proctor , Y. He
Department of Geography, University of Toronto Mississauga, 3359 Mississauga Road, Mississauga, Ontario, L5L 1C6, Canada – yuhong.he@utoronto.ca

Аннотация

В связи с ограниченными возможностями полезной нагрузки большинства платформ БПЛА в рамках академического бюджета, многие системы используют коммерческие RGB-камеры. Однако для многих применений требуется более высокая спектральная точность, которую могут обеспечить только гиперспектральные датчики.

Введение

Использование готовых систем является наиболее распространенным выбором для дистанционного зондирования с БПЛА. Разработка пользовательских систем требует больших технических знаний на инженерном уровне и глубокого знакомства с основами авионики. Хотя коммерческие готовые технологии в значительной степени устранили необходимость в импровизации с изготовлением плат на заказ, для выбора и интеграции электронных компонентов и программного обеспечения требуется значительная предусмотрительность и организованность.
Указанные требования значительно возрастают при работе с гиперспектральным дистанционным зондированием, поскольку, поскольку объём и вес датчика и его бортовая высокоскоростная система сбора и хранения данных требуют более высокой интеграции сенсорной системы с автопилотом и системой питания. На данный момент готовые комплекты, включающие БПЛА и датчик, в коммерческой продаже отсутствуют. Это вынуждает взаимодействовать как минимум с тремя сторонами: производителем сенсоров, производителем БПЛА и третьей стороной — инжиниринговой компанией, предоставляющей услуги интеграции. Поскольку ни одна сторона, вероятно, ранее не работала с остальными, существует значительная обязанность убедиться в совместимости аппаратного и программного обеспечения. Учитывая все обстоятельства, те, кто занимается разработкой индивидуальных систем дистанционной съемки с использованием БПЛА ,стремящиеся достичь уровня рыночной востребованности, должны понимать, что сроки выполнения работ будут длительными, а ожидания - умеренными.

Наша исследовательская группа с 2013 года работает над формированием исследовательского подхода вокруг коммерческого готового гиперспектрального сенсора и беспилотного летательного аппарата в рамках академического бюджета исследования. В данной статье рассматриваются некоторые ключевые решения, принятые при выборе оборудования, а также способы преодоления логистических трудностей..  В заключительной части работы мы представляем собранные на данный момент снимки и обсуждаем доступные варианты обработки и использования гиперспектральных данных.

2. ОБОРУДОВАНИЕ ДЛЯ ГИПЕРСПЕКТРАЛЬНОЙ СИСТЕМЫ БПЛА

2.1 Гиперспектральный датчик

Как и для любого прибора дистанционного зондирования, спектральные характеристики датчика играют ключевую роль в понимании и использовании получаемых данных. В отличие от коммерческих RGB-камер, гиперспектральные датчики          имеют значительные конструктивные улучшения, повышающие селективность и однородность собираемого излучения в каждом спектральном диапазоне.

Многие гиперспектральные камеры представляют собой системы с линейным сканированием, использующие дифракционную решетку для разделения монохроматического света на различные длины волн. Такой подход аналогичен тому, что применяется в Landsat и других спутниковых сенсорах где луч света делится и фильтруется таким образом, что каждый ряд светочувствительных фоторецепторов получает излучение независимо от других длин волн.
В этом случае используется стандартная сборка CCD, где строки представляют пространственное измерение, а столбцы — спектральное. В противоположность этому, коммерческие RGB-камеры используют байеровский фильтр поверх массива фоторецепторов, в результате чего формируется изображение в байеровском формате, где каждый пиксель фиксирует только один из трех цветов, требуя последующей интерполяции для получения полноцветного изображения.
Фильтрующий аспект камер RGB важен для понимания их недостатков как высокоточного научного инструмента. Идеальная сенсорная система должна иметь 100%-ную спектральную реакцию исключительно на фотоны интересующей длины волны внутри определенного диапазона.

Однако физические и инженерные ограничения ограничивают возможности всех сенсоров. Тем не менее производительность датчика можно количественно оценить по спектру. Обычно спектральная реакция определяется главным образом квантовой эффективностью, вероятностью того, что поступивший фотон создаст электронную силу. Использование спектральных фильтров и высококачественных фоторецепторов обеспечивает Landsat 8 четко определённые области восприятия, близкую к равномерной квантовую эффективность и минимальное перекрытие между двумя совместно регистрируемых между двумя диапазонами (Рисунок 1). Для сравнения, камера Canon 1D Mark III демонстрирует больше гауссовскую спектральную реакцию с заметными провалами в многих диапазонах длин волн. Существует значительное перекрытие между полосами, так что около 570 нм зелёный и красный цвета приблизительно равны по спектральной реакции, тогда как длины волн около 525 нм вносят вклад в излучение, измеряемое в сине-зелёно-красном диапазоне. Наконец, величина квантовой эффективности может существенно различаться между полосами, причём красные длины волн составляют почти половину величины зеленых.

Калибровка камер требует наличия стабильного монохроматического источника света и датчика. В настоящее время такие процедуры обычно не проводятся из-за дополнительных затрат. Поэтому существует недостаток данных о спектральном отклике камер.

Ситуация ещё более сложная для камер, преобразованных для работы в ближнем инфракрасном (NIR) диапазоне. В большинстве таких камер удаляется фильтр, который перекрывает весь CCD для фильтрации NIR-излучения, к которому он чувствителен. Байеровский фильтр заменяется на другой, который либо преобразует синий канал для чувствительности к NIR, либо заменяет фильтр над красным каналом на такой, который пропускает как красное, так и NIR-излучение (подробнее: https://www.maxmax.com/spectral_response.htm). Как побочный эффект удаления NIR-фильтра, синий и зелёный каналы также могут быть чувствительны к NIR-длинам волн, однако их вклад в общий сигнал незначителен. Поэтому многие каналы в преобразованных RGB-камерах загрязнены спектрами длин волн, не относящихся к интересующей области. Кроме того, есть некоторые указания на то, что квантовая эффективность снижается по сравнению с немодифицированными камерами, хотя, насколько нам известно, прямое сравнение не проводилось. Также неясно, как электроника NIR-преобразованных камер, откалиброванная для работы с излучением в видимом спектре, будет вести себя при воздействии NIR-излучения. В частности, аналого-цифровой преобразователь в большинстве камер предположительно настроен на преобразование излучения в диапазоне реальных условий до разрядности камеры. Неясно, как аналого-цифровой преобразователь отреагирует, когда его попросят принять более широкий спектральный диапазон и потенциально большее излучение. Реакция оптики камеры и автоматических элементов управления может быть менее интуитивной и потребовать от камеры компенсации с помощью уменьшения диафрагмы, снижения экспозиции или корректировки фокусировки.

Хотя гиперспектральные системы обходят большинство ограничений технологий фильтрации путём оптического разделения монохроматического света, существуют многочисленные тонкие технические параметры, определяющие рабочие характеристики системы. К сожалению, отсутствие общепринятого отраслевого стандарта для измерения и документирования характеристик приборов затрудняет правильное различие между различными инструментами. Компания HySpex выпустила отличное руководство для покупателей, рассматривающих возможность приобретения гиперспектральной системы визуализации (http://www.hyspex.no/guide/). Основные характеристики производительности связаны с разрешением системы в пространственном и спектральном измерениях.

В идеальном случае каждый пиксель визуализатора должен получать свет только от точки измеряемой поверхности и только в пределах интересующих длин волн. В реальности часть света проникает в соседние пиксели, из-за чего изображение может выглядеть размытым пространственно, а спектрально наблюдается перетекание от близлежащих длин волн, которые влияют на спектральный отклик.Дополнительно свет из щели датчика может быть неравномерно выровнен относительно массива визуализации из-за искажений, вызванных качеством оптики или дисперсионного элемента. Эффекты “улыбки” и “трапецеидальные искажения” присутствуют в большинстве систем визуализации, при этом производители часто заявляют, что их система предлагает низкие или самые низкие значения этих негативных характеристик в отрасли, не предоставляя при этом данных. Также распространено предоставление “среднего” значения производительности системы вместо его изменчивости для каждой длины волны, хотя именно последний показатель является более полезным, особенно если интересуют определенные области спектра.

Ещё одним важным параметром производительности системы является квантовая эффективность и отношение сигнал-шум на каждой длине волны, особенно для тех, кого интересует крайний диапазон спектра системы. Многие гиперспектральные датчики основаны на коммерческих матрицах CCD или CMOS. Характеристики производительности этих матриц различаются настолько сильно, что трудно сформулировать общие правила, кроме технологических отличий. Хотя CCD-матрицы могут обладать более высокой чувствительностью, высококачественный CMOS-датчик может демонстрировать большую квантовую эффективность в ближнем инфракрасном диапазоне (NIR), и наоборот.

Независимо от производительности, квантовая эффективность резко падает в NIR. Более низкая солнечная активность и снижение чувствительности прибора приводят к снижению сигнала за пределами 850 нм и увеличению шума (Рисунок 2). Несмотря на это, начальные испытания показали способность прибора захватывать спектры широкого спектра растительного покрова (Рисунок 2). Изображение чётко фиксирует зелёный пик растений, точку перелома красного края и достаточно устойчиво определяет величину плато NIR для растительности. При дальнейшем продвижении в ближнем ИК-диапазоне его способность количественно определять поглощение почвы или воды на длине волны 970 нм может быть ограничена.

Несмотря на снижение производительности на более длинных волнах ближнего ИК-диапазона, более высокое спектральное разрешение позволяет определять ряд ключевых показателей, требующих повышенной спектральной точности, которую могут обеспечить только гиперспектральные датчики.

Например, фотохимический индекс отражения (PRI) основан на узком диапазоне поглощения ксантофильных пигментов на длинах волн 531 и 570 нм для количественной оценки эффективности использования света при фотосинтезе. Эти показатели являются важными индикаторами продуктивности и стресса растительности в сельскохозяйственных и лесных экосистемах (Gamon et al., 1992). Стресс растений также можно оценить с помощью индекса коричневых пигментов, разработанного Peñuelas et al. (2004). Этот индекс использует положение красного края и длину волны с минимальным наклоном отражения в ближнем ИК-диапазоне для корреляции концентрации окисленных соединений, вызванных стрессом растений. Концентрация воды как в листьях, так и в поверхностном слое почвы также может быть определена с помощью использования одного из малых поглощающих элементов воды на длине волны 970 нм (Peñuelas et al., 1993). Наконец, регистрация всего спектра с высоким спектральным разрешением открывает широкий спектр методов анализа, таких как спектральное разделение (Bioucas-Dias et al., 2012), удаление непрерывного фона (Kokaly et al., 2003) и моделирование радиационного переноса (Verhoef, 1998). Во многих случаях дополнительная спектральная информация оказалась предпочтительнее мультиспектральных индексов растительности для количественного определения биофизических и биохимических параметров растительности (Huang et al., 2004).

·         Стоимость гиперспектральных систем визуализации, пригодных для установки на беспилотные аппараты, может снизиться в ближайшем будущем благодаря появлению новых компаний, пытающихся воспользоваться бумом рынка БПЛА. . Хотя конкуренция способствует снижению цен, текущая реальность такова, что гиперспектральные сканеры остаются дорогостоящими. Необходимый капитал в сочетании с техническими рисками и возможностью полной потери системы делает эти системы недоступными для многих исследовательских бюджетов. Приняв во внимание все факты и ограниченность бюджета, мы приобрели концентрический датчик визуализации Micro-Hyperspec® VNIR A-серии с диапазоном спектра от 400 до 1000 нм и имеющих 1004 пространственных полосы × 324 спектральных полосы. Система визуализации включает сам датчик и компьютер для сбора и обработки данных, который предназначен скорее для наземных измерений, нежели для использования на борту БПЛА (рисунки 3b & c). Таким образом, система визуализации нуждается в модификации, чтобы её можно было установить на БПЛА и собирать данные непосредственно на борту без необходимости использования наземного компьютера для сбора данных. Модификация предполагает установку электроники для бортового сбора данных и бортового источника питания для датчика. Кроме того, модернизированная установка должна быть компактной, лёгкой и потреблять меньше энергии, чтобы соответствовать ограниченной грузоподъёмности выбранного беспилотного аппарата. Эта работа была выполнена в сотрудничестве с корпорацией Xiphos Systems. Те, кто хочет заняться подобным проектом, должны ясно представлять соотношение стоимости и возможностей гиперспектральных систем БПЛА.

2.2 Беспилотный летательный аппарат для гиперспектральной съёмки

Основные соображения при выборе БПЛА связаны с определением его типа. Существует два основных класса БПЛА: самолеты с неподвижным крылом и роторные аппараты, такие как октокоптеры и вертолеты.

### 2.2 Беспилотный летательный аппарат для гиперспектрального датчика

·         Основные соображения касательно беспилотного летательного аппарата касаются выбора типа конструкции БПЛА. Существуют две основные категории БПЛА: самолеты с неподвижным крылом и роторные аппараты, такие как октокоптеры и вертолеты. Самолёты с неподвижным крылом потенциально более стабильны и обладают большим временем полёта, так как их форма аэродинамически оптимальна, а крылья обеспечивают значительную подъемную силу, экономя энергию аккумулятора. В противоположность этому, многие октокоптеры, способные поднимать тяжелые грузы, громоздки и подвержены большему воздействию ветра, что вызывает большие колебания наклона, тангажа и рыскания. Для датчика типа push-room стабильность критически важна, так как коррекция изображений, особенно по углу тангажа, представляет собой сложную задачу. Поэтому многие системы октокоптеров предпочитают стабилизировать камеру с помощью подвеса. Дополнительный вес подвеса вкупе с батареями, обеспечивающими основную подъёмную силу, снижает продолжительность полета. Основное преимущество октокоптера заключается в простоте конструкции. Пространство в самолётах с неподвижным крылом ограничено, а сгруппированное расположение электроники приводит к возникновению радиоинтерференций. Кроме того, балансировка электроники таким образом, чтобы центр масс находился между крыльями, является своего рода искусством. Входные и выходные порты также должны располагаться в легко доступных местах, чтобы извлекать данные и настраивать параметры сбора данных датчика согласно местным условиям. Октокоптеры имеют больше свободного пространства, и при наличии надлежащего стабилизатора камеры стабильность может быть лучше, чем у самолётов с неподвижным крылом, где датчик жёстко привязан к корпусу аппарата и нет места для стабилизаторов камеры

Также важным фактором является защита инвестиций. Октокоптеры обычно оснащены защитными клетками, выполняющими роль шасси и защиты камеры.

Посадка проходит мягче, так как оператор может просто уменьшить тягу двигателя. В отличие от этого, самолёты с неподвижным крылом обычно приземляются брюхом вниз. Приземление на брюхо может быть опасным для датчика даже несмотря на то, что он утоплен внутрь основного корпуса. Два возможных способа защитить датчик включают прозрачный защитный пластиковый лист сверху порта или затвор. Щиты порта заблокируют грязь и примут основной удар при посадке, но, вероятно, быстро потрескаются и потребуют замены. Кроме того, защитные экраны не прозрачны на 100%, и они склонны поглощать около 10% входящего света, возможно, больше в некоторых диапазонах длин волн. Альтернативой с затвором может служить более надёжная защита, выполненная из прочного материала, но существует риск, что он будет сорван при посадке. Наш предпочтительный способ посадки — парашют с резервным затвором. Парашют смягчает посадку, а затвор защищает камеру, когда корпус самолёта касается земли. Наша финальная модификация беспилотного летательного аппарата предоставлена корпорацией Xiphos Systems и представлена на рисунке 3a.

3. ПРОЦЕСС СБОРА ДАННЫХ И КАЛИБРОВКИ

3.1 Сбор данных

Рабочий процесс для сбора данных выглядит следующим образом. Аппаратура устанавливается и проверяется на работоспособность. Датчик изображения и инерциальная измерительная система (IMU) должны быть откалиброваны. Что касается IMU, оси должны быть правильно ориентированы и адаптированы к локальным магнитным полям. Магнитометр IMU используется для ориентации направления движения воздушного судна, которое может существенно отличаться от фактического положения из-за воздействия ветра (например, нос корабля может указывать на север, но само судно двигается на северо-восток). Калибровка датчика изображения основана на настройке оптики. В отличие от RGB-камер, этот датчик изображения оснащен объективом с постоянным фокусом. По сути, датчик настроен на бесконечность, а не на определенный объект на земле.

Такая конструкция предотвращает попытки автофокусировки в полете, что обычно происходит, поскольку расстояние между датчиком и землей постоянно меняется из-за колебаний высоты полета и рельефа местности. Единственным доступным оптическим управлением является регулировка диафрагмы. Диафрагму регулируют для уменьшения или увеличения количества поступающего света в зависимости от стандартных условий, характерных для полетной высоты. Поскольку эта настройка выполняется вручную, точное определение солнечной инсоляции, отраженной от земли, играет решающую роль. Обычно датчик направляют вверх к небу и устанавливают диафрагму на 85% глубины кадра, чтобы учесть изменения солнечного потока и система должна учитывать BRDF (коэффициент отражения поверхности), которые изменятся, если датчик окажется направлен прямо на солнце.

Необходимость калибровки камеры обусловлена неопределенностью влияния диафрагмы на количество поступающего света. Теоретически возможно применить поправочный коэффициент к усилению и смещению датчика при переводе цифрового числа в яркость. Сейчас самый простой способ преобразования цифрового номера датчика в отражение осуществляется посредством относительной отражательной способности Для преобразования излучения в коэффициент отражения с помощью белого эталона в поле помещается большой спектрально белый объект во время полёта.

Важные требования к белому эталону: спектральная ровность; высокое ламбертовское поведение; высокий коэффициент отражения.

 На высоте полёта (которая варьируется) каждый пиксель на земле составляет примерно 10 см². Следовательно, любой белый эталон должен быть шириной не менее четырёх пикселей, желательно ближе к 1 м². Можно временно использовать белую краску (смесь сульфата бария и белой краски служит недорогим эквивалентом эталона Spectralon), но предпочтительно использование пластины из полимер-тетрафторэтилена (PTFE). Стоимость изготовления такого крупного белого эталона высока, но мы выбрали более дешёвый вариант — покраску доски размером 50×50 см краской на основе сульфата бария (BaSO₄) (рис. 4a). Хотя этот белый эталон может уступать по долговечности, его отражательная способность в видимом и ближнем инфракрасном диапазонах стабильна и превышает 80% (рис. 4b). Ограничением этого метода является предположение о постоянстве солнечного выхода и отсутствие коррекции изменений ориентации плоскости. Будущие усовершенствования могут включать применение небольшого несенсорного гиперспектрального датчика, обращённого к небу, для записи солнечного выхода синхронно с каждым этапом сбора данных.

3.2 Предварительная обработка гиперспектральных данных

Собранные гиперспектральные данные нуждаются в геометрической коррекции. Эту операцию можно осуществить с помощью функции ортокоррекции в программе HyperSpec Cube, предоставляемой компанией Headwall Photonics. Программа считывает параметры из метаданных изображения (файлы GPS/IMU и др.) и требует наличия файла цифровой модели рельефа (DEM). Рисунок 5 показывает исходные и скорректированные изображения участков травянистого участка и заболоченного ландшафта.

4. Заключение

В данной работе описан двухлетний проект по созданию специализированной гиперспектральной системы беспилотных летательных аппаратов в рамках ограниченного исследовательского бюджета. Особое внимание уделялось ключевым этапам процесса, включая выбор датчика изображения (мультиспектральный против гиперспектрального), наши решения по качеству пространства и спектра (охват, защита камеры по сравнению с потерей сигналов в ближнем инфракрасном диапазоне), выбор формы корпуса БПЛА (самолёт с неподвижным крылом против октокоптера) и рабочий процесс сбора и предварительной обработки данных. Мы не обсудили, но также критически важные аспекты создания гиперспектральной системы БПЛА, включают принятие решения о самостоятельном выполнении работы или найме подрядчиков (мы выбрали гибридное партнёрство), обучение персонала в соответствии с требованиями, процесс сертификации специальных операций, специфичные процессы сбора данных БПЛА (например, подготовку и планирование миссий) и радиометрическую коррекцию (относительную отражательную способность по сравнению с атмосферной коррекцией). В работе представлены изображения, собранные с помощью сенсора на данный момент, и кратко обсуждаются доступные варианты обработки и использования гиперспектральных данных.
Несмотря на то, что это проект с высоким уровнем риска и сложности, и мы столкнулись с многочисленными трудностями на пути, перспективы остаются обнадеживающими.

БЛАГОДАРНОСТИДанное исследование было поддержано грантами:
·         CFI/ORF №26492
·         NSERC Discovery Grant RGPIN-386183 (выдан доктору Юхун Хэ)
Мы выражаем признательность:
·         Эрику Эдвардсу из компании Xiphos Systems Corporation за сотрудничество
·         Компании Headwall Phtonics за постоянную техническую поддержку
·         Бину Лу, нашему аспиранту, за работу над коррекцией гиперспектральных изображений
·         Юньпэю Лу, нашему полевому ассистенту, за создание белых эталонов и измерение их спектральных кривых
Особая благодарность всем участникам проекта, чей вклад помог достичь значимых результатов в разработке гиперспектральной системы БПЛА.

Ссылки

Bioucas-Dias, J.M., Chanussot, J., Gader, P., Du, Q., Parente, M., Dobigeon, N., Plaza, A., 2012. Hyperspectral unmixing overview: Geometrical, statistical, and sparse regression-based approaches. Selected Topics in Applied Earth Observations and Remote Sensing, IEEE Journal of, 5(2): 354-379.
Gamon, J.A., Field, C.B., Peñuelas, J., 1992. A narrow-waveband spectral index that tracks diurnal changes in photosynthetic efficiency. Remote Sensing of Environment, 41: 35-44.
Huang, Z., Turner, B.J., Dury, S.J., Wallis, I.R., Foley, W.J., 2004. Estimating foliage nitrogen concentration from HYMAP data using continuum removal analysis. Remote Sensing of Environment, 93 (1-2): 18-29.
Kokaly, R.F., Despain, D.G., Clark, R.N., Livo, K.E., 2003. Mapping vegetation in Yellowstone National Park using spectral feature analysis of AVIRIS data. Remote Sensing of Environment, 84: 437-456.
Verhoef, W., 1998. Theory of radiative transfer models applied in optical remote sensing of vegetation canopies. Graftish Service Centrum Van Gils, Wageningen.