Воздушная лазерная съемка- 2 часть
Руководство на 2025 год

Часть II: Интегрированные системы

В первой части руководства (основы лидара) были рассмотрены основы воздушного лидара, также называемого воздушным лазерным сканированием (ВЛС). Мы пришли к выводу, что ВЛС представляет собой многосенсорную систему, состоящую из навигационного компонента и сканирующего лидара. Антенна/приёмник глобальной навигационной спутниковой системы (ГНСС) и инерциальный измерительный блок (ИИБ) предоставляют точную информацию о местоположении и ориентации несущей платформы. Сам лазерный сканер также представляет собой многосенсорную систему, состоящую из сканирующего и дальномерного блоков. Все эти компоненты вместе составляют полную систему ВЛС, которая обеспечивает получение плотных трёхмерных облаков точек рельефа, растительности, зданий, водоёмов и объектов инфраструктуры, таких как линии электропередач и т.п. Выдающимися особенностями ВЛС являются: (i) высокая плотность точек, обычно 5–30 точек/м² (ppsm), (ii) хорошая точность определения высоты в диапазоне 5–10 см, (iii) планиметрическое разрешение около 20 см и (iv) способность проникать сквозь растительность. Последнее из этих преимуществ сделало воздушное лазерное сканирование основным методом сбора цифровых данных о рельефе по всей стране, которые служат основой для национальных и транснациональных цифровых моделей рельефа (ЦМР). Помимо точной геометрии, ВЛС также предоставляет радиометрическую информацию для каждой лазерной точки, например, в виде интенсивности сигнала или даже калиброванного коэффициента отражения. Последний показатель отражает только свойства освещаемого объекта, в то время как первый также зависит от параметров миссии, таких как дальность измерения и угол падения, а также параметров системы и атмосферы.

Датчики ВЛС, описанные выше, произвели революцию в получении данных о рельефе больших территорий примерно с начала века, тогда как ранее доминировала аэрофотограмметрия, основанная на аналоговых изображениях. Однако внедрение систем цифровых метрических камер и разработка эффективных фотограмметрических алгоритмов компьютерного зрения, таких как «структура из движения» (SfM) и «плотное сопоставление изображений» (DIM), вновь изменили ситуацию за последние два десятилетия. Особенно для построения цифровых моделей поверхности (ЦМР) аэрофотограмметрия, основанная на многоракурсных стерео (МВС) надирных и наклонных снимках, оказалась хорошим выбором. Поскольку МВС, как правило, позволяет получить трёхмерную точку для каждого пикселя изображения, это потенциально также повышает пространственное разрешение получаемых данных о высоте.
Логическим следствием стало то, что производители начали интегрировать лазерные сканеры и высокопроизводительные камеры в комплексные многосенсорные датчики. Эта тенденция наблюдалась как с традиционной стороны: как производители традиционных камер интегрировали лазерные сканеры, так и наоборот. Другой вариант усовершенствования традиционных монохроматических датчиков ВЛС — использование нескольких лазеров с разными длинами волн в единой комбинированной системе или одновременное использование нескольких монохроматических систем ВЛС на одном воздушном судне. Первый подход — это подход производителя, второй — подход поставщика системы. Независимо от реализации, результатом является многоспектральный лазерный сканер и, следовательно, ещё один пример интегрированной системы датчиков. В оставшейся части данного руководства сначала сравниваются основы воздушного лидара и многоракурсной стереофотограмметрии с концептуальной точки зрения, а затем рассматриваются интегрированные лидар-камеры, доступные на рынке, и их характеристики. Кроме того, рассматриваются существующие решения на основе многоспектральных лидаров, включая обсуждение их преимуществ, особенно для классификации трёхмерных облаков точек.

Воздушный лидар против аэрофотограмметрии

В части I руководства мы уже узнали, что воздушный лидар (воздушное лазерное сканирование) — это активная полярная измерительная система, использующая короткие лазерные импульсы для измерения дальности на основе времени пролёта. Это означает, что объект может быть реконструирован в трёхмерном пространстве, если он измеряется за одну полосу сканирования. Одно из особых преимуществ лидара — его способность работать с несколькими целями, что позволяет проникать сквозь растительность для обнаружения объектов, находящихся под пологом леса, и получать данные с земли для получения ЦМР высокого разрешения. Для сложной сцены с деревьями, зданиями, каньоном улиц и газоном это схематически изображено на рисунке 1(a).

Благодаря достижениям в области цифровых камер и фотограмметрических алгоритмов компьютерного зрения, современные методы трёхмерной реконструкции поверхностей на основе изображений также обеспечивают высокий уровень точности и надёжности. Используя набор изображений и соответствующие им параметры камеры (например, внутреннюю и внешнюю ориентацию), алгоритмы MVS сначала вычисляют так называемые карты диспаратности, применяя подходящие алгоритмы стереосоответствия, такие как полуглобальное сопоставление. В результате устанавливаются стереосоответствия между пикселями пар изображений, что позволяет получать плотные трёхмерные облака точек путём прямого пересечения. Кроме того, сопоставление каждого изображения с несколькими перекрывающимися изображениями создаёт избыточные измерения глубины. Таким образом, каждый пиксель блока изображения предоставляет один или несколько соответствующих трёхмерных триплетов координат. Полученное плотное облако точек может быть впоследствии отфильтровано при построении ЦМП. При наличии достаточной избыточности из нескольких проекций современные алгоритмы могут реконструировать геометрию поверхности с разрешением, соответствующим разрешению доступных изображений. Поскольку размер пикселя изображения на земной поверхности (расстояние выборки на местности, GSD) обычно меньше диаметра посадочной площадки бортовой лидарной системы, DIM потенциально обеспечивает более высокую плотность точек по сравнению с лидаром. Однако, поскольку объекты могут быть восстановлены по изображениям только в том случае, если они видны по крайней мере на двух изображениях, (стереозакрытие), как правило, выше в случае 3D-реконструкции поверхности на основе изображений. Рисунок 1(б) иллюстрирует это для изображений в надире, что является стандартным случаем аэрофотограмметрии. Чтобы уменьшить стереозакрытие и обеспечить реконструкцию вертикальных фасадов в густонаселенных городских районах, современные сенсорные системы на основе изображения используют наклонные камеры в дополнение к стандартным надирным камерам. Хорошо зарекомендовавшая себя многокамерная конфигурация состоит из одной вертикальной камеры и четырех наклонных камер (передней, задней, левой, правой), наклоненных на 45°. Рисунок 1(в) демонстрирует значительное уменьшение стереозакрытия при использовании наклонных и надирных изображений для схематичной сцены с двумя зданиями. Здесь следует отметить, что совместная ориентация надирных и наклонных изображений является более сложной задачей, чем при использовании только надирных изображений, из-за заметных различий в масштабе наклонных изображений. Чтобы дополнить этот раздел теоретическими соображениями, в таблице 1 представлен обзор особенностей и характеристик бортовых лидаров и DIM.

В заключение этого раздела теоретических соображений в Таблице 1 представлен обзор особенностей и характеристик бортового лазерного сканирования и DIM.

Интеграция лидара и камеры

Как уже говорилось во введении, бортовые датчики для получения трехмерных данных о высоте в настоящее время объединяют лазерные сканеры и системы камер. В таблице 2 представлен выбор самых современных сенсорных систем от четырех производителей - Hexagon/Leica Geosystems, RIEGL Laser Measurement Systems, Vexcel Imaging и Teledyne Geospatial.

Все датчики, представленные в таблице 2, используют лазер Nd:Yag (на алюминиево-иттриевом гранате, легированном неодимом) с длиной волны около 1064 нм и частотой следования импульсов (PRR) 2 МГц или более. Все они обеспечивают возможность интеграции одной или нескольких цифровых аэрофотокамер — RGB, NIR или комбинированной RGBN. В большинстве систем камеры тесно интегрированы, а схема сканирования лидарного блока настраивается в соответствии с размерами аэрофотоснимков. На рисунке 2 показана схема сканирования изображений для выбранных датчиков.

Leica TerrainMapper-3 объединяет лидар и 150-мегапиксельную RGBN-камеру. Система использует узкий лазерный луч с диаметром пятна 17 см при полете на высоте 1000 м над уровнем земли (agl). На этой высоте GSD изображения составляет 8,3 см. Диаграмма сканирования, создаваемая двухклиновой призмой Рисли, имеет форму круга, диаметр которого покрывает все 60° поперечного поля зрения RGBN-изображений (рис. 2(d)).
VQ-1560 III-S компании RIEGL — это двухканальная лазерная система. Каждый из двух лазеров излучает с частотой повторения импульсов 2,4 МГц. Лучи обоих лазеров преломляются одним четырёхсторонним полигональным зеркалом и формируют на поверхности земли Х-образную диаграмму сканирования. Две линии сканирования наклонены на ±14° для оптимизации распределения точек на поверхности и обеспечения обзора в надир и вбок, а также с небольшим углом обзора вперёд и назад (рис. 2(c)). Боковое поле зрения 58° соответствует размеру встроенной RGB-камеры PhaseOne 150 МП.

Как Leica TerrainMapper-3, так и RIEGL VQ-1560 III-S используют встроенные камеры в первую очередь для раскрашивания трёхмерного облака точек лазера, что повышает интерпретируемость данных лазера. Однако эти изображения также можно использовать для классической аэрофотограмметрии для получения цифровых ортофотопланов. Однако, поскольку обе системы используют только надирные камеры, независимое получение трёхмерного облака точек с помощью MVS и DIM страдает от стереоокклюзии, как объяснялось ранее и как показано на рис. 1(b). Чтобы дополнить лазерное облако точек полным и непрерывным облаком точек на основе изображений, включающим точки на фасадах, необходимы перспективные снимки.

Сенсорная система Leica CityMapper-2 оптимизирована для сбора 3D-данных городской местности и объединяет лидар с частотой 2 МГц и шесть воздушных камер MFC150. Две камеры (RGB, NIR) направлены вниз в направлении надира, а четыре RGB-камеры направлены наклонно, вперед, назад, влево и вправо. Настройка лидара соответствует настройке Leica TerrainMapper-3, а для показанной системы Leica CityMapper-2S круговой шаблон сканирования совпадает с базовой областью надирного изображения NIR с поперечным полем зрения 40°. Как видно на рисунке 2(a), область охвата RGB-изображения меньше, чем у NIR-изображения, в 1,6 раза. Настройка с надирными и наклонными изображениями позволяет независимо получать полное 3D-облако точек из изображений и сканов соответственно. Эта избыточность может быть использована для заполнения возможных пробелов в одном из источников данных. Одним из недостатков круговой схемы сканирования является отсутствие обзора в надир, что является преимуществом для обнаружения объектов в узких уличных каньонах. С другой стороны, постоянный угол отклонения от надира конического сканирующего механизма обеспечивает наклонные векторы лазерного луча при любом направлении ветра. В сочетании с подходящим боковым перекрытием 50° это позволяет захватывать здания со всех сторон как при сканировании, так и при съемке изображений.

Основой сенсорной системы UltraCam Dragon 4.1 компании Vexcel Imaging является хорошо зарекомендовавшее себя семейство камер UltraCam. Система состоит из двух одинаковых по размеру надирных камер (RGB, NIR) и четырёх наклонных камер. Система, показанная на рисунке 2(b), использует 50-миллиметровый объектив для надирной камеры с полем зрения 36,8° поперек трассы и 27,9° вдоль трассы. Система дополняется лазерным сканером RIEGL VQ-680 OEM, работающим на частоте повторения импульсов 2,4 МГц. Сканер использует пятигранный полигональный зеркальный диск, каждая сторона которого слегка наклонена относительно следующей. Первая зеркальная грань отклоняет лазерные лучи вертикально вниз и позволяет осуществлять обзор в надир посередине взлётно-посадочных полос. Остальные четыре зеркальные грани выполнены с возможностью отклонения лучей на 20° и 40° вперёд и назад соответственно (рис. 2(b)). При боковом поле зрения сканера 60° полный оборот зеркального диска создаёт пять линий сканирования, которые полностью покрывают и даже расширяют надирные изображения UltraCam. Таким образом, данная схема сканирования сочетает в себе преимущества вертикального и наклонного сканирования, что оптимально дополняет настройку надирно-наклонной камеры системы. Как и в случае с Leica CityMapper-2, данная конфигурация обеспечивает оптимальную конфигурацию для раскрашивания облака точек лазера и позволяет взаимно заполнять пробелы в облаках точек, полученных с помощью лидара и изображения. Такие комплексные данные являются идеальной основой для моделирования города, создания трехмерных сеток, исследований солнечного потенциала, анализа городских зеленых насаждений и т. п.

На рисунке 3 показан пример городской сцены, снятой с помощью интегрированной системы лидар-камеры. Сцена в центре Мюнхена (Германия) была снята с помощью Leica CityMapper-2. Облако точек лидара представлено в цветовой палитре RGB на основе изображений в надире и наклонной проекции, полученных с помощью MFC150.

На рисунке 4 показан другой пример городской съемки (Грац, Австрия), сделанной с помощью ультракамеры Vexcel Imaging UltraCam Dragon 4.1. Слева показано облако точек RGB-цвета, полученное на основе изображений в надире и наклонных изображений с помощью DIM, а также облако точек лидара лазерного сканера VQ-680-OEM, окрашенное в зависимости от интенсивности. Все сцены, показанные на рисунках 3 и 4, отличаются высокой степенью завершенности, включая точки на фасадах и в уличных каньонах.

Многоспектральный лидар

Ещё одним вариантом усовершенствования монохроматических бортовых лидарных систем является использование нескольких длин волн лазера и, таким образом, создание многоспектрального лидарного прибора. Хотя точная геометрия и проникновение в растительность являются наиболее важными характеристиками бортового лидара, практически все лидарные датчики также предоставляют информацию об интенсивности. После корректировки исходных показаний амплитуды/интенсивности лидара с учётом доминирующего влияния дальности и угла падения (подробности см. в части I данного руководства) можно получить радиометрически калиброванный атрибут отражения для каждой точки. Такая информация полезна для семантической маркировки облака точек лидара, как мы увидим далее в этом разделе.
 
Создание многоспектрального бортового лидарного датчика требует тщательного планирования установки с учётом как обнаружения сигнала (дальности, интенсивности сигнала, формы импульса…), так и управления лучом. В идеале многоспектральный прибор должен использовать суперконтинуальный лазер, также называемый белым лазером, и излучать весь спектр в одном лазерном импульсе. Это означает, что все длины волн импульса распространяются одновременно, в одном направлении и с одинаковыми характеристиками пучка (длиной импульса, расходимостью). С точки зрения обнаружения сигнала это означает, что светоделитель, зависящий от длины волны, должен разделять входящий эхо-импульс и направлять его на отдельные детекторы, чувствительные к соответствующим длинам волн. Хотя такие концепции широко используются в микроскопии и спектроскопии, в картографировании суперконтинуальные лазеры успешно применяются только в наземных приложениях ближнего действия, но не в воздушных лидарах.
 
Для получения мультиспектральной информации в воздушных лидарах используются несколько монохроматических лазеров и соответствующих приёмников. Отдельные лазерные импульсы обычно отклоняются одним сканирующим устройством — зеркалом, полигональным диском или призмой Рисли, — но, как правило, не одновременно и не в одном направлении. Кроме того, длительность импульса и расхождение луча могут различаться у отдельных лазеров, главным образом из соображений безопасности для глаз, особенно при использовании видимых зелёных лазеров в составе многоспектрального прибора. Хотя одновременное и коаксиальное излучение импульсов отдельными монохроматическими лазерами было бы желательно, реализация этого метода технически сложна. На практике многоспектральные приборы, таким образом, формируют отдельные трёхмерные облака точек для отдельных лидаров. При постобработке можно объединить отдельные монохроматичные облака точек в единое многоспектральное облако точек, добавив недостающую радиометрическую информацию из соседних точек оставшихся каналов на основе запросов пространственного соседства. Потенциальной проблемой в такой системе являются тени при сканировании, которые могут различаться для разных каналов лазера с разной длиной волны из-за разной геометрии визирования. Двумя приборами, реализующими эту стратегию, являются Teledyne Optech Titan и RIEGL VQ-1560 DW. Основные характеристики обоих приборов приведены в таблице 3.

Датчик RIEGL VQ-1560 DW (DW = двухволновой) представляет собой вариант датчика VQ-1560 III-S, описанного в предыдущем разделе. Он оснащен лазерами ближнего инфракрасного (NIR) и зеленого диапазона, работающими на длинах волн 1064 нм и 532 нм соответственно. X-образная схема сканирования аналогична показанной на рисунке 2(c). Единственное отличие заключается в том, что один из двух каналов ближнего инфракрасного (NIR) диапазона заменен зеленым. Помимо двух лазерных каналов, устройство также оснащено двумя надирными камерами (RGB, NIR), что делает его интегрированной системой в двух отношениях. Используя синий и красный каналы пассивного изображения, можно получить трехмерное облако точек с четырьмя спектральными диапазонами. В этом случае вся геометрия будет получена с помощью лидара, а спектральный состав будет получен либо непосредственно из лазерных измерений (ближний инфракрасный, зеленый), либо из изображений (синий, красный).
 
В дополнение к двум диапазонам 532 и 1064 нм прибора VQ-1560 DW, прибор Teledyne Optech Titan имеет дополнительный канал SWIR на длине волны 1550 нм. Отдельные лазерные импульсы отклоняются одним осциллирующим зеркалом. Плоскости сканирования вертикальны для одного канала и 7° вперед или назад соответственно для двух других каналов. Три монохроматических канала позволяют создавать объединенное трехмерное облако точек, где каждая точка имеет три интенсивности, полученные от лазера (532/1064/1550 нм), которые можно визуализировать в виде композита в псевдоцветах. Пример показан на рисунке 5. Исследователи использовали данные Teledyne Optech Titan для различных приложений, в первую очередь для улучшенной классификации облаков точек, особенно в лесных условиях, где многоспектральное изображение также помогает идентифицировать отдельные виды деревьев как по геометрическому, так и по радиометрическому содержанию данных.

После первоначального ажиотажа после 2015 года, когда на рынке появились упомянутые выше приборы, интерес к многоспектральным лидарам в последующие годы снизился. Одной из причин стало прекращение выпуска сенсора Teledyne Optech Titan. Однако сегодня научное сообщество проявляет растущий интерес, особенно в связи с появлением компактных сенсоров, открывающих возможности для интеграции нескольких монохроматических сенсоров на одной воздушной платформе (например, вертолете). Лесная промышленность также является движущей силой этого процесса, учитывая высокий спрос на улучшенные оценки биомассы. В условиях изменения климата крайне важно следить за развитием лесов Земли, поскольку древесина играет ключевую роль в строительстве и использовании в качестве отопительного материала. Классификация древесных пород облегчается доступностью как точных геометрических данных, так и радиометрических данных, поскольку некоторые виды деревьев можно определить по их геометрической форме, а дальнейшее различие возможно по отражательной способности. В таблице 3 также представлена ​​система, разработанная Финским геодезическим институтом (FGI), состоящая из трёх компактных лазерных сканеров RIEGL с длинами волн 532 нм (VQ-840-G, зелёный), 905 нм (miniVUX-3, ближний ИК-диапазон) и 1550 нм (VUX-1HA, коротковолновый ИК-диапазон). Аналогичные системы возможны и для пилотируемых самолётов, например, путём объединения топобатиметрического датчика (532/1064 нм) со вторым сканером, работающим на длине волны 1550 нм.

Примеры, показанные на рисунках 5 и 6, демонстрируют преимущества мультиспектрального бортового лидара для улучшения семантической маркировки. Изображение вокруг высоковольтной опоры, полученное с помощью двухволнового датчика RIEGL VQ-1560 DW (Лосдорф, Австрия), не может быть правильно классифицировано ни на основе одной только трехмерной геометрии (XYZ), ни с использованием однополосной радиометрии (XYZ+G, XYZ+NIR). Напротив, использование спектральной информации как зеленого, так и инфракрасного лазерных каналов в сочетании с геометрией (XYZ+G+ инфракрасный) обеспечивает практически идеальное разделение кабелей, столбов, грунта, дорог с твердым покрытием, низкой и средней растительности. Этот результат был получен автоматически с помощью технологии глубокого обучения (KPConv). На рисунке 7 изображена городская сцена с участками растительности, снятыми с помощью системы HeliALS в Эспунлахти, Финляндия. Трехмерное мультиспектральное облако точек показано в виде композиции ложных цветов (слева) и раскрашено метками классов (справа). Опять же, семантическая сегментация на основе KPConv обеспечивает очень хорошее разделение основных объектов на подробные категории: фасад, крыша, асфальт, дерево, трава, гравий и автомобиль.

Выводы

Хотя монохроматический воздушный лидар является проверенной технологией для получения данных о высоте рельефа по всей стране, сочетание лазерных сканеров и цифровых камер открыло новые возможности применения. Цветные облака точек гораздо проще интерпретировать как людям (визуализация), так и машине (классификация). Кроме того, сочетание лидара и сопоставления плотных изображений создает более плотные облака точек, чем те, которые можно получить с помощью одного датчика. В частности, интегрированные датчики, оснащенные надирными и наклонными камерами, могут предоставлять облака точек фасадов и узких уличных каньонов на основе как изображений, так и лазерного сканирования. Избыточность может использоваться для заполнения пробелов в наборах данных друг друга. Механизм сканирования воздушных лидарных датчиков, используемых совместно с усовершенствованными системами надирных/наклонных камер, обычно оптимизирован для всенаправленного отклонения лазерного луча. Это может быть достигнуто с помощью конического (Palmer) сканирования или полигональных зеркальных дисков с зеркальными поверхностями разного наклона, обеспечивающих параллельные линии сканирования с обзором сбоку, вперед и назад. Другим возможным усовершенствованием стандартного монохроматического лидара является включение нескольких длин волн лазера в одну сенсорную систему. Такие многоспектральные системы обладают большим потенциалом для классификации облаков точек и обеспечивают гораздо более высокую степень детализации классов, что может применяться в городском картографировании, картографировании земельного покрова, классификации видов деревьев, оценке биомассы и многих других областях. Двухволновые многоспектральные лидарные датчики, использующие зелёное и ближнее инфракрасное лазерное излучение, лежат в основе воздушной лазерной батиметрии, которая является темой третьей части данного руководства, которая будет опубликована в следующей статье.
 
GM2021 Доктор Готфрид Мандльбургер изучал геодезию в Венском техническом университете, где он также получил докторскую степень в 2006 году и защитил докторскую диссертацию по фотограмметрии на тему «Батиметрия с использованием активной и пассивной фотограмметрии» в 2021 году. В апреле 2024 года он был назначен профессором кафедры оптической батиметрии Венского технологического университета. Его основные научные направления включают в себя топографическую и батиметрическую лидарную съемку с пилотируемых и беспилотных платформ, мультимедийную фотограмметрию, батиметрию по мультиспектральным изображениям и разработку научного программного обеспечения. Готфрид Мандльбургер является председателем рабочей группы по лидарам Немецкого общества фотограмметрии и геоинформатики (DGPF) и научным делегатом Австрии в EuroSDR. Он получил награды за лучшие статьи от ISPRS и ASPRS за публикации по батиметрии, полученной с помощью активной и пассивной фотограмметрии.

Дополнительная литература

Glira, P., N. Pfeifer and G. Mandlburger, 2019. Hybrid orientation of airborne lidar point clouds and aerial images, ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci., IV-2/W5: 567–574. https://doi.org/10.5194/isprs-annals-IV-2-W5-567-2019.
Hakula,A., L. Ruoppa, M. Lehtomäki, X. Yu, A. Kukko, H. Kaartinen, J. Taher, L. Matikainen, E. Hyyppä, V. Luoma, M. Holopainen, V. Kankare and J. Hyyppä, 2023. Individual tree segmentation and species classification using high-density close-range multispectral laser scanning data, ISPRS Open Journal of Photogrammetry and Remote Sensing, 9: 100039, August 2023. https://doi.org/10.1016/j.ophoto.2023.100039.
Takhtkeshha, N., G. Mandlburger, F. Remondino and J. Hyppä, 2024. Multispectral light detection and ranging technology and applications: A review. Sensors, 24(5): Article 1669. https://doi.org/10.3390/s24051669.
Toschi, I., E.M. Farella, M. Welponer and F. Remondino, 2021, Quality-based registration refinement of airborne LiDAR and photogrammetric point clouds, ISPRS Journal of Photogrammetry and Remote Sensing, 172: 160-170.