Исследование датчиков беспилотных летательных аппаратов для практического дистанционного зондирования Земли в сельском хозяйстве

Маржан Ануарбековна Саденова, Наиль Аликулы Бейсекенов*, Турежан Бауржанович Ануарбеков, Азамат Кайсарович Капасов, Наталья Анатольевна Куленова
Приоритетный департамент - центр «Veritas», Восточно-Казахстанский технический университет им. Д. Серикбаева, ул. Серикбаева, 19, 070000, Усть-Каменогорск, Казахстан BNail@ektu.kz
Статья получена: 15 ноября 2022 г.; исправлена: 21 января 2023 г.; принята: 25 апреля 2023 г. Просьба цитировать эту статью: Sadenova M.A., BeisekenovN.A., Anuarbekov T.B., Kapasov A.K., Kulenova N.A., 2023, Study of Unmanned Aerial Vehicle Sensors for Practical Remote Application of Earth Sensing inAgriculture, Chemical Engineering Transactions, 98, 243-248. DOI:10.3303/CET2398041
Оценка спектрального отклика растительности с помощью датчиков беспилотных летательных аппаратов при неразрушающем дистанционном зондировании представляет собой ключевой элемент мониторинга роста и развития сельскохозяйственных культур. Ввиду широкого присутствия на рынке коммерческих решений на базе беспилотных летательных аппаратов (БПЛА) необходима чёткая информация об эффективности этих продуктов, которая помогла бы конечному пользователю выбрать их и применять в точном земледелии. Цель данной работы - сопоставить и оценить эффективность обеспечения практического применения методов дистанционного зондирования с использованием БПЛА DJI P4M и senseFly eBee X при производстве ячменя. Описаны особенности этих коммерческих БПЛА и результаты их применения. При обработке данных съёмки с обоих беспилотных летательных аппаратов были рассчитаны индексы NDVI. По полученным результатам коэффициент корреляции Пирсона r для двух БПЛА составил от 0,78 до 0,80. Кроме того, разработана блок-схема обработки результатов обследования посевов ячменя посредством двух исследуемых БПЛА. В результате сравнительного анализа двух БПЛА senseFly eBee X оказался лучшим по большинству показателей.
1. Введение
Знание пространственных и временных изменений роста сельскохозяйственных культур важно для управления посевами и устойчивого растениеводства, обеспечивающего продовольственную безопасность страны. Совместное использование моделей роста культур и данных дистанционного зондирования является полезным методом мониторинга состояния роста и оценки урожайности (Jin et al., 2016).
Спектральный отклик растительного покрова на солнечное излучение характеризует то, как растения поглощают и отражают свет различных длин волн. Солнечный свет состоит из излучения разных длин волн, которые в совокупности образуют электромагнитный спектр. Различные виды растений имеют разный спектральный отклик, то есть по-разному поглощают и отражают свет в зависимости от длины волны. Спектральный отклик растительного покрова на солнечное излучение, анализируемый посредством расчёта широкого спектра вегетационных индексов (VI), лежит в основе применения дистанционного зондирования в сельском хозяйстве. На отражение света растительностью в разных областях электромагнитного спектра влияют как структурные особенности, так и биохимический состав, физиологические процессы и листовые симптомы (Giovos et al., 2021). Поэтому спектральный анализ предоставляет важную информацию о вегетативном состоянии и потребностях культур, однако для оптимального получения спектральных данных необходимо учитывать особенности каждой культуры, поскольку существуют структуры и характеристики, влияющие на спектральный отклик (Tardaguila et al., 2021).
Среди имеющихся платформ дистанционного зондирования оптимальным решением для удовлетворения этих потребностей является использование беспилотных летательных аппаратов (БПЛА), которые за последнее десятилетие получили широкое распространение в различных научных исследованиях и практических задачах растениеводства (Matese et al., 2021). Эти платформы позволяют точно определять неоднородность поля, характеризуя особенности роста и развития растений с высоким пространственным разрешением. БПЛА могут служить важной технологией для быстрого получения полезной информации о земной поверхности, в том числе цифровых моделей поверхности (ЦМП) и других данных. Конечные продукты в значительной степени зависят от выбора значений различных параметров при планировании полёта и обработке данных (Liu et al., 2022). Данные, принимаемые датчиками БПЛА, могут быть спектральными, пространственными и временными. Выбор подходящего датчика и данных зависит от характера задачи. Например, тепловые данные пригодны для определения водного состояния, а спектральная информация - для выявления возможных заболеваний растений (Radoglou et al., 2020).
В различных источниках описаны такие типы датчиков, как тепловизионные, мультиспектральные и гиперспектральные камеры. Существует множество БПЛА, разработанных для сельского хозяйства и использующих различные технологии дистанционного зондирования. Дроны способны получать изображения высокого разрешения, которые после обработки специализированным программным обеспечением применяются для предварительного анализа посевов. Дроны оснащаются встроенными датчиками нескольких типов, что превращает их в полноценные мобильные измерительные платформы. Они могут работать в разных средах и условиях, с различными уровнями автономности, по отдельности либо совместно с другими беспилотными аппаратами того же или иного типа.
Высокоточная топографическая съёмка с минимальными затратами и усилиями всегда была одним из развивающихся направлений научного интереса. Решения дистанционного зондирования по изображениям с применением беспилотных авиационных систем (БАС) и восстановления структуры по движению (SfM) в сочетании с многоракурсной стереофотограмметрией (MVS) представляют собой новейший этап автоматизации и развития геодезии. Современные разработки привели к широкому применению БАС в различных областях знаний, однако вопрос оценки точности результатов съёмки на их основе остаётся актуальным. Оценка точности и испытание продуктов на применимость и эффективность при решении реальной задачи являются обязательным условием внедрения любой новой технологии. Отдельные БПЛА имеют ограничения по массе, габаритам и энергопотреблению как самого аппарата, так и переносимых им датчиков (Doering et al., 2014).
Система дистанционного зондирования на базе БПЛА должна отличаться экономичностью, быстротой изготовления, простотой эксплуатации местным персоналом и хорошей геометрической точностью (менее одного метра). Авторы Rokhmana et al. (2015) указывают, что основными данными являются ортофотоснимки и цифровая модель рельефа (ЦМР). Средняя геометрическая точность может достигать 3 пикселей, что эквивалентно субметровой точности, а производительность - превышать 500 га в день. Ортофотоснимок позволяет визуально интерпретировать структуру отдельных деревьев, плотность растений и площадь в границах участка, тогда как по ЦМР можно оценить высоту деревьев и рельеф местности с точностью 3-6 пикселей, или 0,5-2,5 м. Работа IostFilho et al. (2020) посвящена применению малых дронов для получения данных. Применение БПЛА в сельскохозяйственном мониторинге и управлении посевами:
1. Проективное покрытие растений, высота растений и индексы: RGB-камера; пространственное разрешение - (1280×720); (1920×1080); (2048×1152); (3840×2160); (4000×3000); (4000×3000); (4056×2282); (4160×2340); (4608×3456); (5344×4016); (5472×3648); 2. Вегетационные индексы; физиологическое состояние растения: мультиспектральная камера; пространственное разрешение - (1080×720); (1248×950); (1280×960); (2064×1544). Масса 30-420 г. Частота кадров от 1 до 30 кадров в секунду; Температура поверхности растений, индекс водного стресса культур: тепловизионная камера; пространственное разрешение (336×256); (640×512); (1920×1080). Масса 92-370 г. Спектральный диапазон 7,5-14 мкм. Диапазон рабочих температур (°C): от -40 до 55.
Тепловые датчики обнаруживают инфракрасную (ИК) электромагнитную энергию, излучаемую объектом, и преобразуют её в изображение. Их используют в сельском хозяйстве благодаря возможности измерять температуру поверхности растений и индекс водного стресса. RGB-камеры могут обеспечивать лучшее пространственное разрешение, чем другие типы датчиков, однако в сельском хозяйстве мультиспектральные камеры превосходят RGB-камеры по объёму извлекаемой информации, например позволяют выявлять невидимое физиологическое состояние растения. Гиперспектральные камеры обычно не применяют в сельском хозяйстве, поскольку для правильной работы на платформах БПЛА они требуют интеграции с большим числом других устройств, включая аккумулятор, устройство захвата кадров и накопитель, а также имеют значительные массу и размеры. Тем не менее гиперспектральные датчики всё больше миниатюризируются, что расширит число областей их применения. Изменяющиеся условия окружающего воздуха и наличие различных объектов, излучающих или отражающих тепловое инфракрасное излучение, могут снижать надёжность измерений тепловизионных камер, поэтому требуется периодическая калибровка. Датчики светового обнаружения и определения дальности (LiDAR) измеряют расстояние до отдельной точки цели, освещая её и анализируя отражённый свет. Такой датчик способен обеспечивать широкое поле зрения (FOV), то есть охватываемый угол, и высокую точность. Однако его габариты и масса могут затруднять соблюдение требований к полезной нагрузке БПЛА.
Для БПЛА, летящих на малой высоте, статические и динамические препятствия могут представлять серьёзную проблему и угрожать целостности летательного аппарата. Эти соображения справедливы для всех видов применения БПЛА. Наряду с дальностью обнаружения описаны некоторые датчики, помогающие БПЛА получать информацию о препятствиях и окружающей среде. В сельском хозяйстве чаще всего используют обычные RGB-камеры, поскольку они позволяют легко оценивать физическое состояние растений. Такие камеры наиболее подходят для определения наличия растений, их количества и повреждений, нанесённых дикими животными, однако для физиологического исследования посевов возможны и гораздо более перспективные и точные решения. Таким образом, анализ спектрального отклика растительности с помощью оптических датчиков при неразрушающем дистанционном мониторинге представляет собой ключевой элемент контроля посевов. Ввиду широкого присутствия на рынке коммерческих решений на базе дронов цель этой работы состоит в исследовании и получении сведений об эффективности таких продуктов, чтобы помочь конечному пользователю выбрать их и применять в точном земледелии.
2. Методика эксперимента
Исследование конфигурации датчиков беспилотных летательных аппаратов и ГИС-обеспечения для оценки перспектив практического применения технологии дистанционного зондирования в сельском хозяйстве проводилось на примере посевов ярового ячменя на опытном участке, расположенном на северо-востоке Казахстана (рисунок 1a). Экспериментальная часть работы была выполнена с использованием мультикоптера DJI Phantom 4 Pro Multispectral (производство DJI, Китай) (рисунок 1b) и БПЛА senseFly eBee X(производство senseFly, Швейцария) (рисунок 1c).
Рисунок 1. Опытное поле и использованные в исследовании БПЛА: a) БПЛА DJI P4M; b) senseFly eBee X
Внешний вид использованных БПЛА показан на рисунке 1b-c. Для обработки полученных снимков применялось лицензионное программное обеспечение Pix4DMapper 4.4.12 в соответствии с методикой Sun et al. (2020). Для подготовки полётного задания использовалось ПО планирования полёта senseFly eMotion версии 3.11.0, в котором создавался блок горизонтальной и трёхмерной миссии. Расстояние между наземными пикселями (GSD) задавали равным 2,0 см для senseFly S.O.D.A. 3D и 2,5 см для Aeria X - компактной фотограмметрической камеры для дронов; соответствующая высота (AED) составляла 88 и 118 м. Для оптимальных лётных характеристик поперечное перекрытие задавали равным 60 %, а продольное - от 60 % для Aeria X до 85 % для senseFly S.O.D.A. 3D; угол наклона по умолчанию составлял 30°. Все полёты выполнялись автономно, а изображения геотегировались с абсолютной точностью посредством рабочего процесса PPK в eMotion Flight Data Manager (FDM).
3. Результаты и обсуждение
Беспилотные летательные аппараты занимают особое место во внедрении точного земледелия (Sadenova et al., 2021a). Технические возможности применения БПЛА в Казахстане используются не полностью. Эти устройства меняют способы сбора полевых данных для анализа и принятия решений. Многие коммерческие дроны комплектуются датчиками камер разных типов; например, DJI Phantom 4 Multispectral оснащён мультиспектральной камерой. Такие камеры очень полезны для сбора данных о состоянии посевов. С помощью мультиспектральной съёмки агрономы могут создавать различные карты вегетационных индексов, позволяющие анализировать состояние растений и почвы. Частый анализ данных по мультиспектральным картам помогает выявить проблемы со здоровьем культур до появления видимых нарушений. Раннее обнаружение проблем роста позволяет быстро составить план действий и смягчить проблему до её усугубления.
В точном земледелии всё большее внимание уделяется применению БПЛА для дистанционного зондирования, мониторинга растительности, картирования вегетационных индексов и т. д. БПЛА обладают множеством преимуществ: высоким пространственным разрешением, быстрым получением информации, удобством и простотой эксплуатации, высокой производительностью, отсутствием помех от облачности и низкой стоимостью. В настоящее время для получения коэффициентов отражения поверхности или цифровых значений применяются мультиспектральные камеры разных типов. Значения коэффициента отражения можно использовать для расчёта вегетационного индекса NDVI. Точность спектральных данных и NDVI, получаемых этими камерами, имеет большое практическое значение. В настоящей работе возможность обследования сельскохозяйственных полей с помощью камер Parrot Sequoia+ и DJI Phantom4 Multispectral анализировалась с использованием различных сочетаний коэффициентов корреляции и точности. Были выбраны следующие аспекты: спектральные значения; вегетационные индексы; площадь охвата (покрытие). Согласно данным съёмки по площади охвата SenseFly eBee X за одинаковое время может выполнить в 10 раз больший объём съёмки, чем DJI Phantom 4 Multispectral, при той же точности. Скорость полёта SenseFly eBee X выше в четыре раза, а продолжительность полёта от одной батареи - в три раза больше, чем у DJI Phantom 4 Multispectral.
Размер датчика влияет на количество света, достигающего изображения. Камеры большего размера обладают лучшей светочувствительностью. Полнокадровый режим обеспечивает более широкое поле зрения в каждом снимке. Когда требуется больше изображений и высокое перекрытие, это различие накапливается. Данные обследования сельскохозяйственных полей, полученные как сDJI Phantom 4 Multispectral, так и с SenseFly eBee X Parrot Sequoia+, можно обрабатывать в таких программах, как Pix4D, DJI Terra, Agisoft MetaShape, Propeller и др. По данным БПЛА были собраны изображения с разным разрешением. Средние спектральные значения NDVI сравнивали на двух полигонах: на полигоне 1 (рисунок 2Ⅰ), где применялось богарное земледелие, и на полигоне 2 (рисунок 2Ⅱ), где применялось орошаемое земледелие,на примере сельскохозяйственной культуры - ячменя крестьянского хозяйства «Маяк» в Павлодарской области. Результаты для полигона 1 показывают, что NDVI мультиспектральной камеры DJI Phantom 4 равен 0,25, а индекс NDVI Sequoia+ - 0,2, что указывает на высокую межканальную корреляцию (коэффициент корреляции P2 равен 0,80). Камеры Sequoia+ и DJI Phantom 4 Multispectral имеют высокую корреляцию; NDVI демонстрирует наибольшую корреляцию P2 между ними - 0,78. Это показывает, что эффективность разных камер можно оценивать как по спектральным значениям, так и по точности вегетационных индексов (рисунок 2).
Рисунок 2. Обработанный индекс NDVI опытных участков 1-2 (Ⅰ - орошаемое земледелие; Ⅱ - богарное земледелие) по данным двух БПЛА: a) DJI P4; b) SenseFly eBee X Parrot Sequoia+ (съёмка БПЛА выполнена 20.06.2022)
Разные мультиспектральные камеры БПЛА могут иметь одинаковую эффективность, даже если их функции спектральных значений различаются. Полученные результаты могут служить основой для анализа совместимости различных датчиков при изучении изменений роста растительности в хозяйствах. Различие приведённых выше результатов объясняется различиями технических характеристик каждого БПЛА.
Использованный в работе БПЛА DJI Phantom 4 Multispectral оснащён пятью датчиками камеры, регистрирующими данные изображения, невидимые человеческому глазу. Он имеет дополнительный RGB-датчик и технологию поправок RTK GPS, обеспечивающую сантиметровую точность. DJI Phantom 4 Multispectral - корпоративный дрон DJI для сельского хозяйства, предоставляющий точные данные о растительности. Благодаря встроенной стабилизации изображения и набору из пяти мультиспектральных камер по 2 Мп с глобальным затвором (синий, зелёный, красный, красный край и ближний инфракрасный диапазон), а также RGB-камере (видимый спектр), установленным на трёхосевом стабилизированном подвесе, сбор данных стал проще и эффективнее. Компания DJI создала платформу P4 Multispectral с улучшенными рабочими характеристиками: продолжительность полёта составляет всего 27 минут, дальность передачи - 7 км. Сбор изображений в сельском хозяйстве становится ещё проще и эффективнее. Мультиспектральный Phantom с пятью мультиспектральными датчиками и RGB-камерой на стабилизированном подвесе предоставляет точные данные о состоянии культур.
Представляло интерес сравнить его характеристики с другим продуктом этого класса - DJI Phantom 5 Multispectral. В сочетании с данными постобработки эта информация помогает получать наиболее точные результаты NDVI. Встроенный в верхнюю часть квадрокоптера P4 Multispectral спектральный датчик солнечного света работает совместно с камерой на подвесе, обеспечивая максимально точные результаты NDVI. Датчик регистрирует солнечный свет, повышая точность и обеспечивая согласованность обработанных данных, полученных в разное время суток. При увеличении масштаба проектов квадрокоптеры теряют производительность. Из-за низкой эффективности полёта им действительно требуется в 5-14 раз больше времени, чем БПЛА самолётного типа, чтобы картировать ту же площадь.
Другим БПЛА, использованным в этом исследовании для сравнения, был SenseFly eBee X. Это лёгкий дрон самолётного типа с ручным запуском, который может оснащаться различными камерами, что делает его пригодным для сбора данных в разных отраслях. Продолжительность полёта составляет 60 минут, но с аккумулятором повышенной ёмкости может быть увеличена до 90 минут. Однако очевидным недостатком является посадка дрона, усложняющая повседневное использование и потенциально сокращающая срок его службы. При посадке возможны повреждения, а место приземления непредсказуемо. Поэтому для безопасной посадки необходимо планировать площадку 100 м². Ещё один недостаток - меньший датчик камеры и более низкая плотность пикселей, ограничивающие фактическое разрешение и GSD до 1,8 см (0,7 дюйма) на пиксель. Абсолютная точность по горизонтали достигает 3 см. Основные характеристики приведены в таблице 1.
Таблица 1. Преимущества и недостатки БПЛА senseFly eBee X и DJI Phantom 4 Pro Multispectral
На основе полученных данных была разработана блок-схема, демонстрирующая обработку посевов ячменя, обследованных исследуемыми дронами. Ортофотопланы и другие данные систематически извлекались в определённой последовательности для получения информации от БПЛА. Для проверки эффективности обнаружения различных типов земного покрова использовался нормализованный разностный вегетационный индекс (NDVI). Был проведён сравнительный анализ двух индексов и проанализированы ортофотоснимки, полученные БПЛА DJI P4M и senseFly eBee X в период с 14 мая по 20 сентября 2022 г. (Sadenova et al., 2021b). На рисунке 3 показана разработанная методика обработки и оценки двух БПЛА.
Рисунок 3. Блок-схема обработки ортофотоснимков и извлечения данных
4. Выводы
Преимущества дронов для сельского хозяйства огромны, и по мере совершенствования технологий они будут применяться всё шире и играть значительную роль в сельскохозяйственных работах. Существует множество дронов, пригодных для сельского хозяйства: от аппаратов для получения высокодетализированных геопривязанных изображений, используемых при составлении карт, до интеллектуального опрыскивания культур. БПЛА играют важную роль в точном земледелии и способствуют развитию устойчивых методов ведения сельского хозяйства. Сравнение БПЛА senseFly eBee X с квадрокоптером Phantom 4 Multispectral показало, что оба летательных аппарата могут получать исходные данные (фотографии) почти с одинаковой точностью без применения RTK. При использовании станции RTK точность может быть повышена. Конструктивные особенности этих БПЛА обусловливают разнообразие областей их применения. Преимуществом БПЛА senseFly eBee X является фирменное программное обеспечение eMotion, позволяющее полностью раскрыть его возможности. В то же время данные, получаемые с помощью Phantom 4 Multispectral, зависят от функциональности применяемого программного обеспечения обработки. Большая площадь охвата БПЛА senseFly: eBee X способен за один полёт охватить до 500 га, тогда как DJI P4M - до 32 га. Благодаря большему охвату eBee X эффективнее при крупномасштабном картировании и съёмочных проектах. По результатам сравнения БПЛА senseFly имеет больше преимуществ и поэтому является лучшим решением по сравнению с DJI P4M.
Благодарности
Исследование выполнено при поддержке проекта ИРН BR10965186 «Разработка и внедрение геоинформационного обеспечения “умного” сельского хозяйства для совершенствования управления агропромышленным комплексом», финансируемого Комитетом науки Министерства образования и науки Республики Казахстан.
Список литературы
Doering D., Benenmann A., Lerm R., de Freitas E.P., Muller I., Winter J.M., Pereira C.E., 2014. Проектирование и оптимизация гетерогенной платформы для применения нескольких БПЛА в точном земледелии. IFAC Proceedings Volumes, 47(3), pp. 12272-12277.
Giovos R., Tassopoulos D., Kalivas D., Lougkos N., Priovolou A., 2021. Вегетационные индексы дистанционного зондирования в виноградарстве: критический обзор. Agriculture, 11(5), p. 457.
Iost Filho F.H., Heldens W.B., Kong Z., de Lange E.S., 2020. Дроны: инновационная технология применения в точном управлении вредителями. Journal of Economic Entomology, 113(1), pp. 1-25.
Jin X., Kumar L., Li Z., Xu X., Yang G., Wang J., 2016. Оценка биомассы и урожайности озимой пшеницы путём объединения модели AquaCrop и полевых гиперспектральных данных. Remote Sensing, 8(12), p. 972.
Liu X., Lian X., Yang W., Wang F., Han Y., Zhang Y., 2022. Оценка точности метода прямого геопривязывания БПЛА и влияние конфигурации наземных опорных точек. Drones, 6(2), p. 30.
Matese A., Berton A., Di Gennaro S.F., Gatti M., Squeri C., Poni S., 2021. Испытание характеристик гиперспектральной съёмки на базе БПЛА в виноградарстве. В: Precision Agriculture’21 (pp. 322-337). Wageningen Academic Publishers.
Radoglou-Grammatikis P., Sarigiannidis P., Lagkas T., Moscholios I., 2020. Сводный обзор применений БПЛА в точном земледелии. Computer Networks, 172, p. 107148.
Rokhmana C.A., 2015. Потенциал дистанционного зондирования на базе БПЛА для поддержки точного земледелия в Индонезии. Procedia Environmental Sciences, 24, pp. 245-253.
Sadenova M.A., Beisekenov N.A., Rakhymberdina M.Y., Varbanov P.S., Klemeš J.J., 2021a. Математическое моделирование в растениеводстве для прогнозирования урожайности культур. Chemical Engineering Transactions, 88, 1225-1230.
Sadenova M.A., Beisekenov N.A., Apshikur B., Khrapov S.S., Kapasov A.K., Mamysheva A.M., Klemeš J.J., 2022b. Моделирование прогноза урожайности люцерны на основе данных дистанционного зондирования Земли (ДЗЗ) и методов дистанционного зондирования. Chemical Engineering Transactions, 94, 697-702.
Sun G., Wang X., Yang H., Zhang X., 2020. Метод измерения параметров растительного покрова современных стандартизированных яблоневых садов на основе мультимодальной информации БПЛА. Sensors, 20(10), p. 2985.
Tardaguila J., Stoll M., Gutiérrez S., Proffitt T., Diago M.P., 2021. Интеллектуальные приложения и цифровые технологии в виноградарстве: обзор. SmartAgricultural Technology, 1, p. 100005.
4 августа / 2026