Измерение сельскохозяйственных культур в 3D и применение геометрии для фенотипирования растений

Stefan Paulus*
* Для переписки: paulus@ifz-goettingen.de. Институт исследований сахарной свёклы, Holtenser Landstr. 77, 37079 Гёттинген, Германия.
Paulus. Plant Methods (2019) 15:103
https://doi.org/10.1186/s13007-019-0490-0
Обзор · Открытый доступ

Аннотация

В последние годы трёхмерные измерения всё шире применяются в фенотипировании растений. В обзоре рассмотрены трёхмерные признаки, методы их измерения и примеры применения для решения биологических задач. Для оценки достижимой точности сопоставлены высокоразрешающий прибор трёхмерной съёмки и общепринятый измеритель площади листьев. Лазерная триангуляция, восстановление структуры по движению, времяпролётные измерения, наземное лазерное сканирование и методы структурированного света позволяют оценивать ширину и длину листа, размер, объём и развитие растений на уровне целого растения и отдельного органа. Признаки рассмотрены с учётом вида растения, метода измерения и связи с биологической задачей. Среди задач — анализ признаков и роста по измерениям во времени, а также более сложные исследования водного баланса, реакций на засуху и локусов количественных признаков (QTL). Применённые процедуры обобщены в схеме обработки трёхмерных облаков точек. Показаны отдельные этапы извлечения параметров на уровне целого растения, на уровне органа с помощью машинного обучения и во времени по сериям измерений. На примере сахарной свёклы показан следующий этап развития методов съёмки растений — объединение трёхмерных и спектральных измерений. Такая многомерная модель растения позволяет моделировать и корректировать влияние геометрии на радиометрические измерения. Обзор описывает современное состояние трёхмерного измерения фенотипических признаков: получение и обработку данных и измеряемые признаки на уровне отдельного растения, мини-делянки, опытного и открытого поля. В дальнейшем исследования будут ориентированы на получение облаков точек высокого разрешения в опытных и полевых условиях и автоматическое извлечение признаков органов для отслеживания их развития в этих масштабах.
Ключевые слова: трёхмерное сканирование растений, признаки растений, параметризация, модель растения, облако точек.
© Автор, 2019. Статья распространяется на условиях международной лицензии Creative Commons Attribution 4.0 (http://creativecommons.org/licenses/by/4.0/). Лицензия разрешает использование, распространение и воспроизведение на любом носителе при условии указания автора и источника, ссылки на лицензию и сведений об изменениях. К опубликованным данным применяется Creative Commons Public Domain Dedication (http://creativecommons.org/publicdomain/zero/1.0/), если не указано иное. В документе представлен русский перевод.

Предпосылки

Методы трёхмерного (3D) измерения поверхности растений разрабатываются уже три десятилетия [1–3]. Данные об архитектуре растения [4] позволяют отслеживать изменение его геометрии и определять параметры растительного полога, отдельных растений и органов. Неразрушающий характер трёхмерных измерений даёт возможность проводить мониторинг во времени [5]. Трёхмерность необходима для различения движения и фактического роста целых растений и отдельных органов [6]. Цель фенотипирования — связать геномику, функции растений и агрономические признаки [7]. Приборы трёхмерной съёмки подходят для этой цели, поскольку позволяют точно измерять геометрию и рост.
Такие измерения можно выполнять разными методами: лазерным сканированием, восстановлением структуры по движению, наземным лазерным сканированием, структурированным светом, времяпролётными датчиками или камерами светового поля. Каждый метод имеет свои области применения на уровне отдельного растения (лаборатория, < 10 растений), мини-делянки (теплица, < 1000 растений), опытного поля (< 10 000 растений) или открытого поля (< 10 000 растений). Для разных задач фенотипирования необходимы разные уровни устойчивости, точности, разрешения и скорости. Среди задач — создание функционально-структурных моделей для связи геометрии растений с их функциями [8], разделение движения и роста для визуализации и измерения суточной динамики [6] и мониторинг влияния стресса среды на развитие растений [9].
Все методы дают облако точек, где каждой точке соответствуют координаты X, Y и Z, задающие её положение в трёхмерном пространстве. В зависимости от прибора к координатам можно добавить интенсивность или цвет отражённого в направлении регистрации света. Методы 2,5D измеряют расстояния с одной точки наблюдения. Полноценные трёхмерные модели объединяют облака точек с нескольких ракурсов и отображают разные пространственные уровни. В них меньше перекрытий, а пространственное разрешение и точность выше. Далее разрешение определяется как наименьшее возможное расстояние между точками скана, также называемое шагом дискретизации. Точность характеризуется расстоянием между действительным и измеренным положением точки объекта.
Техническая классификация методов показана на рис. 1a. Выделяют активные методы с собственным источником освещения и пассивные методы, использующие окружающий свет. К активным относятся триангуляционные и времяпролётные системы. Триангуляционные методы включают лазерную триангуляцию (LT) и структурированный свет (SL), а времяпролётные — наземное лазерное сканирование (TLS) и камеры времени пролёта (ToF). Камеры светового поля (LF) и восстановление структуры по движению (SfM) относятся к пассивным методам. В табл. 1 приведены технические сведения с указанием выходных данных и стоимости.
В обзоре рассматриваются ключевые вопросы трёхмерного фенотипирования растений. Какое разрешение и какая точность точек нужны на разных масштабах? Какие технологии подходят для конкретных задач фенотипирования? Как обрабатывают данные, какие признаки извлекают и каково их биологическое значение?
Рис. 1. Классификация методов трёхмерных измерений, наиболее значимых для фенотипирования растений (выделены ц
Рис. 1. Классификация методов трёхмерных измерений, наиболее значимых для фенотипирования растений (выделены цветом). a — техническая взаимосвязь лазерной триангуляции, структурированного света, времяпролётных измерений, восстановления структуры по движению и съёмки светового поля. b, c — принципы измерения точек при лазерной триангуляции и восстановлении структуры по движению.
Обозначения. a — оптические измерения расстояний. Активные методы: фазовый сдвиг, триангуляция (лазерная линия и структурированный свет) и время пролёта (TLS и ToF-камера). Пассивные методы: световое поле, SfM и стереосъёмка. b — лазерный излучатель, лазерный луч, линза, развёрнутая лазерная линия, исследуемый объект, отражённая линия, линза и светочувствительная матрица. c — плоскость изображения, линия визирования, соответствующие точки и перемещающийся датчик.

Лазерная триангуляция LT

LT чаще всего применяется в лаборатории благодаря высокому разрешению и точности [10] либо простоте сборки из недорогих компонентов [11, 12]. Лазерное сканирование основано на лазерном измерении расстояния и перемещении датчика. Обычно используется лазерная триангуляция. Лазерный луч разворачивают в линию, освещающую исследуемую поверхность. Отражение линии регистрируют светочувствительной матрицей (CCD) или позиционно-чувствительным детектором (PSD). Калибровка позволяет преобразовать положение изображения на матрице в расстояние (рис. 1b). Перемещая измерительный узел, получают полное облако точек. Системы LT используют активное освещение и могут работать независимо от внешней освещённости. Достижимо разрешение в несколько микрометров [10].
В установках LT существует компромисс между разрешением и измеряемым объёмом. Небольшой объём измеряют с максимальным разрешением, большой — с меньшим. Поэтому до начала эксперимента необходимо подобрать конфигурацию датчика и оценить необходимое разрешение и объём.
В последние годы появились адаптированные системы для получения облаков точек растений с миллиметровым разрешением. При измерениях в поле они используют лазерную триангуляцию на невидимых длинах волн (ближний ИК-диапазон, обычно 700–800 нм), что улучшает регистрацию отражённого сигнала при солнечном свете [13, 14].

Восстановление структуры по движению SfM

Для восстановления трёхмерной модели объекта методы SfM используют набор двумерных снимков, полученных RGB-камерами [15]. После оценки внутренних параметров камеры (дисторсия, фокусное расстояние и др.) и внешних параметров (положение и ориентация) изображения связывают [16] по соответствующим точкам (рис. 1c). Эти точки позволяют совместить изображения и вычислить 3D-модель. В зависимости от камеры получается облако точек с цветом RGB или интенсивностью отражения [17]. Разрешение сопоставимо с LT, но сильно зависит от числа использованных снимков, числа ракурсов и разрешения матрицы камеры (CCD) [17].
В LT основные затраты времени приходятся на измерение, а облако точек получается непосредственно. В SfM съёмка быстрая, но вычислительная реконструкция требует значительных ресурсов.
SfM часто используется на беспилотных летательных аппаратах (БПЛА), поскольку не требует активной подсветки или сложного набора камер. Для съёмки нужна только камера, поэтому аппаратная часть компактна и легка и удовлетворяет ограничениям БПЛА по массе. Доступные бытовые камеры и преимущественно свободно распространяемые алгоритмы сделали метод популярным среди любителей для создания моделей для 3D-печати по снимкам с рук или штатива. Поэтому многие приложения ориентированы преимущественно на воспроизводимость, а не на точность.

Структурированный свет (SL), времяпролётные измерения (ToF), световое поле (LF) и наземное лазерное сканирование TLS

Помимо LT и SfM существует ряд других методов получения трёхмерных данных. Наиболее распространены SL, ToF и LF. При SL проецируют шаблоны, обычно сетку или горизонтальные полосы, в определённой временной последовательности. Камера делает снимок для каждого шаблона. При заранее заданной конфигурации камеры и проектора трёхмерные координаты для точек двумерного шаблона определяют по его деформации [18, 19]. Измерительный комплекс SL занимает сравнительно много места, а получение изображений требует времени. Для совмещения разных ракурсов необходимо перемещать объект или установку. В промышленности методы SL применяют для обратного проектирования и контроля качества: они обеспечивают высокое разрешение и точность в сравнительно большом объёме [20].
Таблица 1. Технические характеристики методов трёхмерных измерений.
Метод Сокращение Разрешение Активное освещение Прямой доступ к облаку точек Выходные данные Цена Источники
Лазерная триангуляция LT < 1 мм Да Да XYZ (I) €€€ [10, 26]
Структурированный свет SL < 1 мм Да Нет XYZI (RGB) €€ [18, 27]
Восстановление структуры по движению SfM мм Нет Нет XYZRGB € [17, 28]
Времяпролётные измерения ToF мм Да Да XYZ (I) €€ [29, 30]
Съёмка светового поля LF мм Нет Нет XYZRGB €€€ [31, 32]
Наземное лазерное сканирование TLS см Да Да XYZ (I/RGB) €€€ [33, 34]
В таблице сопоставлены освещение, возможность непосредственного получения облака точек или необходимость постобработки, стоимость и выходные данные. Стоимость обозначена так: € — менее 1000 евро, €€ — менее 10 000 евро, €€€ — более 10 000 евро. Выходные данные включают координаты XYZ и, в зависимости от метода, интенсивность или отражение (I) либо цвет RGB.
В ToF используют активную подсветку. Высокоточная система регистрирует время между излучением света и возвращением отражённого сигнала [21]. Измерение можно выполнять одновременно для тысяч точек. Камеры ToF компактны, но дают изображения относительно низкого разрешения. Их используют главным образом для навигации в помещениях [22] или в игровой индустрии (например, Kinect 2 [23]).
Камеры LF [24] помимо RGB-изображения дают информацию о глубине. Микролинзы над элементами матрицы позволяют измерять направление падающего света и восстанавливать трёхмерные данные.
Для получения полного облака точек установки ToF и LF перемещают. Сравнительно медленная съёмка ToF ограничивает разрешение. По сравнению с LT и SfM обе технологии дают более низкое разрешение (рис. 1).
Наземное лазерное сканирование пришло из геодезии. Такие сканеры измеряют время пролёта или фазовый сдвиг. Для съёмки перекрытых областей сканер переставляют. Метод хорошо зарекомендовал себя в задачах геодезической съёмки, например при выявлении оползней и мониторинге деформаций на больших территориях [25]. При мониторинге растений его преимущество — большой диапазон измерений (< 300 м). Возможна миллиметровая точность, однако требуются геодезические навыки, особенно при нескольких положениях сканера. Метод широко применяется для оценки параметров полога. Высокая стоимость, сложность совмещения измерений с разных позиций и длительность съёмки ограничивают его пригодность для измерений отдельных растений.

Влияние разрешения облака точек на извлекаемые признаки

Для определения требований к облакам точек и приборам трёхмерной съёмки важно сравнивать точность этих приборов с общепринятыми средствами измерения признаков. Трёхмерная съёмка подтвердила надёжность по сравнению с традиционными ручными или инвазивными измерениями [3]. Однако сопоставление проверенных неинвазивных методов и выбор необходимого разрешения для конкретной задачи остаются открытыми вопросами.
Для сравнения высокоточной системы LT с общепринятым неинвазивным измерителем площади листа провели эксперимент. Оба метода сопоставили с проверенным, но разрушающим эталонным методом на основе фотографий [35, 36] с субмиллиметровой точностью. В эталонном методе используют RGB-снимок и масштабную рамку. Листья срезают и укладывают внутрь рамки. В опыте было десять растений ячменя, по шесть-семь листьев на растение. У каждого измерили не менее пяти листьев, поскольку измеритель не позволял измерять внутренние листья. Растения выращивали в теплице и измеряли на стадии BBCH 30.
Для измерений использовали портативный лазерный измеритель площади листьев CI-203 (CID Inc., Камас, штат Вашингтон, США) [37] и лазерный сканер (измерительная рука Romer с Perceptron v5 [38]). Облако лазерного сканера состояло из нескольких тысяч трёхмерных линий, автоматически совмещённых между собой. Для равномерного распределения точек облако передискретизировали с шагом 0,3 мм и построили сетку со сглаживанием поверхности в CloudCompare (версия 2.10 Alpha, http://www.cloudcompare.org). Площадь листа определяли суммированием площадей всех треугольников сетки, как ранее при измерениях кукурузы [39]. Среднеквадратическую ошибку (RMSE) и среднюю абсолютную процентную ошибку (MAPE) рассчитывали по [3].
На рис. 2a показана связь между показаниями лазерного сканера и эталоном (R² = 0,99), а также между показаниями измерителя площади листьев и эталоном (R² = 0,99). Для измерителя заметно небольшое систематическое смещение, связанное с позиционированием прибора у основания листа. Показатели ошибок приведены в табл. 2.
Снижая разрешение лазерного облака и точность положения точек, можно определить ошибки относительно общепринятого измерителя листьев. Дополнительно оценили пригодность разных шагов дискретизации (1–15 мм), поскольку приведённые методы различаются по разрешению и точности (рис. 2b). Сканы первого эксперимента передискретизировали, уменьшая число точек. К отдельным точкам добавили шум в масштабе шага (1–15 мм), чтобы реалистичнее имитировать другие датчики и технологии. Результаты корреляционного анализа и показатели ошибок представлены в табл. 2. MAPE всех облаков с искусственно сниженным качеством по сравнению с эталоном оставалась ниже 1 %. Шаги свыше 15 мм не рассматривали, поскольку оставалось слишком мало точек для моделирования листа.
Рис. 2. Точность лазерного сканирования. Для оценки лазерного сканера и измерителя площади листьев использовал
Рис. 2. Точность лазерного сканирования. Для оценки лазерного сканера и измерителя площади листьев использовали эталонный фотограмметрический метод [35, 36]. a — оба метода показали высокую корреляцию с эталоном. b — сравнение результатов лазерного сканера при разных шагах дискретизации с эталоном. Полупрозрачные области показывают 95-процентные доверительные интервалы. Чёрная биссектриса соответствует линии равенства измерений.
На обеих панелях по горизонтали отложена эталонная площадь листа, по вертикали — измеренная площадь (см²). a — лазерный сканер с шагом 0,3 мм и измеритель площади листьев. b — лазерный сканер при шагах 1, 5, 10 и 15 мм.
Таблица 2. Сопоставление ошибок измерителя площади листьев и лазерного сканера при шаге дискретизации облака от 0,3 до 15 мм.
Прибор Шаг, мм R² MAPE, % RMSE, см²
Измеритель площади листьев — 0,99 0,16 5,01
Лазерный сканер 0,3 0,99 0,04 1,34
Лазерный сканер 1,0 0,91 0,05 3,94
Лазерный сканер 5,0 0,89 0,11 5,4
Лазерный сканер 10,0 0,89 0,43 13,96
Лазерный сканер 15,0 0,68 0,90 30,66
Передискретизация включала снижение разрешения и добавление шума в том же масштабе. Приведены R², MAPE и RMSE.
Как и ожидалось, при снижении разрешения ошибка увеличивается. Лазерный трёхмерный прибор с шагом 5 мм сопоставим с измерителем площади листьев по относительной ошибке. При шаге вплоть до 15 мм процентная ошибка оставалась ниже 1 %, хотя RMSE возрастала примерно до 30 см². Следовательно, даже приборы с невысоким разрешением позволяют точно измерять признаки.

Обработка данных и анализ трёхмерных признаков

Трёхмерное сканирование регистрирует геометрию растения и отдельных органов, например листьев и стеблей. По этим данным можно рассчитать параметры целого растения или органов, описывающие размер, форму и развитие. Признаки, получаемые из облака точек всего растения или полога, названы простыми. Параметры геометрии на уровне органов названы сложными, поскольку требуют предварительного распознавания органов методом классификации. К простым признакам относятся высота, ширина, объёмные показатели, карты высот или наклона и приближённая площадь листьев. Последнюю получают из несегментированного облака, бо́льшая часть точек которого приходится на листья. К сложным признакам относятся точная площадь листа, длина стебля, расстояние между узлами, число плодов и объём колоса. Повторяя измерения и анализ во времени, можно получать динамические признаки, например изменения поверхности листьев, их движения или карты роста по участкам поля. Поскольку время можно представить дополнительным измерением, такие признаки называют четырёхмерными (4D).
Перед сравнением с общепринятыми приборами нередко требуется определить даже несложные показатели. Например, расстояние между узлами можно определить как расстояние на стебле между местами прикрепления двух последовательных черешков или как расстояние между центрами листьев, спроецированными на стебель [27].
На рис. 3 показано извлечение признаков из облака точек ячменя без данных об отражении. Определяют высоту и ширину растения, выпуклую оболочку, проективную площадь листьев, плотность площади листьев, число листьев и длину отдельного листа, а также строят карты высот и наклонов.
Высоту определяют по разности максимальной и минимальной координат Z. Для ширины так же используют координаты X и Y [3]. Более сложный показатель — выпуклая оболочка. В 2D это наименьший выпуклый многоугольник, содержащий все точки. В 3D она даёт приближение объёма растения [3]. Проективная площадь листьев соответствует площади поверхности земли, покрытой листьями. Её широко применяют, чтобы характеризовать освещение в пологе и вычислять проективный индекс листовой поверхности [40]. Распределение высот точек листовой поверхности указывает на изменения массы листьев на единицу площади. Это показано для риса разных сортов и при разных уровнях обеспеченности азотом [41]. Число листьев — важный признак, используемый, среди прочего, для описания фазы развития растений по шкале BBCH [42]. Автоматически определить его сложно. Для двумерных изображений эта задача уже рассматривалась и была признана достаточно трудной [43]. На основе имеющихся данных организовали конкурс по её решению [44]. В 3D для распознавания органов и семантической разметки облака точек применяют разные методы. Одни сегментируют облако по структуре полигональной сетки [45], другие подгоняют модель под измерения растения [46]. Также анализируют окрестности точек и применяют машинное обучение, например метод опорных векторов в сочетании с условными случайными полями для исправления ошибок классификации [47]. Среди других методов — наращивание областей [48], кластеризация [49] и извлечение скелета [50]. Результаты зависят от качества исходного облака точек.
После распознавания отдельных листьев можно рассчитать параметры на уровне органов, например площадь каждого листа. Paulus и др. [3] описали ручное отслеживание листьев для наблюдения за их развитием во времени. Поверхность листа можно описать треугольной сеткой. Сумма площадей треугольников соответствует площади листа. Для стеблей нужна более сложная параметризация. Геометрические примитивы, например цилиндры, хорошо аппроксимируют форму стебля [51] и позволяют определить его высоту или объём [5]. Дополнительный анализ распределения точек по высоте обычно применяют для построения карт, выявляющих участки с различиями в росте [13].
На рис. 4 показана схема обработки облаков точек, полученных типовым трёхмерным сканером. После обрезки до области интереса и первого этапа очистки от выбросов из облака определяют простые параметры, такие как высота и ширина. Стандартные библиотеки обработки данных, например MATLAB (The MathWorks, Inc., Нейтик, Массачусетс, США), OpenCV [52] или Point Cloud Library [53], позволяют получить объём выпуклой оболочки, проективную площадь листьев и карты высот. Аппроксимация плоскостями и построение сетки позволяют определить площадь листьев и наклон (рис. 4, часть 1).
Дальнейшая обработка может включать машинное обучение для сегментации листьев, стеблей и колосьев [54]. Эти программы используют трёхмерные дескрипторы, например гистограммы признаков поверхности или точек [55, 56], кодирующие структуру поверхности.
Рис. 3. Признаки, извлекаемые из трёхмерного облака точек молодого растения ячменя. Из облака XYZ (a) получают
Рис. 3. Признаки, извлекаемые из трёхмерного облака точек молодого растения ячменя. Из облака XYZ (a) получают простые параметры: высоту (b), ширину (c), выпуклую оболочку (d), проективную площадь листьев (e) и плотность площади листьев (f). После выделения органов определяют число листьев (g) и их длину (h). Для каждой точки можно вычислить наклон и высоту и построить карту наклонов (i) или высот (j).
Алгоритмы машинного обучения, например метод опорных векторов в реализации LibSVM [57], требуют предварительно размеченных данных и относятся к обучению с учителем. При наличии разметки эти данные используют для обучения классификатора. Методы обучения без учителя используют структуру самих данных и обходятся без разметки, однако их сложно оптимизировать. Трёхмерные геометрические признаки и кластеризацию успешно применили для разделения точек стеблей и листьев в облаках ячменя [49] (рис. 4, часть 2).
Измерения во времени (4D) и повторное применение описанной схемы позволяют определять параметры развития, например кривые роста целых растений и отдельных органов. Поскольку трёхмерные приборы позволяют отличать рост от движения, можно наблюдать суточный цикл и сопоставлять его с суточным приростом [6]. Рост служит прямым показателем стресса, поэтому высокоточные приборы трёхмерной съёмки пригодны для его выявления по изменению формы [2] (рис. 4, часть 3).
Рис. 4. Типовая схема обработки трёхмерных данных. (1) После выделения области интереса и удаления выбросов по
Рис. 4. Типовая схема обработки трёхмерных данных. (1) После выделения области интереса и удаления выбросов получают простые параметры: высоту, ширину и объём. (2) Машинное и глубокое обучение позволяют выделять и параметризовать органы растений. (3) Серии измерений позволяют следить за развитием и отличать рост от движения.
Этапы схемы: исходные данные, область интереса, удаление выбросов, извлечение признаков, классификация, глубокое обучение или кластеризация для выделения органов, расчёт параметров и построение сетки. (1) Простые признаки: высота и ширина, выпуклая оболочка, проективная площадь листьев, карты высот, приближённые площадь и наклон листьев. (2) Признаки органов: площадь и наклон листьев, длина стебля и расстояние между узлами, размер и форма чашечки, обнаружение плодов, подсчёт колосьев и оценка их объёма. (3) Динамические признаки (4D): карты роста, развитие и движение листьев, развитие стебля и суточный цикл.

Трёхмерные параметры в разных масштабах

В этом разделе обобщены параметры из литературы в четырёх масштабах: отдельное растение, мини-делянка, опытное поле и открытое поле. Лабораторный масштаб отдельного растения охватывает материал от проростков до взрослых растений и предполагает съёмку отдельных экземпляров или очень малых групп. Здесь используют датчики субмиллиметрового разрешения и воспроизводимую высокоточную схему измерения. К масштабу мини-делянок относятся теплицы с фиксированными позициями растений и комплексы высокопроизводительного фенотипирования, где растения подают конвейером в съёмочные камеры. Такие установки часто применяют в исследованиях [58]. На опытных полях измеряют стационарными датчиками, например на штативах, либо с медленно движущихся платформ. На открытом поле датчики обычно устанавливают на БПЛА. Разрешение ниже, порядка сантиметров, но частота сканирования высока (> 50 Гц), что важно при съёмке в движении. Для оценки точности используют линейную корреляцию с представлением результатов через R² или MAPE [3] (табл. 3).
Для описания областей применения на уровнях отдельного растения, мини-делянки, опытного и открытого поля в табл. 3 приведены виды растений, измеряемые признаки и их связь с биологическими задачами.
Многие лабораторные исследования посвящены небольшим группам растений. Различать отдельные органы обычно не требуется. Простые параметры, такие как высота, объём, число листьев и их проективная площадь, извлекались с высокой точностью (R² > 0,9 [17]). Для выделения отдельных органов требуется дополнительная модель растения [45] или классификатор, работающий непосредственно с облаком точек [54].
Таблица 3. Признаки, измерявшиеся на уровне отдельного растения, мини-делянки, опытного и открытого поля.
Масштаб Признак Растение Датчик / метод Биологическая задача Источники
Отдельное растение Высота растения Сахарная свёкла LT Реакция на засуху [3]
Отдельное растение Ширина растения Сахарная свёкла LT Реакция на засуху [3]
Отдельное растение Объём корня Сахарная свёкла LT Анализ признаков [11]
Отдельное растение Площадь поверхности корня Сахарная свёкла LT Анализ признаков [11]
Отдельное растение Компактность корня Сахарная свёкла LT Анализ признаков [11]
Отдельное растение Площадь листа Ячмень LT Реакция на засуху [3]
Отдельное растение Проективная площадь листьев Сахарная свёкла LT Анализ признаков [11]
Отдельное растение Ширина листа Хлопчатник SfM Анализ роста [45]
Отдельное растение Длина листа Хлопчатник SfM Анализ роста [45]
Отдельное растение Движение листа Arabidopsis LT Анализ роста [6]
Отдельное растение Рост отдельного листа Ячмень LT Анализ роста [3]
Отдельное растение Число листьев Капуста SL Анализ признаков [27]
Отдельное растение Число листьев Огурец SL Анализ признаков [27]
Отдельное растение Число листьев Томат SL Анализ признаков [27]
Отдельное растение Длина / рост стебля Ячмень LT Анализ роста [5]
Отдельное растение Форма чашечки Земляника SfM Анализ признаков [59]
Отдельное растение Форма семянки Земляника SfM Анализ признаков [59]
Отдельное растение Расстояние между узлами Капуста SL Анализ признаков [27]
Отдельное растение Расстояние между узлами Огурец SL Анализ признаков [27]
Отдельное растение Расстояние между узлами Томат SL Анализ признаков [27]
Отдельное растение Объём колоса Пшеница LT Оценка урожайности [54]
Отдельное растение Форма колоса Пшеница LT Оценка урожайности [54]
Мини-делянка Высота растения Перец SfM Анализ QTL [60]
Мини-делянка Угол наклона листа Перец SfM Анализ QTL [60]
Мини-делянка Площадь листа Рапс LT Анализ роста [14]
Мини-делянка Проективная площадь листьев Рапс LT Анализ роста [14]
Мини-делянка Угол наклона листа Кукуруза ToF Анализ признаков [24]
Мини-делянка Угол наклона листа Сорго ToF Анализ признаков [24]
Мини-делянка Угол наклона листа Соя SfM Реакция на засуху [61]
Мини-делянка Обнаружение плодов Томат LF Анализ признаков [21]
Опытное поле Высота растения / полога Пшеница LT Анализ роста [13]
Опытное поле Проективная площадь полога Хлопчатник TLS Рост и урожайность [62]
Опытное поле Объём растения Хлопчатник TLS Рост и урожайность [62]
Опытное поле Индекс листовой поверхности (LAI) Кукуруза, сорго SfM Анализ признаков [63]
Опытное поле Площадь листьев Виноград SfM Анализ признаков [64]
Опытное поле Площадь листьев Арахис LT Водный баланс [65]
Опытное поле Площадь листьев Вигна LT Водный баланс [65]
Опытное поле Площадь листьев Жемчужное просо LT Водный баланс [65]
Открытое поле Высота растения и полога Кукуруза SfM Анализ роста [66]
Открытое поле Высота растения и полога Сорго SfM Анализ роста [66]
Открытое поле Высота растения и полога Баклажан SfM Оценка биомассы [67]
Открытое поле Высота растения и полога Томат SfM Оценка биомассы [67]
Открытое поле Высота растения и полога Капуста SfM Оценка биомассы [67]
Если возможно, приводится оценка ошибки, а также указываются вид растения, датчик и биологическая задача исследования.
Выделение органов позволяет вычислять объём колосьев пшеницы для оценки урожайности методом α-форм [54] либо измерять параметры стебля методом подгонки цилиндров [3].
Для мини-делянки требования к разрешению и точности схожи с требованиями к отдельному растению. Дополнительно важна скорость съёмки при высокопроизводительном фенотипировании в автоматизированных теплицах и на конвейерных установках. Для анализа признаков и роста широко применяется лазерная триангуляция [14]. Также применяют ToF [24] и SfM [64] благодаря высокой скорости регистрации, хотя после съёмки требуется заметное время на обработку. В этом масштабе обычно определяют простые признаки вроде высоты или площади листьев. Точки стебля часто не учитывают из-за меньшего разрешения или малой доли таких точек.
На опытном поле основное внимание уделяют высоте растений или полога [13], объёму [62] и индексу листовой поверхности [63]. Часто применяют наземные лазерные сканеры с дальностью в десятки или сотни метров и разрешением в несколько миллиметров [62]. Методы SfM используют на колёсных платформах с камерами [64] и на БПЛА. Данные с БПЛА позволяют измерять доступные параметры вроде высоты растения или объёма полога и использовать их для анализа роста и оценки биомассы [66, 67].
В табл. 3 показана связь трёхмерных параметров с анализом признаков и роста, реакцией на засуху, водным балансом, оценкой урожайности и биомассы и анализом локусов количественных признаков (QTL) [68].
Реакцию на засуху характеризуют сравнением групп растений с разной доступностью воды [3, 61]. Сочетание трёхмерных и гравиметрических измерений транспирации позволяет оценивать водный баланс и интенсивность транспирации в течение суток на уровне отдельного растения [65]. В таких экспериментах неразрушающие измерения дополнительным датчиком связывают с трёхмерными признаками. Разрушающие измерения урожайности позволяют связать трёхмерные признаки с массой тысячи зёрен или числом зёрен, как показано для пшеницы [54]. Скан целого растения можно связать со свежей массой или биомассой даже в масштабе поля [67]. Анализ QTL выявляет участки генома, отвечающие за определённые признаки. Трёхмерные измерения помогают выявлять и описывать признаки, связанные с такими участками [60], и анализировать взаимодействие генотипа и фенотипа.

Дополнение трёхмерных данных

Фенотип, возникающий при взаимодействии генотипа и среды, выражается множеством признаков, часть которых не проявляется в геометрии. Поэтому рассматривают и другие датчики. RGB-камеры широко применяют для извлечения признаков размера, формы и цвета [69]. Мульти- и гиперспектральные камеры используют для выявления спектральных признаков или косвенных показателей стресса [70] и болезней [71] за пределами видимого диапазона. Тепловизоры показывают различия температур между растениями или в пределах одного растения [72].
Показания таких приборов зависят от геометрии поверхности растений. В работе [73] показана связь между высокими значениями нормализованного разностного вегетационного индекса NDVI [74] и углом наклона листьев сахарной свёклы. Трёхмерные данные позволяют учесть влияние разных углов отражения, определяемых положением осветителя, камеры и исследуемой поверхности [75]. Для объединения гиперспектральных и трёхмерных изображений необходимо построить геометрическую модель камер. В результате получают совмещённую модель, объединяющую трёхмерную геометрию с данными отражения гиперспектральных камер (рис. 5). Поскольку учёт геометрии уменьшает описанную ошибку, в будущем целесообразно встраивать коррекцию непосредственно в аппаратуру, например на основе корректного моделирования хода оптических лучей [76].
Рис. 5. Объединение трёхмерного облака точек и гиперспектрального изображения возможно после калибровки систем
Рис. 5. Объединение трёхмерного облака точек и гиперспектрального изображения возможно после калибровки системы из трёхмерного датчика и гиперспектральной камеры. Показаны вид сверху (a) при совмещении 3D-данных с VISNIR (911 нм) и вид сбоку (b) при совмещении с SWIR (1509 нм). Спектры VISNIR и SWIR можно исследовать в одной и той же точке облака (c).
На панели c по горизонтали отложена длина волны (нм), по вертикали — коэффициент отражения. VISNIR (VNIR) — видимый и ближний инфракрасный диапазоны, SWIR — коротковолновый инфракрасный диапазон.

Критическая оценка трёхмерного сканирования растений

Описанный эксперимент (рис. 2) и анализ литературы (табл. 3) показывают, что трёхмерные измерительные приборы, особенно лазерные сканеры, надёжно определяют параметры растений в задачах фенотипирования. Они могут заменить существующие инвазивные приборы и даже превзойти их по точности. Для лабораторного или тепличного эксперимента приведена оценка необходимого разрешения и соответствующих ошибок. Ранее для морфологического фенотипирования допустимой считалась MAPE в пределах 5–10 %. Этот предел отражает величину ошибок ручных измерений и достаточно мал, чтобы различать изменения значимых признаков между датами съёмки по мере развития растения [45]. В описанном опыте даже при ухудшении разрешения и точности положения точек до 15,0 мм MAPE ни разу не превысила этот предел.
Преимущество всех трёхмерных приборов состоит в том, что облако точек описывает поверхность на определённый момент времени. Такое представление позволяет извлекать разные признаки и после окончания измерений. Если в опыте изначально требовалась площадь листа, а позже стал важен его наклон, этот признак можно рассчитать по ранее полученным данным и сопоставить с результатами текущего опыта [77].
Для всех методов характерно увеличение сложности и степени перекрытия по мере роста растений. Дополнительные ракурсы уменьшают перекрытия, но полностью их устранить нельзя: в определённый момент центральные части растения закрыты его же листьями независимо от датчика, числа ракурсов или конфигурации съёмки. Возможное решение — МРТ (магнитно-резонансная томография) или радиолокационные системы, дающие объёмные измерения [78], хотя установка будет сложнее и дороже. В зависимости от метода совмещение ракурсов затрудняется при ветре или повороте растений между отдельными сканами. Привязка становится невозможной, и качество результата падает. Это справедливо почти для всех методов, если съёмка не ведётся одновременно с нескольких позиций, как уже показано на примере отслеживания движений человека [79].
Хотя трёхмерные приборы могут обеспечивать очень высокое разрешение, они измеряют только видимые объекты. Корни можно снимать при выращивании в прозрачной среде, например агаре. Корневые признаки подразделяют на статические, измеряемые в один момент, и динамические, измеряемые в нескольких временных точках [80]. Динамические признаки характеризуют рост и пространственно-временные изменения. В обычном грунте трёхмерные оптические приборы позволяют оценить только статические признаки, поскольку корни нужно извлечь, промыть и измерить. При съёмке через разные среды необходимо учитывать преломление.
В целом LT подходит для задач, требующих высокого разрешения и точности в сравнительно небольшом объёме, например для мониторинга органов отдельного растения. SfM охватывает большинство задач фенотипирования во всех масштабах, поскольку разрешение и измеряемый объём зависят от камеры и числа снимков. Чем больше данных с разных ракурсов совмещено, тем меньше перекрытий остаётся в результирующем облаке независимо от типа датчика.

Итоги по лазерной триангуляции

Микрометровое разрешение LT позволяет различать мельчайшие детали. Точные облака точек подходят для машинного обучения при извлечении параметров органов, например длины стебля или формы чашечки. При использовании активной подсветки, особенно лазерной триангуляции, необходимо учитывать взаимодействие лазера с тканями растения. Хотя лазерное сканирование обычно считают поверхностным методом, недавние эксперименты показали, что на результат и точность существенно влияют ткани под кутикулой, цвет и интенсивность лазерного излучения [81, 82]. Кроме того, краевой эффект, когда сигнал одновременно регистрируется от части листа и фона, может привести к выбросам или полностью ошибочным измерениям [83].

Итоги по восстановлению структуры по движению

SfM позволяет быстро собирать данные и требует лёгкой аппаратуры, что удобно для съёмки полевых опытов с воздушных платформ. Чем больше снимков получено, тем выше разрешение результирующего облака. SfM даёт миллиметровую точность [17], однако сильно зависит от внешнего освещения, особенно если оно меняется во время съёмки или между последовательными измерениями. Ветер смещает объект между кадрами, вызывая ошибки реконструкции [84]. Эффект можно уменьшить повышением частоты съёмки (> 50 Гц), но тогда время реконструкции возрастает (> 1 ч). Новые исследования направлены на сокращение постобработки [85], поскольку оперативная реконструкция принципиальна для автономного вождения. Активное развитие этой области даёт основания ожидать существенного повышения производительности алгоритмов реконструкции.

Итоги по SL, ToF, TLS и LF

Измерения SL, ToF, TLS и LF показали пригодность для фенотипирования растений. Для высокопроизводительного применения требуется повысить точность и разрешение. Существуют прототипы, в которых именно эти методы оказываются предпочтительными.

Другие методы

Помимо описанных приборов трёхмерной съёмки существуют системы для микроскопического масштаба, например интерферометрия для определения положения белков в 3D [86] и трёхмерная микроскопия со структурированным освещением для визуализации плазмодесм растительных клеток [87]. В лаборатории для определения признаков семян [89] применяли методы объёмной реконструкции с отсечением вокселей (volume carving) [88]. Методы МРТ применяли для реконструкции невидимых структур [90] или сочетали с позитронно-эмиссионной томографией (ПЭТ), чтобы определять зоны роста и распределения углерода в корневых системах [78]. Длину и углы корней можно измерять и с помощью рентгеновских лучей, которым не требуется прямая видимость объекта [91]. На масштабе, превышающем возможности БПЛА, применялись авиационные методы, например воздушное лазерное сканирование [2] для оценки запасов углерода по трёхмерным сканам деревьев. Признаки деревьев измеряют уже много лет [92]. Такие признаки, как диаметр ствола на высоте груди (DBH), используют для прогнозирования продуктивности деревьев [93, 94]. Сельскохозяйственные и овощные культуры растут существенно быстрее лесных деревьев.

Возможности и задачи дальнейших исследований

Основная задача — перенос методов с уровня отдельного растения на опытное и открытое поле. Для этого требуется повышение разрешения облаков точек, что предъявляет дополнительные требования к датчикам и платформам. Датчики и алгоритмы должны учитывать движение растений от ветра и многочисленные перекрытия, а также обеспечивать совмещение данных разных приборов, чтобы трёхмерная информация помогала корректировать влияние геометрии на радиометрические измерения [73, 75]. Необходимо повысить точность позиционирования БПЛА, например с помощью RTK GPS [95] или объединения данных бортовых датчиков [96]. Трёхмерные датчики обладают большим потенциалом для неинвазивного измерения, отслеживания и извлечения геометрических признаков растений в разных масштабах. Дальнейшие исследования должны уделять внимание определениям признаков, например правилам измерения высоты или расстояния между узлами, чтобы разные группы и страны могли сопоставлять алгоритмы, растения и варианты воздействия.

Заключительные замечания

В обзоре рассмотрены методы трёхмерного измерения, получаемые признаки и биологические приложения фенотипирования. Общая схема обработки связывает трёхмерные данные с извлечением простых признаков целого растения и более сложных признаков отдельных органов. Рассмотрено построение кривых роста по сериям измерений для мониторинга развития органов в 4D и их связь с научными задачами биологии. Обобщены и обсуждены методы съёмки от отдельного растения до поля.
Обзор даёт представление о трёхмерных методах фенотипирования, признаках, уже полученных для разных растений, и соответствующих биологических задачах.

Сокращения

LT — лазерная триангуляция, SfM — восстановление структуры по движению, SL — структурированный свет, LF — световое поле, ToF — время пролёта, NIR — ближняя инфракрасная область (700–1000 нм), SWIR — коротковолновая инфракрасная область (1000–2500 нм), UAV — беспилотный летательный аппарат (БПЛА), CCD — прибор с зарядовой связью, PSD — позиционно-чувствительный детектор, TLS — наземное лазерное сканирование, QTL — локусы количественных признаков, RMSE — среднеквадратическая ошибка, MAPE — средняя абсолютная процентная ошибка, BBCH — шкала развития растений.

Благодарности

Автор благодарит Heiner Kuhlmann за предоставление наборов данных, Anne-Katrin Mahlein и Nelia Nause за вычитку и Jan Behmann за помощь с примерами объединения данных.

Вклад автора

SP — единственный автор рукописи. Он разработал замысел исследования, спланировал эксперименты, проанализировал результаты и написал рукопись. Автор прочитал и одобрил окончательный вариант.

Финансирование

Работа выполнена при поддержке Института исследований сахарной свёклы, Гёттинген, Германия.

Доступность данных и материалов

Наборы данных, полученные или проанализированные в ходе исследования, можно получить у автора для переписки по обоснованному запросу.

Этическое одобрение и согласие на участие

Неприменимо.

Согласие на публикацию

Автор согласился на публикацию рукописи.

Конфликт интересов

Автор заявляет об отсутствии конфликта интересов.
Рукопись получена 29 марта 2019 г. и принята 27 августа 2019 г.

Список литературы

[1] Walklate PJ. A laserscanning instrument for geometry measuring crop. Science. 1989;46:275–84.
[2] Omasa K, Hosoi F, Konishi A. 3D lidar imaging for detecting and understanding plant responses and canopy structure. J Exp Bot. 2007;58(4):881–98.
[3] Paulus S, Schumann H, Leon J, Kuhlmann H. A high precision laser scan- ning system for capturing 3D plant architecture and analysing growth of cereal plants. Biosyst Eng. 2014;121:1–11.
[4] Godin C. Representing and encoding plant architecture: a review. Ann For Sci. 2000;57(5):413–38.
[5] Paulus S, Dupuis J, Riedel S, Kuhlmann H. Automated analysis of barley organs using 3D laserscanning—an approach for high throughput phenotyping. Sensors. 2014;14:12670–86.
[6] Dornbusch T, Lorrain S, Kuznetsov D, Fortier A, Liechti R, Xenarios I, et al. Measuring the diurnal pattern of leaf hyponasty and growth in Arabidopsis—a novel phenotyping approach using laser scanning. Funct Plant Biol. 2012;39:860–9.
[7] Furbank RT, Tester M. Phenomics—technologies to relieve the phenotyp- ing bottleneck. Trends Plant Sci. 2011;16(12):635–44.
[8] Lou L, Liu Y, Shen M, Han J, Corke F, Doonan JH. Estimation of branch angle from 3D point cloud of plants. In: 2015 international conference on 3D vision. New York: IEEE; 2015.
[9] Maphosa L, Thoday-Kennedy E, Vakani J, Phelan A, Badenhorst P, Slater A, et al. Phenotyping wheat under salt stress conditions using a 3D laser scanner. Israel J Plant Sci. 2016. https://doi.org/10.1080/07929 978.2016.1243405.
[10] Dupuis J, Kuhlmann H. High-precision surface inspection: uncertainty evaluation within an accuracy range of 15 μm with triangulation-based laser line scanners. J Appl Geodesy. 2014;8(10):109–18.
[11] Paulus S, Behmann J, Mahlein AK, Plümer L, Kuhlmann H. Low-cost 3D systems—well suited tools for plant phenotyping. Sensors. 2014;2:3001–18.
[12] Dupuis J, Paulus S, Behmann J, Plümer L, Kuhlmann H. A multi-resolution approach for an automated fusion of different low-cost 3D sensors. Sen- sors. 2014;14:7563–79.
[13] Virlet N, Sabermanesh K, Sadeghi-Tehran P, Hawkesford MJ. Field scana- lyzer: an automated robotic field phenotyping platform for detailed crop monitoring. Funct Plant Biol. 2017;44(1):143.
[14] Kjaer K, Ottosen CO. 3D laser triangulation for plant phenotyping in chal- lenging environments. Sensors. 2015;15(6):13533–47.
[15] Hartley R, Zisserman A. Multiple view geometry in computer vision. 2nd ed. New York: Cambridge University Press; 2003.
[16] Tsai RY, Lenz RK. Real time versatile robotics hand/eye calibration using 3D machine vision. In: Proceedings 1988 IEEE international conference on robotics and automation. IEEE Comput. Soc. Press; 1988. p. 554–61.
[17] Rose JC, Paulus S, Kuhlmann H. Accuracy analysis of a multi-view stereo approach for phenotyping of tomato plants at the organ level. Sensors. 2015;15:9651–65.
[18] Geng J. Structured-light 3D surface imaging: a tutorial. Adv Opt Photon- ics. 2011;3(2):128.
[19] Zhang S. High-speed 3D shape measurement with structured light methods: a review. Opt Lasers Eng. 2018;106:119–31.
[20] Li L, Schemenauer N, Peng X, Zeng Y, Gu P. A reverse engineering system for rapid manufacturing of complex objects. Robot Comput Integr Manuf. 2002;18(1):53–67.
[21] Polder G, Hofstee JW. Phenotyping large tomato plants in the green- house using a 3D light-field camera, vol. 1. St. Joseph: American Society of Agricultural and Biological Engineers; 2014.
[22] Dario Piatti DSaFRDSe Fabio Remondino. TOF range-imaging cameras. 1st ed. Berlin: Springer; 2013.
[23] Corti A, Giancola S, Mainetti G, Sala R. A metrological characterization of the Kinect V2 time-of-flight camera. Robot Auton Syst. 2016;75:584–94.
[24] Thapa S, Zhu F, Walia H, Yu H, Ge Y. A novel LiDAR-based instrument for high-throughput, 3D measurement of morphological traits in maize and sorghum. Sensors. 2018;18(4):1187.
[25] Vezočnik R, Ambrožič T, Sterle O, Bilban G, Pfeifer N, Stopar B. Use of terrestrial laser scanning technology for long term high precision deformation monitoring. Sensors. 2009;9(12):9873–95.
[26] Franca JGDM, Gazziro MA, Ide AN, Saito JH. A 3D scanning system based on laser triangulation and variable field of view. In: IEEE interna- tional conference on image processing 2005. New York: IEEE; 2005.
[27] Nguyen T, Slaughter D, Max N, Maloof J, Sinha N. Structured light-based 3D reconstruction system for plants. Sensors. 2015;15(8):18587–612.
[28] Wu C. Towards linear-time incremental structure from motion. In: 2013 international conference on 3D vision. New York: IEEE; 2013.
[29] Zennaro S, Munaro M, Milani S, Zanuttigh P, Bernardi A, Ghidoni S, et al. Performance evaluation of the 1st and 2nd generation Kinect for multimedia applications. In: 2015 IEEE international conference on multimedia and expo (ICME). New York: IEEE; 2015. p. 1–6.
[30] May S, Werner B, Surmann H, Pervolz K. 3D time-of-flight cameras for mobile robotics. In: 2006 IEEE/RSJ international conference on intel- ligent robots and systems. New York: IEEE; 2006.
[31] Ihrke I, Restrepo J, Mignard-Debise L. Principles of light field imag- ing: briefly revisiting 25 years of research. IEEE Signal Process Mag. 2016;33(5):59–69.
[32] Tao MW, Hadap S, Malik J, Ramamoorthi R. Depth from combining defocus and correspondence using light-field cameras. In: The IEEE international conference on computer vision (ICCV); 2013.
[33] Disney M. Terrestrial LiDAR : a three-dimensional revolution in how we look at trees. New Phytol. 2018;222(4):1736–41.
[34] Haddad NA. From ground surveying to 3D laser scanner: a review of techniques used for spatial documentation of historic sites. J King Saud Univ Eng Sci. 2011;23(2):109–18.
[35] Bylesjö M, Segura V, Soolanayakanahally RY, Rae AM, Trygg J, Gustafs- son P, et al. LAMINA: a tool for rapid quantification of leaf size and shape parameters. BMC Plant Biol. 2008;8:82.
[36] Sanz-Cortiella R, Llorens-Calveras J, Escolà A, Arnó-Satorra J, Ribes-Dasi M, Masip-Vilalta J, et al. Innovative LIDAR 3D dynamic measurement system to estimate fruit-tree leaf area. Sensors. 2011;11(6):5769–91.
[37] Rady MM. Effect of 24-epibrassinolide on growth, yield, antioxidant system and cadmium content of bean (Phaseolus vulgaris L.) plants under salinity and cadmium stress. Sci Hortic. 2011;129(2):232–7.
[38] GmbH HM. Technical data perceptron ScanWorks V5. 2015. http:// www.hexagonmi.com. Accessed 29 Aug 2019.
[39] Wang H, Zhang W, Zhou G, Yan G, Clinton N. Image-based 3D corn reconstruction for retrieval of geometrical structural parameters. Int J Remote Sens. 2009;30(20):5505–13.
[40] Zheng G, Moskal LM. Retrieving leaf area index (LAI) using remote sensing: theories, methods and sensors. Sensors. 2009;9(4):2719–45.
[41] Xiong D, Wang D, Liu X, Peng S, Huang J, Li Y. Leaf density explains variation in leaf mass per area in rice between cultivars and nitrogen treatments. Ann Bot. 2016;117(6):963–71.
[42] Zadoks JC, Chang TT, Konzak CF. A decimal code for the growth stages of cereals. Weed Res. 1974;14(6):415–21.
[43] Minervini M, Abdelsamea MM, Tsaftaris SA. Image-based plant phenotyping with incremental learning and active contours. Ecol Inf. 2014;23:35–48.
[44] Scharr H, Minervini M, Fischbach A, Tsaftaris SA. Annotated image datasets of rosette plants. 2014.
[45] Paproki A, Sirault X, Berry S, Furbank R, Fripp J. A novel mesh processing based technique for 3D plant analysis. BMC Plant Biol. 2012;12(1):63.
[46] Vos J, Evers JB, Buck-Sorlin GH, Andrieu B, Chelle M, de Visser PHB. Functional-structural plant modelling: a new versatile tool in crop sci- ence. J Exp Bot. 2010;61(8):2101–15.
[47] Sodhi P, Vijayarangan S, Wettergreen D. In-field segmentation and identification of plant structures using 3D imaging. In: 2017 IEEE/RSJ international conference on intelligent robots and systems (IROS). New York: IEEE; 2017.
[48] Lin YW, Ruifang Z, Pujuan S, Pengfei W. Segmentation of crop organs through region growing in 3D space. In: 2016 Fifth international con- ference on agro-geoinformatics (Agro-Geoinformatics). 2016. p. 1–6.
[49] Wahabzada M, Paulus S, Kerstin C, Mahlein AK. Automated interpreta- tion of 3D laserscanned point clouds for plant organ segmentation. BMC Bioinform. 2015;16:248.
[50] Wu S, Wen W, Xiao B, Guo X, Du J, Wang C, et al. An accurate skeleton extrac- tion approach from 3D point clouds of maize plants. Front Plant Sci. 2019. https://doi.org/10.3389/fpls.2019.00248.
[51] Frasson RPDM, Krajewski WF.Three-dimensional digital model of a maize plant. Agric For Meteorol. 2010;150(3):478–88.
[52] Bradski G.The OpenCV library. Dr Dobb’s Journal of SoftwareTools. 2000.
[53] Rusu RB, Cousins S. 3D is here: Point Cloud Library (PCL). In: 2011 IEEE international conference on robotics and automation. NewYork: IEEE; 2011. p. 1–4.
[54] Paulus S, Dupuis J, Mahlein AK, Kuhlmann H. Surface feature based clas- sification of plant organs from 3D laserscanned point clouds for plant phenotyping. BMC Bioinform. 2013;13:238.
[55] Rusu RB, Marton ZC, Blodow N, Beetz M, Systems IA, MünchenTU. Persistent point feature histograms for 3d point clouds. In: In Proceedings of the 10th international conference on intelligent autonomous systems (IAS-10). 2008. p. 1–10.
[56] Rusu RB, Blodow N, Beetz M. Fast Point Feature Histograms (FPFH) for 3D registration. In: Proceedings of the IEEE international conference on robotics and automation (ICRA), Kobe, Japan. 2009. p. 3212–7.
[57] Chang CC, Lin CJ. LIBSVM: a library for support vector machines. ACMTrans Intell SystTechnol. 2011;2:27.
[58] Camargo AV, Mackay I, Mott R, Han J, Doonan JH, Askew K, et al. Functional mapping of quantitative trait loci (QTLs) associated with plant performance in a wheat magic mapping population. Front Plant Sci. 2018;9:887.
[59] He JQ, Harrison RJ, Li B. A novel 3D imaging system for strawberry pheno- typing. Plant Methods. 2017;13(1):93.
[60] van der Heijden G, SongY, Horgan G, Polder G, Dieleman A, Bink M, et al. SPICY: towards automated phenotyping of large pepper plants in the greenhouse. Funct Plant Biol. 2012;39(11):870.
[61] Biskup B, Scharr H, Schurr U, Rascher U. A stereo imaging system for measuring structural parameters of plant canopies. Plant Cell Environ. 2007;30(10):1299–308.
[62] Sun S, Li C, Paterson AH, JiangY, Xu R, Robertson JS, et al. In-field high throughput phenotyping and cotton plant growth analysis using LiDAR. Front Plant Sci. 2018;9:16.
[63] Shafiekhani A, Kadam S, Fritschi F, DeSouza G. Vinobot and vinoculer: two robotic platforms for high-throughput field phenotyping. Sensors. 2017;17(12):214.
[64] Klodt M, Herzog K,Töpfer R, Cremers D. Field phenotyping of grapevine growth using dense stereo reconstruction. BMC Bioinform. 2015;16(1):143.
[65] Vadez V, Kholová J, Hummel G, Zhokhavets U, Gupta SK, Hash CT. Leasy- Scan: a novel concept combining 3D imaging and lysimetry for high- throughput phenotyping of traits controlling plant water budget. J Exp Bot. 2015;66(18):5581–93.
[66] ShiY,Thomasson JA, Murray SC, Pugh NA, Rooney WL, Shafian S, et al. Unmanned aerial vehicles for high-throughput phenotyping and agro- nomic research. PLoS ONE. 2016;11(7):e0159781.
[67] MoeckelT, Dayananda S, Nidamanuri R, Nautiyal S, Hanumaiah N, Buerkert A, et al. Estimation of vegetable crop parameter by multi-temporal UAV- borne images. Remote Sens. 2018;10(5):805.
[68] Liu BH. Statistical genomics. Boca Raton: CRC Press; 2017.
[69] Minervini M, Scharr H,Tsaftaris S. Image analysis: the new bottleneck in plant phenotyping [applications corner]. IEEE Signal Process Mag. 2015;32(4):126–31.
[70] RumpfT, Mahlein AK, Steiner U, Oerke EC, Dehne HW, Plümer L. Early detection and classification of plant diseases with Support Vector Machines based on hyperspectral reflectance. Comput Electron Agric. 2010;74(1):91–9.
[71] Mahlein AK. Plant disease detection by imaging sensors—parallels and specific demands for precision agriculture and plant phenotyping. Plant Dis. 2016;100(2):241–51.
[72] Jones HG, Serraj R, Loveys BR, Xiong L, Wheaton A, Price AH.Thermal infra- red imaging of crop canopies for the remote diagnosis and quantification of plant responses to water stress in the field. Funct Plant Biol. 2009;36(11):978.
[73] Behmann J, Mahlein A-K, Paulus S, Dupuis J, Kuhlmann H, Oerke E-C, et al. Generation and application of hyperspectral 3D plant models: methods and challenges. Mach Vis Appl. 2015;27(5):611–24. https://doi.org/10.1007/s0013 8-015-0716-8.
[74] Bannari A, Morin D, Bonn F, Huete AR. A review of vegetation indices. Remote Sens Rev. 1995;13(1–2):95–120.
[75] Behmann J, Mahlein AK, Paulus S, Kuhlmann H, Oerke EC, Plümer L. Calibra- tion of hyperspectral close-range pushbroom cameras for plant phenotyp- ing. ISPRS J Photogramm Remote Sens. 2015;106:172–82.
[76] de Visser PHB, Buck-Sorlin GH, van der Heijden GWAM. Optimizing illumina- tion in the greenhouse using a 3D model of tomato and a ray tracer. Front Plant Sci. 2014;5:48.
[77] Gibbs JA, Pound M, French AP, Wells DM, Murchie E, PridmoreT. Approaches to three-dimensional reconstruction of plant shoot topology and geometry. Funct Plant Biol. 2017;44(1):62.
[78] Jahnke S, Menzel MI, van Dusschoten D, Roeb GW, Bühler J, Minwuyelet S, et al. Combined MRI-PET dissects dynamic changes in plant structures and functions. Plant J. 2009;59(4):634–44.
[79] Joo H, Liu H,Tan L, Gui L, Nabbe B, Matthews I, et al. Panoptic studio: a mas- sively multiview system for social motion capture. In: 2015 IEEE international conference on computer vision (ICCV). NewYork: IEEE; 2015. p. 1–9.
[80] Clark RT, MacCurdy RB, Jung JK, Shaff JE, McCouch SR, Aneshansley DJ, et al. Three-dimensional root phenotyping with a novel imaging and software platform. Plant Physiol. 2011;156(2):455–65.
[81] Paulus S, EichertT, Goldbach HE, Kuhlmann H. Limits of active laser triangulation as an instrument for high precision plant imaging. Sensors. 2014;14:2489–509.
[82] Dupuis J, Paulus S, Mahlein AK, Kuhlmann EichertT.The impact of differ- ent leaf surface tissues on active 3D laser triangulation measurements. Photogrammetrie-Fernerkundung-Geoinformation. 2015;2015(6):437–47.
[83] Klapa P, Mitka B. Edge effect and its impact upon the accuracy oF 2d and 3d modelling using laser scanning. Geomat Landmanag Landsc. 2017;1:25–33.
[84] Jay S, Rabatel G, Hadoux X, Moura D, Gorretta N. In-field crop row phenotyp- ing from 3D modeling performed using structure from motion. Comput Electron Agric. 2015;110:70–7.
[85] Cao M, Jia W, Lv Z, LiY, Xie W, Zheng L, et al. Fast and robust feature tracking for 3D reconstruction. Opt LaserTechnol. 2019;110:120–8.
[86] Shtengel G, Galbraith JA, Galbraith CG, Lippincott-Schwartz J, Gillette JM, Manley S, et al. Interferometric fluorescent super-resolution microscopy resolves 3D cellular ultrastructure. Proc Natl Acad Sci. 2009;106(9):3125–30.
[87] Fitzgibbon J, Bell K, King E, Oparka K. Super-resolution imaging of plas- modesmata using three-dimensional structured illumination microscopy. Plant Physiol. 2010;153(4):1453–63.
[88] Scharr H, Briese C, Embgenbroich P, Fischbach A, Fiorani F, Müller-Linow M. Fast high resolution volume carving for 3D plant shoot reconstruction. Front Plant Sci. 2017;8:1680.
[89] Jahnke S, Roussel J, HombachT, Kochs J, Fischbach A, Huber G, et al. Pheno seeder—a robot system for automated handling and phenotyping of individual seeds. Plant Physiol. 2016;172(3):1358–70.
[90] Schulz H, Postma JA, van Dusschoten D, Scharr H, Behnke S. 3d recon- struction of plant roots from MRI images. In: International conference on computer vision theory and application; 2012. p. 1–9. Record converted from VDB: 12.11.2012.
[91] Flavel RJ, Guppy CN, Rabbi SMR,Young IM. An image processing and analy- sis tool for identifying and analysing complex plant root systems in 3D soil using non-destructive analysis: Root1. PLoS ONE. 2017;12(5):e0176433.
[92] Hopkinson C, Chasmer L,Young-Pow C,Treitz P. Assessing forest metrics with a ground-based scanning lidar. Can J For Res. 2004;34(3):573–83.
[93] Murphy G. Determining stand value and log product yields using terrestrial lidar and optimal bucking: a case study. J For. 2008;106(6):317–24.
[94] MalhiY, JacksonT, Bentley LP, Lau A, Shenkin A, Herold M, et al. New per- spectives on the ecology of tree structure and tree communities through terrestrial laser scanning. Interface Focus. 2018;8(2):20170052.
[95] Zimmermann F, Eling C, Klingbeil L, Kuhlmann H. Precise positioning of UAVS-dealing with challenging RTK-GPS measurement conditions during automated UAV flights. ISPRS Ann Photogramm Remote Sens Spatial Inf Sci. 2017;IV–2:W3:95–102.
[96] Benini A, Mancini A, Longhi S. An IMU/UWB/vision-based extended Kalman filter for mini-UAV localization in indoor environment using 802.15.4a wire- less sensor network. J Intell Robot Syst. 2012;70(1–4):461–76.

Примечание издателя

Springer Nature придерживается нейтральной позиции в отношении юрисдикционных притязаний на опубликованных картах и в сведениях о принадлежности авторов к организациям.
19 ноября 2026