Negin Harandi, Breght Vandenberghe, Joris Vankerschaver, Stephen Depuydt, Arnout Van Messem

Технологии компьютерного зрения всё активнее переходят к трёхмерному подходу, и фенотипирование растений следует этой тенденции. Однако, несмотря на высокий потенциал, сложность анализа 3D-представлений остаётся главным препятствием для широкого внедрения трёхмерного фенотипирования. В настоящем обзоре представлен перечень типичных этапов обработки и анализа трёхмерных представлений растений. Его задача — дать потенциальным пользователям 3D-фенотипирования отправную точку для практического применения и стимулировать дальнейшее развитие методов. Основное внимание уделено задачам, в которых требуется измерять признаки отдельных растений либо небольших растительных пологов в исследовательских условиях, в отличие от крупномасштабного полевого мониторинга посевов.

Фенотипирование растений — количественное измерение и оценка их признаков — находится в центре исследований растений, селекции и управления посевами. В последние годы неразрушающие методы на основе изображений стали самостоятельным интенсивно развивающимся направлением. Этому способствовали как совершенствование аппаратуры, так и развитие программного обеспечения. Появление недорогих и мощных устройств получения изображений сделало исходные фенотипические данные доступными, а вычислительные достижения, включая глубокое обучение, позволили исследователям и селекционерам быстрее извлекать из них количественную информацию. Вместе эти изменения снизили зависимость от трудоёмкого ручного сбора и обработки данных и расширили возможности автоматизации в лаборатории и поле.

Особенно заметным стало распространение методов трёхмерного фенотипирования. Средства 3D-съёмки и обработки применяются в сельскохозяйственной автоматизации и робототехнике — при выборочном сборе урожая, удалении сорняков и опрыскивании. В агробиотехнологии они поддерживают поиск признаков, связанных с урожайностью, засухоустойчивостью, устойчивостью к вредителям и гербицидам, посредством связывания генотипа с фенотипом. В точном земледелии мониторинг показателей здоровья культур и условий среды делает управление посевами более адресным и гибким.

В сравнении с двумерными методами 3D-реконструкции требуют большего объёма данных, но дают более точную геометрию растения. Они позволяют описывать признаки листьев, различать сорняки и культурные растения, оценивать биомассу, классифицировать плоды, отслеживать движение и рост во времени, а также разрешать перекрытия и пересечения органов за счёт учёта расстояния, ориентации и освещения. Реконструкции подразделяют на жёсткие и нежёсткие, а также на предназначенные для контролируемых помещений и для полевых условий.

Обработка растений сложна из-за несолидной архитектуры, сильной вариабельности внутри и между видами и частых окклюзий. Поэтому обзор последовательно рассматривает получение данных, предварительную обработку, преобразование представлений, скелетизацию, сегментацию, аппроксимацию поверхностей и измерение признаков на уровне полога, растения и органа. Построение виртуальных растений как самостоятельная цель не рассматривается, хотя многие соответствующие методы применимы и к фенотипированию.

Методы условно разделяют на активные и пассивные. Активные системы используют управляемый источник структурированной энергии — сканирующий лазер либо проецируемый световой рисунок — и детектор. Пассивные системы формируют изображения за счёт окружающего освещения. Обе группы способны повысить точность измерений роста и расширить набор доступных архитектурных признаков, но всё ещё ограничены скоростью, доступностью, переносимостью, пространственным разрешением и стоимостью.

Активные методы обычно требуют LiDAR, МРТ, ПЭТ или других специализированных устройств. Они дороже, но часто обеспечивают высокую точность. Пассивные методы используют серийные камеры и потому дешевле, однако качество исходных данных может быть ниже, а вычислительная обработка — существенно сложнее. Выбор определяется требуемой точностью, масштабом объекта, допустимым временем съёмки и условиями освещения.

Лазерный луч освещает объект, а матрица датчика регистрирует отражение; положение точки определяется триангуляцией. Недорогая лабораторная установка сделала подход распространённым при работе с ячменём, пшеницей и рапсом. Точность зависит от геометрической калибровки, отражательной способности поверхности и стабильности объекта.

LiDAR является высокоточным средством получения облаков точек. Процедура сканирования и последующего объединения видов сложна и требует калибровочных объектов либо повторных сканов. Наземные лазерные сканеры измеряют большие объёмы растительности и пригодны для пологов и участков; недорогие датчики, например Kinect, имеют меньшее разрешение, но достаточны для ряда задач характеризации.

Камера ToF оценивает расстояние по времени распространения либо фазовому сдвигу модулированного сигнала. Она быстро формирует карту глубины и подходит для динамических сцен, однако подвержена систематической ошибке, многолучевости, смешанным пикселям на границах и влиянию внешнего освещения. Калибровка и коррекция глубины обязательны для метрических измерений.

При структурированном свете на растение проецируют известный рисунок, деформация которого даёт глубину. Метод точен в помещении, но солнечный свет может подавлять рисунок. Фотометрическое стерео восстанавливает нормали поверхности по изображениям, полученным при разных известных направлениях освещения; оно хорошо передаёт мелкий рельеф, но требует контролируемого света и модели отражения.

Рентгеновская и магнитно-резонансная томография, а также позитронно-эмиссионная томография позволяют исследовать внутреннюю структуру, корни в субстрате и физиологические процессы. Они дают уникальную информацию, недоступную оптическим датчикам, однако дорогостоящи, сравнительно медленны, имеют ограниченный объём съёмки и требуют специализированной инфраструктуры.

Многовидовое стерео оценивает глубину по соответствиям между перекрывающимися изображениями. Structure from Motion одновременно восстанавливает положение камер и разреженную геометрию, после чего плотное многовидовое стерео строит облако точек. Подход удобен и недорог, но чувствителен к однородным поверхностям листьев, бликам, ветру и повторяющимся структурам. Для корректного масштаба требуются опорные расстояния или калиброванные камеры.

Space carving исключает воксели, несовместимые с силуэтами или фотометрией на нескольких видах. Метод устойчив для грубой формы, но не восстанавливает вогнутые области, не видимые в силуэтах. Светопольные камеры регистрируют пространственно-угловое распределение света и позволяют вычислять глубину после одного снимка, однако разрешение делится между пространственным и угловым измерениями.

Карта глубины сопоставляет каждому пикселю расстояние до камеры и удобна для двумерных алгоритмов, но привязана к точке наблюдения. Облако точек хранит координаты поверхности, иногда цвет, нормаль и интенсивность; оно не задаёт явной связности. Воксельная решётка дискретизирует объём и проста для логических операций и свёрточных сетей, но требует памяти, быстро растущей с разрешением.

Цель предварительной обработки — превратить необработанные данные в геометрически согласованное и вычислительно удобное представление. Типичная последовательность включает удаление фона, выбросов и шума, прореживание, стандартизацию масштаба и ориентации, сглаживание, регистрацию нескольких видов и построение вторичного представления.

Фон отделяют по цвету, глубине, плоскости грунта, известной геометрии камеры или обученной классификации. Контролируемый однотонный фон упрощает задачу, но полевые данные требуют робастного выделения почвы, соседних растений, опор и оборудования. Часто применяют RANSAC для плоскости и морфологическую очистку маски.

Статистический фильтр сравнивает среднее расстояние до соседей с глобальным распределением; радиусный фильтр удаляет точки с малым числом соседей в заданной сфере. Кластеризация DBSCAN отделяет малые изолированные компоненты. Параметры должны учитывать неодинаковую плотность, иначе тонкие листья и верхушки ошибочно удаляются.

Шум уменьшают локальной аппроксимацией плоскостью или поверхностью, Moving Least Squares, двусторонними и сохраняющими особенности фильтрами. Сглаживание снижает ошибку нормалей и облегчает построение сетки, но чрезмерная фильтрация уменьшает толщину органов и стирает края — именно те признаки, которые часто имеют фенотипическое значение.

Воксельное прореживание заменяет точки в ячейке одной репрезентативной точкой; равномерная, случайная и основанная на кривизне выборка дают иной компромисс между скоростью и сохранением деталей. При неодинаковой плотности предпочтительно адаптивное разрешение: грубое для плоских областей и мелкое для краёв и тонких органов.

Стандартизация приводит облака к общей системе координат, масштабу и ориентации. Регистрация объединяет виды и временные точки. Для жёсткой регистрации широко применяют Iterative Closest Point: чередуют поиск соответствий и оценку преобразования, минимизирующего расстояния. Начальную оценку получают по маркерам, дескрипторам либо RANSAC. Обобщённый ICP, point-to-plane и вероятностные методы повышают устойчивость; нежёсткая регистрация учитывает рост, увядание и движение листьев.

Сетка задаёт поверхность вершинами, рёбрами и гранями. Её строят триангуляцией, Poisson-реконструкцией, marching cubes или alpha-shapes. Сетка удобна для площади поверхности, кривизны, геодезических расстояний и визуализации. Разрывы, самопересечения и неверные нормали требуют контроля качества.

Октодерево рекурсивно делит объём на восемь ячеек, позволяя хранить пустое пространство компактно и выполнять быстрый поиск соседей. Оно особенно полезно для больших облаков, многомасштабной обработки, оценки занятости и скелетизации.

В графовом представлении точки или сегменты становятся вершинами, а близость и подобие — рёбрами с весами. Кратчайшие пути, минимальное остовное дерево, спектральное разбиение и графовые разрезы позволяют извлекать оси органов и сегментировать растение.

Скелетизация вычисляет тонкое, топологически эквивалентное представление формы. Криволинейный скелет особенно полезен для ветвящихся растений: он описывает главную ось, черешки и ветви, облегчает измерение длины, углов, порядка ветвления и междоузлий. Методы включают утоньшение вокселей, сокращение лапласиана, геодезические пути, минимальные остовные деревья и алгоритмы на октодеревьях. Качественный скелет должен сохранять топологию, быть центрированным, устойчивым к шуму и не порождать ложных ветвей.

Для растительных данных основными проблемами являются соприкосновение листьев, пропуски, неоднородная плотность и различие масштабов между стеблем и тонкими структурами. Поэтому скелет часто очищают обрезкой коротких ветвей, объединением близких узлов и применением ботанических ограничений.

Сегментация разделяет представление на отдельные растения, органы или функциональные части. Семантическая сегментация присваивает класс каждой точке, а экземплярная дополнительно различает отдельные органы одного класса. Алгоритмы опираются на края, области, геометрию, кластеры, графы, модели и машинное обучение. Универсального метода нет: выбор определяется видом растения, стадией развития, плотностью полога и качеством данных.

Реконструкция поверхности превращает дискретные точки в непрерывную модель. Для листьев применяют плоскости, полиномы, B-сплайны, NURBS, локальные квадрики и минимальные поверхности; для стеблей — цилиндры, усечённые конусы и пространственные кривые. RANSAC устойчив к выбросам, а нелинейный метод наименьших квадратов уточняет параметры. Модель должна быть достаточно гибкой для изгиба листа, но не следовать шуму.

NURBS описывает поверхность контрольными точками, весами и базисными функциями. Если S(u,v)=ΣᵢΣⱼ Nᵢ,p(u)Nⱼ,q(v)wᵢⱼPᵢⱼ / ΣᵢΣⱼ Nᵢ,p(u)Nⱼ,q(v)wᵢⱼ, то по S вычисляют площадь, кривизну и ориентацию. При этом выбор степени, числа контрольных точек и регуляризации определяет компромисс между точностью и переобучением шуму.

После сегментации измеряют признаки полога, целого растения и органа. На уровне полога определяют высоту, объём, долю занятости, плотность листовой поверхности, листовой индекс, шероховатость и распределение света. На уровне растения оценивают высоту, ширину, выпуклую оболочку, объём, площадь поверхности, биомассу, число листьев и архитектуру ветвления. На уровне органа измеряют длину, ширину, площадь, периметр, ориентацию, угол наклона, кривизну, толщину стебля, длину междоузлий и размер плодов.

Евклидовы расстояния подходят для прямых размеров, а геодезические — для изогнутых листьев и стеблей. Площадь сетки равна сумме площадей треугольников; воксельный объём — числу занятых вокселей, умноженному на объём ячейки. Для органа с частичной окклюзией параметры иногда оценивают по fitted-модели, но неопределённость такой экстраполяции должна сообщаться.

Машинное обучение применяется к регистрации, шумоподавлению, классификации точек, семантической и экземплярной сегментации, подсчёту органов и оценке признаков. Классические методы используют заранее вычисленные признаки — цвет, нормали, кривизну, Point Feature Histogram, локальную плотность, высоту и спектральные характеристики — и классификаторы SVM, случайный лес, k-ближайших соседей или условные случайные поля.

Глубокие сети автоматически извлекают признаки из изображений, карт глубины, вокселей, проекций либо непосредственно из облаков точек. Проекционные методы используют несколько 2D-видов и зрелые CNN, но могут терять геометрию. Воксельные 3D-CNN просты концептуально, однако ограничены кубическим ростом памяти; разреженные свёртки и октодеревья уменьшают затраты. PointNet агрегирует признаки точек симметричной функцией, PointNet++ добавляет иерархические локальные области, а графовые сети динамически строят соседства. Сети для разреженных решёток и spatio-temporal данные поддерживают анализ роста.

Основное ограничение — дефицит разнообразных размеченных 3D-наборов растений. Разметка отдельных точек и органов крайне трудоёмка; синтетические модели, перенос обучения, самоконтролируемое обучение и активный выбор образцов способны снизить стоимость. Оценивать следует не только общую точность, но и IoU по классам, полноту тонких органов, точность границ, качество экземплярного разделения и ошибку конечного биологического признака.

Несмотря на быстрый прогресс, универсального конвейера 3D-фенотипирования пока нет. Требуются стандартизованные открытые наборы данных, эталонные протоколы и метрики, описывающие как геометрическую точность, так и ошибку биологических признаков. Важны воспроизводимость калибровки, публикация параметров и кода, представление неопределённости и испытания на различных генотипах, стадиях развития и условиях съёмки.

Мультимодальная интеграция геометрии с RGB, гиперспектральными, тепловыми и физиологическими измерениями может связать архитектуру с функцией. Временные 4D-последовательности позволят оценивать скорость роста и динамику отдельных органов, но потребуют устойчивой нежёсткой регистрации и сохранения идентичности органов. Роботы и переносные датчики перенесут методы из контролируемых установок в поле, где особенно важны устойчивость к ветру, солнечному свету, окклюзиям и неоднородному фону.

Машинное обучение будет всё сильнее объединять этапы обработки, однако биологические ограничения и интерпретируемые модели останутся важными. Перспективны физически и ботанически информированные сети, слабая и самоконтролируемая разметка, синтетические данные, перенос между культурами, облегчённые модели для обработки на борту и совместное оценивание сегментации с конечными фенотипами.

Трёхмерное фенотипирование даёт более полное и геометрически точное описание растений, чем двумерные наблюдения, но требует согласованного набора методов получения, очистки, представления и анализа данных. Активные и пассивные системы имеют разные компромиссы по стоимости, точности и условиям применения. Карты глубины, облака точек и воксели дополняют друг друга; вторичные представления — сетки, октодеревья и графы — облегчают последующие вычисления. Скелетизация, сегментация и аппроксимация поверхностей превращают геометрию в измеримые признаки.

Выбор метода должен исходить из биологического вопроса и требуемой точности конечного признака, а не только из качества визуальной реконструкции. Развитие открытых данных, проверяемых протоколов и методов машинного обучения, устойчивых к реальным условиям, позволит сделать 3D-фенотипирование стандартным инструментом исследований растений, селекции и управления культурами.

Авторы благодарят исследовательское сообщество, чьи работы и иллюстрации легли в основу обзора. Negin Harandi и Breght Vandenberghe внесли равный вклад; Stephen Depuydt и Arnout Van Messem внесли равный вклад. Авторы заявили об отсутствии конкурирующих интересов. Публикация распространяется по лицензии Creative Commons Attribution 4.0 International; условия использования отдельных материалов определяются подписями и первоисточниками.

vision sensors: BumblebeeXB3 and Microsoft Kinect. In: Robot2013:

1. Ubbens J, Cieslak M, Prusinkiewicz P, Stavness I. The use of plant models First Iberian Robotics Conference. 2014; 725–734. Springer.

in deep learning: an application to leaf counting in rosette plants. Plant 25. Ando R, Ozasa Y, Guo W. Robust surface reconstruction of plant

Methods. 2018;14(1):6. leaves from 3D point clouds. Plant Phenomics. 2021. https://​doi.​org/​

2. Shi W, van de Zedde R, Jiang H, Kootstra G. Plant-part segmentation 10.​34133/​2021/​31841​85.

using deep learning and multi-view vision. Biosyst Eng. 2019;187:81–95.

26. Nguyen TT, Slaughter DC, Max N, Maloof JN, Sinha N. Struc- phenotype using AZURE KINECT. Plants. 2022;11(9):1144. https://​doi.​

tured light-based 3D reconstruction system for plants. Sensors. org/​10.​3390/​plant​s1109​1144.

2015;15(8):18587–612. https://​doi.​org/​10.​3390/​s1508​18587. 47. Zhang K, Chen H, Wu H, Zhao X, Zhou C. Point cloud registration

27. Paulus S, Schumann H, Kuhlmann H, Léon J. High-precision laser method for maize plants based on conical surface fitting-ICP. Sci Rep.

scanning system for capturing 3D plant architecture and analysing 2022;12(1):1–15. https://​doi.​org/​10.​1038/​s41598-​022-​10921-6.

growth of cereal plants. Biosyst Eng. 2014;121:1–11. 48. Li Y, Fan X, Mitra NJ, Chamovitz D, Cohen-Or D, Chen B. Analyzing

28. Dornbusch T, Michaud O, Xenarios I, Fankhauser C. Differentially growing plants from 4D point cloud data. ACM Trans Gr. 2013;32(6):157.

phased leaf growth and movements in Arabidopsis depend https://​doi.​org/​10.​1145/​25083​63.​25083​68.

on coordinated circadian and light regulation. Plant Cell. 49. Zhang S. High-speed 3D shape measurement with structured light

2014;26(10):3911–21. methods: a review. Opt Lasers Eng. 2018;106:119–31.

29. Dupuis J, Kuhlmann H. High-precision surface inspection: uncertainty 50. Woodham RJ. Photometric method for determining surface orientation

evaluation within an accuracy range of 15µm with triangulation-based from multiple images. Opt Eng. 1980;19(1): 191139.

laser line scanners. J Appl Geod. 2014;8(2):109–18. 51. Horn BK. Shape from shading: a method for obtaining the shape of a

30. Paulus S, Dupuis J, Riedel S, Kuhlmann H. Automated analysis of barley smooth opaque object from one view; 1970.

organs using 3D laser scanning: an approach for high throughput 52. Geng J. Structured-light 3D surface imaging: a tutorial. Adv Opt Pho-

phenotyping. Sensors. 2014;14(7):12670–86. https://​doi.​org/​10.​3390/​ tonics. 2011;3(2):128–60.

s1407​12670. 53. Basri R, Jacobs D, Kemelmacher I. Photometric stereo with general,

31. Virlet N, Sabermanesh K, Sadeghi-Tehran P, Hawkesford MJ. Field Scana- unknown lighting. Int J Comput Vis. 2007;72(3):239–57.

lyzer: an automated robotic field phenotyping platform for detailed 54. Treuille A, Hertzmann A, Seitz SM. Example-based stereo with general

crop monitoring. Funct Plant Biol. 2016;44(1):143–53. BRDFs. In: European Conference on Computer Vision. 2004; 457–469.

32. Kjaer KH, Ottosen C-O. 3D laser triangulation for plant phenotyping in Springer.

challenging environments. Sensors. 2015;15(6):13533–47. https://​doi.​ 55. Higo T, Matsushita Y, Joshi N, Ikeuchi K. A hand-held photometric stereo

org/​10.​3390/​s1506​13533. camera for 3-D modeling. In: 2009 IEEE 12th International Conference

33. Teng X, Zhou G, Wu Y, Huang C, Dong W, Xu S. Three-dimensional on Computer Vision. 2009; 1234–1241. IEEE.

reconstruction method of rapeseed plants in the whole growth period 56. Dowd T, McInturf S, Li M, Topp CN. Rated-M for mesocosm: allowing the

using RGB-D camera. Sensors. 2021;21(14):4628. multimodal analysis of mature root systems in 3D. Emerg Top Life Sci.

34. Chebrolu N, Magistri F, Läbe T, Stachniss C. Registration of spatio- 2021;5(2):249.

temporal point clouds of plants for phenotyping. PLOS ONE. 57. Jones DH, Atkinson BS, Ware A, Sturrock CJ, Bishopp A, Wells DM.

2021;16(2):0247243. Preparation, scanning and analysis of duckweed using x-ray computed

35. Paulus S, Dupuis J, Mahlein A-K, Kuhlmann H. Surface feature based microtomography. Front Plant Sci. 2021;11:2140.

classification of plant organs from 3D laserscanned point clouds for 58. Phalempin M, Lippold E, Vetterlein D, Schlüter S. An improved method

plant phenotyping. BMC Bioinform. 2013;14(1):238. https://​doi.​org/​10.​ for the segmentation of roots from X-ray computed tomography 3D

1186/​1471-​2105-​14-​238. images: Rootine v. 2. Plant Methods. 2021;17(1):1–19.

36. Paulus S, Behmann J, Mahlein A-K, Plümer L, Kuhlmann H. Low-cost 3D 59. Gerth S, Claußen J, Eggert A, Wörlein N, Waininger M, Wittenberg T, Uhl-

systems: suitable tools for plant phenotyping. Sensors. 2014;14(2):3001– mann N. Semiautomated 3D root segmentation and evaluation based

18. https://​doi.​org/​10.​3390/​s1402​03001. on X-Ray CT imagery. Plant Phenomics. 2021. https://​doi.​org/​10.​34133/​

37. Oguchi T, Yuichi SH, Wasklewicz T. Data sources. Dev Earth Surf Process. 2021/​87479​30.

2011;15:189–224. 60. Teramoto S, Tanabata T, Uga Y. RSAtrace3D: robust vectorization soft-

38. Chaivivatrakul S, Tang L, Dailey MN, Nakarmi AD. Automatic morpho- ware for measuring monocot root system architecture. BMC Plant Biol.

logical trait characterization for corn plants via 3D holographic recon- 2021;21(1):1–11.

struction. Comput Electron Agric. 2014;109:109–23. https://​doi.​org/​10.​ 61. Mairhofer S, Zappala S, Tracy SR, Sturrock C, Bennett M, Mooney SJ, Prid-

1016/j.​compag.​2014.​09.​005. more T. RooTrak: automated recovery of three-dimensional plant root

39. Baharav T, Bariya M, Zakhor A. In situ height and width estimation architecture in soil from X-Ray microcomputed tomography images

of sorghum plants from 2.5d infrared images. Electron Imaging. using visual tracking. Plant Physiol. 2012;158(2):561–9. https://​doi.​org/​

2017;2017(17):122–35. https://​doi.​org/​10.​2352/​ISSN.​24701​173.​2017.​17.​ 10.​1104/​pp.​111.​186221.

COIMG-​435. 62. Metzner R, Eggert A, van Dusschoten D, Pflugfelder D, Gerth S, Schurr U,

40. Kazmi W, Foix S, Alenyà G, Andersen HJ. Indoor and outdoor depth Uhlmann N, Jahnke S. Direct comparison of MRI and X-ray CT technolo-

imaging of leaves with time-of-flight and stereo vision sensors: analysis gies for 3D imaging of root systems in soil: potential and challenges for

and comparison. ISPRS J Photogramm Remote Sens. 2014;88:128–46. root trait quantification. Plant Methods. 2015;11(1):17. https://​doi.​org/​

41. Izadi S, Kim D, Hilliges O, Molyneaux D, Newcombe R, Kohli P, Shotton 10.​1186/​s13007-​015-​0060-z.

J, Hodges S, Freeman D, Davison A, et al. KinectFusion: Real-time 3D 63. Schulz H, Postma JA, van Dusschoten D, Scharr H, Behnke S. Plant root

reconstruction and interaction using a moving depthcamera. In: system analysis from MRI images. In: Computer vision, imaging and

Proceedings of the 24th Annual ACM Symposium on User Interface computer graphics. Theory and application. Berlin Heidelberg, Berlin,

Software and Technology. 2011; 559–568. Heidelberg: Springer. 2013; p. 411–25.

42. Newcombe RA, Izadi S, Hilliges O, Molyneaux D, Kim D, Davison AJ, Kohi 64. Flavel RJ, Guppy CN, Rabbi SMR, Young IM. An image processing

P, Shotton J, Hodges S, Fitzgibbon A. KinectFusion: real-time dense sur- and analysis tool for identifying and analysing complex plant root

face mapping and tracking. In: 2011 10th IEEE International Symposium systems in 3D soil using non-destructive analysis: root1. PLOS ONE.

on Mixed and Augmented Reality. 2011; 127–136. IEEE. 2017;12(5):1–18. https://​doi.​org/​10.​1371/​journ​al.​pone.​01764​33.

43. Ma X, Zhu K, Guan H, Feng J, Yu S, Liu G. High-throughput phenotyping 65. Herrero-Huerta M, Raumonen P, Gonzalez-Aguilera D. 4DRoot: root

analysis of potted soybean plants using colorized depth images based phenotyping software for temporal 3D scans by X-ray computed

on a proximal platform. Remote Sens. 2019;11(9):1085. tomography; 2022. https://​doi.​org/​10.​3389/​fpls.​2022.​986856.

44. Wang L, Zheng L, Wang M. 3D point cloud instance segmentation of 66. Krzyzaniak Y, Cointault F, Loupiac C, Bernaud E, Ott F, Salon C, Laybros

lettuce based on PartNet. In: Proceedings of the IEEE/CVF Conference A, Han S, Héloir M-C, Adrian M, et al. In situ phenotyping of grapevine

on Computer Vision and Pattern Recognition. 2022; 1647–1655. root system architecture by 2D or 3D imaging: advantages and limits of

45. González-Barbosa J-J, Ramírez-Pedraza A, Ornelas-Rodríguez F-J, three cultivation methods. Front Plant Sci. 2021;12: 638688.

Cordova-Esparza D-M, González-Barbosa E-A. Dynamic measurement 67. Vontobel P, Lehmann EH, Hassanein R, Frei G. Neutron tomography:

of portos tomato seedling growth using the kinect 2.0 Sensor. Agricul- method and applications. Physica B: Condens Matter. 2006;385:475–80.

ture. 2022;12(4):449. https://​doi.​org/​10.​3390/​agric​ultur​e1204​0449. https://​doi.​org/​10.​1016/j.​physb.​2006.​05.​252.

46. Zhang M, Xu S, Huang Y, Bie Z, Notaguchi M, Zhou J, Wan X, Wang Y, 68. Clark T, Burca G, Boardman R, Blumensath T. Correlative X-ray and

Dong W. Non-destructive measurement of the pumpkin rootstock root neutron tomography of root systems using cadmium fiducial markers. J

Microsc. 2020;277(3):170–8.

69. Moradi AB, Carminati A, Vetterlein D, Vontobel P, Lehmann E, Weller U, enhanced by adaptive multi-vision technology. Comput Electron Agric.

Hopmans JW, Vogel H-J, Oswald SE. Three-dimensional visualization 2020;174: 105508.

and quantification of water content in the rhizosphere. New Phytol. 91. Iglhaut J, Cabo C, Puliti S, Piermattei L, O’Connor J, Rosette J. Structure

2011;192(3):653–63. from motion photogrammetry in forestry: a Review. Curr For Rep.

70. Menon M, Robinson B, Oswald SE, Kaestner A, Abbaspour KC, Lehmann 2019;5(3):155–68.

E, Schulin R. Visualization of root growth in heterogeneously contami- 92. Lou L, Liu Y, Sheng M, Han J, Doonan JH. A Cost-Effective Automatic 3D

nated soil using neutron radiography. Eur J Soil Sci. 2007;58(3):802–10. reconstruction pipeline for plants using multi-view images. In: Confer-

71. Matsushima U, Herppich W, Kardjilov N, Graf W, Hilger A, Manke I. ence Towards Autonomous Robotic Systems. 2014; 221–230. https://​

Estimation of water flow velocity in small plants using cold neutron doi.​org/​10.​1007/​978-3-​319-​10401-0_​20. Springer.

imaging with D2O tracer. Nucl Instrum Methods Phys Res Sect A Accel 93. Tomasi C, Kanade T. Shape and motion from image streams under

Spectrom Detect Assoc Equip. 2009;605(1–2):146–9. orthography: a factorization method. Int J Comput Vis. 1992;9(2):137–

72. Warren JM, Bilheux H, Kang M, Voisin S, Cheng C-L, Horita J, Perfect 54. https://​doi.​org/​10.​1007/​BF001​29684.

E. Neutron imaging reveals internal plant water dynamics. Plant Soil. 94. Quan L, Tan P, Zeng G, Yuan L, Wang J, Kang SB. Image-based plant

2013;366(1):683–93. modeling. In: ACM SIGGRAPH 2006 Papers, 2006:599–604. https://​doi.​

73. Zarebanadkouki M, Kim YX, Carminati A. Where do roots take up water? org/​10.​1145/​11793​52.​11419​29.

Neutron radiography of water flow into the roots of transpiring plants 95. Liu S, Barrow CS, Hanlon M, Lynch JP, Bucksch A. DIRT/3D: 3D root

growing in soil. New Phytol. 2013;199(4):1034–44. phenotyping for field-grown maize (Zea mays). Plant Physiol.

74. Tötzke C, Kardjilov N, Manke I, Oswald SE. Capturing 3D water flow in 2021;187(2):739–57.

rooted soil by ultra-fast neutron tomography. Sci Rep. 2017;7(1):1–9. 96. Baker S, Kanade T, et al. Shape-from-silhouette across time part I: theory

75. Pound MP, French AP, Fozard JA, Murchie EH, Pridmore TP. A patch- and algorithms. Int J Comput Vis. 2005;62(3):221–47.

based approach to 3D plant shoot phenotyping. Mach Vis Appl. 97. Seitz SM, Dyer CR. Photorealistic scene reconstruction by voxel coloring.

2016;27(5):767–79. Int J Comput Vis. 1999;35(2):151–73. https://​doi.​org/​10.​1023/A:​10081​

76. Pound MP, French AP, Murchie EH, Pridmore TP. Automated recovery of 76507​526.

three-dimensional models of plant shoots from multiple color images. 98. Kutulakos KN, Seitz SM. A theory of shape by space carving. Int J Com-

Plant Physiol. 2014;166(4):1688–98. put Vis. 2000;38(3):199–218. https://​doi.​org/​10.​1023/A:​10081​91222​954.

77. Biskup B, Scharr H, Schurr U, Rascher U. A stereo imaging system for 99. Choudhury SD, Maturu S, Samal A, Stoerger V, Awada T. Leveraging

measuring structural parameters of plant canopies. Plant Cell Environ. image analysis to compute 3D plant phenotypes based on voxel-grid

2007;30(10):1299–308. https://​doi.​org/​10.​1111/j.​1365-​3040.​2007.​ plant reconstruction. Front Plant Sci. 2020;11: 521431.

01702.x. 100. Szeliski R. Computer: vision algorithms and applications. Seattle,

78. Burgess AJ, Retkute R, Pound MP, Mayes S, Murchie EH. Image-based 3D Washington: Springer International Publishing; 2022. https://​doi.​org/​10.​

canopy reconstruction to determine potential productivity in complex 1007/​978-3-​030-​34372-9.

multi-species crop systems. Ann Bot. 2017;119(4):517–32. 101. Golbach F, Kootstra G, Damjanovic S, Otten G, van de Zedde R. Valida-

79. Jay S, Rabatel G, Hadoux X, Moura D, Gorretta N. In-field crop row phe- tion of plant part measurements using a 3D reconstruction method

notyping from 3D modeling performed using structure from motion. suitable for high-throughput seedling phenotyping. Mach Vis Appl.

Comput Electron Agric. 2015;110:70–7. https://​doi.​org/​10.​1016/j.​ 2016;27(5):663–80. https://​doi.​org/​10.​1007/​s00138-​015-​0727-5.

compag.​2014.​09.​021. 102. Koenderink N, Wigham M, Golbach F, Otten G, Gerlich R, van de Zedde

80. Apelt F, Breuer D, Nikoloski Z, Stitt M, Kragler F. Phytotyping4D: a H. MARVIN: high speed 3D imaging for seedling classification. In: Preci-

light-field imaging system for non-invasive and accurate monitoring of sion Agriculture’09: Papers Presented at the 7th European Conference

spatio-temporal plant growth. Plant J. 2015;82(4):693–706. on Precision Agriculture, Wageningen, The Netherlands, July 6-8, 2009,

81. Gibbs JA, Pound M, French AP, Wells DM, Murchie E, Pridmore T. Plant 2009:279–286. https://​doi.​org/​10.​3920/​978-​90-​8686-​664-9.

phenotyping: an active vision cell for three-dimensional plant shoot 103. Klodt M, Cremers D. High-resolution plant shape measurements from

reconstruction. Plant Physiol. 2018;178(2):524–34. multi-view stereo reconstruction. In: European Conference on Com-

82. Zermas D, Morellas V, Mulla D, Papanikolopoulos N. 3D model process- puter Vision, 2014;pp. 174–184. Springer.

ing for high throughput phenotype extraction-the case of corn. Com- 104. Scharr H, Briese C, Embgenbroich P, Fischbach A, Fiorani F, Müller-Linow

put Electron Agric. 2020;172: 105047. https://​doi.​org/​10.​1016/j.​compag.​ M. Fast high resolution volume carving for 3D plant shoot reconstruc-

2019.​105047. tion. Front Plant Sci. 2017;8:1680.

83. Santos TT, Koenigkan LV, Barbedo JGA, Rodrigues GC. 3D plant mod- 105. Gaillard M, Miao C, Schnable JC, Benes B. Voxel carving-based 3D

eling: localization, mapping and segmentation for plant phenotyping reconstruction of sorghum identifies genetic determinants of light

using a single hand-held camera. In: Agapito L, Bronstein MM, Rother interception efficiency. Plant Direct. 2020;4(10):00255. https://​doi.​org/​

C, editors. Computer vision—ECCV 2014 workshops. Cham: Springer 10.​1002/​pld3.​255.

International Publishing; 2015. p. 247–63. 106. Polder G, Hofstee JW. Phenotyping large tomato plants in the green-

84. Zhou J, Fu X, Zhou S, Zhou J, Ye H, Nguyen HT. Automated segmenta- house using a 3D light-field camera. In: 2014 Montreal, Quebec Canada

tion of soybean plants from 3D point cloud using machine learning. July 13–July 16, 2014, p. 1 (2014). American Society of Agricultural and

Comput Electron Agric. 2019;162:143–53. Biological Engineers.

85. Rose JC, Paulus S, Kuhlmann H. Accuracy analysis of a multi-view stereo 107. Ivanov N, Boissard P, Chapron M, Andrieu B. Computer stereo plot-

approach for phenotyping of tomato plants at the organ level. Sensors. ting for 3-D reconstruction of a maize canopy. Agric For Meteorol.

2015;15(5):9651–65. https://​doi.​org/​10.​3390/​s1505​09651. 1995;75(1–3):85–102. https://​doi.​org/​10.​1016/​0168-​1923(94)​02204-W.

86. Wolff K, Kim C, Zimmer H, Schroers C, Botsch M, Sorkine-Hornung O, 108. Müller-Linow M, Pinto-Espinosa F, Scharr H, Rascher U. The leaf angle

Sorkine-Hornung A. Point Cloud Noise and Outlier Removal for Image- distribution of natural plant populations: assessing the canopy with a

Based 3D Reconstruction. In: Fourth International Conference on 3D novel software tool. Plant Methods. 2015;11(1):11. https://​doi.​org/​10.​

Vision (3DV). 2016; 118–127. https://​doi.​org/​10.​1109/​3DV.​2016.​20. IEEE. 1186/​s13007-​015-​0052-z.

87. Marr D, Poggio T. A computational theory of human stereo vision. Proc 109. Xia C, Wang L, Chung B-K, Lee J-M. In situ 3D segmentation of indi-

Royal Soc Lond Ser B Biol Sci. 1979;204(1156):301–28. vidual plant leaves using a RGB-D camera for agricultural automation.

88. Xiong J, He Z, Lin R, Liu Z, Bu R, Yang Z, Peng H, Zou X. Visual position- Sensors. 2015;15(8):20463–79. https://​doi.​org/​10.​3390/​s1508​20463.

ing technology of picking robots for dynamic litchi clusters with 110. Chéné Y, Rousseau D, Lucidarme P, Bertheloot J, Caffier V, Morel P, Belin

disturbance. Comput Electron Agric. 2018;151:226–37. É, Chapeau-Blondeau F. On the use of depth camera for 3D phenotyp-

89. Xiong X, Yu L, Yang W, Liu M, Jiang N, Wu D, Chen G, Xiong L, Liu K, Liu ing of entire plants. Comput Electron Agric. 2012;82:122–7. https://​doi.​

Q. A high-throughput stereo-imaging system for quantifying rape leaf org/​10.​1016/j.​compag.​2011.​12.​007.

traits during the seedling stage. Plant Methods. 2017;13(1):1–17. 111. Li D, Cao Y, Shi G, Cai X, Chen Y, Wang S, Yan S. An overlapping-free

90. Chen M, Tang Y, Zou X, Huang K, Huang Z, Zhou H, Wang C, Lian leaf segmentation method for plant point clouds. IEEE Access.

G. Three-dimensional perception of orchard banana central stock 2019;7:129054–70.

112. Besl PJ, McKay ND. Method for registration of 3-D shapes. In: Sensor multiview stereo 3D reconstruction. Plant Phenomics. 2020. https://​doi.​

Fusion IV: Control Paradigms and Data Structures, 1992;1611:586–607. org/​10.​34133/​2020/​18484​37.

https://​doi.​org/​10.​1117/​12.​57955. International Society for Optics and 134. Hu F, Zhao Y, Wang W, Huang X. Discrete point cloud filtering and

Photonics. searching based on VGSO algorithm. In: Proceedings 27th European

113. Javaheri A, Brites C, Pereira F, Ascenso J. Subjective and objective qual- Conference on Modelling and Simulation. 2013; 850–856.

ity evaluation of 3D point cloud denoising algorithms. In: 2017 IEEE 135. Straub J, Reiser D, Griepentrog HW. Approach for modeling single

International Conference on Multimedia & Expo Workshops (ICMEW), branches of meadow orchard trees with 3D point clouds. Wageningen:

2017:1–6. https://​doi.​org/​10.​1109/​ICMEW.​2017.​80262​63. IEEE. Wageningen Academic Publishers; 2021.

114. Rakotosaona M-J, La Barbera V, Guerrero P, Mitra NJ, Ovsjanikov M. 136. Cook RL. Stochastic sampling in computer graphics. ACM Trans Gr

POINTCLEANNET: learning to denoise and remove outliers from dense (TOG). 1986;5(1):51–72. https://​doi.​org/​10.​1145/​7529.​8927.

point clouds. Comput Gr Forum. 2020;39:185–203. https://​doi.​org/​10.​ 137. Rosli NAIM, Ramli A. Mapping bootstrap error for bilateral smooth-

1111/​cgf.​13753. ing on point set. In: AIP Conference Proceedings, 2014;1605:149–154.

115. Xie Y, Tian J, Zhu XX. Linking points with labels in 3D: a review of American Institute of Physics.

point cloud semantic segmentation. IEEE Geosci Remote Sens Mag. 138. Lindner M, Schiller I, Kolb A, Koch R. Time-of-flight sensor cali-

2020;8(4):38–59. bration for accurate range sensing. Comput Vis Image Underst.

116. Haque SM, Govindu VM. Robust feature-preserving denoising of 3D 2010;114(12):1318–28.

point clouds. In: 2016 Fourth International Conference on 3D Vision 139. Hussmann S, Knoll F, Edeler T. Modulation method including noise

(3DV), 2016:83–91. https://​doi.​org/​10.​1109/​3DV.​2016.​17. IEEE. model for minimizing the wiggling error of tof cameras. IEEE Trans

117. Thapa S, Zhu F, Walia H, Yu H, Ge Y. A novel LiDAR-based instrument for Instrum Meas. 2013;63(5):1127–36.

high-throughput, 3D measurement of morphological traits in maize 140. Lefloch D, Nair R, Lenzen F, Schäfer H, Streeter L, Cree MJ, Koch R, Kolb

and sorghum. Sensors. 2018;18(4):1187. A. Technical foundation and calibration methods for time-of-flight

118. Baumgart BG. Geometric modeling for computer vision. PhD thesis; cameras. In: Grzegorzek M, Theobalt C, Koch R, Kolb A, editors. Time-of-

1974. flight and depth imaging. Sensors, algorithms, and applications. Berlin:

119. Culbertson WB, Malzbender T, Slabaugh G. Generalized voxel coloring. Springer; 2013. p. 3–24.

In: Triggs B, Zisserman A, Szeliski R, editors. Vision algorithms theory and 141. He Y, Chen S. Error correction of depth images for mul-

practice. Berlin: Springer; 1999. p. 100–15. tiview time-of-flight vision sensors. Int J Adv Robot Syst.

120. Dyer CR, Davis LS. Volumetric scene reconstruction from multiple 2020;17(4):1729881420942379.

views. Boston, MA: Springer; 2001. p. 469–89. https://​doi.​org/​10.​1007/​ 142. Tomasi C, Manduchi R. Bilateral filtering for gray and color images.

978-1-​4615-​1529-6-​16. In: Sixth International Conference on Computer Vision (IEEE Cat. No.

121. Kumar P, Connor J, Mikiavcic S. High-throughput 3D reconstruction of 98CH36271), 1998:839–846. IEEE.

plant shoots for phenotyping. In: 2014 13th International Conference 143. Hua K-L, Lo K-H, Wang Y-CFF. Extended guided filtering for depth map

on Control Automation Robotics & Vision (ICARCV), 2014:211–216. upsampling. IEEE MultiMedia. 2015;23(2):72–83.

https://​doi.​org/​10.​1109/​ICARCV.​2014.​70643​06. IEEE. 144. Wang L, Fei M, Wang H, Ji Z, Yang A. Distance overestimation error

122. Phattaralerphong J, Sinoquet H. A method for 3D reconstruction of tree correction method (DOEC) of time of flight camera based on pinhole

crown volume from photographs: assessment with 3D-digitized plants. model. In: Intelligent Computing and Internet of Things, pp. 281–290.

Tree Physiol. 2005;25(10):1229–42. https://​doi.​org/​10.​1093/​treep​hys/​25.​ Springer; 2018.

10.​1229. 145. Rabbani T, Dijkman S, van den Heuvel F, Vosselman G. An integrated

123. Kumar P, Cai J, Miklavcic S. 3D reconstruction, modelling and analysis approach for modelling and global registration of point clouds. ISPRS J

of in situ root system architecture. In: Proceedings of the 20th Photogramm Remote Sens. 2007;61(6):355–70.

International Congress on Modelling and Simulation (MODSIM2013), 146. Chui H, Rangarajan A. A feature registration framework using mixture

2013:517–523. models. In: Proceedings IEEE Workshop on Mathematical Methods in

124. Han X-F, Jin JS, Wang M-J, Jiang W, Gao L, Xiao L. A review of algo- Biomedical Image Analysis. MMBIA-2000 (Cat. No. PR00737), 2000:190–

rithms for filtering the 3D point cloud. Signal Process Image Commun. 197. IEEE.

2017;57:103–12. https://​doi.​org/​10.​1016/j.​image.​2017.​05.​009. 147. Tsin Y, Kanade T. A correlation-based approach to robust point set reg-

125. Ma Z, Sun D, Xu H, Zhu Y, He Y, Cen H. Optimization of 3d point clouds istration. In: European Conference on Computer Vision, 2004:558–569.

of oilseed rape plants based on time-of-flight cameras. Sensors. Springer.

2021;21(2):664. 148. Zhang J, Huan Z, Xiong W. An adaptive gaussian mixture model for

126. Fang W, Feng H, Yang W, Duan L, Chen G, Xiong L, Liu Q. High-through- non-rigid image registration. J Math Imaging Vis. 2012;44(3):282–94.

put volumetric reconstruction for 3D wheat plant architecture studies. J 149. Somayajula S, Joshi AA, Leahy RM. Non-rigid Image Registration Using

Innov Opt Health Sci. 2016;9(05):1650037. Gaussian Mixture Models. In: International Workshop on Biomedical

127. Butkiewicz T. Low-cost coastal mapping using Kinect v2 time-of-flight Image Registration, 2012:286–295. Springer.

cameras. In: 2014 Oceans-St. John’s, 2014:1–9. IEEE. 150. Chaudhury A, Barron JL. 3D Phenotyping of Plants. In: 3D Imaging,

128. Fischler MA, Bolles RC. Random sample consensus: a paradigm for Analysis and Applications. Berlin: Springer; 2020. p. 699–732.

model fitting with applications to image analysis and automated car- 151. Rusinkiewicz S, Levoy M. Efficient variants of the ICP algorithm. In:

tography. Commun ACM. 1981;24(6):381–95. https://​doi.​org/​10.​1145/​ Proceedings Third International Conference on 3-D Digital Imaging and

358669.​358692. Modeling. 2001; 145–152. IEEE.

129. Garrido M, Paraforos DS, Reiser D, Vázquez Arellano M, Griepentrog 152. Arun KS, Huang TS, Blostein SD. Least-squares fitting of two 3-d point

HW, Valero C. 3D maize plant reconstruction based on georeferenced sets. IEEE Trans Pattern Anal Mach Intell. 1987;5:698–700.

overlapping LiDAR point clouds. Remote Sens. 2015;7(12):17077–96. 153. Henry P, Krainin M, Herbst E, Ren X, Fox D. RGB-D mapping: using

https://​doi.​org/​10.​3390/​rs712​15870. Kinect-style depth cameras for dense 3D modeling of indoor environ-

130. Liu F, Song Q, Zhao J, Mao L, Bu H, Hu Y, Zhu X-G. Canopy occupation ments. Int J Robot Res. 2012;31(5):647–63.

volume as an indicator of canopy photosynthetic capacity. New Phytol. 154. Huang X, Hu M. 3D reconstruction based on model registration using

2021;232:941. RANSAC-ICP algorithm. In: Pan Z, Cheok AD, Mueller W, Zhang M, edi-

131. Lancaster P, Salkauskas K. Surfaces generated by moving least squares tors. Transactions on edutainment XI. Berlin: Springer; 2015. p. 46–51.

methods. Math Comput. 1981;37(155):141–58. https://​doi.​org/​10.​1090/​ 155. Wang Y, Chen Y. Non-destructive measurement of three-dimensional

S0025-​5718-​1981-​06163​67-1. plants based on point cloud. Plants. 2020;9(5):571.

132. Ester M, Kriegel H-P, Sander J, Xu X, et al. A density-based algorithm 156. Chaudhury A, Ward C, Talasaz A, Ivanov AG, Brophy M, Grodzinski B,

for discovering clusters in large spatial databases with noise. In: KDD, Hüner NP, Patel RV, Barron JL. Machine vision system for 3D plant phe-

1996;96:226–231. notyping. IEEE/ACM Trans Comput Biol Bioinform. 2018;16(6):2009–22.

133. Wu S, Wen W, Wang Y, Fan J, Wang C, Gou W, Guo X. MVS-Pheno: a

portable and low-cost phenotyping platform for maize shoots using

157. Jian B, Vemuri BC. Robust point set registration using gaussian mixture of Geographical Information Science. 2017;31(5):999–1021. https://​doi.​

models. IEEE Trans Pattern Anal Mach Intell. 2010;33(8):1633–45. org/​10.​1080/​13658​816.​2016.​12640​75.

158. Jian B, Vemuri BC. A robust algorithm for point set registration using 179. Bucksch A, Fleck S. Automated detection of branch dimensions in

mixture of Gaussians. In: Tenth IEEE International Conference on Com- woody skeletons of fruit tree canopies. Photogramm Eng Remote Sens.

puter Vision (ICCV’05) Volume 1, 2005; 2: 1246–1251. IEEE. 2011;77(3):229–40. https://​doi.​org/​10.​14358/​PERS.​77.3.​229.

159. Myronenko A, Song X. Point set registration: coherent point drift. IEEE 180. Côté J-F, Widlowski J-L, Fournier RA, Verstraete MM. The structural and

Trans Pattern Anal Mach Intell. 2010;32(12):2262–75. radiative consistency of three-dimensional tree reconstructions from

160. Schunck D, Magistri F, Rosu RA, Cornelißen A, Chebrolu N, Paulus S, terrestrial lidar. Remote Sens Environ. 2009;113(5):1067–81. https://​doi.​

Léon J, Behnke S, Stachniss C, Kuhlmann H, et al. Pheno4d: a spatio- org/​10.​1016/j.​rse.​2009.​01.​017.

temporal dataset of maize and tomato plant point clouds for pheno- 181. Verroust A, Lazarus F. Extracting skeletal curves from 3D scattered data.

typing and advanced plant analysis. PLOS ONE. 2021;16(8):0256340. In: Proceedings Shape Modeling International’99. International Confer-

161. Magistri F, Chebrolu N, Stachniss C. Segmentation-based 4D registration ence on Shape Modeling and Applications, 1999:194–201. https://​doi.​

of plants point clouds for phenotyping. In: 2020 IEEE/RSJ International org/​10.​1109/​SMA.​1999.​749340. IEEE.

Conference on Intelligent Robots and Systems (IROS), 2020:2433–2439. 182. Delagrange S, Jauvin C, Rochon P. PypeTree: a tool for reconstructing

IEEE. tree perennial tissues from point clouds. Sensors. 2014;14(3):4271–89.

162. Lorensen WE, Cline HE. Marching cubes: a high resolution 3D surface https://​doi.​org/​10.​3390/​s1403​04271.

construction algorithm. In: Proceedings of the 14th Annual Confer- 183. Ziamtsov I, Navlakha S. Machine learning approaches to improve three

ence on Computer Graphics and Interactive Techniques. SIGGRAPH basic plant phenotyping tasks using three-dimensional point clouds.

’87, 1987;21:163–169. ACM, New York, NY, USA. https://​doi.​org/​10.​1145/​ Plant Physiol. 2019;181(4):1425–40.

37401.​37422 184. Cao J, Tagliasacchi A, Olson M, Zhang H, Su Z. Point cloud skeletons

163. Edelsbrunner H, Mücke EP. Three-dimensional alpha shapes. ACM Trans via laplacian based contraction. In: 2010 Shape Modeling International

Gr. 1994;13(1):43–72. https://​doi.​org/​10.​1145/​174462.​156635. Conference, 2010:187–197. https://​doi.​org/​10.​1109/​SMI.​2010.​25. IEEE.

164. Paproki A, Sirault X, Berry S, Furbank R, Fripp J. A novel mesh processing 185. Chaudhury A, Godin C. Skeletonization of plant point cloud data using

based technique for 3D plant analysis. BMC Plant Biol. 2012;12(1):63. stochastic optimization framework. Front Plant Sci. 2020;11:773.

https://​doi.​org/​10.​1186/​1471-​2229-​12-​63. 186. Wu S, Wen W, Xiao B, Guo X, Du J, Wang C, Wang Y. An accurate skeleton

165. McCormick RF, Truong SK, Mullet JE. 3D sorghum reconstructions from extraction approach from 3D point clouds of maize plants. Front Plant

depth images identify QTL regulating shoot architecture. Plant Physiol. Sci. 2019;10:248.

2016. https://​doi.​org/​10.​1104/​pp.​16.​00948. 187. Clark RT, MacCurdy RB, Jung JK, Shaff JE, McCouch SR, Aneshansley DJ,

166. Meagher DJR. Octree encoding: a new technique for the representa- Kochian LV. Three-dimensional root phenotyping with a novel imaging

tion, manipulation and display of arbitrary 3-D objects by computer. and software platform. Plant physiol. 2011;156(2):455–65.

Technical Report IPL-TR-80-111, Image Processing Laboratory, Electrical 188. Kaur D, Kaur Y. Various image segmentation techniques: a review. Int J

and Systems Engineering Department, Rensselaer Polytechnic Institute; Comput Sci Mob Comput. 2014;3(5):809–14.

1980. 189. Castillo E, Liang J, Zhao H. Point cloud segmentation and denoising

167. Bucksch A, Lindenbergh R. CAMPINO—A skeletonization method via constrained nonlinear least squares normal estimates. In: Breub M,

for point cloud processing. ISPRS J Photogramm Remote Sens. Bruckstein A, Maragos P, editors. Innovations for shape analysis. Berlin:

2008;63(1):115–27. https://​doi.​org/​10.​1016/j.​isprs​jprs.​2007.​10.​004. Springer; 2013. p. 283–99. https://​doi.​org/​10.​1007/​978-3-​642-​34141-0_​

168. Bucksch A, Lindenbergh R, Menenti M. SkelTre - fast skeletonisa- 13.

tion for imperfect point cloud data of botanic trees. Vis Comput. 190. Kulwa F, Li C, Zhao X, Cai B, Xu N, Qi S, Chen S, Teng Y. A state-of-the-art

2010;26(10):1283–300. survey for microorganism image segmentation methods and future

169. Duan T, Chapman SC, Holland E, Rebetzke GJ, Guo Y, Zheng B. Dynamic potential. IEEE Access. 2019;7:100243–69.

quantification of canopy structure to characterize early plant vigour in 191. Ge Y, Bai G, Stoerger V, Schnable JC. Temporal dynamics of maize plant

wheat genotypes. J Exp Bot. 2016;67(15):4523–34. https://​doi.​org/​10.​ growth, water use, and leaf water content using automated high

1093/​jxb/​erw227. throughput RGB and hyperspectral imaging. Comput Electron Agric.

170. Zhu R, Sun K, Yan Z, Yan X, Yu J, Shi J, Hu Z, Jiang H, Xin D, Zhang Z, et al. 2016;127:625–32. https://​doi.​org/​10.​1016/j.​compag.​2016.​07.​028.

Analysing the phenotype development of soybean plants using low- 192. Das Choudhury S, Bashyam S, Qiu Y, Samal A, Awada T. Holistic and

cost 3D reconstruction. Sci Rep. 2020;10(1):1–17. component plant phenotyping using temporal image sequence. Plant

171. Dijkstra EW. A note on two problems in connexion with graphs. Numer- Methods. 2018;14(1):1–21.

ische Mathematik. 1959;1(1):269–71. https://​doi.​org/​10.​1007/​BF013​ 193. Minervini M, Abdelsamea MM, Tsaftaris SA. Image-based plant phe-

86390. notyping with incremental learning and active contours. Ecol Inform.

172. Prim RC. Shortest connection networks and some generalizations. Bell 2014;23:35–48.

Syst Tech J. 1957;36(6):1389–401. https://​doi.​org/​10.​1002/j.​1538-​7305.​ 194. Bosilj P, Duckett T, Cielniak G. Connected attribute morphology for uni-

1957.​tb015​15.x. fied vegetation segmentation and classification in precision agriculture.

173. Shi J, Malik J. Normalized cuts and image segmentation. IEEE Trans Pat- Comput Ind. 2018;98:226–40.

tern Anal Mach Intell. 2000;22(8):888–905. https://​doi.​org/​10.​1109/​34.​ 195. Uchiyama H, Sakurai S, Mishima M, Arita D, Okayasu T, Shimada A,

868688. Taniguchi R-I. Easy-to-setup 3D phenotyping platform for KOMATSUNA

174. Hétroy-Wheeler F, Casella E, Boltcheva D. Segmentation of tree dataset. In: The IEEE International Conference onComputer Vision (ICCV)

seedling point clouds into elementary units. Int J Remote Sens. Workshops, 2017:2038–2045. https://​doi.​org/​10.​1109/​ICCVW.​2017.​239.

2016;37(13):2881–907. https://​doi.​org/​10.​1080/​01431​161.​2016.​11909​ IEEE.

88. 196. Minervini M, Fischbach A, Scharr H, Tsaftaris SA. Finely-grained anno-

175. Bucksch A. A practical introduction to skeletons for the plant sciences. tated datasets for image-based plant phenotyping. Pattern Recognit

Appl Plant Sci. 2014;2(8):1400005. https://​doi.​org/​10.​3732/​apps.​14000​ Lett. 2016;81:80–9. https://​doi.​org/​10.​1016/j.​patrec.​2015.​10.​013.

05. 197. Rabbani T, Van Den Heuvel F, Vosselmann G. Segmentation of point

176. Cornea ND, Silver D, Min P. Curve-skeleton properties, applications, and clouds using smoothness constraint. Int Arch Photogramm Remote

algorithms. IEEE Trans Vis Comput Gr. 2007;13(3):530–48. https://​doi.​ Sens Spat Inform Sci. 2006;36(5):248–53.

org/​10.​1109/​T VCG.​2007.​1002. 198. Grilli E, Menna F, Remondino F. A review of point clouds segmenta-

177. Livny Y, Yan F, Olson M, Chen B, Zhang H, El-Sana J. Automatic recon- tion and classification algorithms. Int Arch Photogramm Remote

struction of tree skeletal structures from point clouds. ACM Trans Gr. Sens Spat Inform Sci. 2017;42:339. https://​doi.​org/​10.​5194/​isprs-​archi​

2010;29(6):151. https://​doi.​org/​10.​1145/​18822​61.​18661​77. ves-​XLII-2-​W3-​339-​2017.

178. Mei J, Zhang L, Wu S, Wang Z, Zhang L. 3D tree modeling from incom- 199. Lomte S, Janwale A. Plant leaves image segmentation techniques: a

plete point clouds via optimization and L1-MST. International Journal review. Artic Int J Comput Sci Eng. 2017;5:147–50.

200. Bell J, Dee HM. Leaf segmentation through the classification of edges. 222. Snavely N, Seitz SM, Szeliski R. Photo tourism: exploring photo collec-

arXiv Preprint. 2019. https://​doi.​org/​10.​48550/​arXiv.​1904.​03124. tions in 3D. ACM Trans Gr (TOG). 2006;25:835–46.

201. Thendral R, Suhasini A, Senthil N. A comparative analysis of edge 223. Moriondo M, Leolini L, Staglianò N, Argenti G, Trombi G, Brilli L, Dibari C,

and color based segmentation for orange fruit recognition. In: 2014 Leolini C, Bindi M. Use of digital images to disclose canopy architecture

International Conference on Communication and Signal Processing, in olive tree. Scientia Horticulturae. 2016;209:1–13. https://​doi.​org/​10.​

2014:463–466. https://​doi.​org/​10.​1109/​ICCSP.​2014.​69498​84. IEEE. 1016/j.​scien​ta.​2016.​05.​021.

202. Noble SD, Brown RB. Selection and testing of spectral bands for 224. Rusu RB, Blodow N, Marton ZC, Beetz M. Aligning point cloud views

edge-based leaf segmentation. In: 2006 ASAE Annual Meeting, 2006:1. using persistent feature histograms. In: 2008 IEEE/rsj International Con-

American Society of Agricultural and Biological Engineers. ference on Intelligent Robots and Systems, 2008:3384–3391. https://​

203. Miao T, Wen W, Li Y, Wu S, Zhu C, Guo X. Label3DMaize: toolkit for doi.​org/​10.​1109/​IROS.​2008.​46509​67. IEEE.

3D point cloud data annotation of maize shoots. GigaScience. 225. Rusu RB, Blodow N, Beetz M. Fast point feature histograms (FPFH) for

2021;10(5):031. 3D registration. In: 2009 IEEE International Conference on Robotics and

204. Jin S, Su Y, Wu F, Pang S, Gao S, Hu T, Liu J, Guo Q. Stem-leaf segmenta- Automation. 2009; 3212–3217. https://​doi.​org/​10.​1109/​ROBOT.​2009.​

tion and phenotypic trait extraction of individual maize using terrestrial 51524​73. IEEE.

LiDAR data. IEEE Trans Geosci Remote Sens. 2018;57(3):1336–46. 226. Wahabzada M, Paulus S, Kersting K, Mahlein A-K. Automated inter-

205. Huang X, Zheng S, Gui L. Automatic measurement of morphological pretation of 3D laserscanned point clouds for plant organ segmen-

traits of typical leaf samples. Sensors. 2021;21(6):2247. tation. BMC Bioinform. 2015;16(1):248. https://​doi.​org/​10.​1186/​

206. Attene M, Falcidieno B, Spagnuolo M. Hierarchical mesh segmentation s12859-​015-​0665-2.

based on fitting primitives. Vis Comput. 2006;22(3):181–93. https://​doi.​ 227. Sodhi P, Vijayarangan S, Wettergreen D. In-field segmentation and

org/​10.​1007/​s00371-​006-​0375-x. identification of plant structures using 3D imaging. In: 2017 IEEE/RSJ

207. Shamir A. A survey on mesh segmentation techniques. Comput Gra International Conference on Intelligent Robots and Systems (IROS).

Forum. 2008;27(6):1539–56. https://​doi.​org/​10.​1111/j.​1467-​8659.​2007.​ 2017; 5180–5187.

01103.x. 228. Krähenbühl P, Koltun V. Efficient inference in fully connected CRFs

208. Vieira M, Shimada K. Surface mesh segmentation and smooth surface with Gaussian edge potentials. In: Shawe-Taylor J, Zemel RS, Bartlett

extraction through region growing. Comput Aided Geom Des. PL, Pereira F, Weinberger KQ, editors. Advances in neural information

2005;22(8):771–92. https://​doi.​org/​10.​1016/j.​cagd.​2005.​03.​006. processing systems 24. Red Hook, NY, USA: Curran Associates Inc; 2011.

209. Nguyen CV, Fripp J, Lovell DR, Furbank R, Kuffner P, Daily H, Sirault X. p. 109–17.

3D scanning system for automatic high-resolution plant phenotyping. 229. Zhu F, Thapa S, Gao T, Ge Y, Walia H, Yu H. 3D reconstruction of plant

In: 2016 International Conference on Digital Image Computing: Tech- leaves for high-throughput phenotyping. In: 2018 IEEE International

niques and Applications (DICTA), 2016:1–8. https://​doi.​org/​10.​1109/​ Conference on Big Data (Big Data). 2018; 4285–4293. https://​doi.​org/​10.​

DICTA.​2016.​77969​84. IEEE. 1109/​BigDa​ta.​2018.​86224​28. IEEE.

210. Bali A, Singh SN. A review on the strategies and techniques of image 230. Plass M, Stone M. Curve-fitting with piecewise parametric cubics. In:

segmentation. In: 2015 Fifth International Conference on Advanced Proceedings of the 10th Annual Conference on Computer Graphics and

Computing & Communication Technologies, 2015:113–120. https://​doi.​ Interactive Techniques. 2018; 229–239.

org/​10.​1109/​ACCT.​2015.​63. IEEE. 231. Pratt V. Direct least-squares fitting of algebraic surfaces. ACM SIGGRAPH

211. Narkhede H. Review of image segmentation techniques. Int J Sci Mod Comput Gr. 1987;21(4):145–52.

Eng. 2013;1(8):54–61. 232. Fleishman S, Cohen-Or D, Silva CT. Robust moving least-squares fitting

212. Miao T, Zhu C, Xu T, Yang T, Li N, Zhou Y, Deng H. Automatic stem-leaf with sharp features. ACM Trans Gr (TOG). 2005;24(3):544–52.

segmentation of maize shoots using three-dimensional point cloud. 233. Cohen-Steiner D, Da F. A greedy Delaunay-based surface reconstruction

Comput Electron Agric. 2021;187: 106310. https://​doi.​org/​10.​1016/j.​ algorithm. Vis Comput. 2004;20(1):4–16.

compag.​2021.​106310. 234. Da TKF, Cohen-Steiner D. Advancing front surface reconstruction. CGAL

213. Fukunaga K, Hostetler L. The estimation of the gradient of a density User and Reference Manual; CGAL, 2020;5. https://​doc.​cgal.​org/​latest/​

function, with applications in pattern recognition. IEEE Trans Inform Advan​cing_​front_​surfa​ce_​recon​struc​tion/​index.​html.

Theory. 1975;21(1):32–40. 235. Field DA. Laplacian smoothing and Delaunay triangulations. Commun

214. Cheng Y. Mean shift, mode seeking, and clustering. IEEE Trans Pattern Appl Numer Methods. 1988;4(6):709–12.

Anal Mach Intell. 1995;17(8):790–9. 236. Tiller W. Rational B-splines for curve and surface representation. IEEE

215. Comaniciu D, Meer P. Mean shift: a robust approach toward feature Comput Gr Appl. 1983;3(6):61–9. https://​doi.​org/​10.​1109/​MCG.​1983.​

space analysis. IEEE Trans Pattern Anal Mach Intell. 2002;24(5):603–19. 263244.

216. Zhou H, Yuan Y, Shi C. Object tracking using SIFT features and mean 237. Wang W, Pottmann H, Liu Y. Fitting B-spline curves to point clouds

shift. Comput Vis Image Underst. 2009;113(3):345–52. by curvature-based squared distance minimization. ACM Trans Gr.

217. Donath WE, Hoffman AJ. Lower bounds for the partitioning of graphs. 2006;25(2):214–38. https://​doi.​org/​10.​1145/​11384​50.​11384​53.

In: Selected Papers Of Alan J Hoffman: With Commentary. 2003; 238. Santos T, Ueda J. Automatic 3D plant reconstruction from photogra-

437–442. World Scientific, ???. https://​doi.​org/​10.​1142/​97898​12796​936_​ phies, segmentation and classification of leaves and internodes using

0044. clustering. In: Sievänen R, Nikinmaa E, Godin C, Lintunen A, Nygren P,

218. von Luxburg U. A tutorial on spectral clustering. Stat Comput. editors. 7th International Conference on Functional-Structural Plant

2007;17(4):395–416. https://​doi.​org/​10.​1007/​s11222-​007-​9033-z. Models (FSPM2013). Saariselkä: Finland; 2013. p. 95–7.

219. Boltcheva D, Casella E, Cumont R, Hétroy F. A spectral clustering 239. Gélard W, Burger P, Casadebaig P, Langlade N, Debaeke P, Devy M,

approach of vegetation components for describing plant topology Herbulot A. 3D plant phenotyping in sunflower using architecture-

and geometry from terrestrial waveform LiDAR data. In: Sievänen R, based organ segmentation from 3d point clouds. In: 5th International

Nikinmaa E, Godin C, Lintunen A, Nygren P, editors. 7th International Workshop on Image Analysis Methods for the Plant Sciences, Angers,

Conference on Functional-Structural Plant Models (FSPM2013). Finland: France; 2016.

Saariselkä; 2013. 240. Gélard W, Devy M, Herbulot A, Burger P. Model-based segmentation of

220. Liu R, Zhang H. Segmentation of 3D meshes through spectral cluster- 3D point clouds for phenotyping sunflower plants. In: 12th Interna-

ing. In: 12th Pacific Conference on Computer Graphics and Applica- tional Joint Conference on Computer Vision, Imaging and Computer

tions, 2004. PG 2004. Proceedings, 2004. PG 2004. proceedings., Graphics Theory and Applications (VISAPP 2017), vol. 4. Porto, Portugal,

2004:298–305. https://​doi.​org/​10.​1109/​PCCGA.​2004.​13483​60. IEEE. 2017:459–467. https://​doi.​org/​10.​5220/​00061​26404​590467.

221. Dey D, Mummert L, Sukthankar R. Classification of plant structures from 241. Pfeifer N, Gorte B, Winterhalder D, et al. Automatic reconstruction of

uncalibrated image sequences. In: 2012 IEEE Workshop on Applications single trees from terrestrial laser scanner data. In: Proceedings of 20th

of Computer Vision (WACV), 2012:329–336. https://​doi.​org/​10.​1109/​ ISPRS Congress, vol. XXXV, 2004:114–119. Istanbul, Turkey.

WACV.​2012.​61630​17. IEEE. 242. Ziamtsov I, Navlakha S. Plant 3D (P3D): a plant phenotyping toolkit for

3D point clouds. Bioinformatics. 2020;36(12):3949–50.

243. Mathan J, Bhattacharya J, Ranjan A. Enhancing crop yield by optimizing 264. Dutagaci H, Rasti P, Galopin G, Rousseau D. ROSE-X: an annotated

plant developmental features. Development. 2016;143(18):3283–94. data set for evaluation of 3D plant organ segmentation meth-

244. Sievänen R, Godin C, DeJong TM, Nikinmaa E. Functional-structural ods. Plant Methods. 2020;16(1):1–14. https://​doi.​org/​10.​1186/​

plant models: a growing paradigm for plant studies. Ann Bot. s13007-​020-​00573-w.

2014;114(4):599–603. 265. Kohonen T. The self-organizing map. Proc IEEE. 1990;78(9):1464–80.

245. Topp CN, Iyer-Pascuzzi AS, Anderson JT, Lee C-R, Zurek PR, Symonova https://​doi.​org/​10.​1109/5.​58325.

O, Zheng Y, Bucksch A, Mileyko Y, Galkovskyi T, Moore BT, Harer J, 266. Rabiner LR. A tutorial on hidden Markov models and selected applica-

Edelsbrunner H, Mitchell-Olds T, Weitz JS, Benfey PN. 3D phenotyp- tions in speech recognition. Proc IEEE. 1989;77(2):257–86. https://​doi.​

ing and quantitative trait locus mapping identify core regions of org/​10.​1109/5.​18626.

the rice genome controlling root architecture. Proc Natl Acad Sci. 267. Garcia-Garcia A, Orts-Escolano S, Oprea S, Villena-Martinez V, Garcia-

2013;110(18):1695–704. https://​doi.​org/​10.​1073/​pnas.​13043​54110. Rodriguez J. A review on deep learning techniques applied to semantic

246. Zhang C, Chen T. Efficient feature extraction for 2D/3D objects in mesh segmentation. arXiv Preprint. 2017. https://​doi.​org/​10.​48550/​arXiv.​1704.​

representation. In: Proceedings 2001 International Conference on 06857.

Image Processing (Cat. No.01CH37205), 2001;3:935–938. https://​doi.​ 268. Garcia-Garcia A, Orts-Escolano S, Oprea S, Villena-Martinez V, Martinez-

org/​10.​1109/​ICIP.​2001.​958278. IEEE. Gonzalez P, Garcia-Rodriguez J. A survey on deep learning techniques

247. Balfer J, Schöler F, Steinhage V. Semantic skeletonization for structural for image and video semantic segmentation. Appl Soft Comput.

plant analysis. In: Sievänen R, Nikinmaa E, Godin C, Lintunen A, Nygren 2018;70:41–65.

P, editors. 7th International Conference onFunctional-Structural Plant 269. Lateef F, Ruichek Y. Survey on semantic segmentation using deep learn-

Models (FSPM2013). Saariselkä: Finland; 2013. p. 42–4. ing techniques. Neurocomputing. 2019;338:321–48.

248. Sodhi P. In-field plant phenotyping using model-free and model-based 270. Lawin FJ, Danelljan M, Tosteberg P, Bhat G, Khan FS, Felsberg M. Deep

methods. PhD thesis, Carnegie Mellon University Pittsburgh, PA; 2017. projective 3D semantic segmentation. In: International Conference on

249. Anderson MC, Denmead O. Short wave radiation on inclined surfaces in Computer Analysis of Images and Patterns, 2017:95–107. Springer.

model plant communities 1. Agron J. 1969;61(6):867–72. 271. Chen L-C, Papandreou G, Kokkinos I, Murphy K, Yuille AL. Semantic

250. Duncan W, Loomis R, Williams W, Hanau R, et al. A model for simulating image segmentation with deep convolutional nets and fully connected

photosynthesis in plant communities. Hilgardia. 1967;38(4):181–205. CRFs. arXiv Preprint. 2014. https://​doi.​org/​10.​48550/​arXiv.​1412.​7062.

251. Lefsky MA, Cohen WB, Parker GG, Harding DJ. Lidar Remote Sensing for 272. Chen L-C, Papandreou G, Kokkinos I, Murphy K, Yuille AL. Deeplab:

Ecosystem Studies: Lidar, an emerging remote sensing technology that semantic image segmentation with deep convolutional nets, atrous

directly measures the three-dimensional distribution of plant canopies, convolution, and fully connected CRFs. IEEE Trans Pattern Anal Mach

can accurately estimate vegetation structural attributes and should Intell. 2017;40(4):834–48. https://​doi.​org/​10.​1109/​TPAMI.​2017.​26991​84.

be of particular interest to forest, landscape, and global ecologists. 273. Bhagat S, Kokare M, Haswani V, Hambarde P, Kamble R. Eff-UNet++:

Bioscience. 2002;52(1):19–30. https://​doi.​org/​10.​1641/​0006-​3568(2002)​ a novel architecture for plant leaf segmentation and counting. Ecol

052[0019:​LRSFES]​2.0.​CO;2. Inform. 2022. https://​doi.​org/​10.​1016/j.​ecoinf.​2022.​101583.

252. Omasa K, Hosoi F, Konishi A. 3D lidar imaging for detecting and 274. Carneiro GA, Magalhães R, Neto A, Sousa JJ, Cunha A. Grapevine

understanding plant responses and canopy structure. J Exp Bot. segmentation in rgb images using deep learning. Proc Comput Sci.

2007;58(4):881–98. 2022;196:101–6. https://​doi.​org/​10.​1016/j.​procs.​2021.​11.​078.

253. Hosoi F, Omasa K. Estimation of vertical plant area density profiles in 275. Wu W, Qi Z, Fuxin L. PointConv: deep convolutional networks on 3D

a rice canopy at different growth stages by high-resolution portable point clouds. In: Proceedings ofthe IEEE/CVF Conference on Computer

scanning lidar with a lightweight mirror. ISPRS J Photogramm Remote Vision and Pattern Recognition, 2019:9621–9630. https://​doi.​org/​10.​

Sens. 2012;74:11–9. https://​doi.​org/​10.​1016/j.​isprs​jprs.​2012.​08.​001. 1109/​CVPR.​2019.​00985

254. Hosoi F, Omasa K. Voxel-Based 3-D modeling of individual trees for esti- 276. Li D, Shi G, Li J, Chen Y, Zhang S, Xiang S, Jin S. PlantNet: a dual-function

mating leaf area density using high-resolution portable scanning lidar. point cloud segmentation network for multiple plant species. ISPRS J

IEEE Trans Geosci Remote Sens. 2006;44(12):3610–8. https://​doi.​org/​10.​ Photogramm Remote Sens. 2022;184:243–63. https://​doi.​org/​10.​1016/j.​

1109/​TGRS.​2006.​881743. isprs​jprs.​2022.​01.​007.

255. Cabrera-Bosquet L, Fournier C, Brichet N, Welcker C, Suard B, Tardieu 277. Murtiyoso A, Pellis E, Grussenmeyer P, Landes T, Masiero A. Towards

F. High-throughput estimation of incident light, light interception semantic photogrammetry: generating semantically rich point

and radiation-use efficiency of thousands of plants in a phenotyping clouds from architectural close-range photogrammetry. Sensors.

platform. New Phytol. 2016;212(1):269–81. https://​doi.​org/​10.​1111/​nph.​ 2022;22(3):966. https://​doi.​org/​10.​3390/​s2203​0966.

14027. 278. Jhaldiyal A, Chaudhary N. Semantic segmentation of 3D LiDAR data

256. Felzenszwalb PF, Huttenlocher DP. Efficient graph-based image using deep learning: a review of projection-based methods. Appl Intell.

segmentation. Int J Comput Vis. 2004;59(2):167–81. https://​doi.​org/​10.​ 2022. https://​doi.​org/​10.​1007/​s10489-​022-​03930-5.

1023/B:​VISI.​00000​22288.​19776.​77. 279. Li S, Chen X, Liu Y, Dai D, Stachniss C, Gall J. Multi-scale interaction for

257. Pound MP, Atkinson JA, Wells DM, Pridmore TP, French AP. Deep learn- real-time LiDAR data segmentation on an embedded platform. IEEE

ing for multi-task plant phenotyping. In: The IEEE International Confer- Robot Autom Lett. 2021;7(2):738–45. https://​doi.​org/​10.​1109/​LRA.​2021.​

ence on Computer Vision (ICCV) Workshops, 2017:2055–2063. https://​ 31320​59.

doi.​org/​10.​1109/​ICCVW.​2017.​241. IEEE. 280. Ahn P, Yang J, Yi E, Lee C, Kim J. Projection-based point convolution for

258. van Dijk ADJ, Kootstra G, Kruijer W, de Ridder D. 2020 Machine learning efficient point cloud segmentation. IEEE Access. 2022;10:15348–58.

in plant science and plant breeding. Iscience. 2020;24: 101890. https://​doi.​org/​10.​1109/​ACCESS.​2022.​31444​49.

259. Singh A, Ganapathysubramanian B, Singh AK, Sarkar S. Machine learn- 281. Iandola FN, Han S, Moskewicz MW, Ashraf K, Dally WJ, Keutzer K.

ing for high-throughput stress phenotyping in plants. Trends Plant Sci. SqueezeNet: AlexNet-level accuracy with 50X fewer parameters and <

2016;21(2):110–24. 0.5MB model size. arXiv Preprint. 2016. https://​doi.​org/​10.​48550/​arXiv.​

260. Jiang Y, Li C. Convolutional neural networks for image-based high- 1602.​07360.

throughput plant phenotyping: a review. Plant Phenomics. 2020. 282. Su H, Maji S, Kalogerakis E, Learned-Miller E. Multi-view convolutional

https://​doi.​org/​10.​34133/​2020/​41528​16. neural networks for 3D shape recognition. In: Proceedings of the IEEE

261. Seo H, Badiei Khuzani M, Vasudevan V, Huang C, Ren H, Xiao R, Jia X, International Conference on Computer Vision. 2015; 945–953.

Xing L. Machine learning techniques for biomedical image segmenta- 283. Boulch A, Guerry J, Le Saux B, Audebert N. SnapNet: 3D point cloud

tion: An overview of technical aspects and introduction to state-of-art semantic labeling with 2D deep segmentation networks. Comput Gr.

applications. Med Phys. 2020;47(5):148–67. https://​doi.​org/​10.​1002/​mp.​ 2018;71:189–98.

13649. 284. Jin S, Su Y, Gao S, Wu F, Hu T, Liu J, Li W, Wang D, Chen S, Jiang Y, et al.

262. Connor M, Kumar P. Fast construction of k-nearest neighbor graphs for Deep learning: individual maize segmentation from terrestrial lidar

point clouds. IEEE Trans Vis Comput Gr. 2010;16(4):599–608. data using faster r-cnn and regional growth algorithms. Front Plant Sci.

263. Breiman L. Random forests. Mach Learn. 2001;45(1):5–32. 2018;9:866. https://​doi.​org/​10.​3389/​fpls.​2018.​00866.

285. Simonyan K, Zisserman A. Very deep convolutional networks for large- Vision and Pattern Recognition, 2019:949–958. https://​doi.​org/​10.​1109/​

scale image recognition. arXiv Preprint. 2014. https://​doi.​org/​10.​48550/​ CVPR.​2019.​00104

arXiv.​1409.​1556. 306. Wang X, Liu S, Shen X, Shen C, Jia J. Associatively segmenting instances

286. Long J, Shelhamer E, Darrell T. Fully convolutional networks for seman- and semantics in point clouds. In: Proceedings of the IEEE/CVF Confer-

tic segmentation. In: Proceedingsof the IEEE Conference on Computer ence on Computer Vision and Pattern Recognition. 2019; 4096–4105.

Vision and Pattern Recognition. 2015; 3431–3440. https://​doi.​org/​10.​1109/​CVPR.​2019.​00422.

287. He K, Gkioxari G, Dollár P, Girshick R. Mask R-CNN. In: Proceedings of the 307. Ma Y, Guo Y, Liu H, Lei Y, Wen G. Global context reasoning for semantic

IEEE InternationalConference on Computer Vision. 2017; 2961–2969. segmentation of 3D point clouds. In: Proceedings of the IEEE/CVF Win-

288. Maturana D, Scherer S. VoxNet: a 3D convolutional neural network for ter Conference on Applications of Computer Vision, 2020:2931–2940.

real-time object recognition. In:2015 IEEE/RSJ International Conference https://​doi.​org/​10.​1109/​WACV4​5572.​2020.​90934​11.

on Intelligent Robots and Systems (IROS). 2015; 922–928. https://​doi.​ 308. Lu Q, Chen C, Xie W, Luo Y. PointNGCNN: Deep Convolutional Networks

org/​10.​1109/​IROS.​2015.​73534​81. IEEE. on 3D Point Clouds with Neighborhood Graph Filters. Computers &

289. Riegler G, Osman Ulusoy A, Geiger A. OctNet: learning deep 3D repre- Graphics. 2020;86:42–51. https://​doi.​org/​10.​1016/j.​cag.​2019.​11.​005.

sentations at high resolutions. In:Proceedings of the IEEE Conference 309. Li Y, Bu R, Sun M, Wu W, Di X, Chen B. PointCNN: convolution on

on Computer Vision and Pattern Recognition. 2017; 3577–3586. https://​ X-transformed points. Adv Neural Inf Proc Syst. 2018;31.

doi.​org/​10.​48550/​arXiv.​1611.​05009. 310. Ao Z, Wu F, Hu S, Sun Y, Su Y, Guo Q, Xin Q. Automatic segmentation

290. Tchapmi L, Choy C, Armeni I, Gwak J, Savarese S. SEGCloud: semantic of stem and leaf components and individual maize plants in field ter-

segmentation of 3D pointclouds. In: 2017 International Conference restrial LiDAR data using convolutional neural networks. Crop J. 2021.

on 3D Vision (3DV). 2017; 537–547. https://​doi.​org/​10.​1109/​3DV.​2017.​ https://​doi.​org/​10.​1016/j.​cj.​2021.​10.​010.

00067. IEEE. 311. Gong L, Du X, Zhu K, Lin K, Lou Q, Yuan Z, Huang G, Liu C. Panicle-3D:

291. Çiçek Ö, Abdulkadir A, Lienkamp SS, Brox T, Ronneberger O. 3D U-Net: efficient phenotyping tool for precise semantic segmentation of rice

learning dense volumetricsegmentation from sparse annotation. In: panicle point cloud. Plant Phenomics. 2021. https://​doi.​org/​10.​34133/​

International Conference on Medical Image Computing andComputer- 2021/​98389​29.

Assisted Intervention. 2016; 424–432. Springer. 312. Chen L-C, Zhu Y, Papandreou G, Schroff F, Adam H. Encoder-decoder

292. Su H, Jampani V, Sun D, Maji S, Kalogerakis E, Yang M-H, Kautz J. SPLAT- with atrous separable convolution for semantic image segmenta-

Net: sparse latticenetworks for point cloud processing. In: Proceedings tion. In: Proceedings of the European Conference on Computer Vision

of the IEEE Conference on Computer Vision andPattern Recognition. (ECCV), 2018:801–818. https://​doi.​org/​10.​48550/​arXiv.​1802.​02611.

2018; 530–2539. https://​doi.​org/​10.​48550/​arXiv.​1802.​08275. 313. Jin S, Su Y, Gao S, Wu F, Ma Q, Xu K, Hu T, Liu J, Pang S, Guan H, et al.

293. Rosu RA, Schütt P, Quenzel J, Behnke S. LatticeNet: fast point cloud seg- Separating the structural components of maize for field phenotyping

mentation using permutohedral lattices. arXiv Preprint. 2019. https://​ using terrestrial LiDAR data and deep convolutional neural networks.

doi.​org/​10.​48550/​arXiv.​1912.​05905. IEEE Trans Geosci Remote Sens. 2019;58(4):2644–58. https://​doi.​org/​10.​

294. Choy C, Gwak J, Savarese S. 4D Spatio-Temporal ConvNets: minkowski 1109/​TGRS.​2019.​29530​92.

sonvolutional neural networks.In: Proceedings of the IEEE/CVF Confer- 314. Liu F, Li S, Zhang L, Zhou C, Ye R, Wang Y, Lu J. 3DCNN-DQN-RNN:

ence on Computer Vision and Pattern Recognition. 2019; 3075–3084. a deep reinforcement learning framework for semantic parsing of

https://​doi.​org/​10.​1109/​CVPR.​2019.​00319. large-scale 3D point clouds. In: Proceedings of the IEEE International

295. Rosu RA, Schütt P, Quenzel J, Behnke S. LatticeNet: fast spatio-temporal Conference on Computer Vision, 2017:5678–5687. https://​doi.​org/​10.​

point cloud segmentation using permutohedral lattices. Auton Robots. 1109/​ICCV.​2017.​605.

2021;46:1–16. 315. Socher R, Perelygin A, Wu J, Chuang J, Manning CD, Ng AY, Potts C.

296. Wang Y, Sun Y, Liu Z, Sarma SE, Bronstein MM, Solomon JM. Dynamic Recursive deep models for semantic compositionality over a sentiment

graph CNN for learning on point clouds. ACM Trans Gr (tog). treebank. In: Proceedings of the 2013 Conference on Empirical Meth-

2019;38(5):1–12. https://​doi.​org/​10.​1145/​33263​62. ods in Natural Language Processing. 2013; 1631–1642.

297. Turgut K, Dutagaci H, Galopin G, Rousseau D. Segmentation of 316. Yu F, Liu K, Zhang Y, Zhu C, Xu K. Partnet: a recursive part decomposi-

structural parts of rosebush plants with 3D point-based deep learning tion network for fine-grained and hierarchical shape segmentation.

methods. arXiv Preprint. 2020. https://​doi.​org/​10.​48550/​arXiv.​2012.​ In: Proceedings of the IEEE/CVF Conference on Computer Vision and

11489. Pattern Recognition. 2019; 9491–9500

298. Qi CR, Su H, Mo K, Guibas LJ. PointNet: deep learning on point sets for 317. Santos TT, De Oliveira AA. Image-based 3d digitizing for plant architec-

3D classification andsegmentation. In: Proceedings of the IEEE Confer- ture analysis and phenotyping. In: Embrapa Inform´atica Agropecu´aria-

ence on Computer Vision and Pattern Recognition, 2017:652–660. Artigo em Anais de congresso (ALICE) (2012). In: CONFERENCE ON

https://​doi.​org/​10.​1109/​CVPR.​2017.​16. GRAPHICS, PATTERNS AND IMAGES, 25., 2012, Ouro Preto ...

299. Li Y, Wen W, Miao T, Wu S, Yu Z, Wang X, Guo X, Zhao C. Automatic 318. Chaudhury A, Boudon F, Godin C. 3D plant phenotyping: all you need is

organ-level point cloud segmentation of maize shoots by integrating labelled point cloud data. In: European conference on computer vision.

high-throughput data acquisition and deep learning. Comput Electron 2020; 244–260. Springer

Agric. 2022;193: 106702. https://​doi.​org/​10.​1016/j.​compag.​2022.​106702. 319. Khanna R, Schmid L, Walter A, Nieto J, Siegwart R, Liebisch F. A spatio

300. Qi CR, Yi L, Su H, Guibas LJ. PointNet++: deep hierarchical feature temporal spectral framework for plant stress phenotyping. Plant meth-

learning on point sets in ametric space. arXiv preprint. 2017. arXiv:​1706.​ ods. 2019;15(1):1–18. https://​doi.​org/​10.​1186/​s13007-​019-​0398-8.

02413. 320. Cruz JA, Yin X, Liu X, Imran SM, Morris DD, Kramer DM, Chen J. Multi-

301. Heiwolt K, Duckett T, Cielniak G. Deep semantic segmentation of modality imagery database for plant phenotyping. Mach Vis Appl.

3D plant point clouds. In: AnnualConference Towards Autonomous 2016;27(5):735–49. https://​doi.​org/​10.​1007/​s00138-​015-​0734-6.

Robotic Systems, 2021:36–45. Springer. 321. Aich S, Stavness I. Leaf Counting with Deep Convolutional and Decon-

302. Jiang M, Wu Y, Zhao T, Zhao Z, Lu C. PointSIFT: a SIFT-like network mod- volutional Networks; 2017. CoRR abs/1708.07570. arXiv:​1708.​07570.

ule for 3D point cloud semantic segmentation. arXiv Preprint. 2018. 322. Romera-Paredes B, Torr PHS. Recurrent instance segmentation. In: Leibe

https://​doi.​org/​10.​48550/​arXiv.​1807.​00652. B, Matas J, Sebe N, Welling M, editors. Computer vision - ECCV 2016.

303. Wang W, Yu R, Huang Q, Neumann U. SGPN: similarity group proposal Cham: Springer International Publishing; 2016. p. 312–29.

network for 3D point cloud instance segmentation. In: Proceedings 323. De Brabandere B, Neven D, Van Gool L. Semantic instance segmenta-

of the IEEE Conference on Computer Vision and Pattern Recognition, tion with a discriminative loss function. arXiv Preprint. 2017. https://​doi.​

2018:2569–2578. org/​10.​48550/​arXiv.​1708.​02551.

304. Zhang K, Hao M, Wang J, de Silva CW, Fu C. Linked dynamic graph CNN: 324. Ren M, Zemel RS. 2017 End-to-end instance segmentation and count-

learning on point cloud via linking hierarchical features. arxiv Preprint. ing with recurrent attention. 2017; CoRR abs/1605.09410. arXiv:​1605.​

2019. https://​doi.​org/​10.​48550/​arXiv.​1904.​10014. 09410.

305. Duan Y, Zheng Y, Lu J, Zhou J, Tian Q. Structural relational reasoning of

point clouds. In:Proceedings of the IEEE/CVF Conference on Computer

325. Ubbens JR, Stavness I. Deep plant phenomics: a deep learning platform 345. Boerckel JD, Mason DE, McDermott AM, Alsberg E. Microcomputed

for complex plant phenotyping tasks. Front Plant Sci. 2017;8:1190. tomography: approaches and applications in bioengineering. Stem Cell

https://​doi.​org/​10.​3389/​fpls.​2017.​01190. Res Ther. 2014;5(6):1–12.

326. Tapas A. Transfer learning for image classification and plant phenotyp- 346. Xia C, Shi Y, Yin W, et al. Obtaining and denoising method of three-

ing. Int J Adv Res Comput Eng Technol (IJARCET). 2016;5(11):2664–9. dimensional point cloud data of plants based on tof depth sensor.

327. Wei H, Xu E, Zhang J, Meng Y, Wei J, Dong Z, Li Z. BushNet: effective Trans Chin Soc Agric Eng. 2018;34(6):168–74.

semantic segmentation of bush in large-scale point clouds. Comput 347. Choi S, Kim T, Yu W. Performance evaluation of RANSAC family. J Com-

Electron Agric. 2022;193: 106653. https://​doi.​org/​10.​1016/j.​compag.​ put Vis. 1997;24(3):271–300.

2021.​106653. 348. Loch BI. Surface fitting for the modelling of plant leaves. PhD thesis,

328. Kar S, Garin V, Kholová J, Vadez V, Durbha SS, Tanaka R, Iwata H, Urban University of Queensland Australia; 2004.

MO, Adinarayana J. SpaTemHTP: a data analysis pipeline for efficient

processing and utilization of temporal high-throughput phenotyping

data. Front Plant Sci. 2020. https://​doi.​org/​10.​3389/​fpls.​2020.​552509.