Сегментация трёхмерных облаков точек растений: комплексный обзор

Хунли Сун (a, b, c), Вэйлян Вэнь (a, b, *), Шэн У (a, b), Синьюй Го (a, b, *)
a — Исследовательский центр информационных технологий, Пекинская академия сельскохозяйственных и лесных наук, Пекин 100097, Китай.
b — Пекинская ключевая лаборатория цифровых моделей растений, Национальный инженерно-исследовательский центр информационных технологий в сельском хозяйстве, Пекин 100097, Китай.
c — Институт информационной инженерии, Северо-Западный университет сельского и лесного хозяйства, Янлин 712100, Китай.
* Авторы для корреспонденции — Исследовательский центр информационных технологий, Пекинская академия сельскохозяйственных и лесных наук, Пекин 100097, Китай. Электронная почта: wlwen37@163.com (В. Вэнь), guoxy73@163.com (С. Го).
Рукопись поступила 31 октября 2024 г. Переработанная версия поступила 8 января 2025 г. Принята 9 января 2025 г. Опубликована онлайн 11 января 2025 г.
© Авторы, 2025. Публикация осуществлена Elsevier B.V. от имени KeAi Communications Co., Ltd. Статья доступна по лицензии CC BY-NC-ND 4.0 (http://creativecommons.org/licenses/by-nc-nd/4.0/).
Artificial Intelligence in Agriculture, 15 (2025), с. 296–315 • https://doi.org/10.1016/j.aiia.2025.01.006

Аннотация

Сегментация трёхмерных (3D) облаков точек необходима для интерпретации неструктурированных данных о строении и морфологии. Она играет важную роль в исследованиях по феномике растений, трёхмерному моделированию растений и функционально-структурному моделированию растений. Хотя технологии сегментации облаков точек растений (PPCS) быстро развиваются, систематического обзора их развития до сих пор не было. В настоящей статье представлен обзор достижений в исследовании сегментации трёхмерных облаков точек растений. Сначала рассматриваются способы получения облаков точек растений и анализируется влияние разрешения и качества облака точек на задачу сегментации. Затем представлена сегментация облаков точек растений на разных масштабных уровнях. В статье обобщены и проанализированы традиционные методы PPCS, включая методы, опирающиеся на глобальные и локальные признаки. Рассмотрены достижения в сегментации облаков точек растений методами машинного обучения, в том числе методы обучения с учителем, без учителя и комбинированные подходы. Обобщены сведения о наборах данных для PPCS методами глубокого обучения и изложены преимущества и недостатки подходов глубокого обучения на основе проекций, вокселей и точек соответственно. В заключение обсуждаются развитие PPCS и его перспективы. Ожидается, что методы глубокого обучения станут преобладающими в PPCS, а сегментация трёхмерных облаков точек станет более автоматизированной и будет выполняться с более высоким разрешением и точностью.
Ключевые слова — растения, трёхмерные данные, облако точек, сегментация, многомасштабность, глубокое обучение.

1. Введение

Быстрое развитие датчиков и технологий получения трёхмерных (3D) данных в последние годы, включая лазерное сканирование (LiDAR) (Jin et al., 2021), камеры глубины и восстановление структуры по движению (Structure from Motion, SfM) (Gene-Mola et al., 2020a), способствовало их успешному внедрению в различных отраслях, включая автономное вождение, дистанционное зондирование, картографирование и производство кино- и телепродукции. В сельском хозяйстве трёхмерные облака точек стали незаменимым источником данных, особенно в исследованиях строения и морфологии растений. Феномика растений (Yang et al., 2020b; Zhao et al., 2019), трёхмерная реконструкция растений (Okura, 2022), функционально-структурное моделирование растений (FSPM) (Louarn and Song, 2020; Vos et al., 2010) и выполнение операций сельскохозяйственными машинами опираются на данные трёхмерных облаков точек как в исследованиях, так и на практике.
Облако точек представляет собой набор многочисленных трёхмерных пространственных точек, каждая из которых имеет координаты X, Y и Z, задающие её положение. Помимо пространственной информации облако точек может содержать и другие сведения, включая цветовые и спектральные данные, и тем самым служить основой для объединения информации разных модальностей. Однако в большинстве случаев исходное трёхмерное облако точек растений представляет собой неупорядоченный набор данных, требующий обработки для извлечения полезной информации. Обработка трёхмерных облаков точек растений включает регистрацию облаков (совмещение и объединение данных из нескольких источников в единое облако), обрезку облака (удаление фона и других посторонних объектов для выделения целевого трёхмерного облака точек заданной области), удаление шума, вызванного ошибками сканирования, сегментацию облака для получения содержащейся в нём семантической информации (например, разделение облака точек растения на органы), измерения по облаку (например, длины и площади листьев по облаку точек листа) и трёхмерную реконструкцию (построение трёхмерной полигональной модели по облаку точек). Сегментация занимает центральное место в обработке облаков точек из-за востребованности в разных задачах, её роли в последовательности операций и сложности используемых алгоритмов. Она преобразует неупорядоченное и неструктурированное исходное трёхмерное облако точек в структурированные данные с семантической информацией. Это важнейший этап точной интерпретации трёхмерных данных. Регистрацию, обрезку и удаление шума можно рассматривать как предварительную обработку перед сегментацией, а измерения и трёхмерную реконструкцию — как последующую обработку при извлечении семантической информации из данных облака точек. Таким образом, сегментацию можно считать основной задачей обработки облаков точек растений.
Сегментация давно занимает важное место в компьютерном зрении (CV). Её цель — избирательно выделить область интереса (ROI) из исходных данных, будь то изображение или облако точек. В настоящее время передним краем исследований остаётся сегментация изображений, о чём свидетельствуют многочисленные передовые алгоритмы (SOTA), разработанные специально для сегментации двумерных изображений (Kirillov et al., 2023; Li et al., 2019b; Liu et al., 2021). По сравнению с сегментацией двумерных изображений устойчивость и качество алгоритмов сегментации трёхмерных облаков точек несколько ниже из-за ограничений методов получения данных, их качества, размерности и чистоты, а также сложности алгоритмов. В случае сегментации облаков точек растений (PPCS) дополнительными источниками сложности и повышенных требований к алгоритмам являются большое число видов растений со сложной морфологией и строением, перекрытие органов, нежёсткая структура органов, деформируемых под влиянием окружающей среды, и различный масштаб задач обработки облаков точек.
В последние годы было проведено множество исследований по сегментации облаков точек растений. Существуют общие обзоры трёхмерной феномики растений (Harandi et al., 2023; Jin et al., 2021; Paulus, 2019), однако ни один из них не посвящён исключительно методам сегментации трёхмерных облаков точек растений. В настоящей статье рассмотрены методы сегментации облаков точек растений (рис. 1). Сначала обобщены современные тенденции развития исследований, затем проанализированы методы получения облаков точек растений и выделения признаков для задач сегментации. Далее описано развитие методов сегментации, разделённых на традиционные методы, методы машинного обучения и методы глубокого обучения. В заключение обсуждаются перспективы исследований PPCS.
Рисунок 1. Обзор сегментации облаков точек растений (PPCS). Примеры методов получения трёхмерных облаков точек
Рисунок 1. Обзор сегментации облаков точек растений (PPCS). Примеры методов получения трёхмерных облаков точек растений: (a) LiDAR или трёхмерный сканер (Paulus et al., 2013), (b) трёхмерная реконструкция по нескольким ракурсам (Wu et al., 2020b), (c) камера глубины (Microsoft Azure Kinect DK). Примеры методов сегментации облаков точек растений: (d) RANSAC (традиционный метод) (Ghahremani et al., 2021a), (e) кластеризация (метод машинного обучения) (Zhang et al., 2021b), (f) FF-Net (метод глубокого обучения) (Guo et al., 2023).

2. Обзор исследований по сегментации трёхмерных облаков точек растений

Для изучения развития PPCS мы выполнили поиск работ, доступных до 25 октября 2024 г., в базе Web of Science по ключевым словам «растение, облако точек, 3D, сельскохозяйственная культура, сегментация». Для пополнения подборки был проведён дополнительный поиск в Google Scholar. Поиск дал 606 статей, из которых отобрали 154 репрезентативные публикации по PPCS. На рис. 2(a) показано распределение работ во времени: до 2017 г. таких исследований было мало, а начиная с 2018 г. их число заметно выросло. До 2018 г. исследования PPCS преимущественно касались сегментации лесных деревьев. Затем акцент сместился на сельскохозяйственные культуры и декоративные растения, прежде всего на сегментацию на уровнях отдельных растений и органов.
Рисунок 2. Распределение публикаций по сегментации трёхмерных облаков точек растений. (a) Распределение публик
Рисунок 2. Распределение публикаций по сегментации трёхмерных облаков точек растений. (a) Распределение публикаций по годам. (b) Распределение публикаций по категориям растений.
На рис. 2(b) показано распределение категорий растений в литературе по PPCS. На исследования деревьев приходится 34 % всех работ. Из них 29 % общего числа работ посвящены сегментации отдельных деревьев в лесах и уличных деревьев в городах, а 5 % — сегментации плодов на плодовых деревьях. Работы по сельскохозяйственным культурам в основном охватывают кукурузу, томаты и другие зерновые культуры. Прочие исследования PPCS составляют менее 19 %. Кукуруза — наиболее продуктивная сельскохозяйственная культура в мире. Простое строение делает её одним из основных объектов сельскохозяйственных исследований по сегментации облаков точек. Преимущество томата для таких исследований состоит в хорошо различимой окраске спелых плодов, которая упрощает сегментацию облаков точек плодов. У других зерновых, например риса и пшеницы, высокая густота посева затрудняет сегментацию отдельных растений, а наличие побегов кущения — сегментацию органов. Поэтому при сегментации зерновых обычно выделяют колосья из облака точек растительного полога (Liu et al., 2023).
По собранным данным можно сделать два вывода. Сегментация облаков точек широко применяется в дистанционном зондировании деревьев и лесов и достигла сравнительно зрелой стадии развития. Сегментация облаков точек сельскохозяйственных культур быстро развивается по мере внедрения новых технологий.

2.1. Методы получения облаков точек растений

Совершенствование методов получения трёхмерных данных о растениях существенно ускорило развитие исследований их трёхмерной структуры. Качество и разрешение данных определяют их пригодность для исследований по сегментации растений, доступные масштабы и методы сегментации, а также её точность. Поэтому сначала кратко описываются способы получения облаков точек растений.
Для получения трёхмерных облаков точек растений в задачах сегментации преимущественно используют LiDAR, трёхмерную реконструкцию по нескольким ракурсам, камеры глубины и другие методы регистрации морфологии и структуры растений.
Как показано на рис. 3, LiDAR составляет 56 % применяемых средств получения данных о растениях. Он стал основным средством получения облаков точек благодаря сравнительной простоте использования и возможности установки на различное оборудование в зависимости от условий съёмки. К методам LiDAR (Rivera et al., 2023) относятся воздушное лазерное сканирование (ALS), лазерное сканирование с беспилотных летательных аппаратов (UAV-LS), мобильное лазерное сканирование (MLS), наземное лазерное сканирование (TLS) и ручное лазерное сканирование (рис. 3(c)). ALS обеспечивает наибольший охват и обычно применяется для сканирования деревьев на лесных территориях или получения облаков точек полевых культур. Охват UAV-LS и MLS меньше, поэтому эти методы обычно применяются для получения облаков точек сельскохозяйственных культур в поле. Наземный сканер TLS обеспечивает более стабильное положение благодаря установке на неподвижном основании. Ручные лазерные 3D-сканеры охватывают меньшую область, чем рассмотренные выше ALS, UAV-LS, MLS и TLS, но обеспечивают наибольшее разрешение облака точек. Обычно их применяют для получения облаков точек отдельных небольших горшечных растений или их органов. В зависимости от условий исследователи могут выбрать подходящие лидарные средства. Wang et al. (2020b) получили облака точек лесных деревьев в горной местности с БПЛА. Li et al. (2020b) получили облака точек уличных деревьев методом MLS. Su et al. (2019) использовали TLS для получения облака точек всего кукурузного поля. Huang et al. (2022) получили облако точек семени бобового растения ручным 3D-сканером. Paulus et al. (2013) получила данные облаков точек винограда и пшеницы методом активной лазерной триангуляции с помощью лазерного сканера высокого разрешения на шарнирной измерительной руке.
При многоракурсной стереореконструкции (MVS) трёхмерное облако точек объекта восстанавливают по двумерным RGB-изображениям, снятым под разными углами. За короткий промежуток времени морфология и строение растений сравнительно стабильны, поэтому реконструкция по нескольким ракурсам хорошо подходит для получения облаков точек растений. Широко используются методы SfM и MVS (Gélard et al., 2016; Gélard et al., 2017a). SfM и MVS — два самостоятельных, тесно связанных компонента единого процесса SfM-MVS. На первом этапе SfM восстанавливает внутренние и внешние параметры камер и разреженное облако точек по некалиброванным снимкам. На втором этапе MVS восстанавливает плотное облако точек по изображениям, для которых параметры камер были получены на этапе SfM, завершая реконструкцию. Низкая стоимость и устойчивость результатов способствовали широкому применению SfM-MVS для получения облаков точек. Например, Hui et al. (2018) использовали SfM-MVS для реконструкции трёхмерных облаков точек отдельных растений баклажана и огурца. Для получения облаков точек отдельных растений разработаны платформы MVS-Pheno (Wu et al., 2022; Wu et al., 2020b).
Камеры глубины формируют карты глубины, по которым можно восстановить облака точек. Метод сравнительно прост, быстр и недорог, однако при съёмке больших сцен ограничения разрешения могут ухудшать качество облака точек. В задачах PPCS такие камеры обычно используют для получения облаков точек отдельных растений небольшого размера. При съёмке карт глубины необходимо учитывать перекрытие частей растений. Обычно съёмку ведут с двух или более ракурсов, после чего объединяют данные для получения полного облака точек. Распространены три типа камер глубины: камеры структурированного света (Li et al., 2013), времяпролётные камеры (ToF) и бинокулярные стереокамеры глубины. Наиболее распространены времяпролётные камеры. Их типичный представитель, Microsoft Kinect V2, широко применяется для получения карт глубины (Xiang et al., 2019). Камеру глубины можно использовать со вспомогательным оборудованием, например с роботизированным манипулятором, для более точного получения облаков точек растений (Alenya et al., 2013). Бинокулярная камера представляет собой простое и экономичное решение. Две камеры снимают одну сцену под разными углами и формируют левое и правое изображения. Затем алгоритмом стереосопоставления находят пары соответствующих пикселей и по принципу триангуляции восстанавливают точки в трёхмерном пространстве. Li et al. (2019a) разработали бинокулярную стереосистему для получения облака точек декоративно-лиственного растения Monstera deliciosa.
Рисунок 3. Доли методов получения облаков точек в отобранных публикациях по PPCS. (a) Сводка по методам получе
Рисунок 3. Доли методов получения облаков точек в отобранных публикациях по PPCS. (a) Сводка по методам получения облаков точек. (b) Типичные методы: LiDAR (Miao et al., 2023), многоракурсная стереореконструкция (Wu et al., 2020b) и камера глубины (Alenya et al., 2013). (c) Различные типы лидарных устройств для получения облаков точек растений (Du et al., 2023; Liu et al., 2018b; Paulus et al., 2013; Wang et al., 2021; Wang et al., 2019).
Облака точек, полученные разными средствами, сопоставлены на рис. 3(b). Среди широко применяемых технологий многоракурсная трёхмерная реконструкция и камеры глубины обходятся сравнительно дешевле лидара. Лидар сохраняет преимущество по точности данных, особенно при работе в большом масштабе. Другие технологии, например рентгеновское сканирование, ориентированы на частные задачи, такие как исследование сложной структуры многослойных лепестков розы (Dutagaci et al., 2020). У каждой технологии есть области преимущественного применения, поэтому оборудование следует выбирать с учётом задачи. Распространённые технологии получения облаков точек растений показаны на рис. 3.
Свойства облака точек, полученного лидаром, зависят от устройства. Для одного растения или органа расхождения в числе точек при изменении расстояния могут приводить к ошибкам сегментации. Обычно приходится учитывать компромисс между дальностью и точностью сканирования (Micheletto et al., 2023). Лидары обычно обладают большой дальностью и лучше подходят для получения облаков точек групп растений. Облака точек, полученные лидаром, обычно не содержат цветовой информации. Качество облака точек, реконструированного методом MVS, зависит от количества и качества изображений. Размытый фокус и загромождённый фон могут ухудшить качество облака. Метод MVS подходит для получения облаков точек отдельных растений и небольших групп. Поскольку облако восстанавливается по изображениям, оно содержит соответствующую цветовую информацию. Камеры глубины имеют ограниченную дальность съёмки. На получаемые облака точек влияют освещение и фоновый шум. Разрешение регистрирующего устройства напрямую определяет точность облака точек и критически важно для сегментации. Для выполнения задачи разрешение облака должно позволять различать необходимые признаки. Например, облако точек полога кукурузы, полученное лазерным сканированием с БПЛА, с трудом передаёт морфологические различия между початками и стеблями, что затрудняет сегментацию органов отдельных растений. Поэтому выбор оборудования, подходящего по требованиям задачи, — необходимое условие сегментации облака точек.

2.2. Сегментация облаков точек растений на разных масштабных уровнях

Одной из особенностей PPCS является многомасштабная сегментация. Выделяют три уровня: «растительный полог — участок», «участок — отдельное растение» и «отдельное растение — орган». Задачи на разных уровнях могут предъявлять разные требования к точности данных и способам сегментации. Для выбора технического метода необходимо учитывать особенности задачи.
Распределение отобранной литературы по трём масштабам показано на рис. 4. На уровень «растительный полог — участок» приходится лишь 6 % работ. Большинство исследований посвящено уровням «участок — отдельное растение» и «отдельное растение — орган», на которые приходится соответственно 35 % и 59 % всех работ. Как показано на рис. 4(b), традиционные методы преимущественно применяют для сегментации отдельных растений на участке. На рис. 4(c, d) видно, что машинное и глубокое обучение лучше подходят для сегментации отдельных органов. В основном это связано с тем, что такие методы лучше улавливают сложные морфологические признаки органов, представленные в облаках точек.
Рисунок 4. Многомасштабная сегментация трёхмерных облаков точек растений. (a) Общее распределение работ по мас
Рисунок 4. Многомасштабная сегментация трёхмерных облаков точек растений. (a) Общее распределение работ по масштабу. Распределение работ на основе (b) традиционных методов, (c) машинного обучения и (d) глубокого обучения. Примеры масштабов: (e) растительный полог — участок (Jin et al., 2020), (f) участок — отдельное растение (Jin et al., 2018), (g) отдельное растение — орган (Li et al., 2022c).
Сегментация на уровне «растительный полог — участок» преимущественно опирается на схемы посадки, в которых отдельные единицы хорошо различимы. Удовлетворительные результаты можно получить вручную или традиционными методами (Ma et al., 2019; Vazquez-Arellano et al., 2018).
Основная цель сегментации на уровне «участок — отдельное растение» состоит в выделении облаков точек отдельных растений на участке или облака точек интересующей области растительности. В таких исследованиях главным образом используют данные LiDAR. Их часто применяют для выделения лесных деревьев и как предварительный этап сегментации отдельных органов. К востребованным задачам этого масштаба относятся различение древесных пород и выявление погибших деревьев посредством сегментации леса (Amiri et al., 2019), а также выделение облаков точек деревьев из облаков точек улиц (Li et al., 2020b). Основные трудности — значительное перекрытие растений при высокой плотности посадки и снижение точности сегментации при низкой точности исходных облаков точек.
Сегментация на уровне «отдельное растение — орган» требует более высокого разрешения данных, поскольку объекты здесь мельче, чем на остальных уровнях. Это расширяет выбор методов. Основная цель — выделить органы отдельного растения, например листья (Bao et al., 2018; Hui et al., 2018; Itakura and Hosoi, 2018; Xiang et al., 2019), стебли (Xiang et al., 2019), плоды (Barnea et al., 2016; Dahdal and Hament, 2024) и метёлки (Liu et al., 2023; Zhang et al., 2023a). В некоторых исследованиях идентифицируют облака точек других элементов, например дупел и эпифитных мхов (Rehush et al., 2018). Глубокое обучение как развивающееся направление сегментации облаков точек применяется прежде всего к этой наиболее сложной задаче.
Для сегментации на уровне «растительный полог — участок» в сельском и лесном хозяйстве обычно применяют облака точек больших территорий, полученные воздушным лазерным сканированием (ALS). Ключевая задача — определить границы участков. Этот уровень наименее сложен из трёх благодаря сравнительно чётким границам участков и менее строгим требованиям к точности. Поэтому обычно применяют ручную сегментацию и традиционные методы, которые позволяют решить задачу просто и эффективно. Данные для выделения отдельных растений на участке обычно получают лидарами среднего или крупного класса. Основная трудность состоит в точном выделении облаков отдельных растений внутри группы. Задача усложняется с ростом густоты насаждений, прежде всего из-за затенения и взаимного перекрытия растений. На точность сегментации также влияет сложность строения растений. Для повышения качества сегментации применение традиционных подходов постепенно уступает место машинному и глубокому обучению. Сегментация органов — наиболее новое и преобладающее направление среди трёх масштабов. Её обычно применяют к облакам точек отдельных растений. Преимущественное использование машинного и глубокого обучения повышает требования к объёму данных. Основная трудность заключается в сложном строении отдельных растений. Например, у арахиса множество мелких ветвей и листьев, что затрудняет точное разделение листьев и стеблей.

2.3. Обзор методов сегментации облаков точек растений

Методы PPCS можно разделить на три основные категории: традиционные методы, машинное обучение и глубокое обучение. В ранних исследованиях сегментация в основном опиралась на ручную обработку (Dornbusch et al., 2007; Miao et al., 2021a) или на признаки, заданные исследователем (Deng and Katoh, 2016; Huo et al., 2022). Исследователям приходилось тратить значительные усилия на ручную сегментацию или создавать модули выбора признаков, учитывающие морфометрические характеристики нужных растений. Точность сегментации зависит от качества признаков, а методы обычно недостаточно устойчивы, универсальны и эффективны. По мере развития компьютерного зрения в сегментацию трёхмерных облаков точек растений стали внедрять методы обработки двумерных изображений (Itakura and Hosoi, 2018; Li et al., 2019a; Ma et al., 2023; Panjvani et al., 2019; St-Onge et al., 2015). Эти методы обладают хорошей обобщающей способностью и хорошо сочетаются с признаками, заданными исследователем (Brunner and Houtmeyers, 2022). Несмотря на перспективность методов компьютерного зрения, у традиционных подходов сохраняются ограничения. Для их преодоления в PPCS всё чаще стали применять машинное обучение (Barnea et al., 2016; Chaivivatrakul et al., 2014; Ghahremani et al., 2021a; Lee et al., 2010; Paulus et al., 2013; Tatum and Wallin, 2021; Weiss and Biber, 2011). Основная идея машинного обучения состоит в том, что компьютер самостоятельно выявляет признаки в данных. По сравнению с традиционными подходами для этого требуется больше обучающих данных, однако затраты ручного труда могут существенно снижаться. Кроме того, алгоритмы машинного обучения обычно обладают лучшей обобщающей способностью. В последние годы глубокое обучение стало важным направлением PPCS благодаря своим высоким результатам (Li and Guo, 2022; Qi et al., 2021; Turgut et al., 2022a; Yu et al., 2022a). Развитие трёх основных направлений подробно рассмотрено в разделах 3, 4 и 5.
На рис. 5 показано число работ по PPCS по годам. Оно в целом увеличивалось. До 2018 г. таких работ было меньше. В 2018 и 2019 гг. исследователи уделяли больше внимания сегментации лесных деревьев, и начиная с 2018 г. было получено много результатов в области PPCS. С 2020 по 2022 г. ежегодно публиковалось около 20 статей. В этот период исследовательский интерес сместился главным образом на другие растения. На начальном этапе преобладали традиционные методы и машинное обучение. С 2020 г. большинство исследований сосредоточилось на машинном и глубоком обучении. В 2019–2021 гг. в работах по сегментации трёхмерных облаков точек растений преобладало машинное обучение. Развитие теории и технологий глубокого обучения в последние годы привело к смещению акцента на глубокое обучение. В 2022 и 2024 гг. методы глубокого обучения использовались в 50 % всех соответствующих исследований, что указывает на их преобладание в этой области.
Рисунок 5. Распределение публикаций по сегментации облаков точек растений по годам.
Рисунок 5. Распределение публикаций по сегментации облаков точек растений по годам.

2.4. Наборы данных для трёхмерной сегментации растений

Для методов машинного обучения с учителем, включая глубокое обучение, необходимы подходящие обучающие наборы данных. Они играют ключевую роль, поэтому исследователям часто приходится создавать собственные наборы с учётом требований конкретного объекта исследования (Li et al., 2024a; Liu et al., 2024; Zhang et al., 2024b). При нехватке данных можно использовать качественные общедоступные наборы.
Как и в смежных областях, исследователи PPCS публикуют наборы облаков точек растений в открытом доступе (табл. 1). Другие исследователи могут проводить работу без самостоятельного сбора данных или дополнять ими собственные эксперименты (Liang et al., 2024). Ниже приведён обзор распространённых наборов.
Plant 3D (Conn et al., 2017). Высокоточные бесконтактные измерения строения растений выполняли с помощью Faro ARM. В итоговый набор вошло 505 образцов трёх видов (томат, табак и сорго), выращенных в трёх–пяти вариантах условий среды (естественный свет, затенение, высокая температура, интенсивное освещение и засуха). Цикл роста составлял около 20 дней. Для семантической сегментации стеблей и листьев по Plant 3D среднее отношение пересечения к объединению (MIoU) составило 79,87 %, 85,52 %, 88,00 % и 89,90 % при применении PointNet (Charles et al., 2017), PointNet++ (Qi et al., 2017), PlantNet (Li et al., 2022b) и PSegNet (Li et al., 2022a) соответственно.
ROSE-X (Dutagaci et al., 2020). Набор включает 11 размеченных трёхмерных моделей реальных кустов роз, полученных методом рентгеновской томографии. При предварительной обработке удалили фон и разделили данные на стебли, листья, цветки, горшки и этикетки, представив результаты в воксельном виде. Итоговый набор содержит пять типов данных: (1) исходную серию рентгеновских изображений, (2) бинарную объёмную маску вокселей надземной части растения, этикетки и горшка с соответствующей разметкой органов, (3) бинарную объёмную маску вокселей только на поверхности надземной части растения с соответствующей разметкой органов, (4) облако точек надземной части растения, этикетки и горшка с цветовой кодировкой органов, (5) облако точек поверхности надземной части растения с цветовой кодировкой органов. ROSE-X признан полным и детально размеченным набором для обучения моделей в ряде последующих работ (Li and Guo, 2022; Turgut et al., 2022b), хотя общий объём данных невелик. Dutagaci et al. (2020) сравнили на ROSE-X качество сегментации четырёх методов: LFPC-u, LFPC-s, LFVD и 3D U-Net. Первые три относятся к машинному обучению, последний — к глубокому. Для листьев IoU составило соответственно 94,10 ± 1,54 %, 95,10 ± 0,46 %, 97,93 ± 0,47 % и 81,72 ± 1,71 %. Для стебля значения составили соответственно 67,96 ± 8,18 %, 69,57 ± 3,87 %, 86,23 ± 0,31 % и 53,58 ± 5,54 %. В последующей работе Turgut и соавт. получили MIoU 80,55 ± 3,80 % для PointNet++ (Qi et al., 2017) и 85,10 ± 2,85 % для RoseSegNet (Turgut et al., 2022b).
Таблица 1. Репрезентативные наборы данных для PPCS.
Набор данных Растения Формат Метод съёмки Объём данных Разметка Источники
Plant 3D Томат, табак, сорго Облака точек, полигональные сетки LiDAR 505 облаков точек. Указаны 312 облаков томата, 105 табака и 129 сорго. — Conn et al., 2017; Li et al., 2022a; Li et al., 2022b
ROSE-X Роза Облака точек, объёмное представление Рентгеновская томография 11 размеченных 3D-моделей реальных кустов роз. Семантическая разметка органов Dutagaci et al., 2020; Turgut et al., 2022a; Turgut et al., 2022b
Pheno4D Томат, кукуруза Облака точек LiDAR 204 облака точек. Указаны 84 облака кукурузы и 140 томата. Размечено 126 облаков. Поэкземплярная разметка органов Luo et al., 2023; Schunck et al., 2021; Yan et al., 2024
PFuji-Size Яблоня Облака точек и исходные изображения для реконструкции методом SfM-MVS SfM-MVS 6 облаков точек яблонь, 640 облаков точек яблок. Эталонные координаты центра [X, Y, Z] и диаметры плодов Gene-Mola et al., 2021
Soybean-MVS Соя Облака точек SfM-MVS 102 облака точек пяти сортов сои на 13 стадиях роста. Поэкземплярная разметка органов Sun et al., 2023b
PLANesT-3D Перец, роза, растения рода Ribes Облака точек SfM-MVS 34 облака точек: 10 перца, 10 розы и 14 растений рода Ribes. Поэкземплярная разметка органов Mertoğlu et al., 2024
Pheno4D (Schunck et al., 2021). Набор получен системой лазерного сканирования, которая регулярно формировала облака точек семи отдельных растений кукурузы в течение двух недель и семи отдельных растений томата в течение трёх недель. Опубликовано 84 облака точек кукурузы и 140 облаков точек томата. Более половины данных размечено по классам «стебель», «лист» и «почва». Для листьев выполнена поэкземплярная разметка. Для сегментации кукурузы использовали два способа: по воротничку листа и по кончику листа. Тщательно спланированный сбор данных дал обширный и ценный материал для семантической и поэкземплярной сегментации растений. Ограниченный период сбора может затруднить проверку способности методов к обобщению. Качество сегментации PointNet (Charles et al., 2017), PointNet++ (Qi et al., 2017) и LatticeNet (Rosu et al., 2022) оценили отдельно на данных кукурузы и томата. Для кукурузы MIoU этих сетей составило соответственно 64,0 %, 83,9 % и 98,8 %, для томата — 64,7 %, 68,4 % и 95,1 %.
PFuji-Size (Gene-Mola et al., 2021). С помощью MVS сформировали трёхмерные облака шести целых яблонь сорта Фуджи, на которых было 615 яблок. Ещё 25 плодов яблони реконструировали методом MVS в лаборатории. В набор входят облака точек деревьев на разных стадиях развития, разметка координат плодов в виде поэкземплярно сегментированных трёхмерных облаков точек яблок, а также диаметры всех размеченных яблок. Это первый общедоступный набор данных для обнаружения плодов и оценки их размеров. Он представляет собой пригодную для обучения основу для дальнейших исследований по обнаружению плодов.
Soybean-MVS (Sun et al., 2023b). В набор входят 102 трёхмерных облака точек сои пяти сортов на протяжении всего цикла роста (13 стадий). Облака точек реконструировали методом MVS. Растения получили семантическую разметку по классам «лист», «главный стебель» и «прочий стебель». Пригодность данных также проверили нейронными сетями RandLA-Net и BAAF-Net. Набор Soybean-MVS предоставляет основу для исследований сегментации трёхмерных облаков точек сои.
PLANesT-3D (Mertoğlu et al., 2024). Набор состоит из 34 облаков точек перца, розы и растений рода Ribes. Цветные трёхмерные облака точек построены методом SfM-MVS. Набор также содержит разметку отдельных экземпляров листьев и стеблей, выполненную вручную.

3. Традиционные методы сегментации

Традиционными обычно называют методы, основанные на признаках, которые исследователь задаёт вручную, и появившиеся до широкого применения машинного обучения. В традиционных методах исследователь явно задаёт признаки, а алгоритм не выполняет их автоматический отбор и не обучается. Выделяют две категории (рис. 6). К первой относятся методы, использующие морфологические особенности растений (Gélard et al., 2017b; Harmening and Paffenholz, 2020; Rossi et al., 2022) или различия в окраске для выделения глобальных признаков. Ко второй относятся методы, опирающиеся на локальные структурные характеристики облаков точек растений, в том числе метод согласования случайных выборок (RANSAC), метод наращивания областей (Sun et al., 2024) и скелетизация.

3.1. Сегментация по глобальным признакам

На ранних этапах исследований PPCS различные части растений выделяли по характерным морфологическим структурам или цветовым признакам облаков точек. Подход применим на разных масштабах, если признаки отражают особенности соответствующего уровня сегментации. Распространены следующие способы. (1) Использование геометрических особенностей строения растений (Chen et al., 2024; Du and Pang, 2024; Fan et al., 2024), например расстояний между деревьями (Li et al., 2012) и симметричного строения деревьев с коническими кронами и цилиндрическими стволами (Brunner and Houtmeyers, 2022; Huo et al., 2022). Huo et al. (2022) разработали алгоритм обнаружения симметричных структур (SSD) для выделения облака точек отдельного дерева из облака лесного массива. Алгоритм обнаруживает и сегментирует хвойные деревья в бореальных лесах по симметрии конической кроны и цилиндрического ствола (рис. 6(a)). (2) Использование цветовых различий частей растения, например посредством отдельных цветовых порогов для каждого сегмента (Zine-El-Abidine et al., 2021) (рис. 6(b)). (3) Сочетание глобальных признаков и собственных характеристик данных, например различий отражённого сигнала лидара для растительных и нерастительных объектов (Gupta et al., 2020) (рис. 6(c)). Способы выделения признаков показаны на рис. 6.
Рисунок 6. Сравнение традиционных методов сегментации. Глобальные признаки: (a) геометрические (Huo et al., 20
Рисунок 6. Сравнение традиционных методов сегментации. Глобальные признаки: (a) геометрические (Huo et al., 2022), (b) цветовые (Zine-El-Abidine et al., 2021) и (c) собственные признаки данных (Gupta et al., 2020). Локальные признаки: (d) обнаружение точек поверхности земли с помощью RANSAC (Vazquez-Arellano et al., 2018), (e) аппроксимация геометрии органов растений с помощью RANSAC (Ghahremani et al., 2021a), (f, g) сегментация методом наращивания областей (Jin et al., 2019), (h) скелетизация для поэкземплярной сегментации стеблей и листьев кукурузы (Xiang et al., 2019), (i) скелетизация для поэкземплярной сегментации рапса (Ma et al., 2023).

3.2. Сегментация по локальным признакам

3.2.1. RANSAC

RANSAC (Fischler and Bolles, 1981) — итерационный алгоритм оценки параметров математической модели на основе случайных выборок. В PPCS RANSAC часто применяют на этапе предварительной обработки для выделения и удаления точек плоскостей (Weiss and Biber, 2011), например поверхности земли (Vazquez-Arellano et al., 2018) (рис. 6(d)). Huang et al. (2022) использовали RANSAC для обнаружения и удаления поверхности стола, на котором размещались образцы сои. Развитие RANSAC позволяет объединять различные функции, как в алгоритме PC-RANSAC (Ghahremani et al., 2021a). PC-RANSAC применяют не только для сегментации поверхности земли, но и для сегментации растений и извлечения фенотипических признаков путём подбора геометрических моделей для различных органов растений (рис. 6(e)).

3.2.2. Наращивание областей

Обработку начинают с одной или нескольких начальных точек. К ним присоединяют сходные соседние точки, расширяя область до выполнения заданного условия остановки. Ключевое значение имеют выбор начальных точек и метрика сходства (Li et al., 2020a). Jin et al. (2019) предложили метод наращивания областей MNVG для отдельных растений кукурузы. С помощью медианных нормализованных векторов (MNV) метод сегментирует экземпляры стеблей и листьев снизу вверх (рис. 6(f, g)). Позднее Ma et al. (2024c) применили MNVG для сегментации стеблей сои. Liu et al. (2022) применили алгоритм наращивания областей на основе многомасштабного тензорного голосования (MSTVM) для сегментации облака точек сахарной свёклы.

3.2.3. Скелетизация

Скелетизация облака точек позволяет получить точное представление структуры растения и на этой основе выполнить сегментацию. Алгоритм скелетизации можно спроектировать с учётом требований задачи и свойств растения. Как правило, большинство методов скелетизации лучше подходят для сегментации отдельных органов растений (Chaudhury and Godin, 2020; Miao et al., 2021b; Xiang et al., 2019). В области скелетизации трёхмерных облаков точек выделяют три метода: сжатие на основе оператора Лапласа (LBC) (Cao et al., 2010), построение медиальной оси на основе нормы L1 (L1-medial) (Huang et al., 2013) и самоорганизующиеся карты (SOM) (Kohonen, 1990). Например, LBC использовали для сегментации стеблей и листьев кукурузы (Miao et al., 2021b) (рис. 6(h)). Сначала методом на основе оператора Лапласа строят скелет облака точек отдельного растения кукурузы. Затем по скелету выполняют грубую сегментацию, после чего уточняют её путём классификации стеблей и листьев. Zhang et al. (2023b) сравнили алгоритмы L1-medial и LBC с предложенным ими модулем извлечения точек скелета. James et al. (2024) извлекли скелеты растений земляники методами L1-medial и SOM на предложенном ими наборе данных и таким образом подтвердили пригодность набора. Применение SOM как подхода машинного обучения постепенно распространяется в этой области. Chebrolu et al. (2021) использовали SOM для извлечения скелета кукурузы и томата. В работе James et al. (2024) SOM показал более высокую точность по сравнению с традиционными методами.
Ряд авторских алгоритмов извлечения скелета также показал высокую эффективность. Ma et al. (2023) предложили метод скелетизации на основе иерархической сегментации. Сначала иерархически выделяют точки скелета на каждом слое. Затем связывают соответствующие точки и оптимизируют результат, получая облако точек растения с поэкземплярной сегментацией стручков рапса.
Применимость методов, основанных на вручную заданных признаках и RANSAC, по своей природе не ограничена определённой областью и масштабом, поскольку эти методы адаптируют к конкретной задаче. В основе наращивания областей лежит сходство точек, а скелетизация опирается на геометрическое строение растения. Поэтому оба метода подходят для сегментации на уровне «отдельное растение — орган». Традиционные методы сегментации облаков точек зависят от решений исследователя и могут оказаться слишком специализированными и сложными. Возможности их оптимизации сохраняются.

4. Методы сегментации на основе машинного обучения

С развитием вычислительной техники машинное обучение получило широкое распространение, в том числе в сегментации облаков точек. Его применение позволяет автоматизировать сегментацию. По сравнению с традиционными методами оно повышает эффективность исследования, сокращая объём ручной работы. Гибкость машинного обучения позволяет повысить точность сегментации по сравнению с методами, основанными на вручную заданных признаках.
Некоторые алгоритмы машинного обучения имеют общее назначение, поэтому их прямое применение к PPCS может давать неудовлетворительные результаты. В большинстве случаев алгоритмы приходится адаптировать к конкретной задаче или сочетать несколько методов для устранения различных трудностей.
В PPCS используют главным образом алгоритмы обучения без учителя и обучения с учителем. Пример первого подхода — сегментация методом кластеризации. Заранее подготовленная обучающая выборка не требуется, поскольку алгоритм самостоятельно выявляет структурные признаки. При обучении с учителем необходим набор обучающих данных с метками классов образцов. Это позволяет выявлять и различать компоненты облака, например с помощью классификатора SVM. В таблице 2 приведены распространённые методы машинного обучения для PPCS.
Таблица 2. Распространённые методы машинного обучения для PPCS.
Категория Алгоритм Принцип Применение Источники
Без учителя Кластеризация методом разбиения Деление набора на фиксированное число подмножеств. Пример — k-средние. Выпуклые кластеры, например сферические плоды. Guo et al., 2019; Jain, 2010; Miao et al., 2023; Yang et al., 2020a
Без учителя Кластеризация по плотности Сходство точек оценивают по расстояниям. Пример — DBSCAN. Кластеры произвольной формы с однородной плотностью. Biglia et al., 2022; Ester et al., 1996; Guo et al., 2019; Sun et al., 2020; Zeng et al., 2020
Без учителя Графовая кластеризация Точки представляют вершинами, связанными рёбрами. Пример — спектральная кластеризация. Кластеры произвольной формы. von Luxburg, 2007; Williams et al., 2020
С учителем KNN Класс точки определяют по её k ближайшим соседям. Выделение переднего плана и фона, сглаживание и др. Wu et al., 2020a; Wu et al., 2008; Zhang et al., 2021a
С учителем Случайный лес Бэггинг на основе деревьев решений. Зависит от построения векторов признаков. Распространённый пример — гистограммы PFH. Breiman, 2001; Dutagaci et al., 2020; Wu et al., 2020a
С учителем AdaBoost На каждой итерации корректируют параметры слабых классификаторов. Их комбинация образует сильный классификатор. Зависит от построения векторов признаков. Freund and Schapire, 1997; Li et al., 2020b
С учителем SVM Оптимальная разделяющая гиперплоскость делит пространство признаков на два класса. Зависит от построения векторов признаков. Burges, 1998; Dutagaci et al., 2020; Lin et al., 2020; Sun et al., 2020; Wu et al., 2020a
Глубокое обучение относится к машинному обучению и отличается требованиями к данным и способами их использования. Поскольку это сейчас основное направление исследований и по нему накоплено много результатов, в данном разделе рассматриваются остальные методы машинного обучения. Достижения глубокого обучения отдельно обобщены в разделе 5.

4.1. Алгоритмы обучения без учителя

Алгоритмы обучения без учителя представляют собой простой и эффективный подход. Среди них кластеризация, снижение размерности, поиск ассоциативных правил, самоорганизующиеся карты (SOM) и вероятностные графические модели. В PPCS чаще всего применяют кластеризацию (Paturkar et al., 2020; Rossi et al., 2022). Она входит практически во все задачи сегментации. Распространённые алгоритмы можно разделить на методы разбиения, методы на основе плотности, графовые, иерархические, сеточные методы и методы на основе моделей. В PPCS часто используют первые три категории.

4.1.1. Кластеризация методом разбиения

Типичный метод разбиения — метод k-средних. Его используют двумя основными способами. (1) Обрабатывают исходное облако точек непосредственно. Например, при сегментации листьев сои облако, содержащее несколько листьев, разделяют на отдельные облака каждого листа (Zhang et al., 2021b) (рис. 7(a)). Yang et al. (2024b) применили метод k-средних для выделения ложных стеблей банана. (2) Данные преобразуют в векторы признаков. Например, при разделении облаков точек овощных сеянцев и поверхности почвы (Yang et al., 2020a) для каждой точки извлекали 37 признаков на основе глубины, цвета и быстрых гистограмм признаков точек (FPFH). Затем сформированные векторы классифицировали методом k-средних.

4.1.2. Кластеризация на основе плотности

Большинство таких методов работают непосредственно с облаками точек. Типичный алгоритм — DBSCAN (Chau et al., 2024; Lin et al., 2022; Zeng et al., 2020). Lin et al. (2022) выделяли отдельные растения кукурузы из общего облака. Сначала строили горизонтальный срез облака кукурузного поля, затем кластеризовали точки на фиксированной высоте, чтобы установить местоположение растений. После этого с помощью DBSCAN выделяли отдельные растения из общего облака. Помимо DBSCAN применяют Quickshift (Gao et al., 2023) и Quickshift++ (Nelson and Papanikolopoulos, 2022). Quickshift++ использует достижения топологического анализа данных для определения концевых областей органов в каждом облаке точек отдельного растения кукурузы (Wang et al., 2023a) (рис. 7(b)). Многие авторские алгоритмы также основаны на плотности. Метод Jurado et al. (2020) учитывает два условия: евклидово расстояние между точками внутри кластера меньше 50 см, а минимальный размер кластера равен пяти точкам. Эти условия использовали для выделения отдельных виноградных лоз из общего облака точек.
Рисунок 7. Примеры методов машинного обучения. (a) Кластеризация методом разбиения (Zhang et al., 2021b), (b)
Рисунок 7. Примеры методов машинного обучения. (a) Кластеризация методом разбиения (Zhang et al., 2021b), (b) кластеризация на основе плотности (Wang et al., 2023a), (c) графовая кластеризация (Mirande et al., 2022), (d) KNN и случайный лес (Wu et al., 2020a), (e) AdaBoost (Li et al., 2020b), (f) SVM (Lin et al., 2020).

4.1.3. Графовая кластеризация

Один из распространённых графовых алгоритмов — спектральная кластеризация (Liu et al., 2018a; Santos et al., 2015; von Luxburg, 2007). Она позволяет одновременно выполнять семантическую и поэкземплярную сегментацию облаков точек растений (Mirande et al., 2022). Пример сегментации стебля приведён на рис. 7(c). Алгоритм многоклассового разреза графа (MCGC) (Williams et al., 2020) выделяет отдельные деревья посредством нормализованной спектральной кластеризации (NSC).

4.1.4. Сопоставление алгоритмов обучения без учителя

Алгоритмы кластеризации широко применяются в задачах обучения без учителя и изучались во многих работах (Biglia et al., 2022; Fang et al., 2020; Holmgren et al., 2022; Huang et al., 2022; Huo et al., 2022; Sun et al., 2021; Wang et al., 2021; You et al., 2021; Yu et al., 2022b; Zhang et al., 2021a; Zhou et al., 2024; Zhu et al., 2021).
Методы разбиения, такие как k-средние, лучше подходят для выделения выпуклых кластеров. Число кластеров задают вручную или определяют дополнительным методом (Yang et al., 2024b). При сегментации мелких листьев число кластеров сложно определить вручную, что затрудняет обработку. Поэтому разбиение лучше подходит для задач, где число кластеров невелико и его можно задать заранее.
Кластеризация по плотности удобна для пространственной сегментации облаков точек растений неправильной формы. Поскольку предварительно задавать число кластеров не требуется, метод хорошо подходит для задач с большим числом групп. Сегментация зависит от распределения плотности точек, поэтому неполные облака или неоднородная плотность могут снижать точность. Подход лучше подходит для облаков, реконструированных методом MVS-SfM.
Графовая кластеризация, как и разбиение, требует определить число кластеров. При низкой плотности облака точек растений спектральная кластеризация имеет преимущество перед k-средними. Высокая вычислительная сложность увеличивает время обработки, что затрудняет её применение в полевых условиях в реальном времени.
При непосредственном применении к облаку точек растений кластеризация обычно выделяет лишь отдельные экземпляры одного класса. Например, она позволяет выделять отдельные растения в общем облаке кукурузы. Для семантической сегментации кластеризацию необходимо сочетать с другими методами. На раннем этапе развития машинного обучения кластеризация могла служить основным средством PPCS. По мере развития технологий её всё чаще применяют на отдельных этапах сегментации.

4.2. Алгоритмы обучения с учителем

К распространённым методам относятся метод k ближайших соседей (KNN), байесовские классификаторы, метод опорных векторов, деревья решений, случайный лес, AdaBoost и нейронные сети. В PPCS часто используют KNN, SVM, случайный лес, AdaBoost и нейронные сети. Ниже рассмотрены первые четыре метода. Нейронные сети, лежащие в основе глубокого обучения, подробно рассмотрены в разделе 5.

4.2.1. Метод k ближайших соседей

В сегментации облаков точек KNN обычно сочетают с другими методами, например со случайным лесом, для удаления оставшихся точек фона (Wu et al., 2020a) (рис. 7(d)) или используют для сглаживания сегментированного облака (Zhang et al., 2021a). Chen et al. (2024) применили KNN для повторной классификации периферийных точек кластеров после пороговой фильтрации. Это позволило уменьшить ошибочное разделение облаков небольших стволов на несколько сегментов. KNN чувствителен к локальной структуре данных, а сложность облаков растений увеличивает риск ошибок. При удалении сложного фона можно ошибочно убрать краевые точки растения или потерять мелкие детали. Это ухудшает качество облака и влияет на дальнейшую обработку. Поэтому ключевой параметр K необходимо подбирать, а эффективность KNN — проверять с учётом особенностей конкретного облака растений.

4.2.2. Случайный лес

Случайный лес можно рассматривать как бэггинг, в котором базовыми моделями служат деревья решений. Wu et al. (2020a) одновременно применили KNN и случайный лес для удаления точек, не относящихся к плодам. Для этого использовали гистограмму признаков ракурса (VFH) каждого кластера (рис. 7(d)). Окончательный результат получали по совместной оценке обоих методов. Благодаря ансамблевому обучению алгоритм устойчив к выбросам и шуму. При съёмке на открытом воздухе неконтролируемые внешние помехи могут оставлять ошибки и смещения даже после обработки. В таких условиях случайный лес имеет определённые преимущества.

4.2.3. AdaBoost

Адаптивный бустинг (AdaBoost) — алгоритм обучения с учителем. Обычно из исходного облака извлекают локальные признаки каждого сегмента и формируют вектор признаков. По этим признакам можно сегментировать разные части облака. Пример приведён на рис. 7(e) (Li et al., 2020b). Построение векторов отражает различия между частями облака, а также логику оценки и отбора признаков, что повышает интерпретируемость. Настройка параметров AdaBoost для PPCS остаётся сложной. Для её оптимизации необходимо учитывать особенности целевых растений.

4.2.4. Метод опорных векторов

В PPCS широко используют метод опорных векторов (SVM). Как и для AdaBoost, из исходных данных извлекают локальные признаки каждого сегмента для построения вектора (Magistri et al., 2020). Например, гистограммы признаков точек (PFH) (Paulus et al., 2013) характеризуют каждую точку облака. Эти признаки подают в классификатор SVM для различения стеблей и листьев. В другом исследовании SVM использовали для распознавания настоящих плодов по цвету, глубине и форме (Lin et al., 2020) (рис. 7(f)). Метод позволяет выделять органы растений и разделять передний план и фон (Sun et al., 2020). В работе Lin et al. (2020) векторы признаков учитывали априорные характеристики растений, что повысило интерпретируемость результатов. Высокое качество и эффективность SVM делают его важным инструментом машинного обучения. Однако число точек разных классов в облаке растений может существенно различаться. Например, точки метёлки могут составлять малую долю всего облака кукурузы. При таком дисбалансе SVM может отдавать предпочтение более многочисленному классу, поэтому требуется дополнительная настройка.

4.2.5. Сопоставление алгоритмов обучения с учителем

Алгоритмы обучения с учителем способны различать категории точек в облаках растений. Они лучше подходят для задач, где части облака различаются, но чёткой пространственной границы между ними нет, например для выделения органов отдельных растений. Из четырёх рассмотренных методов KNN сравнительно прост и не требует явного этапа обучения. Он подходит для многоклассовых задач с большими выборками и легко сочетается с другими алгоритмами сглаживания и удаления фона. AdaBoost и случайный лес относятся к ансамблевым методам. Из-за различий в построении ансамбля AdaBoost сильнее реагирует на выбросы. Случайный лес обычно даёт более точные и стабильные результаты, хотя при зашумлённых признаках может сильнее переобучаться. Его часто применяют для больших наборов облаков точек полога. SVM обеспечивает хорошую интерпретируемость и обобщающую способность при сравнительно низкой склонности к переобучению. Поэтому он может быть предпочтительным в сложных условиях при высоком уровне шума.
Благодаря стабильности и интерпретируемости алгоритмы обучения с учителем остаются наиболее распространённым подходом в PPCS. По оценке авторов, глубокое обучение пока не достигло сопоставимой стабильности и интерпретируемости. Классические алгоритмы обучения с учителем особенно востребованы при отсутствии больших обучающих наборов или необходимости явно обосновать результат сегментации.

4.3. Комбинирование методов сегментации облаков точек растений

В практических исследованиях часто сочетают методы машинного обучения, чтобы их достоинства компенсировали взаимные ограничения. Например, Lin et al. (2022) использовали комбинированный подход для кукурузы. Сначала построили горизонтальный срез W на высоте 5 см над поверхностью почвы. Отдельные растения кластеризовали в срезе и удалили выбросы. Затем кластеры среза аппроксимировали окружностями, чтобы определить положение растений. Алгоритмом DBSCAN из общего облака выделили растения, а спектральной кластеризацией — органы. Для этого (1) выделяли облако стебля, разрывая пространственные связи между органами и облегчая их последующую кластеризацию, (2) выделяли органы спектральной кластеризацией и (3) классифицировали полученные кластеры по заданным критериям распознавания органов.
Lee et al. (2010) разработали метод адаптивной кластеризации, который работает непосредственно с общим облаком леса и учитывает неодинаковые размеры крон. Сначала наращиванием областей получают полный набор начальных сегментов. Затем агломеративная кластеризация объединяет кластеры, соответствующие целой кроне, с учётом локально меняющихся распределений высот. Общая доля успешного обнаружения деревьев составила 95,1 %. Существенного систематического смещения не выявлено. В других исследованиях также сочетали традиционные методы с несколькими алгоритмами машинного обучения для повышения качества сегментации (Amiri et al., 2019; Guo et al., 2019; Wang et al., 2020a; Weiss and Biber, 2011).
Классические методы машинного обучения существенно повысили точность и эффективность по сравнению с традиционными методами. Они обеспечивают высокую интерпретируемость процесса и результатов и требуют сравнительно мало данных. Обучение без учителя не требует размеченных данных, а классические методы обучения с учителем обычно требуют меньших выборок, чем глубокое обучение. При ограниченных выборках они могут давать более высокое качество. По мере ужесточения требований к практической точности PPCS классическим алгоритмам сложнее обеспечивать необходимое качество. При достаточном объёме данных лучшие результаты обычно показывает глубокое обучение. Совершенствование сбора данных и рост требований к точности постепенно превращают его в основное направление исследований.

5. Методы сегментации на основе глубокого обучения

Глубокое обучение предполагает обучение многослойной сети на больших объёмах данных для обработки и классификации информации. Основные методы основаны на обучении с учителем. В компьютерном зрении исследования показывают, что при обработке двумерных изображений точность может превосходить результаты человека (Hu et al., 2018). Это указывает на потенциал глубокого обучения для различных задач. В PPCS его начали применять после 2018 г. Первые методы опирались на проекции и двумерную обработку. Затем появились глубокие сети, работающие непосредственно с исходными облаками точек, например PointNet (Charles et al., 2017). Глубокое обучение позволило существенно продвинуть PPCS, особенно по показателям точности. После появления трансформера (Vaswani et al., 2017) и его успеха в обработке естественного языка исследователи начали внедрять механизм внимания и архитектуру кодировщика-декодировщика в PPCS (Sun et al., 2023a).

5.1. Предварительная обработка данных для глубокой сегментации

Качество и объём данных определяют итоговое качество моделей глубокого обучения. Для более точного извлечения признаков необходим достаточно большой набор с широким охватом образцов. Качественный набор повышает точность и обобщающую способность модели. Для обучения при решении конкретной задачи часто создают отдельные наборы (Sun et al., 2023b). Некоторые исследователи публикуют наборы облаков точек растений, чтобы другие могли использовать их для обучения и проверки устойчивости моделей, как указано в разделе 2.3 оригинала.
Глубокое обучение часто требует большого объёма размеченных данных. Разметка по-прежнему существенно зависит от ручного труда, подобно ранней ручной обработке облаков. Визуальная ручная разметка проста, однако трудоёмка, малопроизводительна и подвержена вариативности. Для решения этих задач Dornbusch et al. (2007) использовали интерактивное программное обеспечение для сегментации органов ячменя (Hordeum vulgare L.) и подготовки набора облаков точек. Ошибки разметки напрямую и существенно снижают качество последующего обучения (Saeed et al., 2023). Из-за разнообразия видов и сложной морфологии сложно создать универсальный и точный алгоритм сегментации. Поэтому ручная разметка остаётся основным способом получения точных наборов данных. Miao et al. (2021a) разработали полуавтоматический подход к сегментации облаков кукурузы. Для сегментации стебля вручную выбирают его верхнюю и нижнюю точки, затем подбирают радиус. К распространённым инструментам разметки относятся CloudCompare, Semantic Segmentation Editor, point-cloud-annotation-tool и Label3DMaize (Miao et al., 2021a).
Для расширения наборов данных широко применяют аугментацию. Получить трёхмерные облака точек труднее, чем двумерные изображения, поэтому аугментация помогает набрать достаточно данных для обучения. В PPCS используют поворот, зеркальное отражение, масштабирование и прореживание (рис. 8(d–g)). Прореживание — характерный для облаков точек способ аугментации (Li et al., 2023a). Применяют равномерное, воксельное и случайное прореживание, а также выборку наиболее удалённых точек (FPS) (рис. 8(i–l)). При FPS выбор разных начальных точек позволяет получить несколько прореженных облаков из одного исходного. Li et al. (2022b) предложили выборку с сохранением трёхмерных границ (3DEPS), которая повышает долю краевых точек при прореживании и тем самым сохраняет общий контур растения. В оригинале результат отнесён к рис. 6. Метод прореживания на основе SOM, предложенный Li et al. (2024b), может улучшить результаты последующего глубокого обучения по сравнению с традиционными способами, такими как FPS.
Рисунок 8. Предварительная обработка данных. (a) Исходное облако кукурузы для примеров разметки и аугментации.
Рисунок 8. Предварительная обработка данных. (a) Исходное облако кукурузы для примеров разметки и аугментации. (b) Разметка для семантической сегментации. (c) Поэкземплярная разметка листьев. (d) Поворот. (e) Зеркальное отражение. (f) Масштабирование. (g) Прореживание. (h) Исходное облако листа кукурузы для демонстрации прореживания. (i) Равномерное прореживание. (j) Воксельное прореживание. (k) Случайное прореживание. (l) Выборка наиболее удалённых точек.

5.2. Развитие методов сегментации на основе глубокого обучения

Выделяют три основных направления: сети на основе проекций, вокселей и точек (рис. 9). Они различаются входными данными и архитектурой (табл. 3). Ниже рассмотрено каждое направление.
Рисунок 9. Схематическое представление трёх типов методов глубокого обучения: сети на основе проекций, вокселе
Рисунок 9. Схематическое представление трёх типов методов глубокого обучения: сети на основе проекций, вокселей и точек.
Таблица 3. Классификация методов глубокого обучения для PPCS.
Категория Входные данные Сеть Особенности Точность
На основе проекций Несколько двумерных карт признаков 2D CNN Высокая эффективность, частичная потеря трёхмерных геометрических признаков. Низкая
На основе вокселей Воксели 3D CNN Сохраняется большая часть трёхмерных геометрических признаков. Средняя
На основе точек Исходные облака точек Сети на основе точек, например PointNet Большой объём вычислений, сохранение всей трёхмерной геометрии. Высокая

5.2.1. Сети на основе проекций

На ранних этапах ограничения вычислительной техники и алгоритмов сдерживали развитие глубокого обучения для трёхмерных данных. Для сегментации облаков точек исследователи обратились к хорошо изученным двумерным сетям. Проекционные сети преобразуют 3D-данные в 2D и применяют к ним двумерные методы глубокого обучения (Briechle et al., 2021; Gene-Mola et al., 2020a, 2020b; Hamraz et al., 2019). Подход обеспечивает высокую эффективность обработки, однако часть важной информации о трёхмерной геометрии неизбежно теряется. Обычно облако растения проецируют на несколько плоскостей в зависимости от задачи. Проекции сегментируют двумерной свёрточной нейронной сетью, а результаты переносят обратно на исходное трёхмерное облако.
Например, изображения сеянцев с разных ракурсов сегментировали сетями FCN и Mask R-CNN (Shi et al., 2019). Перенос сегментов в соответствующее трёхмерное облако обеспечил семантическую и поэкземплярную сегментацию стеблей и листьев. В другом примере отдельные растения кукурузы выделяли с помощью Faster R-CNN после проецирования общего облака в двумерное изображение (Jin et al., 2018).

5.2.2. Сети на основе вокселей

Чтобы применять свёрточные операции непосредственно в трёхмерном пространстве, облака точек преобразуют в воксельное представление. Это позволяет сегментировать растения трёхмерными свёрточными нейронными сетями. Воксельная сеть TreeNet (Gupta et al., 2020) показала хорошие результаты при выделении крупных деревьев в облаках сцен. Dutagaci et al. (2020) успешно применили 3D U-Net для выделения стеблей и листьев отдельного растения розы. Воксельный подход позволяет искать компромисс между эффективностью и качеством сегментации, сохраняя геометрические детали при минимальных вычислительных затратах. Он также позволяет справляться с неоднородной плотностью исходного облака, при которой участки разной плотности могут по-разному влиять на сегментацию. Воксельный трансформер для сегментации растений PST (Du et al., 2023) использует архитектуру кодировщика-декодировщика и достиг MIoU до 93,96 % при сегментации рапса. Yang et al. (2024a) выполнили поэкземплярную сегментацию листьев кукурузы с помощью HAIS (иерархической агрегации для трёхмерной поэкземплярной сегментации) (Chen et al., 2021), получив mAP 89,57 %. Li et al. (2024c) усовершенствовали SoftGroup и достигли одновременной семантической и поэкземплярной сегментации листьев, побегов кущения и колосьев пшеницы.
Воксельные сети позволили использовать трёхмерную геометрию облаков для оптимизации глубоких моделей. Расположение вокселей напоминает пиксельную сетку, поэтому такие модели близки по построению к обычным двумерным сетям и допускают применение трёхмерной свёртки. Упорядоченность вокселей ускоряет чтение данных и обучение. Большое число пустых вокселей ведёт к лишним затратам при обучении. Возможное решение — разреженная свёртка (Graham et al., 2017). Хотя вокселизация в значительной мере сохраняет трёхмерную структуру растений, она объединяет все точки области в один воксель и приводит к частичной потере пространственной информации.

5.2.3. Сети на основе точек

Совершенствование вычислительной техники и алгоритмов позволило применять глубокие сети непосредственно к точкам облака. Wang et al. (2020b) дополнили PointNet (Charles et al., 2017) оптимизацией KNN, чтобы учитывать глобальные и локальные признаки при семантической сегментации. CropPointNet (Jayakumari et al., 2021) совершенствует случайную выборку и архитектуру PointNet, позволяя сегментировать неструктурированные объекты по структурным признакам, в том числе облака посевов, полученные TLS. С учётом свойств облаков растений исследователи адаптируют базовую PointNet. Turgut et al. (2022a) добавили полносвязный слой после операции максимального пулинга и дополнительный многослойный перцептрон (MLP) после глобальных и поточечных признаков, а также изменили число каналов каждого слоя. PointNet применялась в ряде работ по PPCS (Li et al., 2022c; Pu et al., 2021; Turgut et al., 2022a; Yu et al., 2022b). Для компенсации ограничений PointNet при обучении локальным признакам в сети семантической сегментации добавляли KNN (Ghahremani et al., 2021b; Wang et al., 2020b). Li et al. (2023c) реализовали сквозную обработку сложных лесных сцен, включив PointNet как модуль семантической сегментации облаков.
После появления PointNet++ (Qi et al., 2017) и успешных результатов её всё чаще стали использовать в PPCS (Boogaard et al., 2021, 2023; Deng et al., 2024; Hao et al., 2024; Heiwolt et al., 2021; Huang et al., 2023b; Le Louëdec and Cielniak, 2021; Li et al., 2023e; Luo et al., 2024; Masuda, 2021; Yang et al., 2024a). Для сегментации деревьев на открытом воздухе применили усовершенствованную sPointNet++ (Gupta et al., 2020). На эталонном наборе ISPRS (Rottensteiner et al., 2014) она достигла F-меры 82,1 %. Wang et al. (2022) использовали модуль извлечения признаков PointNet++ в сети PartNet для поэкземплярной сегментации салата. Shen et al. (2024) применили PRG-Net, основанную на PointNet++ и усовершенствованном наращивании областей, для сегментации стеблей и листьев сеянцев хлопчатника со средней точностью 96,67 %. Максимальный пулинг в PointNet и PointNet++ обеспечивает независимость извлечения признаков от порядка точек, однако может приводить к потере части информации о форме. В PointCNN (Li et al., 2018) предложено обучать X-преобразование входных точек для извлечения большего объёма геометрической информации (Shen et al., 2023). Для извлечения локальных признаков в PointCNN добавили модель балансировки геометрических признаков (GFBM), которая усиливает способность сети к обучению и позволяет сегментировать деревья в наружных сценах (Shen et al., 2022). Ao et al. (2022) выделяли методом PointCNN стебли кукурузы и сочетали его с другими методами для сегментации отдельных растений по полевым облакам. Свёрточное ядро PointConv (Wu et al., 2018) инвариантно к переносу и перестановке для произвольного набора точек в трёхмерном пространстве. Gong et al. (2021) разработали на его основе архитектуру SE-Inception-PointConv. Модуль Inception повышает ёмкость и масштабируемость сети, а модуль SE увеличивает качество без увеличения числа параметров. На этой основе построена сеть Panicle-3D.
RoseSegNet (Turgut et al., 2022b) использует архитектуру кодировщика-декодировщика трансформера и превосходит PointNet++ на ROSE-X примерно на 4 % по MIoU. Point Transformer (Zhao et al., 2020) представлен на ICCV 2021 как универсальная архитектура кодировщика-декодировщика для трёхмерной сегментации. В PPCS его впервые использовали Li and Guo (2022). Их сеть MASPC_Transform устанавливает связи между сходными точками в разных областях всего облака с помощью нескольких голов внимания. Она превосходит исходный Point Transformer примерно на 3 % по MIoU. Liang et al. (2024) применили Point Transformer для сегментации стволов, ветвей и листвы и получили лучшие результаты по сравнению с DGCNN и PointNet++. Yan et al. (2024) добавили в кодировщик и декодировщик блок внимания CFA для извлечения более сложных пространственных представлений точек растений. Xie et al. (2024) подробно сравнили результаты нескольких глубоких моделей, в том числе Point Transformer и Stratified Transformer.
Сети на основе точек активно исследуют благодаря непосредственной обработке облаков, удобному формату входных данных и высокому качеству. Работа с исходным облаком позволяет использовать его сложные геометрические признаки. По сравнению с вокселизацией исходные данные сохраняют много точек в областях высокой плотности, которые обычно соответствуют сложным геометрическим участкам растения. Это облегчает их сегментацию. При этом большие облака создают значительную вычислительную нагрузку. Для извлечения локальных признаков обычно группируют n ближайших соседних точек, и их поиск может занимать много времени. Выборка наиболее удалённых точек может приводить к потере локальных деталей. Например, PointNet использует 2048 входных точек. Поиск компромисса между числом точек и производительностью остаётся важной задачей.
Хорошие результаты глубокого обучения получены и в других работах (Giang and Ryoo, 2023; Guo et al., 2023; Kang and Wang, 2023; Li et al., 2023b; Mirande et al., 2022; Qi et al., 2021; Turgut et al., 2022a; Xin et al., 2023; Yu et al., 2022a). К новым подходам относятся совместная обработка изображений и облаков точек для выделения отдельных растений на участке (Li et al., 2023d) и объединение воксельных и точечных архитектур, например PVCNN (Liu et al., 2019; Saeed et al., 2023) и FF-Net (Guo et al., 2023). PlantNet (Li et al., 2022b) использует 3DEPS и EdgeConv для лучшего сохранения признаков облаков растений. Общий кодировщик, декодировщик и модули объединения признаков позволяют выполнять семантическую и поэкземплярную сегментацию. PSegNet (Li et al., 2022a) также решает обе задачи. Вокселизированная выборка наиболее удалённых точек (VFPS) и три модуля — извлечение признаков в двух окрестностях (DNFEB), объединение признаков двух уровней детализации (DGFFM) и внимание (AM) — позволяют ей превосходить PointNet++ и PlantNet. В таблице 4 приведены репрезентативные исследования. Расширение применения глубокого обучения показывает его эффективность, а его дальнейшее развитие будет способствовать совершенствованию PPCS (Ma et al., 2024b; Yan et al., 2024). По мере усложнения архитектур повышать качество одной сети становится труднее. Поэтому исследования постепенно смещаются к объединению нескольких сетей. Интеграция разных источников данных, методов обработки и даже задач сегментации позволяет эффективнее учитывать разные аспекты признаков облаков точек растений. Более богатые признаки повышают обобщающую способность и предельное качество моделей. Исследования методов прореживания также позволяют предположить, что более полное извлечение признаков повышает предельное качество глубокого обучения.
Таблица 4. Репрезентативные исследования PPCS на основе глубокого обучения.
Модель Ключевые особенности Источники
PlantNet Трёхмерная выборка с сохранением границ (3DEPS), модуль извлечения локальных признаков (LFEO), модуль объединения признаков (FFM). Li et al., 2022b
PSegNet Вокселизированная выборка наиболее удалённых точек (VFPS), блок извлечения признаков в двух окрестностях (DNFEB), модуль объединения признаков двух уровней детализации (DGFFM) и модуль внимания (AM). Li et al., 2022a
LFPNetᵃ Трёхмерная сеть пространственного преобразования (3D STN), трёхмерный пространственный пирамидальный пулинг (3D SPP). Yu et al., 2022a
RoseSegNet Модуль абстрагирования с вниманием (Att-Abs), модуль распространения признаков с вниманием (Att-Prop). Turgut et al., 2022b
MASPC_Transformᵇ Функция потерь для разделения голов внимания на основе пространственного сходства. Li and Guo, 2022
PSTᶜ Динамический кодировщик воксельных признаков (DVFE), внимание с двумя наборами окон, декодировщик восстановления плотных признаков. Du et al., 2023
FF-Netᵈ Воксельная и точечная ветви, объединяемые с помощью механизма внимания. Guo et al., 2023
MaizeTasselSeg Гибкое сочетание PointNet++ и алгоритмов поиска кратчайшего пути. Zhang et al., 2023a
PlantSegNet Новая функция потерь для устранения неоднозначности между пространственно близкими точками разных экземпляров. Zarei et al., 2024
PEPNet Модуль отображения в многомерное пространство признаков (Stem MLP) для предобработки входных точек. Новый кодировщик с извлечением локальных признаков на основе инвертированного остаточного блока (InvRes Set Abstraction). Yan et al., 2024
PSTNet Агрегатор соседних точек (NPA). Ma et al., 2024a
ᵃ LFPNet — облегчённая сеть обработки фенотипических признаков плодов. ᵇ MASPC_Transform — точечный трансформер с многоголовым вниманием при извлечении локальных и глобальных признаков. ᶜ FF-Net — сеть на основе объединения признаков. ᵈ PST — трансформер для сегментации растений. Буквенные обозначения в сносках воспроизведены по оригиналу.

5.3. Преимущества и ограничения глубокого обучения

Глубокое обучение стало одним из преобладающих направлений PPCS. Оно имеет ряд преимуществ перед традиционными методами и классическим машинным обучением.
Во-первых, хорошо спроектированные глубокие модели обычно показывают более высокое качество. Они автоматически извлекают абстрактные и скрытые признаки из исходных данных. Ручное задание признаков в традиционных и классических методах ограничивает их возможности. В работе о RoseSegNet (Turgut et al., 2022b) отмечены ограничения SVM. RoseSegNet улучшила несколько показателей для цветков, стеблей и листьев (точность, полноту и IoU) на 3–10 %. Глубокие модели PointNet++ или RoseSegNet показали лучшие значения восьми из девяти метрик. По мере роста требований к точности сегментации глубокое обучение лучше отвечает потребностям PPCS.
Во-вторых, глубокие модели легче переносить между задачами. Традиционные методы и классическое машинное обучение зависят от набора извлечённых признаков. Это может снижать качество обобщения при работе с несколькими растениями различной морфологии и требовать повторного выбора признаков. Глубокая модель извлекает признаки автоматически. Созданную архитектуру можно обучать на разных растениях, подбирая параметры без повторного ручного выбора признаков. PSegNet (Li et al., 2022a) показала высокое качество сегментации листьев табака, томата и сорго, различающихся размером, числом и формой листьев.
PSegNet также успешно прошла проверку на данных другой предметной области. Её проверили на классическом наборе облаков помещений S3DIS (Armeni et al., 2016), сохранив все гиперпараметры, использованные для растений. Модель правильно классифицировала большинство точек и распознавала столы и стулья разной ориентации. Это свидетельствует о высокой адаптивности глубоких моделей.
К ограничениям глубокого обучения относятся потребность в больших объёмах данных для обучения, высокие требования к вычислительному оборудованию и уязвимость к целенаправленным атакам на фоне низкой интерпретируемости. Эти трудности распространяются на PPCS и остаются нерешёнными задачами искусственного интеллекта.

6. Обсуждение и перспективы

PPCS развивается в направлении более высокого разрешения, точности и автоматизации. Феномика растений быстро развивается под влиянием потребностей селекции и интеллектуального сельского хозяйства. Развитие PPCS стимулируют запрос на разнообразные фенотипические показатели морфологии и строения растений, необходимость автоматизации и универсальности алгоритмов извлечения признаков и требования к точности. Разрешение облаков точек растений постепенно растёт, о чём свидетельствует смещение внимания с лесных деревьев на сельскохозяйственные культуры. Масштаб исследований смещается от выделения отдельных растений на участке к выделению органов отдельных растений (Zarei et al., 2024). Растёт и потребность в более детальной сегментации органов. Точность и автоматизация методов увеличиваются по мере распространения глубокого обучения.
Классификация методов PPCS на традиционные, машинное и глубокое обучение условна, поскольку эти категории частично пересекаются. Глубокое обучение можно сочетать с другими методами машинного обучения, хотя объединение может чрезмерно удлинить процесс обработки. Некоторые традиционные методы относятся к машинному обучению. Их отнесли к традиционным потому, что они применяются на более ранних этапах сегментации и сравнительно просты в реализации.
В PPCS всё большую роль играет глубокое обучение. Быстрое развитие искусственного интеллекта даёт более точные и эффективные методы (Wang et al., 2022). Рост производительности оборудования ускоряет их практическое внедрение. Поэтому современные исследования трёхмерной сегментации облаков точек растений сосредоточены на глубоком обучении. Ожидается, что оно будет определять развитие области в течение некоторого времени.
Основные цели PPCS — универсальность и точность сегментации. Большинство существующих методов ориентировано на одно или несколько растений. Создание универсального метода, применимого к разным видам и стадиям роста, остаётся сложной задачей. Для этого необходимы качественные наборы данных. Морфология существенно различается между видами и даже между стадиями развития одного вида. Поэтому требуется база с разнообразными видами, полными временными рядами и точной разметкой. Например, Segment Anything Model (SAM) (Kirillov et al., 2023) в сегментации изображений нацелен на «усвоение понятия объекта». Аналогичная цель PPCS — научить модель распознавать строение каждого органа растения и добиться переноса без примеров. Тогда модель сможет сегментировать растение, для которого не было специальных обучающих данных, опираясь на обучение на других растениях. Для повышения точности рассматриваются объединение данных разных источников и применение современных моделей ИИ. Преимущества объединения данных продемонстрированы в Mask3D (Hou et al., 2023). В последние годы на ведущих конференциях по компьютерной графике и ИИ значительно выросло число работ о сегментации облаков точек. Использование новых результатов в PPCS и доработка моделей с учётом особенностей растений позволят последовательно повышать точность. Исследователи изучают перенос SAM в трёхмерную область и предложили SAM3D (Yang et al., 2023), использующую проекционный подход. SegGPT (Wang et al., 2023b) выделяет сходные объекты на других изображениях после разметки класса на одном изображении. Segment3D (Huang et al., 2023a) автоматически генерирует разметку для трёхмерной сегментации с помощью базовых моделей сегментации изображений. Широкое применение этих методов к облакам точек, включая PPCS, может существенно продвинуть сегментацию. Развитие базовых моделей изображений и переход к базовым моделям облаков точек и растений открывают дальнейшие перспективы для PPCS.
Помимо облаков точек, заслуживают внимания новые способы представления трёхмерных моделей: нейронные поля излучения NeRF (Mildenhall et al., 2020), появившиеся в 2020 г., и трёхмерный гауссов сплаттинг (3DGS) (Chen and Wang, 2024; Kerbl et al., 2023), появившийся в 2023 г. Эти методы значительно продвинули трёхмерную реконструкцию и визуализацию.
Zhang et al. (2024a) предложили NeRF-Ag для реконструкции сцен плодового сада. Модель использует кодирование скрытых признаков с несколькими разрешениями, что повышает эффективность обучения и качество моделирования. Включение факторов среды повышает устойчивость и практическую применимость. NeRF повысила точность моделирования трёхмерных сцен и воспроизведения текстурных деталей по сравнению с реконструкцией на основе COLMAP. Hu et al. (2024) проверили применимость NeRF к трёхмерной реконструкции растений. Методы Instant-NGP и Instant-NSR использовали для восстановления моделей растений, например личи, сладкого перца и томата. Подтверждена возможность преобразования NeRF в явные трёхмерные представления, включая облака точек и полигональные сетки. В 2024 г. вышли и другие работы о NeRF для растений, в которых получены заметные результаты (Arshad et al., 2024; Choi et al., 2024; Zhu et al., 2024). Применение NeRF к растениям сложнее, чем в общих задачах, из-за сложной морфологии и полевых условий. В отдельных работах NeRF объединяют с Segment Anything для сегментации (Cen et al., 2023b). Сходный подход применяется и при трёхмерном гауссовом сплаттинге (Cen et al., 2023a). Остаётся значительный простор для исследований, в том числе по сегментации растений. Ожидается, что дальнейшие работы позволят внедрить новые методы и ускорить развитие этой области.

Финансирование

Работа частично поддержана Национальной программой ключевых исследований и разработок Китая (2022YFD2001003), Национальным фондом естественных наук Китая (32071891), специальной программой научно-технологических инноваций Пекинской академии сельскохозяйственных и лесных наук (KJCX20220401) и целевым финансированием CARS-02 и CARS-54.

Вклад авторов по классификации CRediT

Хунли Сун — рецензирование и редактирование текста, подготовка первоначального варианта, визуализация, валидация, проведение исследования и формальный анализ. Вэйлян Вэнь — рецензирование и редактирование текста, подготовка первоначального варианта, визуализация, проведение исследования, привлечение финансирования, формальный анализ и разработка концепции. Шэн У — проведение исследования и формальный анализ. Синьюй Го — рецензирование и редактирование текста, научное руководство, управление проектом и привлечение финансирования.

Заявление о конфликте интересов

Авторы заявляют об отсутствии известных им конкурирующих финансовых интересов или личных отношений, которые могли бы повлиять на представленную работу.

Список литературы

Alenya, G., Dellen, B., Foix, S., Torras, C., 2013. Robotized plant probing leaf segmentation utilizing time-of-flight data. IEEE Robot. Autom. Mag. 20, 50–59.
Amiri, N., Krzystek, P., Heurich, M., Skidmore, A., 2019. Classification of tree species as well as standing dead trees using triple wavelength ALS in a temperate forest. Remote Sens. 11.
Ao, Z., Wu, F., Hu, S., Sun, Y., Guo, Y., Guo, Q., Xin, Q., 2022. Automatic segmentation of stem and leaf components and individual maize plants in field terrestrial LiDAR data using convolutional neural networks. Crop J. 10, 1239–1250.
Armeni, I., Sener, O., Zamir, A.R., Jiang, H., Brilakis, I., Fischer, M., Savarese, S., 2016. 3D se-mantic parsing of large-scale indoor spaces. 2016 IEEE Conference on Computer Vi-sion and Pattern Recognition (CVPR), pp. 1534–1543. Arshad, M.A., Jubery, T., Afful, J., Jignasu, A., Balu, A., Ganapathysubramanian, B., Sarkar, S.,
Krishnamurthy, A., 2024. Evaluating neural radiance fields for 3D plant geometry re-construction in field conditions. Plant Phenomics 6, 17.
Bao, Y., Shah, D., Tang, L., 2018. 3D perception-based collision-free robotic leaf probing for automated indoor plant phenotyping. Trans. ASABE 61, 859–872.
Barnea, E., Mairon, R., Ben-Shahar, O., 2016. Colour-agnostic shape-based 3D fruit detec-tion for crop harvesting robots. Biosyst. Eng. 146, 57–70.
Biglia, A., Zaman, S., Gay, P., Aimonino, D.R., Comba, L., 2022. 3D point cloud density-based segmentation for vine rows detection and localisation. Comput. Electron. Agric. 199.
Boogaard, F.P., van Henten, E.J., Kootstra, G., 2021. Boosting plant-part segmentation of cucumber plants by enriching incomplete 3D point clouds with spectral data. Biosyst. Eng. 211, 167–182.
Boogaard, F.P., van Henten, E.J., Kootstra, G., 2023. The added value of 3D point clouds for digital plant phenotyping- a case study on internode length measurements in cucum-ber. Biosyst. Eng. 234, 1–12.
Breiman, L., 2001. Random forests. Mach. Learn. 45, 5–32.
Briechle, S., Krzystek, P., Vosselman, G., 2021. Silvi-net - a dual-CNN approach for com-bined classification of tree species and standing dead trees from remote sensing data. Int. J. Appl. Earth Obs. Geoinf. 98.
Brunner, A., Houtmeyers, S., 2022. Segmentation of conifer tree crowns from terrestrial laser scanning point clouds in mixed stands of scots pine and Norway spruce. Eur. J. For. Res. 141, 909–925.
Burges, C.J.C., 1998. A tutorial on support vector machines for pattern recognition. Data Min. Knowl. Disc. 2, 121–167.
Cao, J., Tagliasacchi, A., Olson, M., Zhang, H., Su, Z., 2010. Point cloud skeletons via Laplacian based contraction. 2010 Shape Modeling International Conference, pp. 187–197.
Cen, J., Fang, J., Yang, C., Xie, L., Zhang, X., Shen, W., Tian, Q., 2023a. Segment Any 3D Gaussians. ArXiv abs/2312.00860.
Cen, J., Fang, J., Zhou, Z., Yang, C., Xie, L., Zhang, X., Shen, W., Tian, Q., 2023b. Segment Any-thing in 3D with Radiance Fields. Arxiv p. arXiv:2304.12308.
Chaivivatrakul, S., Tang, L., Dailey, M.N., Nakarmi, A.D., 2014. Automatic morphological trait characterization for corn plants via 3D holographic reconstruction. Comput. Electron. Agric. 109, 109–123.
Charles, R.Q., Su, H., Kaichun, M., Guibas, L.J., 2017. PointNet: deep learning on point sets for 3D classification and segmentation. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, pp. 77–85. Chau, W.Y., Chow, J.K., Tan, T.J., Wu, J., Leung, M.L., Tan, P.S., Chiu, S.W., Hau, B.C.H., Cheng, H.C., Wang, Y.H., 2024. Towards automatic urban tree inventory: enhancing tree in-stance segmentation via moving object removal and a chord length-based DBH esti-mation approach. Comput. Electron. Agric. 226, 25.
Chaudhury, A., Godin, C., 2020. Skeletonization of Plant Point Cloud Data Using Stochastic Optimization Framework. p. 11.
Chebrolu, N., Magistri, F., Läbe, T., Stachniss, C., 2021. Registration of spatio-temporal point clouds of plants for phenotyping. PLoS One 16, 25.
Chen, G., Wang, W., 2024. A Survey on 3D Gaussian Splatting. ArXiv abs/2401.03890.
Chen, S., Fang, J., Zhang, Q., Liu, W., Wang, X., 2021. Hierarchical aggregation for 3D in-stance segmentation. 2021 IEEE/CVF International Conference on Computer Vision (ICCV), pp. 15447–15456.
Chen, Q.J., Luo, H., Cheng, Y., Xie, M.M., Nan, D.D., 2024. An individual tree detection and segmentation method from TLS and MLS point clouds based on improved seed points. Forests 15, 18.
Choi, H.B., Park, J.K., Park, S.H., Lee, T.S., 2024. NeRF-based 3D reconstruction pipeline for acquisition and analysis of tomato crop morphology. Front. Plant Sci. 15, 12.
Conn, A., Pedmale, U.V., Chory, J., Navlakha, S., 2017. High-resolution laser scanning re-veals plant architectures that reflect universal network design principles. Cell Syst. 5, 53.
Dahdal, R., Hament, B., 2024. Plant organelle segmentation using 3D point clouds and PointNet. 2024 Systems and Information Engineering Design Symposium (SIEDS). IEEE, pp. 206–210.
Deng, S.Q., Katoh, M., 2016. Interpretation of forest resources at the individual tree level in Japanese conifer plantations using airborne LiDAR data. Remote Sens. 8, 23.
Deng, Q.M., Zhao, J.H., Li, R., Liu, G.H., Hu, Y.W., Ye, Z.Q., Zhou, G.X., 2024. A precise seg-mentation algorithm of pumpkin seedling point cloud stem based on CPHNet. Plants-Basel 13, 29.
Dornbusch, T., Wernecke, P., Diepenbrock, W., 2007. A method to extract morphological traits of plant organs from 3D point clouds as a database for an architectural plant model. Ecol. Model. 200, 119–129.
Du, L.M., Pang, Y., 2024. Identifying regenerated saplings by stratifying forest overstory using airborne LiDAR data. Plant Phenomics 6, 14.
Du, R., Ma, Z., Xie, P., He, Y., Cen, H., 2023. PST: plant segmentation transformer for 3D point clouds of rapeseed plants at the podding stage. ISPRS J. Photogramm. Remote Sens. 195, 380–392.
Dutagaci, H., Rasti, P., Galopin, G., Rousseau, D., 2020. ROSE-X: an annotated data set for evaluation of 3D plant organ segmentation methods. Plant Methods 16.
Ester, M., Kriegel, H.-P., Sander, J., Xu, X., 1996. A density-based algorithm for discovering clusters in large spatial databases with noise. Proceedings of the Second International Conference on Knowledge Discovery and Data Mining. AAAI Press, Portland, Oregon, pp. 226–231.
Fan, S.Y., Jing, S.S., Xu, W.B., Wu, B., Li, M.Z., Jing, H.C., 2024. Extraction of Moso Bamboo parameters based on the combination of ALS and TLS point cloud data. Sensors 24, 17. Fang, Y., Qiu, X., Guo, T., Wang, Y., Cheng, T., Zhu, Y., Chen, Q., Cao, W., Yao, X., Niu, Q., Hu, Y., Gui, L., 2020. An automatic method for counting wheat tiller number in the field with terrestrial LiDAR. Plant Methods 16.
Fischler, M.A., Bolles, R.C., 1981. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM 24, 381–395.
Freund, Y., Schapire, R.E., 1997. A decision-theoretic generalization of on-line learning and an application to boosting. J. Comput. Syst. Sci. 55, 119–139.
Gao, R., Cui, S.Q., Xu, H.R., Kong, Q.M., Su, Z.B., Li, J.L., 2023. A method for obtaining maize phenotypic parameters based on improved QuickShift algorithm. Comput. Electron. Agric. 214, 13. Gélard, W., Burger, P., Casadebaig, P., Langlade, N., Debaeke, P., Devy, M., Herbulot, A., 2016. 3D plant phenotyping in sunflower using architecture-based organ segmenta-tion from 3D point clouds. 5th International Workshop on Image Analysis Methods for the Plant Sciences.
Gélard, W., Devy, M., Herbulot, A., Burger, P., 2017a. Model-based segmentation of 3D point clouds for phenotyping sunflower plants. International Conference on Com-puter Vision Theory and Applications. Scitepress, pp. 459–467. Gélard, W., Herbulot, A., Devy, M., Debaeke, P., McCormick, R.F., Truong, S.K., Mullet, J., 2017b. Leaves segmentation in 3d point cloud. Advanced Concepts for Intelligent Vi-sion Systems: 18th International Conference, ACIVS 2017, Antwerp, Belgium, Sep-tember 18-21, 2017, Proceedings 18. Springer, pp. 664–674. Gene-Mola, J., Sanz-Cortiella, R., Rosell-Polo, J.R., Morros, J.-R., Ruiz-Hidalgo, J., Vilaplana, V., Gregorio, E., 2020a. Fruit detection and 3D location using instance segmentation neural networks and structure-from-motion photogrammetry. Comput. Electron. Agric. 169. Gene-Mola, J., Sanz-Cortiella, R., Rosell-Polo, J.R., Morros, J.-R., Ruiz-Hidalgo, J., Vilaplana, V., Gregorio, E., 2020b. Fuji-SfM dataset: a collection of annotated images and point clouds for Fuji apple detection and location using structure-from-motion photogram-metry. Data Brief 30, 105591.
Gene-Mola, J., Sanz-Cortiella, R., Rosell-Polo, J.R., Escola, A., Gregorio, E., 2021. PFuji-size dataset: a collection of images and photogrammetry-derived 3D point clouds with ground truth annotations for Fuji apple detection and size estimation in field condi-tions. Data Brief 39, 107629. Ghahremani, M., Williams, K., Corke, F., Tiddeman, B., Liu, Y., Wang, X., Doonan, J.H., 2021a. Direct and accurate feature extraction from 3D point clouds of plants using RANSAC. Comput. Electron. Agric. 187.
Ghahremani, M., Williams, K., Corke, F.M.K., Tiddeman, B., Liu, Y., Doonan, J.H., 2021b. Deep segmentation of point clouds of wheat. Front. Plant Sci. 12.
Giang, T.T.H., Ryoo, Y.-J., 2023. Pruning points detection of sweet pepper plants using 3D point clouds and semantic segmentation neural network. Sensors 23.
Gong, L., Du, X., Zhu, K., Lin, K., Lou, Q., Yuan, Z., Huang, G., Liu, C., 2021. Panicle-3D: effi-cient phenotyping tool for precise semantic segmentation of rice panicle point cloud. Plant Phenomics 2021.
Graham, B., Engelcke, M., Maaten, L.V.D., 2017. 3D Semantic Segmentation with Submanifold Sparse Convolutional Networks. IEEE/CVF Conference on Computer Vi-sion Pattern Recognition 9224–9232.
Guo, C., Liu, G., Zhang, W., Feng, J., 2019. Apple tree canopy leaf spatial location automated extraction based on point cloud data. Comput. Electron. Agric. 166.
Guo, X., Sun, Y., Yang, H., 2023. FF-net: feature-fusion-based network for semantic seg-mentation of 3D plant point cloud. Plants-Basel 12.
Gupta, A., Byrne, J., Moloney, D., Watson, S., Yin, H., 2020. Tree annotations in LiDAR data using point densities and convolutional neural networks. IEEE Trans. Geosci. Remote Sens. 58, 971–981.
Hamraz, H., Jacobs, N.B., Contreras, M.A., Clark, C.H., 2019. Deep learning for conifer/decid-uous classification of airborne LiDAR 3D point clouds representing individual trees. ISPRS J. Photogramm. Remote Sens. 158, 219–230. Hao, H.Y., Wu, S., Li, Y.K., Wen, W.L., Fan, J.C., Zhang, Y.J., Zhuang, L., Xu, L.Q., Li, H.X., Guo, X.Y., Liu, S.Y., 2024. Automatic acquisition, analysis and wilting measurement of cot-ton 3D phenotype based on point cloud. Biosyst. Eng. 239, 173–189.
Harandi, N., Vandenberghe, B., Vankerschaver, J., Depuydt, S., Van Messem, A., 2023. How to make sense of 3D representations for plant phenotyping: a compendium of pro-cessing and analysis techniques. Plant Methods 19, 46.
Harmening, C., Paffenholz, J.-A., 2020. A fully automated three-stage procedure for spatio-temporal leaf segmentation with regard to the B-spline-based phenotyping of cu-cumber plants. Remote Sens. 13, 74.
Heiwolt, K., Duckett, T., Cielniak, G., 2021. Deep semantic segmentation of 3D plant point clouds. Towards Autonomous Robotic Systems: 22nd Annual Conference, TAROS 2021, Lincoln, UK, September 8–10, 2021, Proceedings 22. Springer, pp. 36–45.
Holmgren, J., Lindberg, E., Olofsson, K., Persson, H.J., 2022. Tree crown segmentation in three dimensions using density models derived from airborne laser scanning. Int. J. Remote Sens. 43, 299–329.
Hou, J., Dai, X., He, Z., Dai, A., Nießner, M., 2023. Mask3D: Pre-Training 2D Vision Trans-formers by Learning Masked 3D Priors.
Hu, J., Shen, L., Sun, G., 2018. Squeeze-and-excitation networks. 2018 IEEE/CVF Confer-ence on Computer Vision and Pattern Recognition (CVPR).
Hu, K.W., Ying, W., Pan, Y.Q., Kang, H.W., Chen, C., 2024. High-fidelity 3D reconstruction of plants using neural radiance fields. Comput. Electron. Agric. 220, 12.
Huang, H., Wu, S.H., Cohen-Or, D., Gong, M.L., Zhang, H., Li, G.Q., Chen, B.Q., 2013. L1-medial skeleton of point cloud. ACM Trans. Graph. 32, 8.
Huang, X., Zheng, S., Zhu, N., 2022. High-throughput legume seed phenotyping using a handheld 3D laser scanner. Remote Sens. 14. Huang, R., Peng, S., Takmaz, A., Tombari, F., Pollefeys, M., Song, S., Huang, G., Engelmann, F., 2023a. Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation with-out Manual Labels.
Huang, S.H., Lu, Z.H., Shi, Y.X., Dong, J.L., Hu, L., Yang, W.N., Huang, C.L., 2023b. A novel method for filled/unfilled grain classification based on structured light imaging and improved PointNet plus. Sensors 23, 14.
Hui, F., Zhu, J.Y., Hu, P.C., Meng, L., Zhu, B.L., Guo, Y., Li, B.G., Ma, Y.T., 2018. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations. Ann. Bot. 121, 1079–1088.
Huo, L., Lindberg, E., Holmgren, J., 2022. Towards low vegetation identification: a new method for tree crown segmentation from LiDAR data based on a symmetrical struc-ture detection algorithm (SSD). Remote Sens. Environ. 270.
Itakura, K., Hosoi, F., 2018. Automatic leaf segmentation for estimating leaf area and leaf inclination angle in 3D plant images. Sensors 18, 11.
Jain, A.K., 2010. Data clustering: 50 years beyond K-means. Pattern Recogn. Lett. 31, 651–666.
James, K.M.F., Heiwolt, K., Sargent, D.J., Cielniak, G., 2024. Lincoln's Annotated Spatio-Temporal Strawberry Dataset (LAST-Straw). ArXiv abs/2403.00566.
Jayakumari, R., Nidamanuri, R.R., Ramiya, A.M., 2021. Object-level classification of vegeta-ble crops in 3D LiDAR point cloud using deep learning convolutional neural networks. Precis. Agric. 22, 1617–1633. Jin, S.C., Su, Y.J., Gao, S., Wu, F.F., Hu, T.Y., Liu, J., Li, W.K., Wang, D.C., Chen, S.J., Jiang, Y.X.,
Pang, S.X., Guo, Q.H., 2018. Deep learning: individual maize segmentation from ter-restrial Lidar data using faster R-CNN and regional growth algorithms. Front. Plant Sci. 9, 10.
Jin, S.C., Su, Y.J., Wu, F.F., Pang, S.X., Gao, S., Hu, T.Y., Liu, J., Guo, Q.H., 2019. Stem-leaf seg-mentation and phenotypic trait extraction of individual maize using terrestrial LiDAR data. IEEE Trans. Geosci. Remote Sens. 57, 1336–1346. Jin, S.C., Su, Y.J., Song, S.L., Xu, K.X., Hu, T.Y., Yang, Q.L., Wu, F.F., Xu, G.C., Ma, Q., Guan, H.C.,
Pang, S.X., Li, Y.M., Guo, Q.H., 2020. Non-destructive estimation of field maize biomass using terrestrial lidar: an evaluation from plot level to individual leaf level. Plant Methods 16, 19. Jin, S.C., Sun, X.L., Wu, F.F., Su, Y.J., Li, Y.M., Song, S.L., Xu, K.X., Ma, Q., Baret, F., Jiang, D.,
Ding, Y.F., Guo, Q.H., 2021. Lidar sheds new light on plant phenomics for plant breed-ing and management: recent advances and future prospects. ISPRS J. Photogramm. Remote Sens. 171, 202–223.
Jurado, J.M., Padua, L., Feito, F.R., Sousa, J.J., 2020. Automatic grapevine trunk detection on UAV-based point cloud. Remote Sens. 12.
Kang, H., Wang, X., 2023. Semantic segmentation of fruits on multi-sensor fused data in natural orchards. Comput. Electron. Agric. 204.
Kerbl, B., Kopanas, G., Leimkuehler, T., Drettakis, G., 2023. 3D Gaussian splatting for real-time radiance field rendering. ACM Trans. Graph. 42, 1–14. Kirillov, A., Mintun, E., Ravi, N., Mao, H., Rolland, C., Gustafson, L., Xiao, T., Whitehead, S.,
Berg, A.C., Lo, W.-Y., Dollár, P., Girshick, R.B., 2023. Segment Anything. ArXiv abs/ 2304.02643.
Kohonen, T., 1990. The self-organizing map. Proc. IEEE 78, 1464–1480.
Le Louëdec, J., Cielniak, G., 2021. 3D shape sensing and deep learning-based segmentation of strawberries. Comput. Electron. Agric. 190, 106374.
Lee, H., Slatton, K.C., Roth, B.E., Cropper Jr., W.P., 2010. Adaptive clustering of airborne LiDAR data to segment individual tree crowns in managed pine forests. Int. J. Remote Sens. 31, 117–139.
Li, B., Guo, C., 2022. MASPC_Transform: a plant point cloud segmentation network based on multi-head attention separation and position code. Sensors 22.
Li, W., Guo, Q., Jakubowski, M.K., Kelly, M., 2012. A new method for segmenting individual trees from the Lidar point cloud. Photogramm. Eng. Remote. Sens. 78, 75–84.
Li, Y.Y., Fan, X.C., Mitra, N.J., Chamovitz, D., Cohen-Or, D., Chen, B.Q., 2013. Analyzing growing plants from 4D point cloud data. ACM Trans. Graph. 32, 10.
Li, Y., Bu, R., Sun, M., Wu, W., Di, X., Chen, B., 2018. PointCNN: convolution on X-transformed points. Neural Inf. Process. Syst. 820–830.
Li, D.W., Cao, Y., Shi, G.L., Cai, X., Chen, Y., Wang, S.F., Yan, S.Y., 2019a. An overlapping-free leaf segmentation method for plant point clouds. IEEE Access 7, 129054–129070.
Li, H., Xiong, P., Fan, H., Sun, J., 2019b. DFANet: Deep Feature Aggregation for Real-Time Semantic Segmentation. IEEE/CVF Conference on Computer Vision Pattern Recogni-tion 9514–9523.
Li, D., Shi, G., Kong, W., Wang, S., Chen, Y., 2020a. A leaf segmentation and phenotypic fea-ture extraction framework for multiview stereo plant point clouds. IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens. 13, 2321–2336.
Li, Q., Yuan, P., Liu, X., Zhou, H., 2020b. Street tree segmentation from mobile laser scan-ning data. Int. J. Remote Sens. 41, 7145–7162.
Li, D., Li, J., Xiang, S., Pan, A., 2022a. PSegNet: simultaneous semantic and instance seg-mentation for point clouds of plants. Plant Phenomics 2022.
Li, D., Shi, G., Li, J., Chen, Y., Zhang, S., Xiang, S., Jin, S., 2022b. PlantNet: a dual-function point cloud segmentation network for multiple plant species. ISPRS J. Photogramm. Remote Sens. 184, 243–263.
Li, Y., Wen, W., Miao, T., Wu, S., Yu, Z., Wang, X., Guo, X., Zhao, C., 2022c. Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning. Comput. Electron. Agric. 193.
Li, D.W., Wei, Y.C., Zhu, R.S., 2023a. A comparative study on point cloud down-sampling strategies for deep learning-based crop organ segmentation. Plant Methods 19, 26.
Li, H., Wu, G., Tao, S., Yin, H., Qi, K., Zhang, S., Guo, W., Ninomiya, S., Mu, Y., 2023b. Auto-matic branch-leaf segmentation and leaf phenotypic parameter estimation of pear trees based on three-dimensional point clouds. Sensors 23.
Li, J., Liu, J.H., Huang, Q.Q., 2023c. PointDMM: a deep-learning-based semantic segmenta-tion method for point clouds in complex forest environments. Forests 14, 26. Li, Y.L., Wen, W.L., Fan, J.C., Gou, W.B., Gu, S.H., Lu, X.J., Yu, Z.T., Wang, X.D., Guo, X.Y., 2023d. Multi-source data fusion improves time-series phenotype accuracy in maize under a field high-throughput phenotyping platform. Plant Phenomics 2023, 1–11.
Li, Y.R., Xia, H.F., Liu, Y., Ji, K.H., Huo, L.T., Ni, C., 2023e. Research on morphological indica-tor extraction method of Pinus massoniana lamb. based on 3D reconstruction. Forests 14, 21.
Li, D.W., Liu, L.Z., Xu, S., Jin, S.C., 2024a. TrackPlant3D: 3D organ growth tracking frame-work for organ-level dynamic phenotyping. Comput. Electron. Agric. 226, 28.
Li, D.W., Zhou, Z.Y., Wei, Y.C., 2024b. Unsupervised shape-aware SOM down-sampling for plant point clouds. ISPRS J. Photogramm. Remote Sens. 211, 172–207. Li, W.R., Wu, S., Wen, W.L., Lu, X.J., Liu, H.S., Zhang, M.G., Xiao, P.L., Guo, X.Y., Zhao, C.J., 2024c. Using high-throughput phenotype platform MVS-Pheno to reconstruct the 3D morphological structure of wheat. AoB Plants 16, 16. Liang, X.L., Qi, H.W., Deng, X.J., Chen, J.C., Cai, S.S., Zhang, Q.J., Wang, Y.S., Kukko, A.,
Hyyppae, J., 2024. ForestSemantic: a dataset for semantic learning of forest from close-range sensing. Geo-spat. Inf. Sci. 27.
Lin, G., Tang, Y., Zou, X., Xiong, J., Fang, Y., 2020. Color-, depth-, and shape-based 3D fruit detection. Precis. Agric. 21, 1–17.
Lin, C., Hu, F., Peng, J., Wang, J., Zhai, R., 2022. Segmentation and stratification methods of field maize terrestrial LiDAR point cloud. Agriculture-Basel 12.
Liu, J., Liu, Y., Doonan, J., 2018a. Point cloud based iterative segmentation technique for 3d plant phenotyping. 2018 IEEE International Conference on Information and Automa-tion (ICIA). IEEE, pp. 1072–1077.
Liu, K., Shen, X., Cao, L., Wang, G.B., Cao, F.L., 2018b. Estimating forest structural attributes using UAV-LiDAR data in Ginkgo plantations. ISPRS J. Photogramm. Remote Sens. 146, 465–482.
Liu, Z., Tang, H., Lin, Y., Han, S.J.A., 2019. Point-Voxel CNN for Efficient 3D Deep Learning abs/1907.03739.
Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., Guo, B., 2021. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. IEEE/CVF International Con-ference on Computer Visionpp. 9992–10002.
Liu, Y., Zhang, G., Shao, K., Xiao, S., Wang, Q., Zhu, J., Wang, R., Meng, L., Ma, Y., 2022. Seg-mentation of individual leaves of field grown sugar beet plant based on 3D point cloud. Agronomy-Basel 12. Liu, Z., Jin, S., Liu, X., Yang, Q., Li, Q., Zang, J., Li, Z., Hu, T., Guo, Z., Wu, J., Jiang, D., Su, Y., 2023. Extraction of wheat spike phenotypes from field-collected Lidar data and ex-ploration of their relationships with wheat yield. IEEE Trans. Geosci. Remote Sens. 61, 1–13.
Liu, Q.H., Yang, H.J., Wei, J.J., Zhang, Y.X., Yang, S., 2024. FSDNET: a features spreading net with density for 3D segmentation in agriculture. Comput. Electron. Agric. 222, 13.
Louarn, G., Song, Y.H., 2020. Two decades of functional-structural plant modelling: now addressing fundamental questions in systems biology and predictive ecology. Ann. Bot. 126, 501–509.
Luo, L., Jiang, X., Yang, Y., Samy, E.R.A., Lefsrud, M., Hoyos-Villegas, V., Sun, S., 2023. Eff-3DPSeg: 3D Organ-Level Plant Shoot Segmentation Using Annotation-Efficient Deep Learning. 5 p. 0080.
Luo, J.T., Zhang, D.B., Luo, L.F., Yi, T., 2024. PointResNet: a grape bunches point cloud se-mantic segmentation model based on feature enhancement and improved PointNet plus. Comput. Electron. Agric. 224, 11.
Ma, X.D., Zhu, K.X., Guan, H.O., Feng, J.R., Yu, S., Liu, G., 2019. High-throughput phenotyp-ing analysis of potted soybean plants using colorized depth images based on a prox-imal platform. Remote Sens. 11, 24.
Ma, Z.H., Du, R.M., Xie, J.Y., Sun, D.W., Fang, H., Jiang, L.X., Cen, H.Y., 2023. Phenotyping of silique morphology in oilseed rape using skeletonization with hierarchical segmenta-tion. Plant Phenomics 5, 15.
Ma, L., Kong, L., Peng, X., Wang, K., Geng, N., 2024a. PSTNet: transformer for aggregating neighborhood features in 3D point cloud semantic segmentation of eggplant plants. Sci. Hortic. 331, 113158.
Ma, L., Kong, L., Peng, X., Wang, K., Geng, N.J.S.H., 2024b. PSTNet: Transformer for Aggre-gating Neighborhood Features in 3D Point Cloud Semantic Segmentation of Eggplant Plants. 331 p. 113158.
Ma, X.D., Wei, B.X., Guan, H.O., Cheng, Y.Y., Zhuo, Z.Y., 2024c. A method for calculating and simulating phenotype of soybean based on 3D reconstruction. Eur. J. Agron. 154, 21.
Magistri, F., Chebrolu, N., Stachniss, C., 2020. Segmentation-based 4D registration of plants point clouds for phenotyping. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, pp. 2433–2439.
Masuda, T., 2021. Leaf area estimation by semantic segmentation of point cloud of tomato plants. Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 1381–1389. Mertoğlu, K., Salk, Y., Sarıkaya, S.K., Turgut, K., Evrenesoglu, Y., Çevikalp, H., Gerek, Ö.N.,
Dutagaci, H., Rousseau, D.J.A., 2024. PLANesT-3D: A New Annotated Dataset for Seg-mentation of 3D Plant Point Clouds abs/2407.21150.
Miao, T., Wen, W., Li, Y., Wu, S., Zhu, C., Guo, X., 2021a. Label3DMaize: toolkit for 3D point cloud data annotation of maize shoots. Gigascience 10.
Miao, T., Zhu, C., Xu, T., Yang, T., Li, N., Zhou, Y., Deng, H., 2021b. Automatic stem-leaf seg-mentation of maize shoots using three-dimensional point cloud. Comput. Electron. Agric. 187.
Miao, Y.L., Li, S., Wang, L.Y., Li, H., Qiu, R.C., Zhang, M., 2023. A single plant segmentation method of maize point cloud based on Euclidean clustering and K-means clustering. Comput. Electron. Agric. 210, 12.
Micheletto, M.J., Chesñevar, C.I., Santos, R., 2023. Methods and applications of 3D ground crop analysis using LiDAR technology: a survey. Sensors 23, 19.
Mildenhall, B., Srinivasan, P.P., Tancik, M., Barron, J.T., Ramamoorthi, R., Ng, R., 2020. NeRF. Commun. ACM 65, 99–106.
Mirande, K., Godin, C., Tisserand, M., Charlaix, J., Besnard, F., Hetroy-Wheeler, F., 2022. A graph-based approach for simultaneous semantic and instance segmentation of plant 3D point clouds. Front. Plant Sci. 13, 20.
Nelson, H.J., Papanikolopoulos, N., 2022. Pre-Clustering Point Clouds of Crop Fields Using Scalable Methods.
Okura, F., 2022. 3D modeling and reconstruction of plants and trees: a cross-cutting review across computer graphics, vision, and plant phenotyping. Breed. Sci. 72, 31–47.
Panjvani, K., Dinh, A.V., Wahid, K.A., 2019. LiDARPheno - a low-cost LiDAR-based 3D scan-ning system for leaf morphological trait extraction. Front. Plant Sci. 10, 17.
Paturkar, A., Gupta, G.S., Bailey, D., 2020. Plant trait segmentation for plant growth mon-itoring. 2020 35th International Conference on Image and Vision Computing New Zealand (IVCNZ). IEEE, pp. 1–6.
Paulus, S., 2019. Measuring crops in 3D: using geometry for plant phenotyping. Plant Methods 15, 13.
Paulus, S., Dupuis, J., Mahlein, A.K., Kuhlmann, H., 2013. Surface feature based classifica-tion of plant organs from 3D laserscanned point clouds for plant phenotyping. BMC Bioinformatics 14, 12.
Pu, L., Xv, J., Deng, F., 2021. An automatic method for tree species point cloud segmenta-tion based on deep learning. J. Indian Soc. Remote Sens. 49, 2163–2172.
Qi, C., Yi, L., Su, H., Guibas, L.J., 2017. PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space. NIPS.
Qi, Y., Dong, X., Chen, P., Lee, K.-H., Lan, Y., Lu, X., Jia, R., Deng, J., Zhang, Y., 2021. Canopy volume extraction of citrus reticulate Blanco cv. Shatangju trees using UAV image-based point cloud deep learning. Remote Sens. 13.
Rehush, N., Abegg, M., Waser, L.T., Brandli, U.B., 2018. Identifying tree-related microhab-itats in TLS point clouds using machine learning. Remote Sens. 10, 23.
Rivera, G., Porras, R., Florencia, R., Sánchez-Solís, J.P., 2023. LiDAR applications in precision agriculture for cultivating crops: a review of recent advances. Comput. Electron. Agric. 207, 107737.
Rossi, R., Costafreda-Aumedes, S., Leolini, L., Leolini, C., Bindi, M., Moriondo, M., 2022. Im-plementation of an algorithm for automated phenotyping through plant 3D-modeling: a practical application on the early detection of water stress. Comput. Elec-tron. Agric. 197, 106937.
Rosu, R.A., Schutt, P., Quenzel, J., Behnke, S., 2022. LatticeNet: fast spatio-temporal point cloud segmentation using permutohedral lattices. Auton. Robot. 46, 45–60.
Rottensteiner, F., Sohn, G., Gerke, M., Wegner, J.D., 2014. Theme section “urban object de-tection and 3D building reconstruction”. ISPRS J. Photogramm. Remote Sens. 93, 143–144.
Saeed, F., Sun, S., Rodriguez-Sanchez, J., Snider, J., Liu, T., Li, C., 2023. Cotton plant part 3D segmentation and architectural trait extraction using point voxel convolutional neu-ral networks. Plant Methods 19.
Santos, T.T., Koenigkan, L.V., Barbedo, J.G.A., Rodrigues, G.C., 2015. 3D plant modeling: lo-calization, mapping and segmentation for plant phenotyping using a single hand-held camera. Computer Vision-ECCV 2014 Workshops: Zurich, Switzerland, Septem-ber 6-7 and 12, 2014, Proceedings, Part IV. 13. Springer, pp. 247–263. Schunck, D., Magistri, F., Rosu, R.A., Cornelissen, A., Chebrolu, N., Paulus, S., Leon, J.,
Behnke, S., Stachniss, C., Kuhlmann, H., Klingbeil, L., 2021. Pheno4D: a spatio-temporal dataset of maize and tomato plant point clouds for phenotyping and ad-vanced plant analysis. PLoS One 16.
Shen, X., Huang, Q., Wang, X., Li, J., Xi, B., 2022. A deep learning-based method for extracting standing wood feature parameters from terrestrial laser scanning point clouds of artificially planted forest. Remote Sens. 14.
Shen, X.Y., Huang, Q.Q., Wang, X., Xi, B.Y., 2023. A method for extracting the tree feature parameters of Populus tomentosa in the leafy stage. Forests 14, 18.
Shen, J.C., Wu, T., Zhao, J.X., Wu, Z.J., Huang, Y.L., Gao, P., Zhang, L., 2024. Organ segmen-tation and phenotypic trait extraction of cotton seedling point clouds based on a 3D lightweight network. Agronomy-Basel 14, 19.
Shi, W., van de Zedde, R., Jiang, H., Kootstra, G., 2019. Plant-part segmentation using deep learning and multi-view vision. Biosyst. Eng. 187, 81–95.
St-Onge, B., Audet, F.A., Begin, J., 2015. Characterizing the height structure and composi-tion of a boreal forest using an individual tree crown approach applied to photogram-metric point clouds. Forests 6, 3899–3922.
Su, Y.J., Wu, F.F., Ao, Z.R., Jin, S.C., Qin, F., Liu, B.X., Pang, S.X., Liu, L.L., Guo, Q.H., 2019. Eval-uating maize phenotype dynamics under drought stress using terrestrial lidar. Plant Methods 15, 16. Sun, S., Li, C., Chee, P.W., Paterson, A.H., Jiang, Y., Xu, R., Robertson, J.S., Adhikari, J.,
Shehzad, T., 2020. Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering. ISPRS J. Photogramm. Remote Sens. 160, 195–207.
Sun, Y., Luo, Y., Chai, X., Zhang, P., Zhang, Q., Xu, L., Wei, L., 2021. Double-threshold seg-mentation of panicle and clustering adaptive density estimation for mature rice plants based on 3D point cloud. Electronics 10.
Sun, Y., Guo, X.D., Yang, H., 2023a. Win-former: window-based transformer for maize plant point cloud semantic segmentation. Agronomy-Basel 13, 16. Sun, Y.Z., Zhang, Z.X., Sun, K., Li, S., Yu, J.L., Miao, L.X., Zhang, Z.G., Li, Y., Zhao, H.J., Hu, Z.B.,
Xin, D.W., Chen, Q.S., Zhu, R.S., 2023b. Soybean-MVS: annotated three-dimensional model dataset of whole growth period soybeans for 3D plant organ segmentation. Agriculture-Basel 13, 19.
Sun, S.X., Zhu, Y.P., Liu, S.P., Chen, Y.K., Zhang, Y.H., Li, S.J., 2024. An integrated method for phenotypic analysis of wheat based on multi-view image sequences: from seedling to grain filling stages. Front. Plant Sci. 15, 16.
Tatum, J., Wallin, D., 2021. Using discrete-point LiDAR to classify tree species in the ripar-ian Pacific Northwest, USA. Remote Sens. 13.
Turgut, K., Dutagaci, H., Galopin, G., Rousseau, D., 2022a. Segmentation of structural parts of rosebush plants with 3D point-based deep learning methods. Plant Methods 18.
Turgut, K., Dutagaci, H., Rousseau, D., 2022b. RoseSegNet: an attention-based deep learn-ing architecture for organ segmentation of plants. Biosyst. Eng. 221, 138–153. Vaswani, A., Shazeer, N.M., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, L.,
Polosukhin, I., 2017. Attention is All You Need. NIPS. Vazquez-Arellano, M., Reiser, D., Paraforos, D.S., Garrido-Izard, M., Burce, M.E.C.,
Griepentrog, H.W., 2018. 3-D reconstruction of maize plants using a time-of-flight camera. Comput. Electron. Agric. 145, 235–247. von Luxburg, U., 2007. A tutorial on spectral clustering. Stat. Comput. 17, 395–416.
Vos, J., Evers, J.B., Buck-Sorlin, G.H., Andrieu, B., Chelle, M., de Visser, P.H.B., 2010. Functional-structural plant modelling: a new versatile tool in crop science. J. Exp. Bot. 61, 2101–2115.
Wang, Y.J., Wen, W.L., Wu, S., Wang, C.Y., Yu, Z.T., Guo, X.Y., Zhao, C.J., 2019. Maize plant phenotyping: comparing 3D laser scanning, multi-view stereo reconstruction, and 3D digitizing estimates. Remote Sens. 11, 17.
Wang, D., Takoudjou, S.M., Casella, E., 2020a. LeWoS: a universal leaf-wood classification method to facilitate the 3D modelling of large tropical trees using terrestrial LiDAR. Methods Ecol. Evol. 11, 376–389.
Wang, Y., Jiang, T., Liu, J., Li, X., Liang, C., 2020b. Hierarchical instance recognition of indi-vidual roadside trees in environmentally complex urban areas from UAV laser scan-ning point clouds. ISPRS Int. J. Geo Inf. 9.
Wang, K., Zhou, J., Zhang, W., Zhang, B., 2021. Mobile LiDAR scanning system combined with canopy morphology extracting methods for tree crown parameters evaluation in orchards. Sensors 21.
Wang, L., Zheng, L., Wang, M., 2022. 3D point cloud instance segmentation of lettuce based on PartNet. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1647–1655.
Wang, D., Song, Z., Miao, T., Zhu, C., Yang, X., Yang, T., Zhou, Y., Den, H., Xu, T., 2023a. DFSP: a fast and automatic distance field-based stem-leaf segmentation pipeline for point cloud of maize shoot. Front. Plant Sci. 14.
Wang, X., Zhang, X., Cao, Y., Wang, W., Shen, C., Huang, T.J.A., 2023b. SegGPT: Segmenting Everything in Context abs/2304.03284.
Weiss, U., Biber, P., 2011. Plant detection and mapping for agricultural robots using a 3D LIDAR sensor. Robot. Auton. Syst. 59, 265–273.
Williams, J., Schonlieb, C.-B., Swinfield, T., Lee, J., Cai, X., Qie, L., Coomes, D.A., 2020. 3D seg-mentation of trees through a flexible multiclass graph cut algorithm. IEEE Trans. Geosci. Remote Sens. 58, 754–776. Wu, X.D., Kumar, V., Quinlan, J.R., Ghosh, J., Yang, Q., Motoda, H., McLachlan, G.J., Ng, A.,
Liu, B., Yu, P.S., Zhou, Z.H., Steinbach, M., Hand, D.J., Steinberg, D., 2008. Top 10 algo-rithms in data mining. Knowl. Inf. Syst. 14, 1–37.
Wu, W., Qi, Z., Li, F., 2018. PointConv: Deep Convolutional Networks on 3D Point Clouds. IEEE/CVF Conference on Computer Vision Pattern Recognitionpp. 9613–9622.
Wu, G., Li, B., Zhu, Q., Huang, M., Guo, Y., 2020a. Using color and 3D geometry features to segment fruit point cloud and improve fruit recognition accuracy. Comput. Electron. Agric. 174.
Wu, S., Wen, W.L., Wang, Y.J., Fan, J.C., Wang, C.Y., Gou, W.B., Guo, X.Y., 2020b. MVS-Pheno: a portable and low-cost phenotyping platform for maize shoots using multi-view stereo 3D reconstruction. Plant Phenomics 2020, 17. Wu, S., Wen, W.L., Gou, W.B., Lu, X.J., Zhang, W.Q., Zheng, C.X., Xiang, Z.W., Chen, L.P., Guo, X.Y., 2022. A miniaturized phenotyping platform for individual plants using multi-view stereo 3D reconstruction. Front. Plant Sci. 13, 19.
Xiang, L.R., Bao, Y., Tang, L., Ortiz, D., Salas-Fernandez, M.G., 2019. Automated morpholog-ical traits extraction for sorghum plants via 3D point cloud data analysis. Comput. Electron. Agric. 162, 951–961.
Xie, K., Zhu, J.Z., Ren, H., Wang, Y.H., Yang, W.N., Chen, G., Lin, C.D., Zhai, R.F., 2024. Delving into the potential of deep learning algorithms for point cloud segmentation at organ level in plant phenotyping. Remote Sens. 16, 28.
Xin, B., Sun, J., Bartholomeus, H., Kootstra, G., 2023. 3D data-augmentation methods for semantic segmentation of tomato plant parts. Front. Plant Sci. 14, 1045545.
Yan, J., Tan, F., Li, C., Jin, S., Zhang, C., Gao, P., Xu, W., 2024. Stem–leaf segmentation and phenotypic trait extraction of individual plant using a precise and efficient point cloud segmentation network. Comput. Electron. Agric. 220, 108839.
Yang, S., Zheng, L., Gao, W., Wang, B., Hao, X., Mi, J., Wang, M., 2020a. An efficient process-ing approach for colored point cloud-based high-throughput seedling phenotyping. Remote Sens. 12. Yang, W.N., Feng, H., Zhang, X.H., Zhang, J., Doonan, J.H., Batchelor, W.D., Xiong, L.Z., Yan, J.B., 2020b. Crop phenomics and high-throughput phenotyping: past decades, current challenges, and future perspectives. Mol. Plant 13, 187–214.
Yang, Y.-N., Wu, X., He, T., Zhao, H., Liu, X.J.A., 2023. SAM3D: Segment Anything in 3D Scenes abs/2306.03908.
Yang, X., Miao, T., Tian, X.Y., Wang, D.B., Zhao, J.X., Lin, L.L., Zhu, C., Yang, T., Xu, T.Y., 2024a. Maize stem-leaf segmentation framework based on deformable point clouds. ISPRS J. Photogramm. Remote Sens. 211, 49–66.
Yang, Z., Jiang, Q.M., Duan, J.L., Jin, M.H., Fu, H., Xu, X., 2024b. A method for measuring ba-nana pseudo-stem phenotypic parameters based on handheld mobile LiDAR and IMU fusion. Front. Plant Sci. 15, 17.
You, H., Li, S., Xu, Y., He, Z., Wang, D., 2021. Tree extraction from airborne laser scanning data in urban areas. Remote Sens. 13.
Yu, Q., Yang, H., Gao, Y., Ma, X., Chen, G., Wang, X., 2022a. LFPNet: lightweight network on real point sets for fruit classification and segmentation. Comput. Electron. Agric. 194.
Yu, T., Hu, C., Xie, Y., Liu, J., Li, P., 2022b. Mature pomegranate fruit detection and location combining improved F-PointNet with 3D point cloud clustering in orchard. Comput. Electron. Agric. 200.
Zarei, A., Li, B., Schnable, J.C., Lyons, E., Pauli, D., Barnard, K., Benes, B., 2024. PlantSegNet: 3D point cloud instance segmentation of nearby plant organs with identical seman-tics. Comput. Electron. Agric. 221, 108922.
Zeng, L., Feng, J., He, L., 2020. Semantic segmentation of sparse 3D point cloud based on geometrical features for trellis-structured apple orchard. Biosyst. Eng. 196, 46–55.
Zhang, C., Zhang, K., Ge, L., Zou, K., Wang, S., Zhang, J., Li, W., 2021a. A method for organs classification and fruit counting on pomegranate trees based on multi-features fusion and support vector machine by 3D point cloud. Sci. Hortic. 278.
Zhang, Z., Ma, X., Guan, H., Zhu, K., Feng, J., Yu, S., 2021b. A method for calculating the leaf inclination of soybean canopy based on 3D point clouds. Int. J. Remote Sens. 42, 5721–5742.
Zhang, W., Wu, S., Wen, W., Lu, X., Wang, C., Gou, W., Li, Y., Guo, X., Zhao, C., 2023a. Three-dimensional branch segmentation and phenotype extraction of maize tassel based on deep learning. Plant Methods 19, 76.
Zhang, W.L., Peng, X.Y., Cui, G.Q., Wang, H.Z., Takata, D., Guo, W., 2023b. Tree branch skel-eton extraction from drone-based photogrammetric point cloud. Drones-Basel 7, 37.
Zhang, J., Wang, X., Ni, X.D., Dong, F.R., Tang, L.R.M., Sun, J.H., Wang, Y., 2024a. Neural ra-diance fields for multi-scale constraint-free 3D reconstruction and rendering in or-chard scenes. Comput. Electron. Agric. 217, 11.
Zhang, Y.L., Xie, Y.L., Zhou, J.L., Xu, X.Y., Miao, M.M., 2024b. Cucumber seedling segmenta-tion network based on a multiview geometric graph encoder from 3D point clouds. Plant Phenomics 6, 17.
Zhao, C.J., Zhang, Y., Du, J.J., Guo, X.Y., Wen, W.L., Gu, S.H., Wang, J.L., Fan, J.C., 2019. Crop phenomics: current status and perspectives. Front. Plant Sci. 10, 16.
Zhao, H., Jiang, L., Jia, J., Torr, P.H.S., Koltun, V., 2020. Point transformer. IEEE/CVF Interna-tional Conference on Computer Vision, pp. 16239–16248.
Zhou, Y., Zhou, H.H., Chen, Y., 2024. An automated phenotyping method for Chinese Cym-bidium seedlings based on 3D point cloud. Plant Methods 20, 24.
Zhu, K., Ma, X., Guan, H., Feng, J., Zhang, Z., Yu, S., 2021. A method of calculating the leaf-stalk angle of the soybean canopy based on 3D point clouds. Int. J. Remote Sens. 42, 2463–2484.
Zhu, X.H., Huang, Z.R., Li, B., 2024. Three-dimensional phenotyping pipeline of potted plants based on neural radiation fields and path segmentation. Plants-Basel 13, 22.
Zine-El-Abidine, M., Dutagaci, H., Galopin, G., Rousseau, D., 2021. Assigning apples to in-dividual trees in dense orchards using 3D colour point clouds. Biosyst. Eng. 209, 30–52.
20 ноября 2026