Научный перевод-изложение обзорной статьи с оригинальными рисунками и русскими подписями

Negin Harandi, Breght Vandenberghe, Joris Vankerschaver, Stephen Depuydt, Arnout Van Messem. Plant Methods (2023), 19:60. DOI: 10.1186/s13007-023-01031-z.

Формат: научный перевод-изложение основных положений публикации, не буквальный перевод всех 46 страниц. Иллюстрации воспроизведены из исходной статьи, библиографические номера сохранены там, где они существенны для интерпретации. © авторы, 2023; CC BY 4.0; отдельные элементы иллюстраций могут иметь самостоятельные условия воспроизведения, указанные в оригинале.

Технологии компьютерного зрения всё активнее переходят к трёхмерному описанию объектов; фенотипирование растений следует этой тенденции. Однако высокая сложность анализа трёхмерных представлений ограничивает их широкое внедрение. Обзор систематизирует этапы получения, предварительной обработки и анализа 3D-данных с целью измерения фенотипических признаков отдельных растений и небольших растительных пологов. Рассматриваются активные и пассивные методы регистрации геометрии, формы представления сцены, методы фильтрации, построения поверхностей, сегментации, скелетизации и количественной оценки морфологии. Основной акцент сделан на исследовательских установках, а не на региональном полевом мониторинге.

Фенотипирование — количественное измерение и оценка свойств растения — важно для селекции, растениеводства и фундаментальной биологии. В отличие от двумерных изображений 3D-реконструкция предоставляет сведения о пространственной форме и ориентации органов, их перекрытии и взаимном расположении. Это повышает информативность измерений листовой поверхности, архитектуры побегов, биомассы и роста во времени. Недостатком остаются объёмы данных, чувствительность к ошибкам реконструкции и сложность обработки неоднородных, гибких, частично перекрывающихся органов.

Методы делятся на активные, при которых система освещает объект контролируемым излучением (лазером или структурированным светом), и пассивные, восстанавливающие геометрию по естественному освещению и изображениям с нескольких ракурсов. Активные приборы способны напрямую оценивать расстояние, но часто дороже и требовательнее к условиям эксплуатации; пассивные решения доступнее и сохраняют цветовую текстуру, однако зависят от сопоставления особенностей изображений и обладают более сложной вычислительной обработкой.

Лазерная триангуляция вычисляет положение точки по геометрии источника, объекта и приёмника; пригодна для высокоточных измерений вблизи объекта, но менее устойчива на больших дистанциях. Лазерное сканирование (LiDAR) получает плотные облака точек и используется для оценки пространственной структуры полога. ToF-камеры определяют расстояния по задержке между излучением и регистрацией отражённого сигнала; они удобны для относительно быстрой регистрации. Структурированный свет позволяет измерять деформацию проецируемых паттернов. Фотометрическое стерео оценивает ориентацию поверхности по нескольким снимкам при различном освещении. Томографические методы (КТ, МРТ и другие) дают объёмную информацию, включая внутренние структуры, но требуют специальной аппаратуры.

Многовидовое стереозрение (MVS) использует различия между изображениями, полученными с разных точек наблюдения. SfMодновременно оценивает положения камер и трёхмерную структуру сцены по перекрывающимся фотографиям; благодаря сравнительно низкой стоимости метод получил широкое распространение. Подходы space carving удаляют воксели, не согласующиеся с проекциями объекта, а пленоптические камеры регистрируют не только интенсивность, но и направления световых лучей. Главные проблемы — недостаточная текстура поверхностей, перекрытие листьев, движение растения, калибровка и длительность вычислений.

Карта глубины представляет расстояние до поверхности для каждого пикселя; облако точек хранит набор координат XYZ, при необходимости с RGB и другими атрибутами; воксельная сетка дискретизирует объём на ячейки. Для последующего анализа исходные данные часто переводят в полигональную сетку, октодерево либо граф. Выбор представления влияет на эффективность фильтрации, выделения органов и оценки параметров растения.

Перед извлечением биологических признаков необходимо удалять фон и посторонние объекты, объединять наборы сканов в единую систему координат, устранять выбросы и шум и при необходимости сокращать плотность облака точек. Предварительная обработка особенно важна при работе с тонкими листьями и стеблями, которые легко теряются при чрезмерной фильтрации.

Полигональная сетка превращает дискретное облако точек в поверхность из граней. Используются триангуляции Делоне и α-shape, алгоритм Marching Cubes для воксельных данных, а также аппроксимация гладкими сплайновыми поверхностями (NURBS). Графовые представления позволяют анализировать связи между органами и строить осевую модель растения. Геометрическое представление следует выбирать с учётом масштаба измерений, исходной плотности данных и цели исследования.

Скелетизация заменяет объёмную геометрию упрощённым осевым представлением, отражающим топологию растения: главные побеги, ветви и точки ветвления. Она применяется для оценки длины и ориентации стеблей, ветвления и динамики роста. Ошибки возникают при перекрытии органов и пропусках точек; поэтому алгоритмы должны учитывать биологическую структуру исследуемого вида.

Сегментация разделяет представление на органы либо классы (почва, стебель, лист, плод). Используются группировка по геометрическим признакам и нормалям, методы роста областей, спектральная кластеризация, признаки локальной геометрии FPFH/PFH, графовые методы и классификаторы машинного обучения. Разделение тесно расположенных листьев остаётся отдельной сложной задачей.

Для отдельного органа растения можно оценивать непрерывную поверхность, её площадь и кривизну. В частности, NURBSпозволяют аппроксимировать гладкие листовые пластинки; геометрические примитивы дают возможность оценить диаметр стебля. При этом качество измерения определяется полнотой исходного облака точек и корректностью разделения органов.

После выделения органов рассчитывают высоту и габариты растения, число листьев, площади и углы наклона листовых пластинок, длину стеблей, диаметр побегов, характеристики ветвления, объём и геометрию полога. По этим данным можно исследовать морфогенез, сравнивать генотипы, отслеживать реакции на внешние условия. Однако объём геометрической модели не всегда равен биологической биомассе: для её оценки необходима отдельная калибровка по эталонным измерениям.

В обзоре перечисляются классические алгоритмы — k-means, kNN, SVM, Random Forest, кластеризация на основе графов, скрытые марковские модели — и методы глубокого обучения. Современные нейросетевые подходы автоматизируют классификацию точек и органов, но предъявляют требования к размеченным обучающим данным и могут плохо переноситься между видами растений, аппаратурой и условиями съёмки. Для исследовательских систем необходима независимая валидация на новых растениях и экспериментальных сериях.

Распространению 3D-фенотипирования препятствуют движение растений во время съёмки, окклюзии, разнообразие архитектуры видов, недостаточная воспроизводимость алгоритмических настроек, вычислительные затраты и необходимость биологически значимой валидации. Авторы подчёркивают, что получение красивой 3D-модели само по себе не гарантирует точной оценки фенотипа. Метод следует оценивать по точности извлекаемого признака, скорости работы и устойчивости в конкретных условиях.

Трёхмерное фенотипирование объединяет измерительные системы и методы компьютерного зрения в последовательный процесс: регистрация структуры, очистка данных, построение удобного представления, выделение органов и расчёт признаков. Ни одна технология не является универсальной. Метод выбирают по масштабу растения, требуемым признакам, условиям освещения и доступному вычислительному ресурсу. Особую ценность представляет сочетание геометрических измерений с другими типами данных; однако такое объединение выходит за рамки количественных результатов, непосредственно доказанных в данном обзоре.

Harandi N., Vandenberghe B., Vankerschaver J., Depuydt S., Van Messem A. How to make sense of 3D representations for plant phenotyping: a compendium of processing and analysis techniques. Plant Methods. 2023;19:60. https://doi.org/10.1186/s13007-023-01031-z

Для полного перечня работ и развёрнутой таблицы 3 с многочисленными видами растений следует обращаться к оригинальной публикации. Переведённые сравнительные таблицы здесь обобщают положения статьи и не заменяют её большой библиографический каталог.