a Wageningen Food & Biobased Research, Bornse Weilanden 9, P.O. Box 17, 6700AA Вагенинген, Нидерланды

b WestCHEM, факультет чистой и прикладной химии и Центр технологической аналитики и технологий управления, Университет Стратклайда, Глазго G1 1XL, Великобритания

c Факультет инженерии биосистем и машин, Колледж сельскохозяйственных и биологических наук, Национальный университет Чунгнам, 99 Daehak-ro, Yuseong-gu, Тэджон 34134, Республика Корея

d Группа сельскохозяйственных технологий, Wageningen University & Research, P.O. Box 16, 6700AA Вагенинген, Нидерланды

DOI: 10.1016/j.compag.2020.105780. Получено 5 июля 2020 г.; исправленная версия — 1 сентября 2020 г.; принято 5 сентября 2020 г.; опубликовано онлайн 14 сентября 2020 г.

Цифровое фенотипирование растений становится ключевой областью исследований на стыке информационных технологий и науки о растениях. Цифровое фенотипирование направлено на использование высококлассных методов неразрушающего зондирования и инфраструктуры информационных технологий для автоматизации извлечения как структурных, так и физиологических признаков из растений в ходе экспериментов по фенотипированию. Одной из перспективных сенсорных технологий для фенотипирования растений является гиперспектральная визуализация (HSI). Основным преимуществом использования HSI по сравнению с другими методами визуализации является возможность одновременного извлечения структурной и физиологической информации о растениях. Использование HSI для анализа частей растений, например. сорванные листья уже было продемонстрировано. Однако существует несколько серьезных проблем, связанных с использованием HSI для извлечения информации из всего растения, и, следовательно, это активная область исследований.

Эти проблемы связаны с обработкой данных после получения изображений. Полученные гиперспектральные данные о растении страдают от изменений освещенности из-за рассеяния света, затенения частей растения, многократного рассеяния и сложной комбинации рассеяния и затенения. Степень этих эффектов зависит от типа растений и их сложной геометрии. Для борьбы с этими последствиями был предложен ряд подходов, однако конкретный подход еще не готов. В этой статье мы даем всесторонний обзор недавних исследований HSI целых растений на близком расстоянии. В нескольких исследованиях HSI использовался для анализа растений, но ограничивался визуализацией листьев, что значительно проще, чем визуализация всего растения, и, следовательно, не связано с цифровым фенотипированием. В этой статье мы обсуждаем и сравниваем подходы, используемые для борьбы с эффектами изменения освещенности, которые являются проблемой для визуализации целых растений.

Кроме того, также подчеркиваются будущие возможности борьбы с этими последствиями.

1. Введение

Фенотипирование растений — это измерение взаимодействия растения с окружающей средой (Costa et al., 2019; Pieruschkaand Schurr, 2019). Эксперименты, связанные с фенотипированием, широко проводятся в области растениеводства и в программах селекции. Эти эксперименты позволяют оценить продуктивность растений, когда они подвергаются воздействию различных условий окружающей среды, и позволяют выявить наиболее эффективные генотипы, которые можно использовать для разработки высококачественных растений (Zhao et al., 2019). Факторы качества основаны на улучшении некоторых уникальных характеристик, таких как засухоустойчивость, солеустойчивость, послеуборочное качество плодов, увеличение количества семян, нагрузки на плоды и многих других (Fiorani and Schurr, 2013). Отбор наиболее эффективных растений и их селекция проводились людьми с момента появления сельского хозяйства (Diamondand Ordunio, 1999).

Однако он был ограничен опытом фермеров и не основывался на каких-либо научных данных. Развитие науки и техники привело к детальному пониманию растений. Поведение растений можно отслеживать в ходе экспериментов по селекции и фенотипирования контролируемым оптимизированным высокопроизводительным способом (Furbank and Tester, 2011; Bucksch et al., 2014; Li et al., 2014; Walter et al., 2015; Roitsch et al., 2019). В настоящее время высокопроизводительные селекционные эксперименты проводятся по всему миру как в государственных исследовательских, так и на промышленных объектах (Fahlgren et al., 2015; Lee et al., 2018; Rouphael https://doi.org/10.1016/j.compag.2020.105780 Получено 5 июля 2020 г.; Получено в исправленном виде 1 сентября 2020 г.; Принято 5 сентября). 2020 г. ⁎ Адрес для корреспонденции: Wageningen Food & Biobased Research, Bornse weilanden 9, P.O. Box 17, 6700AA Wageningen, Нидерланды Адрес электронной почты: puneet.mishra@wur.nl (П.

Мишра) 178 (2020) 105780 Доступно онлайн с 14 сентября. 2020 0168-1699/ © 2020 Авторы. Опубликовано Elsevier B.V. Это статья в открытом доступе по лицензии CC BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/), Yang et al., 2020. Обобщенный пример использования цифрового фенотипирования в полевых условиях представлен на рис. 1. Цифровое фенотипирование состоит из трех основных частей: автоматизация и робототехника, неразрушающее зондирование, а также расширенное моделирование и анализ данных. Все эти компоненты синергетически повторяют и моделируют особенности растения по мере его роста в экспериментах по фенотипированию. Во время эксперимента по фенотипированию (Mishra etal., 2017) можно проследить два основных типа особенностей (физических и химических) надземного растения. Физические особенности включают структурные изменения в растениях, такие как развитие листьев, увеличение высоты, количества листьев, площади листьев и т. д.

Химические особенности включают изменения в пигментном составе, содержании влаги, белках, углеводах, сахарах и некоторых других химических веществах, связанных с растениями. Особенности строения и химический состав зависят от вида изучаемого растения и среды, в которой оно выращивается (Dhondt et al., 2013; Yang et al., 2020). Измерение структурных признаков проще по сравнению с химическим составом, поскольку структурные признаки доступны для наблюдения человеком (Li et al., 2014).

Однако люди не могут следить за масштабными экспериментами по селекции, которые требуют наблюдения за сотнями растений, подвергнутых многократной обработке в течение нескольких месяцев. До последнего десятилетия фенотипирование растений считалось трудоемкой и трудоемкой задачей. Однако появление высокопроизводительных платформ фенотипирования (HTPP) позволило автоматизировать эксперименты по фенотипированию (Yang et al., 2020). Технология визуализации сыграла важную роль в автоматизации мониторинга и отслеживания структурных изменений растений во время экспериментов по фенотипированию (Dhondt et al., 2013; Li et al., 2014; Mishra et al., 2017). Это сопровождалось развитием алгоритмов обработки данных для выполнения таких задач, как сегментация растений и трехмерная реконструкция формы растений для извлечения такой информации, как структура листьев, количество листьев, площадь листьев и другие физические характеристики (Li et al., 2014; Lobet, 2017; Tardieu et al., 2017; Rahaman et al., 2019).

Однако извлечение химических свойств растений неразрушающими методами по-прежнему остается серьезной проблемой. Обычно химический анализ требует деструктивного отбора проб и включает сложнейшие лабораторные эксперименты. Это нежелательно при цифровом фенотипировании, поскольку деструктивный отбор проб препятствует постоянному мониторингу растения.

Гиперспектральная камера содержит спектрограф. Спектрограф используется для разделения входящего спектра на дискретные длины волн. Выходной сигнал спектрографа регистрируется на детекторе. Для получения гиперспектральных данных необходим мощный и стабильный источник света. HSI может выполняться в нескольких режимах, таких как линейное сканирование, точечное сканирование и снимок. Камеры линейного сканирования с веерным сканированием чаще всего используются из-за их преимущества в скорости по сравнению с камерами точечного сканирования, высококачественных данных и готовности рынка по сравнению с камерами моментальных снимков. Конкретные подробности о различных типах систем HSI можно найти в опубликованном техническом обзоре HSI (Qin, 2010). Основным преимуществом использования HSI по сравнению с другими методами визуализации является возможность одновременно извлекать структурную и физиологическую информацию из растений (Lowe et al., 2017; Mishra et al., 2017).

Структурная информация (физическая структура растений, таких как листья и стебли) легко доступна из модальности визуализации HSI, тогда как физиологическая информация может быть получена из спектральной информации, присутствующей в каждом пикселе сцены изображения. В спектральном диапазоне 400–700 нм можно извлечь такие растительные пигменты, как хлорофилл, антоцианы, каротиноиды. В спектральном диапазоне 700–2500 нм можно извлечь информацию, относящуюся к соединениям, содержащим связи CH, NH и OH (Mishra et al., 2017) (Jacquemoud and Baret, 1990; Jacquemoud and Ustin, 2019) . Вместе структурная и физиологическая информация обеспечивает лучшее понимание функциональной динамики растений. Кроме того, поскольку HSI является неразрушающим методом, он позволяет отслеживать растения на протяжении всего эксперимента, связанного с фенотипированием. Недавнее внимание к цифровому фенотипированию привело к интеграции HSI в HTTP в качестве инструмента непрерывного мониторинга растений для поддержки экспериментов по фенотипированию в контролируемых тепличных условиях (Asaari et al., 2018; Asaari et al., 2019; Mishra et al., 2019b; Mishra et al., 2020a,b).

HSI обычно интегрируется в HTTP в закрытом помещении со стандартными условиями освещения, т. е. с использованием галогенной лампы для освещения ближней инфракрасной области спектра (Asaari et al., 2018; Asaari et al., 2019). Во время эксперимента растение переносится в закрытое помещение с помощью конвейерной системы и осуществляется получение изображения (Asaari et al., 2018; Mishra et al., 2019b). Для фенотипирования в полевых условиях HSI внедряется в роботизированные платформы полевой разведки для получения изображений линий сельскохозяйственных культур, а интеграция HSI в дроны расширяется, чтобы обеспечить возможность аэрофотосъемки (Polder et al., 2019; Mishra et al., 2020a,b). Цифровое фенотипирование становится ключевой областью исследований на стыке сельского хозяйства, технологий и растениеводства (Awada et al., 2018; Liu et al., 2019). Ключевой целью цифрового фенотипирования является внедрение передовых методов неразрушающего зондирования и инфраструктуры информационных технологий для автоматизации извлечения как структурных, так и физиологических признаков.

Широко используемым методом в области цифрового фенотипирования является гиперспектральная визуализация (HSI) (Mishra et al., 2017). Использование HSI в основном ограничивалось приложениями дистанционного зондирования.

Однако в последние годы HSI с близкого расстояния стал потенциальным инструментом для неразрушающей быстрой оценки электростанций на месте. (Li et al., 2014; Lowe et al., 2017; Mishra et al., 2017) . Когда электромагнитное излучение (ЭМИ) попадает на поверхность растения, оно может отражаться, передаваться и поглощаться (Мишра и др.,

Использование HSI для получения изображений растений является сложной задачей из-за сложной настройки визуализации. Эти задачи включают в себя выбор спектрального датчика, охватывающего соответствующий диапазон длин волн, выбор источника освещения и интеграцию установки HSI с существующими HTPP (Mishra et al., 2017). Кроме того, следует учитывать такие факторы, как нагрев растения внутри камеры визуализации, что создает дополнительный стресс для растений и вносит предвзятость в эксперименты по фенотипированию. Большинство из этих проблем незначительны и уже решены с помощью технических модификаций. Например, спектральный датчик и диапазон длин волн можно выбрать на основе интересующих свойств растений, а нагрев растений можно контролировать путем установки кондиционера в камере формирования изображений. Взаимодействие света со сложной геометрией растений приводит к светорассеянию, затенению, многократному отражению и сложной смеси всех этих эффектов в зависимости от растения (Mishra et al., 2017).

Это вызывает изменения в освещенности, которые маскируют реальные спектральные реакции растений и, следовательно, влияют на задачу моделирования данных. В настоящее время не разработано решение для полной коррекции изменений освещенности в HSI растений. Однако в ряде исследований пытались справиться с эффектами изменений освещенности, используя спектральную нормализацию (Asaari et al., 2018; Asaari et al., 2019; Mishra et al., 2019a), спектральные проекции (Al Makdessi et al., 2019), локальное объединение информации о форме от 3D-датчиков (Behmann et al., 2016; Huang et al., 2018) и модификацию модели переноса излучения путем интеграции зеркального отражения на поверхности листа и локального наклона листа (Jay et al., 2016; Morel et al., 2018). Насколько нам известно, это первое исследование, в котором рассматриваются и суммируются проблемы HSI на близком расстоянии от целых растений и различные подходы, которые используются для коррекции изменений освещенности.

Таким образом, настоящая статья сначала представляет собой базовое введение в HSI растений. Кроме того, в нем представлен всесторонний обзор недавних исследований, связанных с HSI целых растений на близком расстоянии. Близкое расстояние — расстояние до 1–2 м от верхушки растения. В нескольких исследованиях HSI использовался для анализа растений, но ограничивался визуализацией листьев, что значительно проще, чем визуализация всего растения, и, следовательно, не связано с цифровым фенотипированием. Поэтому в настоящей работе основное внимание уделяется использованию HSI ближнего действия целых растений. Обсуждаются подходы, используемые для коррекции изменений освещенности, их преимущества и недостатки для HSI целых растений. Кроме того, обсуждаются будущие возможности борьбы с этими эффектами.

2. Основная причина изменения освещенности при гиперспектральной визуализации с близкого расстояния HSI целых растений выполняется в режиме диффузного отражения и при виде сверху для захвата всего кроны (рис. 2а). Наряду с каждым изображением также захватываются темновой ток и белый эталон (обычно Spectralon). Затем темновой ток и эталон белого цвета используются для радиометрической калибровки необработанных изображений для оценки процентного отражения от растения по сравнению со стандартным эталоном белого цвета. Однако белый эталон не позволяет корректировать различия освещенности на поверхности растений, которые присутствуют из-за сложной геометрии растения (Mishra et al., 2017). Как показано на рис. 2b, когда свет взаимодействует с плоским белым эталоном, он отражается без какого-либо дальнейшего ослабления, за исключением взаимодействия с поверхностью белого эталона. Однако, когда свет взаимодействует с растениями, может возникнуть несколько сложных явлений, таких как множественные отражения, нелинейное смешивание множественных отражений, затенение листьев и взаимодействие затенения и множественных отражений (Mishra et al., 2017; Al Makdessi et al., 2017) .

Преобладание этих явлений зависит от сложности геометрии объекта. Например, растение с несколькими широкими листьями может проявлять меньший эффект освещения, чем густое травянистое растение. Окончательный сигнал, зафиксированный камерой, будет содержать специфическую физико-химическую информацию о растении, но она будет замаскирована изменениями сигнала из-за сложного взаимодействия освещения с геометрией растения. Ослабление, вызванное изменениями освещенности, может варьироваться от простых различий в интенсивности до сложных мультипликативных и аддитивных эффектов высокого порядка (Asaari et al., 2018). Любое моделирование данных, выполненное без уменьшения/удаления этих эффектов освещения, может привести к неоптимальным выводам.

Появляются применения HSI ближнего действия для исследования целых растений. В настоящей работе на данный момент (June 2020) выявлено в общей сложности 16 приложений, в которых HSI использовался для анализа целых установок. В научной литературе мало применений, поскольку использование HSI для цифрового фенотипирования все еще находится в стадии рассмотрения. Более того, проблема изменения освещенности по-прежнему ограничивает полное использование богатой информации, генерируемой HSI. Краткое описание применений представлено в Таблице 1. В этой статье рассматривались применения как в контролируемых тепличных условиях, так и в открытых полях. На основании Таблицы 1 можно понять, что в настоящее время применение HSI целых растений в основном направлено на 4 цели: мониторинг и обнаружение биотического и абиотического стресса; прогнозирование биохимических показателей; тестирование эффективности средств защиты растений; и обнаружение болезней у растений.

Кроме того, были идентифицированы подходы, разработанные и принятые для коррекции освещенности, такие как спектральное усреднение (Pandey et al., 2017), спектральная нормализация (Asaari et al., 2018), глубокое обучение (Polder etal., 2019), наклонные проекции (Al Makdessi et al., 2019) и объединение трехмерной формы и гиперспектральной информации (Sun et al., 2019). Однако было обнаружено и несколько работ, в которых эффекты освещения не учитывались (приведены в табл. 1). Исследований, сравнивающих использование различных методов коррекции освещенности, не проводилось. Подходы к обработке данных, используемые для распознавания образов и прогнозного анализа, варьировались от хемометрических методов на основе скрытых переменных, таких как частичная регрессия наименьших квадратов (PLSR) (Pandey et al., 2017), до высокопроизводительных алгоритмов глубокого обучения на основе сверточных нейронных сетей (Polder et al., 2019).

Было обнаружено, что применение HTPP в основном отслеживает физико-химические изменения в растениях, возникающие в результате абиотического стресса, такого как засуха (Asaari et al., 2018; Asaari et al., 2019).

Коррекция освещенности в HSI растений на близком расстоянии является основным шагом перед извлечением информации. Не существует четкого решения по коррекции освещенности, но было обнаружено несколько работ (таблица 1), в которых изменения освещенности были устранены и смягчены с использованием различных подходов. Подходы, указанные в Таблице 1, описаны в следующем разделе. Краткое изложение ключевых подходов также представлено в

Самый простой подход к уменьшению эффектов, возникающих из-за изменений освещенности, — это спектральное усреднение. Усреднение спектра в HSI означает вычисление среднего спектра по пиксельной области. Однако перед усреднением необходимо выполнить сегментацию изображений. В усреднении должны использоваться пиксели объекта, а не каких-либо других фоновых объектов. В основе усреднения лежит предположение, что эффекты, возникающие из-за изменения освещенности, добавляют шум в спектры. Таким образом, усреднение многих спектров одного и того же растения может позволить оценить усредненный отклик с меньшим шумом и, следовательно, меньшими эффектами освещения. В нескольких недавних работах использовался подход усреднения для обработки изображений HS и были получены преимущества использования HSI для прогнозирования биохимии (Ge et al., 2016; Pandey et al., 2017; Bruning etal., 2019) и обнаружения засухи (Mazis et al., 2020; Weksler et al., 2020).

Однако ни одна работа не сравнивала спектральное усреднение с другими подходами, описанными в научной литературе (таблица 1). Основное преимущество усреднения заключается в том, что оно не требует дополнительных измерений датчиком и выполняется относительно быстро. Однако у усредненного подхода есть два основных недостатка. Во-первых, от качества сегментации изображения сильно зависит выделение областей, которые соответствуют только растениям на спектральных изображениях. Если сегментация плохая, при усреднении будут учитываться пиксели, не являющиеся растениями. Вторая проблема при усреднении — потеря пространственной информации, что противоречит причинам использования гиперспектральных камер. Во всех исследованиях (таблица 1), в которых сообщалось об использовании усреднения, пользователь отбрасывал пространственную информацию из HSI. На основании рассмотренных исследований пользователю не рекомендуется использовать усреднение, поскольку оно приводит к потере пространственной информации.

Второй подход основан на области хемометрики, где часто встречаются эффекты рассеяния света. В хемометрике и особенно для данных, полученных с помощью спектроскопических методов, предполагается, что спектральная информация состоит из характеристик поглощения. Эти характеристики связаны с основными химическими компонентами, а характеристики рассеяния соответствуют сложному взаимодействию света с физико-химическими свойствами образцов (Roger et al., 2020b). Однако информация о рассеянии маскирует сигнал, соответствующий химическим компонентам, что влияет на моделирование данных. Наличие эффектов рассеяния можно отметить как аддитивные, так и мультипликативные. Поэтому в хемометрике цель состоит в том, чтобы использовать методы коррекции рассеяния, чтобы удалить эффект рассеяния из спектральных данных, и то, что остается, - это характеристики поглощения (Rinnan et al., 2009; Roger et al., 2020a).

Моделирование на основе характеристик поглощения приводит к созданию оптимальных моделей. В HSI растений широко используется популярный хемометрический метод спектральной нормализации, называемый стандартной нормальной вариацией (SNV) (Asaari et al., 2018; Asaari et al., 2019; Mishra et al., 2020a,b). Предварительная обработка SNV включает преобразование спектра путем вычитания его среднего значения и деления на его стандартное отклонение (Barnes et al., 1989). Выполняя это преобразование, спектры, на которые влияет рассеяние, нормализуются с вычитанием среднего значения. Это позволяет корректировать глобальные различия в интенсивности и деление на стандартное отклонение корректирует мультипликативную часть эффекта рассеяния (Roger et al., 2020a). Однако следует отметить, что преобразование SNV выполняется индивидуально для каждого пикселя, а оценка среднего и стандартного отклонения не зависит от каких-либо других соседних пикселей.

Это одно из преимуществ SNV по сравнению с подходом усреднения, при котором наличие пикселя, не являющегося объектом, может повлиять на операцию усреднения. Помимо SNV, также использовались другие хемометрические подходы к коррекции рассеяния, такие как 2-я производная (Roger et al., 2020a), мультипликативная коррекция рассеяния (MSC) (Isaksson and Næs, 1988) и расширенная мультипликативная коррекция рассеяния (EMSC) (Martens et al., 2003) (Bruning etal., 2019). Однако основным преимуществом SNV перед вышеупомянутыми методами (MSC и EMSC) является то, что он не требует дополнительных эталонных измерений. SNV также не требует каких-либо других дополнительных сенсорных измерений, в отличие от таких методов, как трехмерная форма и слияние HSI. В некоторых работах (табл. 1) коррекция SNVиспользовалась после операции усреднения (Bruning et al., 2019; Weksler et al., 2020). Такое использование могло бы помочь устранить рассеяние в средних спектрах, но не помогает восстановить пространственную информацию.

Поэтому мы рекомендуем пользователю использовать методы коррекции разброса непосредственно на уровне пикселей, а не на усредненных спектрах.

Растения имеют сложную геометрию, поскольку они состоят из нескольких листьев (разных размеров) разной кривизны и на разных расстояниях от камеры (в зависимости от высоты растений). Однако с помощью HSI захватывается только пространственная и спектральная информация. Информация о форме может обеспечить лучшее понимание геометрии растения, и, кроме того, точная информация о форме может использоваться для корректировки эффектов изменения освещенности из-за местного наклона даже на уровне листьев.

Литература Раннее обнаружение стресса от засухи 394–890 Галогенные лампы SOC-700 (Surface Optics, США) (400 Вт ECO, OSRAM, Мюнхен, Германия) на расстоянии 1,6 м Укрытие от дождя и полевые условия Ячмень (Hordeum vulgare L.) Не упоминается Симплексная максимизация объема (SiVM) (Romer et al., 2012) Раннее обнаружение стресса от засухи 430–890 SOC-700 (Surface optics, США) галогенные лампы по 400 Вт Тепличные и полевые Ячмень (Hordeum vulgare) и кукуруза (Zea mays) Не упоминается Машина опорных векторов (SVM) (Behmann et al., 2014) Прогноз содержания воды 550–1750 Headwall Extended VNIR (Headwall Photonics, США) Н.И. но должно быть галогенное освещение Тепличные растения кукурузы (Zea mays) Средние спектры PLSR (Ge et al., 2016) Концентрации макроэлементов азота (N), фосфора (P), калия (K), магния (Mg), кальция (Ca) и серы (S), а также микроэлементов: натрия (Na), железа (Fe), марганца (Mn), бора (B), меди (Cu) и цинка (Zn) 550–1700 Головная стенка Расширенный ВНИР (Headwall Photonics, США) Н.И. но должно быть галогенное освещение Тепличная кукуруза (Zea mays) и соевые бобы (Glycine max) Средние спектры Частичная регрессия наименьших квадратов (PLSR) (Pandey et al., 2017) Раннее обнаружение стресса от засухи 400–1000 ImSpector V10E (SpecimImaging, Оулу, Финляндия) (3 × 3) на равном расстоянии Галогенные лампы Вт Тепличная кукуруза (Zea mays) Стандартный нормальный вариант (SNV) K-средние, картограф спектрального угла (Asaari et al., 2018) Содержание воды и N 400–1000 и 1300–2500 Fx10 и SWIR (Specim, Оулу, Финляндия) галогенный свет Тепличная пшеница (Triticum aestivum) Спектральное усреднение с последующими 1-й и 2-й производными, коррекция мультипликативного рассеяния (MSC), расширенная коррекция мультипликативного рассеяния (EMSC), нормализованный по диапазону, SNV и спектральное сглаживание Регрессия главных компонентов (PCR), PLSR, мультилинейная регрессия (MLR), SVM и случайный лес (Bruning et al., 2019) Индукция и восстановление стресса от засухи 400–1000 ImSpector V10E (Specim Imaging, Оулу, Финляндия) равномерно распределенные галогенные лампы Вт Тепличная кукуруза (Zea mays) SNV K-средние (Asaari et al., 2019) Тестирование средств защиты растений на растениях 400–1000 Галогенные лампы Headwall VNIR (Headwall Photonics, США) Теплица Не упоминается (конфиденциально в связи с отраслевой публикацией) SNV Анализ главных компонентов (PCA) (Mishra et al., 2019b) Раннее обнаружение стресса от засухи 400–1000 Галогенные лампы Headwall VNIR (Headwall Photonics, США) Переносная установка/теплица Arabidopsis (Arabidopsis thaliana) SNV K-средства (Mishra et al., 2019a) Содержание N, P и K400–1000 SOC-710 (Surface optics, США) Галогенные лампы мощностью 150 Вт (количество не указано) Тепличные растения томатов (S.lycopersicum) RGB+D-изображение для регистрации гиперспектральных данных Искусственная нейронная сеть обратного распространения (BPANN), SVM и Регрессия гауссовского процесса (GPR) для регрессии и PCA и случайная Frog (RF) для выбора переменных (Sun et al., 2019) Содержание воды 400–1000 Гиперспектральная визуализация Gaia Н.И.

Тепличная кукуруза (Zea mays) Не упоминается Выбор длины волны с помощью PCA и дивергенции Кульбака-Лейблера (KL) и регрессии SVM (Gao et al., 2019) Обнаружение картофельного вируса Y 400–1000 Fx-10 (Specim, Оулу, Финляндия) Вольфрамово-галогенные лампы (Osram Decostar PRO, Watt, 10°, дихроичный) Полевые растения картофеля Черный ящик (глубокое обучение) Глубокое обучение обучающая сверточная нейронная сеть (Polder et al., 2019) Засуха 900–1700 NIR-300PGE (Vosskühler GmbH, Германия) Радий Ralogen PAR16 W Тепличные виноградные лозы (Vitis vinifera L.) Не упомянуто Не определено (Briglia et al., 2019) (продолжение на следующей странице) В некоторых недавних работах это было реализовано и выполнено объединение гиперспектральной информации с трехмерной информацией о форме (Behmannet al., 2016; Huang et al., 2018) . Основная задача объединения трехмерных форм и гиперспектральных данных — связать два режима с уникальной системой координат.

Это было выполнено путем геометрической калибровки, а система отсчета была разработана с помощью эталонного объекта (Behmann et al., 2015; Behmann et al., 2016). Таким образом, информация о глубине проецировалась в систему координат гиперспектрального изображения и присваивалась отдельным пикселям. Окончательные модели были созданы путем субдискретизации информации о трехмерной форме и выполнения назначения ближайшего соседа гиперспектральным данным. Результаты применения 3D-гиперспектральных моделей на заводе сахарной свеклы показали улучшенное обнаружение изменений, связанных с заболеванием (Behmann et al., 2016). В другой работе информация о трехмерной форме и гиперспектральные данные были зарегистрированы с помощью итерационного алгоритма ближайшей точки (Sun etal., 2019). Затем 3D-гиперспектральные модели были использованы для прогнозирования содержания азота, калия и фосфора в растениях томата.

Результаты показали, что прогностическая эффективность модели, построенной с использованием 3D-гиперспектральных данных, была более стабильной по сравнению с моделями без объединения информации (Sun et al., 2019). Хотя 3D-гиперспектральные модели выглядят многообещающим подходом, им пока не хватает более широкого применения. Основной проблемой при использовании 3D-гиперспектральной модели является необходимость калибровки глубины датчика и этапа регистрации изображения, что приводит к дополнительному времени измерения на одно растение. Требования к памяти и время вычислений для сбора данных также создают проблемы для этого подхода. В условиях высокопроизводительного фенотипирования добиться этого может оказаться непросто. С другой стороны, усреднение и спектральная нормализация не требуют больших вычислительных затрат и не требуют каких-либо дополнительных измерений или настройки оборудования.

В настоящее время существуют более реалистичные применения спектральной нормализации и усреднения при высокопроизводительном фенотипировании по сравнению с 3D-гиперспектральными моделями (таблица 1).

Косая проекция — это хемометрический подход к спектральной коррекции, который позволяет удалять эффекты мультирассеяния на гиперспектральных изображениях сцен растительности (Al Makdessi et al., 2019) с близкого расстояния. Подход наклонной проекции предполагает, что спектры гиперспектральных изображений состоят из двух частей: полезной части, связанной с интересующим свойством, и бесполезной части, возникающей из-за рассеяния и эффектов изменения освещенности. Простой способ удалить бесполезную часть из данных — использовать подходы ортогонального проецирования (Roger, 2016). Однако бесполезная часть имеет непустое пересечение с полезной информацией, поэтому полное удаление бесполезной части может привести к потере информации (Al Makdessi et al., 2019). Подход наклонной проекции предполагает неортогональную спектральную проекцию, при которой потеря информации минимальна с максимальным устранением эффектов, возникающих из-за изменений освещенности.

Наклонная проекция также требует определения полезных и бесполезных подпространств перед выполнением какой-либо проекции. Полезное подпространство легко определить и получается как скрытые переменные модели PLSR, связанные с интересующим свойством. Бесполезное подпространство, то есть эффекты освещения, определяется с использованием спектров и оценки полиномиальных членов до максимальной степени (Al Makdessi et al., 2019). Пользователь может выбрать степень полинома в зависимости от сложности эффектов освещения. Как только полезные и бесполезные пространства определены, выполняется наклонное проецирование и получается матрица проекции. Наконец, новая модель строится путем преобразования спектров на основе матрицы проекции. Применение наклонной проекции для прогнозирования содержания N в растениях пшеницы показало улучшение прогноза по сравнению с отсутствием коррекции (Al Makdessi et al., 2019).

Хотя этот метод не требует каких-либо дополнительных сенсорных измерений, он требует дополнительного моделирования для определения бесполезного подпространства, содержащего эффекты освещения. Преимущество наклонной проекции перед методом усреднения заключается в том, что она сохраняет пространственную структуру. Таблица (продолжение) Интересы применения Спектральный диапазон (нм) Модель камеры Источник освещения Окружающая среда Виды растений Коррекция освещенности Моделирование данных

Литература Содержание азота в листьях 400–1000 HySpex VNIR-1024 (Norsk Elektro Optikk, Норвегия) Н.И. GrrenhouseПшеница (Triticum aestivum) Косые проекции PLSR (Al Makdessi et al., 2019) Раннее обнаружение засухи 545–1700 HeadwallРасширенный VNIR (Headwall Photonics, США) Галогенные лампы Тепличный дуб (Quercus bicolor Willd. и Quercusprinoides Willd) Средние спектры Индексы вегетации (VI) (Mazis et al., 2020) Скорость транспирации 400–1000 Fx10 (Specim, Оулу, Финляндия) Распространенные природные условия Растения тепличного перца (Capsicum annuum) Усредненный спектр с последующим анализом SNV Корреляционный анализ (Weksler et al., 2020) *N.I.: не указано.

Модели переноса излучения — это модели, основанные на физике, которые имитируют распространение света внутри листьев/навеса растений в зависимости от биохимических компонентов листа, анатомии листа и структуры покрова (Jacquemoud and Baret, 1990; Jacquemoud et al., 2009; Jay et al., 2016). Моделирование переноса излучения широко распространено в дистанционном зондировании, где оно часто используется для восстановления физико-химических свойств растений на уровне листьев и кроны (Jacquemoud and Baret, 1990; Jacquemoud et al., 2009). Однако модель переноса излучения плохо применима для гиперспектральных изображений с близкого расстояния, поскольку в доступных моделях не учитываются направленные эффекты. Была разработана новая гиперспектральная модель переноса излучения для гиперспектральных данных под названием PROCOSINE (Jay et al., 2016). ПРОКОЗИН включает в себя интеграцию двух дополнительных терминов (зеркальное отражение и локальная ориентация листьев), специфичных для модальности растений, в модель ПРОСПЕКТ.

Применение модели PROCOSINE показало, что включение в модель зеркального отражения и локальной ориентации листьев привело к надежной оценке свойств листьев. ПРОКОЗИН можно использовать для быстрой оценки карт пространственного распределения физико-химических свойств листьев (Jay et al., 2016). В другом применении ПРОКОЗИН привел к улучшению оценки биохимических и биофизических параметров листьев, которые использовались для классификации различных стадий заболевания растений (Morel et al., 2018). Поскольку PROCOSINE учитывает локальный наклон, он обеспечивает быструю оценку физико-химических свойств только на основе числовой инверсии и псевдодвунаправленных гиперспектральных измерений коэффициента отражения (Jay et al., 2016). В настоящее время применение подхода PROCOSINE ограничено только листовой чешуей. Технические проблемы внедрения ПРОКОЗИНА на всей установке неясны.

Глубокое обучение — это новая и многообещающая область в области машинного обучения. Глубокое обучение основано на использовании нейронных сетей. Эти нейронные сети состоят из нескольких скрытых слоев и способны извлекать дискриминантную информацию из входных данных для выполнения заданной задачи, например классификации, сегментации и т. д. Глубокое обучение — это новый подход к решению приложений, связанных с обработкой изображений. Преимущество глубокого обучения заключается в том, что оно позволяет моделировать сильно нелинейные закономерности в данных. Недостатком глубокого обучения является отсутствие вывода для обученной модели. В настоящее время существует единственное приложение, связанное с глубоким обучением гиперспектральной визуализации растений для обнаружения заболеваний — (Polder et al., 2019). Приложение использует сверточные нейронные сети (CNN) для классификации болезней растений картофеля.

Работа показала многообещающие результаты на основе данных за несколько сезонов. Однако нет упоминаний об эффектах освещения, присутствующих на гиперспектральных изображениях растений картофеля. Наиболее вероятно, что глубокое обучение до определенной степени смоделировало вариации, вызванные эффектами освещения, отдельно от полезных вариаций. Однако в исследовании не сравниваются и не обсуждаются какие-либо подходы к коррекции освещенности. Глубокое обучение может быть полезным инструментом по сравнению с 3D-гиперспектральной моделью и моделированием переноса излучения, но оно ограничено моделированием больших наборов данных. Применение глубокого обучения для фенотипирования растений может быть многообещающим, когда имеется достаточно данных для обучения модели.

HSI для визуализации целых растений с близкого расстояния быстро возросло. Что касается его внедрения в платформы цифрового фенотипирования, в настоящем обзоре подчеркивается, что HSI ближнего действия использовался для четырех основных задач: раннее обнаружение стресса, проверка эффективности соединений для защиты растений, биохимическое прогнозирование и обнаружение болезней. Основная задача HSI растений – коррекция последствий изменения освещенности – решается разными способами. Было выявлено несколько подходов к коррекции освещенности, таких как усреднение спектра, нормализация спектра на основе хемометрики, глубокое обучение, наклонные проекции и объединение трехмерной формы и гиперспектральной информации. Однако было обнаружено и несколько работ, в которых эффекты освещения не рассматривались. Практическое сравнение нескольких подходов к коррекции освещенности для принятия оптимального решения все еще отсутствует.

До сих пор самым простым и надежным немодальным подходом к коррекции освещенности является спектральная нормализация, основанная на хемометрике. Спектральное усреднение также не требует модели, но оно удаляет богатую пространственную информацию, присутствующую в гиперспектральной сцене. Практическое применение 3D-гиперспектрального моделирования и моделирования переноса излучения все еще отсутствует с точки зрения цифрового фенотипирования и в настоящее время ограничено уровнем отдельных растений или листьев. Глубокое обучение, кажется, работает нормально, но оно не объясняет четко моделируемые эффекты освещения, а это означает, что может быть сложно обобщить подход к коррекции. В некоторых работах после спектрального усреднения использовалась спектральная нормализация. Такое использование может помочь устранить эффекты изменения освещенности из средних спектров, но не помогает восстановить пространственную информацию.

Поэтому пользователю следует использовать спектральную нормализацию непосредственно на уровне пикселей, а не на усредненных спектрах. В большинстве случаев, связанных со спектральной нормализацией, можно обнаружить доминирование подхода SNV. SNV работает нормально, но технически это не оптимальный метод коррекции освещенности, поскольку предполагается, что все спектральные длины волн подвергаются одинаковому воздействию (Roger et al., 2020a). Недавно предложенный подход спектральной нормализации, называемый сортировкой переменных для нормализации (VSN), может стать альтернативой SNV (Rabatel et al., 2020). VSN определил взвешивание длин волн на основе того, насколько на них влияют изменения освещенности. Таким образом, VSN просто удаляет эффекты подсветки, сохраняя при этом полезную информацию (Mishra et al., 2020a). Недавнее применение VSN для устранения/смягчения эффекта освещения показало, что оно более эффективно, чем подход SNV, при удалении эффектов освещения из данных HSI растения (Mishra etal., 2020a).

В качестве примера результаты коррекции VSN для растений картофеля при HSI близкого расстояния представлены на рис. 4. После коррекции с помощью VSN изменения интенсивности света (рис. 4C, E) в значительной степени нормализовались (рис. 4D, F). Влияние двух различных предварительных обработок на спектры HSI представлено на рис. 5. Можно заметить, что до любой предварительной обработки спектры имеют различия в глобальных интенсивностях пикселей, вызванные различиями в освещении.

Предварительно обработанные спектры SNV позволили избежать эффектов освещения, но информация в основном ограничивалась цветовыми различиями. Предварительно обработанные спектры VSN выявили основные различия в хлорофилловой и красной краевой частях спектра, которые являются индикаторами фотосинтетической активности растений. Помимо поиска наилучшего метода предварительной обработки, существуют новые возможности объединения информации из нескольких методов спектральной нормализации с использованием подходов постепенного обучения, таких как последовательная предварительная обработка посредством ортогонализации (SPORT) (Mishra et al., 2020a, 2020b). В SPORT последовательность частичных моделей наименьших квадратов разрабатывается с использованием этапа последовательной ортогонализации для изучения любой новой информации, которая улучшается с помощью различных методов спектральной нормализации. SNV, VSN и SPORT можно реализовать с помощью свободно доступного набора инструментов многоблочного анализа данных под названием MBA-GUI (Mishra et al., 2020c).

Центроид кластера показывает, что кластеризация по необработанным спектрам отражения (рис. 5А) просто улавливает различия в глобальной интенсивности пикселей. Такие различия являются результатом различий освещенности и не несут физико-химической информации. Кластеризация предварительно обработанных спектров SNV позволила избежать эффектов освещения и, таким образом, уловила физико-химическую информацию. Однако информация в основном ограничивалась цветовыми различиями. Регистрация цветовых различий с помощью центроидов кластеров SNV показывает, что предварительно обработанные данные по-прежнему имеют основную изменчивость в цветовой части спектра, которая маскирует химические различия между листовой пластинкой и жилкой. В случае предварительно обработанных данных VSN кластерные центроиды имеют основные различия в хлорофилловой и красной краевой частях спектра, которые являются индикаторами фотосинтетической активности растений.

Выявленные ВСН различия в этом регионе можно понимать как различия в фотосинтетической активности листовой пластинки и жилки, лежащие в основе возникновения отдельных кластеров и сегментации в картах кластеров. С изменениями освещенности также можно справиться с помощью инновационного оборудования и электроники камеры. Примером является использование поляризованного HSI, который может разделить компоненты поглощения и рассеяния без предварительной обработки данных (Xu et al., 2019a,b). Затем биохимическое предсказание можно выполнить с помощью характеристик поглощения, а физические параметры можно спрогнозировать с помощью характеристик рассеяния. Однако поляризованный HSI в настоящее время ограничен лабораторией, и коммерчески доступных систем нет. Еще одна интересная аппаратная новинка — гиперспектральные камеры светового поля, такие как Cubert ULTRIS (https://cubert-gmbh.com/). Камеры светового поля одновременно захватывают стерео и гиперспектральные данные.

Кроме того, при постобработке данные можно объединить для создания стереосогласованных гиперспектральных изображений (Zhu et al., 2019). Стереосогласованные гиперспектральные изображения будут захватывать информацию, связанную с локальным наклоном листьев растений, и, следовательно, могут использоваться для непосредственного создания 3D-гиперспектральной модели без необходимости использования дополнительных датчиков или измерений. Однако эта технология является относительно новой, и ее использование в сельском хозяйстве еще не продемонстрировано.

Кроме того, появляются портативные системы HSI (Behmann et al., 2018), но они менее чувствительны и имеют тенденцию в большей степени страдать от воздействия изменений освещенности. Правильное понимание взаимодействия света со сложной геометрией растений поможет разработать новые подходы к коррекции эффектов изменения освещенности. Такое понимание Рис. 4. (Воспроизведено с разрешения (Mishra et al., 2020a)) Спектральное изображение, соответствующее ~700 нм. (А). До какой-либо коррекции и (B). после коррекции ВСН. Эффекты освещения были устранены, растения увеличены (С). растение 1 до коррекции (Г). растение 1 после коррекции (Е). Растение 2 до коррекции и (F). растение 2 после коррекции.

HSI ближнего действия для всего растения и подходы к коррекции эффектов освещения. Некоторые из основных выводов этого обзора:

1. Недавние применения HSI целых растений в основном преследуют четыре цели: мониторинг и обнаружение биотического и абиотического стресса; прогнозирование биохимических показателей; тестирование эффективности средств защиты растений; и обнаружение болезней у растений.

2. Вероятно, не существует способа (механически) избежать эффектов освещения в HSI растений, поскольку взаимодействие света со сложной геометрией растений всегда приводит к таким явлениям, как рассеяние света, затенение, многократные отражения и сложная смесь всех этих эффектов.

3. Правильная коррекция световых эффектов – это не только требование, но и необходимость получения убедительных результатов ГСИ растений.

4. В настоящее время доступны шесть основных подходов к коррекции освещенности, а именно спектральное усреднение, спектральная нормализация, моделирование переноса излучения, наклонные проекции, объединение 3D-изображений с гиперспектральными данными и глубокое обучение.

5. С точки зрения высокопроизводительного цифрового фенотипирования подходы к нормализации спектров, такие как SNVи VSN, являются наиболее быстрыми, простыми в реализации и не требующими моделей подходами.

6. Спектральное усреднение является наименее эффективным подходом, поскольку оно удаляет богатую пространственную информацию из данных HSI. Таким образом, HSI растений на близком расстоянии становится ключевым инструментом цифрового фенотипирования и получает широкое распространение в установках высокопроизводительного фенотипирования растений. Сейчас доступно несколько подходов к коррекции освещенности. Ожидается, что в ближайшие несколько лет будут внедрены некоторые новые подходы, основанные на аппаратном или программном обеспечении, которые в конечном итоге будут способствовать эффективному применению HSI ближнего действия для анализа предприятий.

Авторы заявляют, что у них нет известных конкурирующих финансовых интересов или личных отношений, которые могли бы повлиять на работу, представленную в этой статье.

PM и AN признают финансирование, полученное в рамках исследовательской и инновационной программы Европейского Союза Horizon 2020 под названием MODLIFE (Advanced Modeling for Process-Product Innovation, Optimization, Monitoringand Control in Life Science Industries) в рамках грантового соглашения Марии Склодовской-Кюри номер 675251. Рик ван де Зедде, Университет Вагенингена и исследования, Нидерланды, за предоставление цифрового фенотипического изображения.

Al Makdessi, N., Ecarnot, M., Roumet, P., Rabatel, G., 2019. A spectral correction method

for multi-scattering effects in close range hyperspectral imagery of vegetation scenes:

application to nitrogen content assessment in wheat. Precis. Agric. 20 (2), 237–259.

Al Makdessi, N., Jean, P.A., Ecarnot, M., Gorretta, N., Rabatel, G., Roumet, P., 2017. How

plant structure impacts the biochemical leaf traits assessment from in-field hyperspectral images: A simulation study based on light propagation modeling in 3D virtual wheat scenes. Field Crops Research 205, 95–105.

Asaari, M.S.M., Mertens, S., Dhondt, S., Inze, D., Wuyts, N., Scheunders, P., 2019.

Analysis of hyperspectral images for detection of drought stress and recovery in

maize plants in a high-throughput phenotyping platform. Comput. Electron. Agric.

162, 749–758.

Asaari, M.S.M., Mishra, P., Mertens, S., Dhondt, S., Inze, D., Wuyts, N., Scheunders, P.,

2018. Close-range hyperspectral image analysis for the early detection of stress responses in individual plants in a high-throughput phenotyping platform. ISPRS J.

Photogramm. Remote Sens. 138, 121–138.

Awada, L., Phillips, P.W.B., Smyth, S.J., 2018. The adoption of automated phenotyping by

plant breeders. Euphytica 214 (8), 148.

Barnes, R.J., Dhanoa, M.S., Lister, S.J., 1989. Standard Normal Variate Transformation

and De-Trending of Near-Infrared Diffuse Reflectance Spectra. Appl. Spectrosc. 43

(5), 772–777.

Behmann, J., Acebron, K., Emin, D., Bennertz, S., Matsubara, S., Thomas, S.,

Bohnenkamp, D., Kuska, M.T., Jussila, J., Salo, H., Mahlein, A.K., Rascher, U., 2018.

Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its

application for plant phenotyping and disease detection. Sensors 18 (2).

Behmann, J., Mahlein, A.K., Paulus, S., Dupuis, J., Kuhlmann, H., Oerke, E.C., Plumer, L.,

2016. Generation and application of hyperspectral 3D plant models: methods and

challenges. Mach. Vis. Appl. 27 (5), 611–624.

Behmann, J., Mahlein, A.K., Paulus, S., Kuhlmann, H., Oerke, E.C., Plumer, L., 2015.

Calibration of hyperspectral close-range pushbroom cameras for plant phenotyping.

ISPRS J. Photogramm. Remote Sens. 106, 172–182.

Behmann, J., Steinrücken, J., Plümer, L., 2014. Detection of early plant stress responses in

hyperspectral images. ISPRS J. Photogramm. Remote Sens. 93, 98–111.

Briglia, N., Montanaro, G., Petrozza, A., Summerer, S., Cellini, F., Nuzzo, V., 2019.

Drought phenotyping in Vitis vinifera using RGB and NIR imaging. Sci. Hortic. 256,

108555.

Bruning, B., Liu, H., Brien, C., Berger, B., Lewis, M., Garnett, T., 2019. The development

of hyperspectral distribution maps to predict the content and distribution of nitrogen

and water in wheat (Triticum aestivum). Front. Plant Sci. 10, 1380.

Bucksch, A., Burridge, J., York, L.M., Das, A., Nord, E., Weitz, J.S., Lynch, J.P., 2014.

Image-based high-throughput field phenotyping of crop roots. Plant Physiol. 166 (2),

470.

Costa, C., Schurr, U., Loreto, F., Menesatti, P., Carpentier, S., 2019. Plant phenotyping

research trends, a science mapping approach. Front. Plant Sci. 9, 1933.

Dhondt, S., Wuyts, N., Inzé, D., 2013. Cell to whole-plant phenotyping: the best is yet to

come. Trends Plant Sci. 18 (8), 428–439.

Diamond, J.M., Ordunio, D., 1999. Guns, germs, and steel. Books on Tape.

Fahlgren, N., Gehan, M.A., Baxter, I., 2015. Lights, camera, action: high-throughput plant

phenotyping is ready for a close-up. Curr. Opin. Plant Biol. 24, 93–99.

Fiorani, F., Schurr, U., 2013. Future scenarios for plant phenotyping. Annu. Rev. Plant

Biol. 64 (1), 267–291.

Furbank, R.T., Tester, M., 2011. Phenomics – technologies to relieve the phenotyping

bottleneck. Trends Plant Sci. 16 (12), 635–644.

Gao, Y., Qiu, J., Miao, Y., Qiu, R., Li, H., Zhang, M., 2019. Prediction of leaf water content

in maize seedlings based on hyperspectral information. IFAC-PapersOnLine 52 (30),

263–269.

Ge, Y., Bai, G., Stoerger, V., Schnable, J.C., 2016. Temporal dynamics of maize plant

growth, water use, and leaf water content using automated high throughput RGB and

hyperspectral imaging. Comput. Electron. Agric. 127, 625–632.

Huang, P.K., Luo, X.W., Jin, J., Wang, L.J., Zhang, L.B., Liu, J., Zhang, Z.G., 2018.

Improving high-throughput phenotyping using fusion of close-range hyperspectral

camera and low-cost depth sensor. Sensors 18 (8).

Isaksson, T., Næs, T., 1988. The effect of multiplicative scatter correction (MSC) and

linearity improvement in NIR spectroscopy. Appl. Spectrosc. 42 (7), 1273–1284.

Jacquemoud, S., Baret, F., 1990. PROSPECT: A model of leaf optical properties spectra.

Remote Sens. Environ. 34 (2), 75–91.

Jacquemoud, S., Ustin, S., 2019. Spectroscopy of Leaf Molecules. Leaf Optical Properties.

Cambridge University Press, Cambridge, pp. 48–73.

Jacquemoud, S., Verhoef, W., Baret, F., Bacour, C., Zarco-Tejada, P.J., Asner, G.P.,

Francois, C., Ustin, S.L., 2009. PROSPECT plus SAIL models: A review of use for

vegetation characterization. Remote Sens. Environ. 113, S56–S66.

Jay, S., Bendoula, R., Hadoux, X., Feret, J.B., Gorretta, N., 2016. A physically-based

model for retrieving foliar biochemistry and leaf orientation using close-range imaging spectroscopy. Remote Sens. Environ. 177, 220–236.

Lee, U., Chang, S., Putra, G.A., Kim, H., Kim, D.H., 2018. An automated, high-throughput

plant phenotyping system using machine learning-based plant segmentation and

image analysis. PLoS ONE 13 (4), e0196615.

Li, L., Zhang, Q., Huang, D.F., 2014. A review of imaging techniques for plant

phenotyping. Sensors 14 (11), 20078–20111.

Liu, S., Martre, P., Buis, S., Abichou, M., Andrieu, B., Baret, F., 2019. Estimation of plant

and canopy architectural traits using the digital plant phenotyping platform. Plant

Physiol. 181 (3), 881.

Lobet, G., 2017. Image analysis in plant sciences: publish then perish. Trends Plant Sci. 22

(7), 559–566.

Lowe, A., Harrison, N., French, A.P., 2017. Hyperspectral image analysis techniques for

the detection and classification of the early onset of plant disease and stress. Plant

Methods 13.

Martens, H., Nielsen, J.P., Engelsen, S.B., 2003. Light scattering and light absorbance

separated by extended multiplicative signal correction. Application to near-infrared

transmission analysis of powder mixtures. Anal. Chem. 75 (3), 394–404.

Mazis, A., Choudhury, S.D., Morgan, P.B., Stoerger, V., Hiller, J., Ge, Y., Awada, T., 2020.

Application of high-throughput plant phenotyping for assessing biophysical traits and

drought response in two oak species under controlled environment. For. Ecol.

Manage. 465, 118101.

Mishra, P., Asaari, M.S.M., Herrero-Langreo, A., Lohumi, S., Diezma, B., Scheunders, P.,

Biosyst. Eng. 164,

49–67.

Mishra, P., Feller, T., Schmuck, M., Nicol, A., Nordon, A., 2019a. Early Detection Of

Drought Stress in Arabidopsis Thaliana Utilsing a Portable Hyperspectral Imaging

Setup. 2019 10th Workshop on Hyperspectral Imaging and Signal Processing:

Evolution in Remote Sensing (WHISPERS).

Mishra, P., Schmuck, M., Roth, S., Nicol, A., Nordon, A., 2019b. Homogenising and

Segmenting Hyperspectral Images of Plants and Testing Chemicals in a High-

Throughput Plant Phenotyping Setup. 2019 10th Workshop on Hyperspectral

Imaging and Signal Processing: Evolution in Remote Sensing (WHISPERS).

Mishra, P., Polder, G., Gowen, A., Rutledge, D.N., Roger, J.-M., 2020a. Utilising variable

sorting for normalisation to correct illumination effects in close-range spectral images

of potato plants. Biosyst. Eng. 197, 318–323.

Mishra, P., Polder, G., Vilfan, N., 2020b. Close range spectral imaging for disease detection in plants using autonomous platforms: a review on recent studies. Curr.

Robot. Rep.

Mishra, P., Roger, J.M., Rutledge, D.N., Biancolillo, A., Marini, F., Nordon, A., Jouan-

Rimbaud-Bouveresse, D., 2020c. MBA-GUI: A chemometric graphical user interface

for multi-block data visualisation, regression, classification, variable selection and

automated pre-processing. Chemometrics Intel. Lab. Syst. 104139.

Mishra, P., Roger, J.M., Rutledge, D.N., Woltering, E., 2020d. SPORT pre-processing can

improve near-infrared quality prediction models for fresh fruits and agro-materials.

Postharvest Biol. Technol. 168, 111271.

Morel, J., Jay, S., Feret, J.B., Bakache, A., Bendoula, R., Carreel, F., Gorretta, N., 2018.

Exploring the potential of PROCOSINE and close-range hyperspectral imaging to

study the effects of fungal diseases on leaf physiology. Sci. Rep. 8.

Pandey, P., Ge, Y., Stoerger, V., Schnable, J.C., 2017. High throughput in vivo analysis of

plant leaf chemical properties using hyperspectral imaging. Front. Plant Sci. 8, 1348.

Pieruschka, R., Schurr, U., 2019. Plant phenotyping: past, present, and future. Plant

Phenomics 2019, 6.

Polder, G., Blok, P.M., de Villiers, H.A.C., van der Wolf, J.M., Kamp, J., 2019. Potato virus

Y detection in seed potatoes using deep learning on hyperspectral images. Front.

Plant Sci. 10.

Qin, J., 2010. Hyperspectral imaging instruments. In: Sun, D.-W. (Ed.), Hyperspectral

Imaging for Food Quality Analysis and Control. Academic Press, San Diego, pp.

129–172 (Chapter 5).

Rabatel, G., Marini, F., Walczak, B., Roger, J.-M., 2020. VSN: Variable sorting for normalization. J. Chemom. 34 (2), e3164.

Rahaman, M.M., Ahsan, M.A., Chen, M., 2019. Data-mining techniques for image-based

plant phenotypic traits identification and classification. Sci. Rep. 9 (1), 19526.

Rinnan, Å., Berg, F.v.D., Engelsen, S.B., 2009. Review of the most common pre-processing

techniques for near-infrared spectra. TrAC Trends Analyt. Chem. 28(10), 1201–1222.

Roger, J.-M., Biancolillo, A., Marini, F., 2020a. Sequential preprocessing through

ORThogonalization (SPORT) and its application to near infrared spectroscopy.

Chemometrics Intell. Lab. Syst. 199, 103975.

Roger, J.-M., Boulet, J.-C., Zeaiter, M., Rutledge, D.N., 2020b. Pre-processing Methods☆.

Reference Module in Chemistry, Molecular Sciences and Chemical Engineering.

Elsevier.

Roger, J.M., 2016. Orthogonal projections in the row and the column spaces. NIR News

27 (7), 15–20.

Roitsch, T., Cabrera-Bosquet, L., Fournier, A., Ghamkhar, K., Jiménez-Berni, J., Pinto, F.,

Ober, E.S., 2019. Review: New sensors and data-driven approaches—A path to next

generation phenomics. Plant Sci. 282, 2–10.

Romer, C., Wahabzada, M., Ballvora, A., Pinto, F., Rossini, M., Panigada, C., Behmann, J.,

Leon, J., Thurau, C., Bauckhage, C., Kersting, K., Rascher, U., Plumer, L., 2012. Early

drought stress detection in cereals: simplex volume maximisation for hyperspectral

image analysis. Funct. Plant Biol. 39 (10–11), 878–890.

Rouphael, Y., Spíchal, L., Panzarová, K., Casa, R., Colla, G., 2018. High-throughput plant

phenotyping for developing novel biostimulants: from lab to field or from field to lab?

Front. Plant Sci. 9, 1197.

Sun, G., Ding, Y., Wang, X., Lu, W., Sun, Y., Yu, H., 2019. Nondestructive determination

of nitrogen, phosphorus and potassium contents in greenhouse tomato plants based

on multispectral three-dimensional imaging. Sensors 19 (23), 5295.

Tardieu, F., Cabrera-Bosquet, L., Pridmore, T., Bennett, M., 2017. Plant phenomics, from

sensors to knowledge. Curr. Biol. 27 (15), R770–R783.

Walter, A., Liebisch, F., Hund, A., 2015. Plant phenotyping: from bean weighing to image

analysis. Plant Methods 11 (1), 14.

Weksler, S., Rozenstein, O., Haish, N., Moshelion, M., Walach, R., Ben-Dor, E., 2020. A

hyperspectral-physiological phenomics system: measuring diurnal transpiration rates

and diurnal reflectance. Remote Sensing 12 (9), 1493.

Xu, J.L., Gobrecht, A., Gorretta, N., Heran, D., Gowen, A.A., Bendoula, R., 2019a.

Development of a polarized hyperspectral imaging system for investigation of absorption and scattering properties. J. Near Infrared Spectrosc. 27 (4), 314–329.

Xu, J.L., Gobrecht, A., Heran, D., Gorretta, N., Coque, M., Gowen, A.A., Bendoula, R., Sun,

D.W., 2019b. A polarized hyperspectral imaging system for in vivo detection:

Multiple applications in sunflower leaf analysis. Comput. Electron. Agric. 158,

258–270.

Yang, W., Feng, H., Zhang, X., Zhang, J., Doonan, J.H., Batchelor, W.D., Xiong, L., Yan, J.,

Phenomics and high-throughput phenotyping: past decades, current

challenges, and future perspectives. Molecular Plant 13 (2), 187–214.

Yinka-Banjo, C., Ugot, O.A., 2020. A review of generative adversarial networks and its

application in cybersecurity. Artif. Intell. Rev. 53 (3), 1721–1736.

Zhao, C., Zhang, Y., Du, J., Guo, X., Wen, W., Gu, S., Wang, J., Fan, J., 2019. Crop

phenomics: current status and perspectives. Front. Plant Sci. 10, 714.

Zhu, K., Xue, Y.J., Fu, Q., Kang, S.B., Chen, X.L., Yu, J.Y., 2019. Hyperspectral light field

stereo matching. IEEE Trans. Pattern Anal. Mach. Intell. 41 (5), 1131–1143.