Ханс Лукас Бетге¹˒², Инга Вайсхайт¹˒², Мауриц Сандро Дортмунд¹˒², Тимм Ландес¹˒²˒³, Мирослав Забич¹˒², Маркус Линде⁴, Томас Дебенер⁴ и Даг Хайнеманн¹˒²˒³*

* Для корреспонденции: Dag Heinemann, dag.heinemann@hot.uni-hannover.de

Bethge et al. Plant Methods (2024) 20:175. https://doi.org/10.1186/s13007-024-01296-y

Актуальность. Раннее и специфическое выявление абиотических и биотических стрессов, особенно их сочетаний, является одной из основных задач поддержания и повышения продуктивности растений в устойчивом сельском хозяйстве при изменяющихся условиях среды. Методы оптической визуализации обеспечивают экономически эффективную и неразрушающую количественную оценку стрессового состояния растений. Мономодальное выявление отдельных стрессоров обычно основано на неспецифических или косвенных признаках и потому, как правило, ограничено по перекрёстной специфичности к другим стрессорам. Объединение сенсорных систем разных доменов способно предоставить моделям машинного обучения больше потенциально дискриминирующих признаков и синергетическую информацию для повышения перекрёстной специфичности обнаружения болезней растений при слиянии изображений на уровне пикселей.

Результаты. В настоящем исследовании продемонстрирована успешная мультимодальная регистрация на уровне пикселей данных RGB-, гиперспектральной визуализации (HSI) и кинетики флуоресценции хлорофилла (ChlF) для высокопроизводительного фенотипирования A. thaliana, выращенной в многолуночных планшетах, а также в анализе отделённых листовых дисков Rosa × hybrida, инокулированных вызывающим чёрную пятнистость грибом Diplocarpon rosae. Показано влияние: (i) выбора опорного изображения, (ii) разных методов регистрации и (iii) выбора кадра на эффективность регистрации с помощью аффинного преобразования. Кроме того, разработан комбинированный подход к выбору методов регистрации по NCC для каждого файла; он обеспечивает устойчивость и точность ценой увеличения вычислительного времени. Поскольку изображения содержат несколько объектов, исходная грубая регистрация с глобальной матрицей преобразования демонстрировала неоднородность между областями изображения. Дополнительная точная регистрация данных, разделённых по объектам, обеспечила высокую степень перекрытия. Для тестового набора A. thaliana значения ORConvex составили 98,0 ± 2,3% для RGB→ChlF и 96,6 ± 4,2% для HSI→ChlF. Для тестового набора Rosa × hybrida они составили соответственно 98,9 ± 0,5% и 98,3 ± 1,3%.

Заключение. Представленный конвейер мультимодальной визуализации обеспечивает высокопроизводительное, многомерное фенотипирование разных видов растений в отношении различных биотических и абиотических стрессоров. Это открывает путь к углублённому исследованию корреляционных связей многодоменных данных и повышению эффективности моделей машинного обучения посредством мультимодального слияния изображений.

Ключевые слова: мультимодальная регистрация изображений; высокопроизводительное фенотипирование; RGB-визуализация; гиперспектральная визуализация; флуоресценция хлорофилла; слияние сенсорных данных; аффинное преобразование

Раннее и специфическое выявление реакций растений на абиотические и биотические стрессовые факторы, особенно на их сочетания, является одной из главных задач сохранения и повышения продуктивности растений в точном земледелии [1]. Точное земледелие стремится избирательно учитывать неоднородность растительного покрова посредством распознавания фенотипа отдельных растений [2]. Поэтому информационная насыщенность стандартного сенсорного фенотипирования имеет решающее значение для выработки индивидуальных рекомендаций по воздействию и противодействующим мерам. Фенотипирование также необходимо для выявления связанных со стрессом генов, поскольку оно предоставляет данные для селекции стрессоустойчивых генотипов. Последние достижения генотипирования ускорили спрос на автоматизацию и точность фенотипирования, однако его прогресс отстаёт, создавая узкое место [3]. В селекционном процессе множество генотипов подвергают различным биотическим и абиотическим стрессам, чтобы количественно оценить урожайность и устойчивость [4]. В отличие от урожайности, некоторые значимые для селекции признаки можно проверять уже на ранних стадиях развития. Li и соавт. (2023) предложили компактную систему культивирования PhenoWell® [5], специально предназначенную для высокопроизводительного скрининга влияния разных абиотических стрессов на рост Arabidopsisthaliana и Zea mays. Система позволяет быстро и эффективно оценивать стрессовые реакции и рано выявлять устойчивые генотипы.

Оптические методы визуализации обеспечивают экономичную неразрушающую количественную оценку стрессового состояния растений [6–8]. Мономодальное выявление отдельных стрессоров обычно основано на неспецифических или косвенных признаках и ограничено по перекрёстной специфичности [9]. Слияние сенсоров разных доменов предоставляет более дискриминирующие признаки для моделей машинного обучения и потенциально синергетическую информацию для повышения перекрёстной специфичности обнаружения болезней [1,10]. Мультимодальная регистрация перспективна для: (i) объединения низкоконтрастных многомерных и высококонтрастных маломерных данных с целью автоматической сегментации [11]; (ii) повышения прогнозной эффективности моделей за счёт увеличения числа потенциально дискриминирующих признаков [10]; (iii) объединения многодоменных данных для разработки новых индикаторов состояния растений. До настоящего времени большинство исследований было сосредоточено на индикаторах стресса от одного датчика, вероятно из-за отсутствия автоматизированного конвейера, ограниченного числа коммерческих мультисенсорных систем, высокой стоимости и ограниченной практической применимости. Мультимодальный сбор может устранить низкую перекрёстную специфичность, но требует совмещения модальностей.

Регистрация изображений в растениеводстве включает ручную 2D-регистрацию тепловых и RGB-изображений по контрольным точкам [12], автоматическую регистрацию тепловых и RGB-изображений после фильтрации границ Canny[13], регистрацию тепловых и RGB-D-изображений по границам и признаковым детекторам [14], автоматическую регистрацию флуоресцентных и RGB-изображений [11,15,16], стереорегистрацию мультиспектральных и NIR-изображений в 3D [17] и 3D-регистрацию RGB-D-, тепловых и гиперспектральных данных трассировкой лучей [18]. Трудность заключается в различном представлении одной сцены: ключевые признаки могут быть мало похожи, а прямые корреляции интенсивностей отсутствовать. Разработаны фазовая корреляция, признаковые подходы и взаимная информация. Частотные методы переводят изображения в область Фурье и оценивают преобразование по глобальному максимуму корреляции амплитуды или фазы [19]. Фазовая корреляция (POC) [20] использует только фазу и потому устойчива к различиям интенсивности и шуму, содержащимся в амплитуде. Признаковые методы выявляют ключевые точки — границы, углы и градиенты — и рассчитывают матрицу преобразования посредством сопоставления и фильтрации, например алгоритмом RANSAC [21,22]. Усиленный коэффициент корреляции ECC [23] является расширением нормированной взаимной корреляции NCC (формула 1) и измеряет корреляцию значений с нулевым средним и нормированной дисперсией. В отличие от суммы квадратов разностей (SSD), ECC учитывает вариации интенсивности и обеспечивает устойчивое выравнивание.

Лишь немногие работы применяли мультимодальную регистрацию в науке о растениях; систематические исследования эффективности в основном использовали лицензионный MATLAB [11,15–17,24,25]. Цель проекта — исследовать автоматические алгоритмы (таблица 1) для пиксельно точного совмещения многодоменных изображений растений средствами открытых пакетов Python без лицензионных ограничений.

На уровне данных/пикселей объединялись: (i) RGB как базовый эталон визуального контроля и оценки стресса; (ii) HSIкак многомерные данные, несущие главным образом биохимическую информацию о составе пигментов; (iii) ChlF как высококонтрастные функциональные сведения о фотосинтезе. Основные задачи исследования:

1. Исследовать влияние выбора опорного изображения многодоменного подхода на качество регистрации.

2. Оценить распространённые автоматические алгоритмы, включая признаковый ORB и фазовую корреляцию преобразования Фурье, и предложить новый подход на основе NCC.

3. Изучить влияние смены кадра/длины волны подвижного и опорного изображения на эффективность регистрации.

4. Создать конвейер обработки данных для исследования синергетической информации многодоменной визуализации в высокопроизводительных системах фенотипирования.

Примечание: подробное описание параметров методов приведено в дополнительной информации SI.1.

Продемонстрирована регистрация данных RGB, HSI и кинетики ChlF (рисунок 1) и изучено влияние выбора целевых данных, алгоритма и кадра на эффективность.

Создан конвейер сбора данных (SI.2), преобразующий изображения сенсорной системы HAIP BlackBox V2 (рисунок 1), включающей HSI с линейным push-broom-сканером в диапазоне VIS–NIR 500–1000 нм и слегка наклонённую RGB-камеру, к системе ChlF PhenoVation Plant Explorer XS, регистрирующей параметры флуоресценции и изображения отражения в красном и дальнем красном диапазонах.

Основные сложности — управление мультимодальными данными и большое число степеней свободы: сдвиг, вращение, масштабирование и сдвиговое искажение, а также потенциальные нелинейные эффекты (таблица 2). Положение многолуночных планшетов под ChlF-камерой было постоянным, но под RGB/HSI-системой их лишь приблизительно ориентировали одинаково. Пиксельно точная регистрация нескольких объектов одной глобальной матрицей особенно сложна, поскольку матрица должна правильно оцениваться во всех подобластях.

Задача ограничена аффинным преобразованием из-за высокой вычислительной скорости, обратимости, вероятной устойчивости вследствие меньшего числа параметров и минимального изменения исходных данных. Для устранения нелинейных эффектов, вызванных несовершенным выравниванием оптического пути, дисторсией объектива или геометрическим искажением push-broom-сканера при рассогласовании строк, выполнена калибровка камер.

¹ Нормировано на число пикселей датчика. Нормированная ошибка = ошибка калибровки × 1000/√(размер изображения), по Stumpe et al. (2024). Кадры калибровки: RGB — составное серое изображение; HSI — отражение в дальнем красном 728–768 нм; ChlF — отражение при 730 нм.

После калибровки средняя ошибка репроекции находилась в субпиксельном диапазоне: нормированные ошибки RGB и ChlF составили 0,31 ± 0,18 и 0,26 ± 0,12. Для HSI по 25 калибровочным изображениям ошибка была несколько выше — 2,07 ± 1,04, что объясняется меньшим отношением сигнал/шум, несовершенной фокусировкой, усреднением интенсивности нескольких кадров и особенностями линейного сканирования.

Первый шаг RGB/HSI/ChlF-регистрации — выбор сенсорной системы в качестве опорного/целевого изображения. Предполагается, что матрицу можно оценить по одному кадру каждого датчика, а затем применить ко всему стеку, хотя для HSI это не всегда верно из-за хроматических аберраций. Для оценки ненапряжённых и стрессовых фенотипов использовали вручную аннотированный тестовый набор из 15 троек изображений A. thaliana (таблица 3).

Применили POC и оценили NCC и коэффициент перекрытия бинарных объектов после преобразования выпуклой оболочки ORConvex (либо OR для невыпуклых объектов; см. «Методы»). Наибольшие NCC — 0,84 ± 0,03 для RGB→ChlF и 0,92 ± 0,01 для HSI→ChlF — при малой дисперсии, а также ORConvex 96,6 ± 1,5% и 90,9 ± 4,1% получены при преобразовании к ChlF. Поэтому ChlF выбрана опорной системой.

После выбора опорных данных исследовали алгоритмы (таблицы 4 и 5). Признаковые ORB и ORB+ECC при максимуме 1000 признаков требовали минимального времени, но при RGB→ChlF дали на полном наборе наибольшие доли полного отказа TF: 31,0% и 29,0%. Поскольку параметризация важна [16], добавлены ORB с увеличенным максимумом признаков и его вариант с ECC. При HSI→ChlF ни один алгоритм не дал полного отказа. POC+ECC и настроенный ORB+ECC для RGB→ChlF, а ORB+ECC для HSI→ChlF достигали максимальных OR и ORConvex. Алгоритм с максимальным OR зависел от файла и одновременно давал максимальную NCC. Частотные методы устойчивы к шуму, но чувствительны к похожим структурам и нелинейным деформациям [15]; признаковые методы зависят от обнаружения соответствий. Поэтому протестирован NCC-адаптивный выбор метода с максимальной NCC для каждого файла. Хотя время примерно удвоилось, на тестовом наборе ORConvex повысился до 98,8 ± 1,6% для RGB–ChlF и 94,3 ± 2,8% для HSI–ChlF. Минимальная дисперсия указывала на устойчивость и отсутствие полного отказа. Дополнительно отслеживалось среднее отклонение координат центроидов/середин ΔMP и ΔMPConvex вручную сегментированных данных.

Примечание к таблицам 4–5: кадры метрик — составное серое RGB, отражение HSI 740–760 нм и отражение ChlF 730 нм. Среднее ± стандартное отклонение.

Наибольшая NCC 0,91 ± 0,03 при RGB→ChlF получена для красного канала и составного серого RGB относительно красного отражения ChlF (таблица 6). При HSI→ChlF дальнее красное и NIR-отражение HSI дали максимальную NCC 0,94 ± 0,01 при преобразовании к дальнему красному отражению ChlF (таблица 7). Однако максимальный ORConvex получен для зелёного RGB — 97,6 ± 1,6% — и зелёного отражения HSI — 95,7 ± 1,9% — относительно излучения ChlF, несмотря на низкие NCC 0,31 ± 0,07 и 0,41 ± 0,12. Это представляет истинную междоменную регистрацию. На полном наборе соответствующие TF составили 10% и 13,6%.

Для визуализации тестовых результатов создано псевдо-RGB: бинарная маска RGB использовалась как синий канал, HSI— как зелёный, ChlF — как красный (рисунок 3). Качество было выше в центре изображения. На полном наборе регистрация зелёного RGB и зелёного отражения HSI к дальнему красному ChlF имела TF 0,0%; NCC равнялись 0,84 ± 0,03 и 0,87 ± 0,03. Фиксированное положение планшета под ChlF позволяло отслеживать изменения во времени. На поздних сроках (>7 DAT) наблюдались лишь небольшие отклонения по краям листьев, обусловленные движением за время примерно пятиминутной съёмки, транспортировкой или недостаточным масштабированием HSI из-за низкой контрастности. Симптомы стресса у показанного контрольного растения на 21 DAT могут отражать ограничения длительности культивирования или неконтролируемый тепловой стресс/дефицит питания; пример служит только демонстрацией регистрации.

Оптимизированный для A. thaliana NCC-адаптивный подход применили к листовым дискам высоковосприимчивого к чёрной пятнистости сорта розы ‘Pariser Charme’ [27–29]. Преобразование зелёного RGB и зелёного HSI к флуоресценции ChlF, лучшее для A. thaliana, полностью отказало. Напротив, регистрация зелёного RGB и зелёного отражения HSI к дальнему красному отражению ChlF обеспечила почти субпиксельную точность: RGB→ChlF ΔMP = 1,41 ± 1,00, ORConvex= 98,4 ± 0,3%; HSI→ChlF ΔMP = 2,09 ± 1,20, ORConvex = 96,8 ± 0,4%. На полном наборе TF = 0,0%, NCC = 0,83 ± 0,01 и 0,90 ± 0,01. Улучшение в центре было особенно заметно для HSI→ChlF. Успешная регистрация позволила мультимодально наблюдать инокуляцию D. rosae; предварительные результаты показали ранний ответ параметров ChlF на 4-е сутки после инокуляции (DPI 4), без заметного рассогласования.

Систематически исследованы факторы эффективности многодоменной регистрации. Хотя ChlF-камера предоставляет кадры отражения, подход не ограничивался регистрацией флуоресцентных изображений. Он успешно совмещает данные датчиков, различающихся углом съёмки, длинами волн освещения/детектирования и характеристиками детектора. Потенциальных факторов оптимизации много; рассмотрены выбор опорной системы, метод и кадр RGB/HSI/ChlF, но не включены перспективные предобработка и взаимная информация. Ранее изучались масштабирование для фазовой корреляции [15] и предобработка для признаковой регистрации [16]. Количественная оценка пиксельно точной автоматической мультимодальной регистрации сложна, поскольку не существует универсальной метрики, оптимизация которой гарантирует успех. Ручная разметка тестовых данных также зависит от качества: проецируемая площадь растения по HSI была около 120%, а по RGB — 101% от площади ChlF. Различия представления сцены и разрешения влияют на точность. Поэтому OR и ΔMP дополнительно рассчитывали по выпуклым оболочкам (ORConvex, ΔMPConvex), уменьшая влияние неразмеченных мелких структур; OR относили к меньшей площади двух систем, так как пересечение не может её превышать.

NCC выбрана как метрика сходства за устойчивость и инвариантность к интенсивности и контрасту в одномодальной регистрации. В мультимодальном случае линейная связь интенсивностей часто отсутствует, но границы структур могут сохранять относительную корреляцию. При ChlF как опоре POC хорошо работала для RGB–ChlF и HSI–ChlF. Несмотря на большую NCC, ORConvex HSI→ChlF около 91% был ниже RGB→ChlF около 97%, что частично связано с меньшим разрешением/контрастом HSI и более чем шестикратно большей нормированной ошибкой репроекции — 2,07 ± 1,04 против 0,31 ± 0,18 пикселя.

Для RGB→ChlF POC+ECC сочетала устойчивость (TF 0%), скорость 2,11 ± 0,05 с и точность ORConvex 96,7 ± 1,7%. NCC-адаптивный подход повысил ORConvex до 96,8 ± 1,6%, но увеличил время до 40,13 ± 1,57 с. На полном наборе он выбирал настроенный ORB+ECC в 59,3%, ORB+ECC в 20%, POC+ECC в 17,1%. Для HSI→ChlF ORB+ECC был оптимальным: TF 0%, 0,15 ± 0,02 с, ORConvex 94,3 ± 2,8%. NCC-адаптивный подход не превзошёл его, поскольку выбирал ORB+ECC в 86,6% тестовых случаев; на полном наборе — ORB+ECC в 77,1%, настроенный ORB+ECC в 15,7% и POC+ECC в 7,1%.

Влияние отдельного кадра ранее подробно не исследовалось. Близкие длины волн давали максимальные NCC: красный RGB около 700 нм против отражения ChlF около 660 нм; HSI 740–760 нм против ChlF 730 нм. Зелёный RGB немного улучшал тестовое качество относительно составного серого. Зелёное отражение HSI давало лучший OR/ORConvex, чем красное, дальнее красное или NIR, при целевом ChlF 730 нм. Наивысшие OR и ORConvex в обеих регистрациях получены при зелёном отражении RGB/HSI к флуоресцентному изображению ChlF с длительно интегрированным Fm. Возможная причина — различия отношения сигнал(растение)/шум(фон): RGB G>R>B; HSI FR>G>R; ChlF ChlF≫FR≫R. Для повышения устойчивости требуется анализ файлов с TF 10% и 13,6%.

Применение к листовым дискам подтвердило обобщаемость. Простая круглая форма облегчает оценку; зелёный RGBили HSI к дальнему красному ChlF дали почти пиксельно точное совмещение. Низкая эффективность при целевой флуоресценции частично объясняется пространственной неоднородностью, зависящей от инокуляции. Впервые показано резкое падение флуоресценции после инокуляции Rosa spp. с симптомами уже на DPI 4. Поскольку споры получали с полевых роз, неизвестно, вызваны ли симптомы исключительно D. rosae; необходимы генетическая идентификация или микроскопия. Предварительные данные следует отдельно валидировать как инструмент количественной оценки толерантности/устойчивости генотипов роз.

Большинство известных подходов [18] объединяют один объект. Здесь высокопроизводительное фенотипирование расширено на одновременный сбор нескольких объектов. Одна глобальная матрица должна быть верна для всех областей, а качество снижалось к краям, вероятно из-за остаточных нелинейностей после калибровки. Разбиение по центроидам объектов ограничивает нелинейности областью интереса. Точная вторая стадия улучшила обе регистрации и оба набора (таблицы 10–11). Для A. thaliana разделение усложняется после 3–4 недель из-за перекрытия растений. Лучший подход дал общий ORConvex 97,3% для A. thaliana и 98,6% для Rosa × hybrida; точная стадия повысила среднее на 1,0% и 0,3%. Дополнительное повышение возможно посредством снижения ошибки репроекции, например деконволюцией HSI [31], либо неупругим преобразованием на точной стадии.

* Как в соответствующих таблицах 5–8, но усреднение выполнялось по изображениям отдельных объектов, а не по планшетам с 12 объектами. NCC-адаптивный подход, ChlF — целевая регистрация; среднее ± SD.

Продемонстрирована успешная мультимодальная регистрация RGB/HSI/ChlF с точностью в отдельных случаях до одного пикселя, соответствующего площади 0,01 мм². Это обеспечивает: (i) высокопроизводительное многомерное фенотипирование A. thaliana по различным абиотическим стрессам совместно с модифицированным PhenoWell®; (ii) систематическое исследование соотношений интенсивности RGB/HSI/ChlF корреляционным анализом; (iii) изучение моделей ML с повышенной перекрёстной чувствительностью посредством слияния данных; а также исследование оптических признаков инокуляции D. rosae и их применение в автоматическом фенотипировании. Последнее может дать данные для полногеномных ассоциативных исследований и поиска генов устойчивости к чёрной пятнистости. Слияние мультисенсорных данных способно выявлять новые индикаторы стрессового состояния, повышать перекрёстную специфичность обнаружения одиночных и комбинированных стрессов и раскрывать физиологические причины взаимодействий растение–патоген.

На основе Li et al. (2023) [5] разработана и испытана модификация PhenoWell®. Вкладыши для многолуночных планшетов напечатали на заказ из полипропилена методом multi-jet fusion (HP 3D HR PP, BASF, Германия), обеспечивающим химическую стойкость, низкое водопоглощение и автоклавируемость (рисунок 8). Планшет имел 12 лунок объёмом 4,77 см³. Их заполняли смесью торфа и перлита 9:1 (об./об.) и уплотняли 3D-печатной ответной деталью, выступавшей в лунку на 3 мм, для однородного заполнения. Подготовлено 35 планшетов.

Хранившиеся при 4 °C семена Arabidopsis thaliana Col-0 высевали с избытком в каждую лунку и проращивали, добавляя 3 мл деионизованной воды в 25 вкладышей 12-луночных планшетов Falcon® (neoLab Migge GmbH, Гейдельберг), заполненных субстратом. Крышки снимали на 7-е сутки после посева (DAS 7). Растения выращивали при 21 °C под белыми LED-панелями 100 мкмоль·м⁻²·с⁻¹ (GreenPower LED research module white, Philips) при 12-часовом фотопериоде. На DAS 7 лишние проростки удаляли; на DAS 10 применяли стрессовые обработки, что определяло DAT 0. Каждые два дня определяли массу планшета и индивидуально дозировали воду согласно варианту: контроль WHC=80%, избыток воды WHC=100%, засуха WHC=50%, NaCl 50 мМ, CuSO₄ 200 мкМ. После DAT 0 проростки выращивали три недели до DAS31/DAT 21 при относительной влажности 40%.

Свежеразвернувшиеся листья быстро дезинфицировали 50% этанолом и промывали деионизованной водой. Из сорта ‘Pariser Charme’ вырезали диски пробочным сверлом 16 мм. Среда: 0,5% растительный агар (мас./об., Duchefa), 0,003% бензимидазол и 0,5% активированный уголь. После автоклавирования в лунки вносили по 6 мл. D. rosae получали суспензионной культурой микроспор с полевых растений того же сорта и размножали на восприимчивых листьях [28]. Диски инокулировали деионизованной H₂O либо суспензией 50 000, 100 000 или 200 000 конидий/мл, нанося каплю 10 мкл. Через два дня каплю удаляли бумажным полотенцем (DPI 2). Для предотвращения зеркальных бликов при съёмке использовали модифицированный PLA-вкладыш тех же размеров как маску.

Съёмку A. thaliana выполняли на DAT 0, 3, 7, 14 и 21, Rosa × hybrida — на DPI 2, 4, 6, 8 и 10; регистрировали RGB, HSI и ChlF. Планшеты темноадаптировали не менее 25 минут для измерения кинетики ChlF системой PlantExplorer XS(PhenoVation B.V., Нидерланды), разрешение 2240 × 2240 пикселей. Протокол включал темноадаптированные F₀ и FM, светоадаптированные F₀′, Fs′ и FM′, отражение R660nm и R730nm. Световую адаптацию обеспечивали актиничным светом синих LED, максимум 450 нм, 100 мкмоль·м⁻²·с⁻¹ в течение 180 с; рабочее расстояние — 270 мм.

Сразу после ChlF получали HSI и RGB внутренней сканирующей push-broom-системой BlackBox V2 (HAIP Solutions) с объективом переменного фокуса 12 мм Azure. HSI-куб имел 1080 × 1080 пикселей, шаг 2 нм и 250 каналов 500–1000 нм. RGB получали тем же устройством при исходном разрешении 2688 × 1512 пикселей и объективе 16 мм; заводская настройка обрезала данные до 1410 × 1410 для совпадения поля зрения HSI. Рабочее расстояние — 470 мм.

Для единообразного чтения и обработки создана библиотека Python [32] на основе NumPy и OpenCV. Она читает мультисенсорные данные, выполняет баланс белого RGB/HSI и рассчитывает параметры ChlF, включая NPQ, ETR и ΦPSII. Для коррекции искажений каждым датчиком снимали 25 изображений шахматной доски 14 × 9 с квадратами 5 мм. Внутренние параметры рассчитывали реализацией метода Zhang (2000) [33] в OpenCV при одной фокальной плоскости и одном наблюдателе для каждой системы.

Для регистрации использовали разные алгоритмы и кадры/длины волн. Помимо статического кадрирования ChlF с 2240 × 2240 до 1080 × 1080 вокруг центра, дополнительную предобработку не применяли, кроме указанной в SI.1. Все подходы ограничивали аффинными преобразованиями (SI.2). Для демонстрации синергии рассчитывали параметры ChlF и вегетационные индексы по литературным формулам; точные уравнения приведены в SI.3.

Для оценки каждого датчика случайно выбрали 15 изображений разных сроков (таблица 3) и вручную разметили площадь через Roboflow© [34]: составное серое RGB, кадр HSI 730 нм и дальнее красное отражение ChlF около 730 нм. Получено по 15 троек для каждого вида, каждая с 12 повторностями растений.

Для одного датчика теоретически возможно пиксельно точное совмещение, если пренебречь калибровочной ошибкой. Для многодоменных данных разное качество, например низкое пространственное разрешение HSI, осложняет оценку. Разработаны метрики, минимизирующие ошибку аннотирования. NCC рассчитывали по формуле 1. Коэффициент перекрытия бинарных изображений A и C (либо B и C) описывает пересечение выходов двух датчиков, делённое на меньшую проецируемую площадь (формула 2). ORConvex учитывает качество разметки через выпуклые представления объектов (формула 3). Отклонение центров масс ΔMP и выпуклых объектов ΔMPConvex рассчитывали по формулам 4–5. Помимо метрик тестового набора, долю полного отказа, то есть физически необоснованного преобразования по ручной оценке трёх изображений, определяли по формуле 6.

NCC = Σ[(I_A − Ī_A)(I_B − Ī_B)] / √(Σ(I_A − Ī_A)² · Σ(I_B − Ī_B)²) (1)

OR = (A ∩ C) / min(A, C) × 100 (2)

ORConvex = (AConvex ∩ CConvex) / min(AConvex, CConvex) × 100 (3)

ΔMP = (1/N) Σⁿ₀ |Centroid(A,N) − Centroid(C,N)| (4)

ΔMPConvex = (1/N) Σⁿ₀ |Centroid(AConvex,N) − Centroid(CConvex,N)| (5)

TF rate = TF / NFullset × 100 (6)

N — число бинарных объектов; TF — полный отказ регистрации; NFullset — число зарегистрированных изображений.

Онлайн-версия содержит дополнительные материалы по адресу https://doi.org/10.1186/s13007-024-01296-y. Материал 1 (PDF): параметры использованных методов регистрации. Материал 2 (PNG): блок-схема чтения мультимодальных данных и конвейера регистрации; библиотека доступна по адресу https://github.com/halube/HyperKorReader. Материал 3 (PDF): формулы представленных вегетационных индексов и рассчитанных параметров флуоресценции хлорофилла.

Авторы благодарят Pascal Schürmann за помощь в сборе многомерных данных. Также выражается благодарность Министерству науки и культуры Нижней Саксонии за финансирование ресурсами программы опережающего развития Нижней Саксонии фонда Volkswagen «zukunft.niedersachsen».

Планирование исследования: H.B., I.W., T.D., D.H.; методология: H.B., M.Z., D.H., T.L.; предоставление материалов: H.B., I.W., M.D., M.L., T.D.; эксперименты и сбор данных: H.B., I.W., M.Z.; анализ данных: H.B., M.Z., D.H., T.L.; написание первоначального варианта: H.B.; рецензирование и редактирование: H.B., I.W., M.D., M.L., T.D., M.L., T.D., D.H. Все авторы рассмотрели и одобрили окончательную версию к публикации.

Открытый доступ профинансирован и организован Projekt DEAL. Работа финансировалась Министерством науки и культуры Нижней Саксонии в рамках инициативы «zukunft.niedersachsen» (проект ZN4069). Вклад T.L. и D.H. также финансировался Немецким исследовательским обществом (DFG) в рамках Стратегии совершенства Германии, кластер PhoenixD (EXC 2122, проект 390833453).

Библиотека Python доступна в открытом репозитории https://github.com/halube/HyperKorReader. Дополнительная информация преимущественно содержит иллюстрации и таблицы к методам. Наборы изображений биологических экспериментов доступны у автора для корреспонденции по обоснованному запросу.

Одобрение этического комитета и согласие на участие: не применимо.

Конкурирующие интересы: авторы заявляют об отсутствии конкурирующих интересов.

¹ Институт систем садоводческого производства, отдел фитофотоники, Ганноверский университет имени Лейбница, Herrenhäuser Str. 2, 30419 Ганновер, Германия. ² Ганноверский центр оптических технологий, Ганноверский университет имени Лейбница, Nienburger Straße 17, 30167 Ганновер, Германия. ³ Кластер совершенства PhoenixD, Ганноверский университет имени Лейбница, Welfengarten 1a, 30167 Ганновер, Германия. ⁴ Институт генетики растений, отдел молекулярной селекции растений, Ганноверский университет имени Лейбница, Herrenhäuser Str. 2, 30419 Ганновер, Германия.

Получено: 20 сентября 2024 г. / Принято: 28 октября 2024 г.

1. Berger K, Machwitz M, Kycko M, Kefauver SC, Van Wittenberghe S, Gerhards M, Verrelst J, Atzberger C, Van der Tol C, Damm A, Rascher U. Multi-sensor spectral synergies for crop stress detection and monitoring in the optical domain: a review. Remote Sens Environ. 2022;280:113198.

2. Mahlein AK. Plant disease detection by imaging sensors—parallels and specific demands for precision agriculture and plant phenotyping. Plant Dis. 2016;100(2):241–51.

3. Araus JL, Kefauver SC, Zaman-Allah M, Olsen MS, Cairns JE. Translating high-throughput phenotyping into genetic gain. Trends Plant Sci. 2018;23(5):451–66.

4. Fiorani F, Schurr U. Future scenarios for plant phenotyping. Annu Rev Plant Biol. 2013;64(1):267–91.

5. Li J, Mintgen MA, D’Haeyer S, Helfer A, Nelissen H, Inzé D, Dhondt S. PhenoWell®—A novel screening system for soil-grown plants. Plant-Environ Interact. 2023;4(2):55–69.

6. Reynolds D, Baret F, Welcker C, Bostrom A, Ball J, Cellini F, et al. What is cost-efficient phenotyping? Optimizing costs for different scenarios. Plant Sci. 2019;282:14–22.

7. Ribes M, Russias G, Tregoat D, Fournier A. Towards low-cost hyperspectral single-pixel imaging for plant phenotyping. Sensors. 2020;20(4):1132.

8. Xie Y, Plett D, Evans M, Garrard T, Butt M, Clarke K, Liu H. Hyperspectral imaging detects biological stress of wheat for early diagnosis of crown rot disease. Comput Electron Agric. 2024;217:108571.

9. Zubler AV, Yoon JY. Proximal methods for plant stress detection using optical sensors and machine learning. Biosensors. 2020;10(12):193.

10. Moshou D, Bravo C, Oberti R, West J, Bodria L, McCartney A, Ramon H. Plant disease detection based on data fusion of hyper-spectral and multi-spectral fluorescence imaging using Kohonen maps. Real-Time Imaging. 2005;11(2):75–83.

11. Henke M, Junker A, Neumann K, Altmann T, Gladilin E. Comparison and extension of three methods for automated registration of multimodal plant images. Plant Methods. 2019;15:1–5.

12. Cucho-Padin G, Rinza J, Ninanya J, Loayza H, Quiroz R, Ramírez DA. Development of an open-source thermal image processing software for improving irrigation management in potato crops. Sensors. 2020;20(2):472.

13. Yang W, Wang X, Wheaton A, Cooley N, Moran B. Automatic optical and IR image fusion for plant water stress analysis. 12th International Conference on Information Fusion. IEEE; 2009. pp. 1053–1059.

14. Qiu R, Miao Y, Zhang M, Li H. Detection of the 3D temperature characteristics of maize under water stress using thermal and RGB-D cameras. Comput Electron Agric. 2021;191:106551.

15. Henke M, Junker A, Neumann K, Altmann T, Gladilin E. Automated alignment of multi-modal plant images using integrative phase correlation approach. Front Plant Sci. 2018;9:1519.

16. Henke M, Junker A, Neumann K, Altmann T, Gladilin E. Comparison of feature point detectors for multimodal image registration in plant phenotyping. PLoS One. 2019;14(9):e0221203.

17. Liu H, Lee SH, Chahl JS. Registration of multispectral 3D points for plant inspection. Precision Agric. 2018;19:513–36.

18. Stumpe E, Bodner G, Flagiello F, Zeppelzauer M. 3D Multimodal Image Registration for Plant Phenotyping. arXiv:2407.02946. 2024.

19. Reddy BS, Chatterji BN. An FFT-based technique for translation, rotation, and scale-invariant image registration. IEEE Trans Image Process. 1996;5(8):1266–71.

20. Takita K, Aoki T, Sasaki Y, Higuchi T, Kobayashi K. High-accuracy subpixel image registration based on phase-only correlation. IEICE Trans Fundamentals. 2003;86(8):1925–34.

21. Fischler MA, Bolles RC. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Commun ACM. 1981;24(6):381–95.

22. Torr PH, Zisserman A. MLESAC: a new robust estimator with application to estimating image geometry. Comput Vis Image Underst. 2000;78(1):138–56.

23. Evangelidis GD, Psarakis EZ. Parametric image alignment using enhanced correlation coefficient maximization. IEEE Trans Pattern Anal Mach Intell. 2008;30(10):1858–65.

24. Henke M, Junker A, Neumann K, Altmann T, Gladilin E. A two-step registration-classification approach to automated segmentation of multimodal images for high-throughput greenhouse plant phenotyping. Plant Methods. 2020;16(1):95.

25. Sharma N, Banerjee BP, Hayden M, Kant S. An Open-Source Package for Thermal and Multispectral Image Analysis for Plants in glasshouse. Plants. 2023;12(2):317.

26. Ri Y, Fujimoto H. Drift-free motion estimation from video images using phase correlation and linear optimization. 2018.

27. Rublee E, Rabaud V, Konolige K, Bradski G. ORB: An efficient alternative to SIFT or SURF. International Conference on Computer Vision. 2011. pp. 2564–2571.

28. Neu E, Domes HS, Menz I, Kaufmann H, Linde M, Debener T. Interaction of roses with a biotrophic and a hemibiotrophic leaf pathogen leads to differences in defense transcriptome activation. Plant Mol Biol. 2019;99:299–316.

29. Blechert O, Debener T. Morphological characterization of the interaction between Diplocarpon rosae and various rose species. Plant Pathol. 2005;54(1):82–90.

30. Debener T, Drewes-Alvarez R, Rockstroh K. Identification of five physiological races of blackspot, Diplocarpon rosae, Wolf on roses. Plant Breeding. 1998;117(3):267–70.

31. Zabic M, Reifenrath M, Wegener C, Bethge H, Landes T, Rudorf S, Heinemann D. Point spread function estimation with computed wavefronts for deconvolution of hyperspectral imaging data. Research article in preparation. Unpublished. 2024.

32. Bethge H. Automated image registration of RGB, hyperspectral and Chlorophyll fluorescence imaging data. https://github.com/halube/HyperKorReader. Accessed 17 Sep 2024.

33. Zhang Z. A flexible new technique for camera calibration. IEEE Trans Pattern Anal Mach Intell. 2000;22(11):1330–4.

34. Dwyer B, Nelson J, Solawetz J. Roboflow (v1.0). 2022. https://roboflow.com. Accessed 19 Aug 2024.

Примечание издателя: Springer Nature сохраняет нейтралитет в отношении юрисдикционных притязаний, отражённых на опубликованных картах и в институциональной принадлежности авторов.

© Авторы, 2024. Статья открытого доступа распространяется по международной лицензии Creative Commons Attribution 4.0, допускающей использование, распространение и адаптацию при надлежащем указании авторов и источника, ссылке на лицензию и обозначении изменений. Материалы третьих сторон включены в лицензию, если иное не указано; в противном случае необходимо разрешение правообладателя. https://creativecommons.org/licenses/by/4.0/