Научный перевод-изложение исследования Bethge H. L. и соавт. | Plant Methods, 2024, 20:175 | DOI: 10.1186/s13007-024-01296-y

Оригинальное название: Automated image registration of RGB, hyperspectral and chlorophyll fluorescence imaging data.

Ранняя и специфичная диагностика биотических и абиотических стрессов растений, включая их одновременное действие, требует объединения комплементарных измерений. RGB-визуализация характеризует внешние признаки, гиперспектральная съёмка (HSI) предоставляет многомерную спектральную информацию, а визуализация флуоресценции хлорофилла (ChlF) отражает функциональное состояние фотосинтетического аппарата. Для совместного попиксельного анализа необходимо геометрически совмещать изображения с различными спектральными и пространственными характеристиками.

Авторы сравнили методы автоматической регистрации, выбор опорного изображения и спектрального канала, а также предложили адаптивный выбор алгоритма по нормированной взаимной корреляции (NCC). После двухэтапной регистрации (грубой глобальной и уточняющей для отдельных объектов) степень перекрытия выпуклых контуров на тестовом наборе Arabidopsis thaliana достигала 98,0 ± 2,3% для RGB→ChlF и 96,6 ± 4,2% для HSI→ChlF; для Rosa × hybrida — соответственно 98,9 ± 0,5% и 98,3 ± 1,3%. Эти показатели относятся к геометрическому совмещению, а не к диагностической точности классификаторов.

Ключевые слова: мультимодальная регистрация; высокопроизводительное фенотипирование; RGB; гиперспектральная визуализация; флуоресценция хлорофилла; слияние сенсорных данных; аффинное преобразование.

Одномодальные методы зачастую измеряют косвенные и недостаточно специфичные маркеры стресса. Спектральные признаки могут меняться при дефиците воды, засолении, недостатке питательных элементов и заражении патогенами сходным образом. Интеграция изображений RGB, HSI и ChlF увеличивает набор признаков и создаёт предпосылки для разделения стрессовых состояний. Тем не менее сенсоры различаются по геометрии, углу наблюдения, разрешению и природе регистрируемого сигнала. Поэтому изображение одного листа, полученное тремя системами, нельзя просто сложить без пространственной регистрации.

Цель исследования — оценить воспроизводимые алгоритмы с открытыми Python-библиотеками, позволяющие совместить данные на уровне пикселей, и определить оптимальные опорные изображения и каналы. Авторы сравнивают фазовую корреляцию, методы ключевых точек ORB, уточнение ECC и собственную адаптивную схему NCC.

Использовались RGB- и push-broom HSI-съёмка прибором HAIP BlackBox V2 (500–1000 нм), а также визуализация флуоресценции с прибором PhenoVation Plant Explorer XS, регистрирующим кинетические параметры ChlF и отражение красного/дальнего красного света. Объекты — проростки Arabidopsis thaliana в многолуночных планшетах и отделённые листовые диски Rosa × hybrida, инокулированные грибом Diplocarpon rosae, возбудителем чёрной пятнистости.

Примечание: указаны исходные значения погрешностей из таблицы 2 публикации; ошибки приводились авторами также в нормированном виде. Данные от трёх сенсоров различались пространственным разрешением и масштабом.

Рисунок 2. Аппаратные комплексы HAIP BlackBox и Plant Explorer XS, изображения RGB, HSI и ChlF и сопоставление размерности измерений: 3 цветовых канала, 250 спектральных каналов и кинетические флуоресцентные сигналы.

Сформированы 140 троек изображений A. thaliana (15 троек для размеченного тестирования): контроль и воздействия водного избытка, засухи, NaCl 50 мМ и CuSO₄ 200 мкМ. Для листовых дисков розы собраны 69 троек, 15 из которых включены в тестовый набор. Временные точки отсчитывались в днях после обработки (DAT) или инокуляции (DPI).

Использовано аффинное преобразование, включающее перенос, вращение, масштабирование и сдвиг. По сравнению с преобразованиями более высокой степени оно относительно быстро вычисляется, обратимо и вводит меньше оцениваемых параметров. Перед совмещением выполнялась калибровка камер, предназначенная для компенсации оптических и геометрических искажений, в том числе особенностей построчной гиперспектральной съёмки.

Были исследованы фазовая корреляция (POC), POC + ECC, ORB, ORB + ECC, ORB с перенастроенными параметрами и его сочетание с ECC. Предложенный NCC-adaptive подход выполняет несколько вариантов совмещения и выбирает для каждого отдельного файла алгоритм, обеспечивающий наибольшую нормированную взаимную корреляцию. Повышенная устойчивость достигается ценой увеличения вычислительного времени.

Рисунок 3. Выбор опорного сенсора для попиксельной регистрации арабидопсиса: показатели NCC и перекрытия контуров для переходов между RGB, HSI и ChlF. Наиболее подходящим опорным изображением оказалась ChlF.

Эффективность оценивали по NCC, доле полного отказа регистрации (TF), доле перекрытия областей (OR), доле перекрытия их выпуклых оболочек (ORConvex) и расстоянию между центрами сегментированных объектов (ΔMP). ORConvex следует интерпретировать как геометрическое сходство контуров при выбранном способе представления объектов, а не как долю совпадающих спектральных сигналов.

При испытаниях с A. thaliana выбор ChlF как опорной модальности обеспечивал высокие значения NCC и перекрытия. В RGB→ChlF регистрация по исходному ORB отличалась временем около 0,07 с, но полной неудачей в 31% наборов; ORB + ECC — 29%. Настроенные версии ORB и POC не давали полных отказов, но требовали разного времени. Адаптивный алгоритм достигал высокой устойчивости при существенном увеличении времени работы.

Здесь приведены результаты глобальной регистрации до дополнительного уточнения отдельных растений; поэтому они ниже некоторых итоговых значений из аннотации. Важен также выбор спектрального кадра: авторы проверили синий, зелёный, красный и составной серый RGB; в HSI — зелёную, красную, дальнюю красную и ближнюю ИК-области; для ChlF — отражательные каналы и собственно флуоресцентный сигнал.

Рисунок 4. Наглядное сопоставление бинарных масок арабидопсиса после регистрации: RGB — синий, HSI — зелёный, ChlF — красный; белый обозначает совпадение всех трёх масок, промежуточные цвета — попарное перекрытие.

Нередко высокая NCC соответствовала совпадению интенсивностей, но не максимальному пространственному перекрытию. Так, при определённых сочетаниях флуоресцентных и отражательных кадров корреляция оказывалась небольшой, тогда как точность совмещения объектов — высокой. Это подчёркивает необходимость проверять регистрацию по независимым геометрическим метрикам, а не только по NCC.

Одна матрица аффинного преобразования для всего многолуночного планшета даёт неодинаковую точность в центре и на периферии. Для повышения качества после грубой глобальной регистрации авторы выполняли дополнительное локальное совмещение сегментированных отдельных объектов. Такой двухэтапный подход позволял уменьшать локальные расхождения, вызванные отличиями оптики и геометрии съёмки.

Рисунок 1. Результат совмещения RGB-, HSI- и ChlF-данных арабидопсиса и производные карты: NDVI, ARI1, индекс соотношения хлорофилла и каротиноидов (CCI), квантовый выход PSII Fv/Fm и нефотохимическое тушение NPQ. Пример после обработки NaCl 50 мМ.

Рисунок 5. Изменение фенотипических изображений одного растения A. thaliana во времени после воздействия: RGB, NDVI по HSI и ChlF, Fv/Fm, F₀, Fm и NPQ. Обозначение DAT — дни после обработки.

На временных рядах обнаружены небольшие отклонения на краях листьев после первых дней наблюдения. Возможные причины — перемещение листьев во время примерно пятиминутной процедуры, транспортировка образцов между приборами и несовершенная оценка масштаба гиперспектрального кадра. В статье демонстрируется техническая возможность наблюдать одни и те же объекты разными приборами во времени.

Методику испытали на отделённых листовых дисках розы сорта Pariser Charme, восприимчивого к чёрной пятнистости. В опытном варианте диски подвергали инокуляции D. rosae; контроль обрабатывали водой. Использование зелёного канала RGB, отражения HSI 540–560 нм и опорного дальнего красного отражения ChlF 730 нм обеспечивало высокую точность совмещения. В исследовании показано, что перенос оптимальных настроек между биологическими объектами без повторной проверки не всегда успешен.

Рисунок 6. Геометрическое совпадение RGB-, HSI- и ChlF-масок для тестового набора листовых дисков розы, визуализированное цветными пересечениями бинарных масок.

Рисунок 7. Временные ряды контрольных и инфицированных Diplocarpon rosae листовых дисков Rosa × hybrida: изображения RGB, NDVI, Fv/Fm, F₀, Fm и NPQ. DPI — дни после инокуляции.

Флуоресцентные параметры демонстрировали ранний отклик на инокуляцию, отмеченный авторами приблизительно на четвёртый день. Однако основная цель статьи — регистрация мультимодальных изображений; она не представляет отдельную полностью валидированную модель этиологической диагностики инфекции.

Показатели итоговой локально уточнённой регистрации представлены по аннотации оригинальной статьи. Они отличаются от оценок на промежуточных этапах, приведённых в таблицах сравнений алгоритмов. Эти уровни следует сопоставлять только при совпадении определения метрики и этапа обработки.

Рисунок 8. Схематическое устройство модифицированной многолуночной системы PhenoWell для выращивания и измерения растений, использованной в мультимодальном эксперименте.

Применение таких систем особенно перспективно для исследования ранних реакций на стресс в контролируемой среде, сравнения генотипов и построения наборов синхронизированных признаков. Для переноса на другие культуры, более сложную архитектонику растений и новые сенсорные конфигурации необходимы повторная калибровка, проверка каналов и настройка параметров регистрации.

Мультимодальная регистрация остаётся чувствительной к перемещениям образца, деформациям органов, различиям в освещённости, спектральном контрасте, хроматическим аберрациям и геометрии сканирования. NCC не является универсальной оценкой истинного совпадения при разных физических механизмах формирования изображений. Адаптивный перебор методов увеличивает вычислительные затраты и может быть неудобен для потокового анализа в реальном времени.

Исследование подтверждает возможность формирования согласованных попиксельных карт спектральных, морфологических и фотосинтетических параметров, но не демонстрирует автоматически повышение точности дифференциальной диагностики всех биотических и абиотических стрессов. Последующие исследования могут проверить эффективность мультимодального объединения как входа для машинного обучения на независимых биологических наборах.

Комбинация RGB-, гиперспектральных и флуоресцентных измерений способна расширить информативность фенотипирования. Вклад работы Bethge и соавторов состоит в систематическом сравнении методов геометрического совмещения и создании практического автоматизированного подхода к регистрации разнородных изображений. Выбор опорного канала, адаптация алгоритма для конкретного набора данных и локальное уточнение по отдельным растениям обеспечивают высокое перекрытие объектов и позволяют проводить корректный совместный анализ спектральных и физиологических параметров.

Bethge H. L. et al. Automated image registration of RGB, hyperspectral and chlorophyll fluorescence imaging data. Plant Methods. 2024;20:175. DOI: 10.1186/s13007-024-01296-y. Оригинальные рисунки извлечены из предоставленного PDF; подписи переведены и местами сокращены. Настоящий документ — научный перевод-изложение методики и результатов, а не построчный перевод всех 18 страниц и полного списка литературы.