Piyush Pandey 1,2, Kitt G. Payn 2, Yuzhen Lu 3, Austin J. Heine 2, Trevor D. Walker 2, Juan J. Acosta 2 and Sierra Young 1,4

· Department of Biological and Agricultural Engineering, North Carolina State University, Raleigh, NC 27695, USA; ppandey4@ncsu.edu

· Department of Forestry and Environmental Resources, North Carolina State University, Raleigh, NC 27695, USA; kgpayn@ncsu.edu (K.G.P.); ajheine@ncsu.edu (A.J.H.); Trevor_Walker@ncsu.edu (T.D.W.); jacosta@ncsu.edu (J.J.A.)

· Department of Agricultural and Biological Engineering, Mississippi State University, Starkville, MS 39762, USA; yzlu@abe.msstate.edu

· Correspondence: syoung2@ncsu.edu

Pandey, P.; Payn, K.G.; Lu, Y.; Heine, A.J.; Walker, T.D.; Acosta, J.J.; Young, S. Hyperspectral Imaging Combined with Machine Learning for the Detection of Fusiform Rust Disease Incidence in Loblolly Pine Seedlings. *Remote Sens.* 2021, 13, 3595. https://doi.org/10.3390/rs13183595

Академический редактор: Thomas Udelhoven

Получено: 21 июля 2021 г. Принято: 3 сентября 2021 г. Опубликовано: 9 сентября 2021 г.

Примечание издателя: MDPI сохраняет нейтральность в отношении юрисдикционных претензий на опубликованные карты и институциональную принадлежность.

Сосна ладанная (*Pinus taeda* L.) — экономически важный древесный вид в США, ежегодно производится почти 1 млрд сеянцев. Наиболее значимое заболевание, поражающее этот вид, — веретенообразная ржавчина, вызываемая *Cronartium quercum* f. sp. *fusiforme*. Тестирование на устойчивость к болезни в теплице включает искусственную инокуляцию сеянцев с последующей визуальной проверкой заболеваемости. Автоматизированный высокопроизводительный метод фенотипинга мог бы повысить как эффективность, так и точность процесса скрининга на болезнь. В настоящем исследовании изучается использование гиперспектральной визуализации для обнаружения поражённых сеянцев. Был проведён питомниковый опыт, включающий семьи с известными полевыми данными об устойчивости к ржавчине; сеянцы искусственно инокулировали спорами гриба. Гиперспектральные изображения в видимом и ближнем инфракрасном диапазоне (400–1000 нм) собирали через шесть месяцев после инокуляции. Заболеваемость оценивали традиционными методами по наличию или отсутствию видимых ржавчинных галлов на стебле. Сеянцы сегментировали от фона путём пороговой обработки изображений нормализованного разностного вегетационного индекса (NDVI), а выделение отдельных сеянцев достигалось с помощью обнаружения объектов с использованием модели Faster RCNN. Затем части растений сегментировали с использованием модели DeepLabv3+. Обученная модель DeepLabv3+ для семантической сегментации достигла пиксельной точности 0,76 и среднего Intersection over Union (mIoU) 0,62. Пиксели кроны сегментировали с использованием геометрических признаков. Модели дискриминации на основе метода опорных векторов (SVM) были построены для классификации растений на классы больных и не больных по спектральным данным; для сравнения производительности моделей рассчитывали значения сбалансированной точности. Использовались усреднённые спектры от целого растения (сбалансированная точность = 61%), кроны (61%), верхней половины стебля (77%) и нижней половины стебля (62%). Наиболее точной оказалась классификационная модель, построенная по спектральным данным верхней половины стебля; площадь под кривой рабочих характеристик приёмника (AUC) составила 0,83.

Ключевые слова: визуализация растений; компьютерное зрение; лесное хозяйство; дискриминация болезней; гиперспектральная визуализация; фенотипинг растений; машинное обучение

*Pinus taeda* L., широко известная как сосна ладанная, — наиболее важный лесной древесный вид на юге США; её выращивают для получения древесины, строительных пиломатериалов, фанеры и балансовой древесины. Селекционные программы по сосне ладанной сосредоточены на отборе семей по фенотипическим признакам, таким как высота дерева, объём, прямолинейность ствола и устойчивость к болезням [1]. Веретенообразная ржавчина, вызываемая грибом *Cronartium quercum* f. sp. *fusiforme* (Cqf), — распространённое и вредоносное заболевание, поражающее этот вид. Гриб обычно инфицирует стебель молодого дерева, что приводит к образованию опухолевидных наростов, известных как «ржавчинные галлы». Это может привести к гибели дерева или к образованию «ржавчинного куста», который препятствует росту и делает дерево практически непригодным для производства пиломатериалов. Посадка устойчивых к болезни сеянцев — наиболее эффективная стратегия ограничения ущерба, причиняемого этим заболеванием [2].

Оценку устойчивости к веретенообразной ржавчине проводят либо путём полевых испытаний и оценки молодых деревьев [3,4], либо путём искусственной инокуляции сеянцев в контролируемых условиях facility для скрининга ржавчины [5]. Последний подход выгоден тем, что споры гриба наносятся равномерно по всей тестируемой популяции, а заболеваемость можно оценить в течение шести–девяти месяцев после инокуляции. Сеянцы визуально оценивают на наличие или отсутствие ржавчинных галлов (см. рис. 2 слева). Устойчивость к ржавчине на уровне семьи определяется процентом сеянцев с галлами, наблюдённых в каждой семье [6]. Однако, как описано в [7] применительно к различным видам растений, визуальная оценка заболеваемости и тяжести болезни highly субъективна и подвержена человеческим ошибкам, помимо того что это трудоёмкий процесс. Более того, визуальную оценку можно проводить только после периода инфекции, когда симптомы достаточно развились.

Объективный и быстрый метод идентификации болезней с использованием технологии визуализации был бы полезен для облегчения скрининга сеянцев сосны ладанной на болезнь. Гиперспектральная визуализация, которая одновременно получает пространственную и спектральную информацию, успешно применялась для обнаружения болезней и стресса растений у множества видов растений [8–11]. В этих исследованиях раннее начало болезни и стресса обнаруживалось у различных культур с разной степенью успеха. Благодаря наличию как спектральной, так и пространственной информации гиперспектральная визуализация даёт возможность анализировать спектроскопическую информацию на разных пространственных масштабах — от полога растения до органов или тканей. Это было бы полезно для оценки устойчивости к веретенообразной ржавчине, поскольку болезнь приводит к локализованным симптомам, поражая прежде всего стебель и ветви молодых деревьев.

Исходя из локализации видимых симптомов, можно ожидать, что спектральные данные со стеблей сеянцев будут содержать информацию, позволяющую успешно классифицировать растения на больные и не больные группы. С другой стороны, патогены болезней часто могут оказывать сложное воздействие на физиологию растений и влиять на оптические свойства множества частей растения [12]. Это является обоснованием использования спектральных данных как от целого растения, так и от нескольких частей растения, не ограничиваясь частью с видимыми симптомами.

Более контролируемый подход к сбору данных для обнаружения болезней заключается в сборе данных только с той части растения, которая проявляет симптомы болезни. Пример такого подхода можно найти в [13], где авторы использовали гиперспектральную визуализацию для обнаружения *Sclerotinia sclerotiorum* на четырёхмесячных растениях *Brassica*, анализируя данные со стеблей, с которых были удалены листья и ветви. Можно ожидать, что данные, полученные таким целевым методом, повысят точность моделей обнаружения болезней. Однако процесс подготовки образцов снижает пропускную способность визуализации и делает невозможным повторный сбор изображений одних и тех же растений.

Использование гиперспектральных изображений с верхнего вида для обнаружения грибковой инфекции у *Pinus strobiformis* было представлено в [11]. Классификация уровня инфекции основывалась на оценках жизненной силы, и точность классификации оказалась выше для образцов на крайних концах шкалы оценок. Недавно Lu et al. [10] использовали гиперспектральную визуализацию целых растений для оценки морозоустойчивости сеянцев сосны ладанной. Разбиение изображения сеянца на три продольные секции для разработки модели привело к повышению точности по сравнению с моделью, разработанной с использованием изображений сеянцев полной длины. В настоящем исследовании гиперспектральные изображения целых сеянцев собирали in situ, а методы обработки изображений были разработаны для извлечения спектральных данных из конкретных частей растений. Чтобы дополнительно повысить пропускную способность системы, одновременно визуализировали несколько сеянцев, так что один гиперспектральный куб изображения содержал спектральную информацию от пяти–семи сеянцев.

Выбор областей интереса (ROI) — важный этап анализа гиперспектральных изображений, поскольку полученные изображения часто содержат нерелевантные пиксели, которые необходимо удалить. Распространённый подход заключается в выборе одного или нескольких каналов изображения, обеспечивающих подходящий контраст для сегментации ROI. Этот выбор может основываться на предметных знаниях или простом наблюдении. Затем для получения масок сегментации можно использовать пороговую обработку или другие методы обработки изображений. В случае изображений растений вегетационные индексы, такие как нормализованный разностный вегетационный индекс (NDVI), полученный из двух изображений в красной и ближней инфракрасной полосах длин волн, обычно используются для сегментации пикселей растительности [14,15]. Хотя пороговая обработка таких спектральных отношений может быть полезной для сегментации пикселей растительности от фона, последующее разделение сегментированных пикселей растения на разные классы по частям растения является более сложной задачей. Для этой цели исследовались такие методы, как использование эмпирически определённого канала длины волны [16], модели машинного обучения на основе попиксельных спектральных данных [17] и модели глубокого обучения [18].

В настоящем исследовании мы сначала применили порог к NDVI-изображениям для сегментации пикселей растительности. Затем были обучены и использованы модели глубокого обучения на основе свёрточных нейронных сетей (CNN) для семантической сегментации различных частей растений. Мы извлекли изображения Red-Green-Blue (RGB) из гиперспектрального куба изображения и обучили модель семантической сегментации для различения стебля и хвои сеянцев сосны ладанной. Кроме того, модель обнаружения объектов на основе глубокого обучения использовалась для выделения отдельных растений на изображениях, содержащих ряд сеянцев. После извлечения спектральных данных из сегментов растений были обучены классификационные модели на основе метода опорных векторов (SVM) для классификации больных и не больных растений.

В данной статье представлен инновационный метод использования технологии гиперспектральной визуализации для скрининга сеянцев сосны ладанной на заболеваемость веретенообразной ржавчиной с использованием методов глубокого обучения для выделения растений и сегментации частей растений. Методы и результаты, представленные здесь, основаны на гиперспектральных данных, собранных через шесть месяцев после инокуляции спорами гриба, что соответствует типичному времени визуальной оценки симптомов [19]. Конкретные задачи настоящего исследования следующие:

1. Разработка конвейера обработки гиперспектральных изображений для извлечения спектральных данных из конкретных ROI на изображениях сеянцев сосны ладанной;

2. Оценка классификационных моделей SVM для различения больных и не больных сеянцев на основе спектральных данных из конкретных ROI из (1).

Предварительные результаты, приведшие к этой статье, были ранее представлены на Ежегодной международной встрече Американского общества биологических и сельскохозяйственных инженеров 2020 г. [20].

Сеянцы сосны ладанной, оценённые в этом исследовании, были предоставлены Кооперативной программой улучшения деревьев Университета штата Северная Каролина. Популяция сеянцев включала в общей сложности 87 сеянцев, в том числе 84 семьи полусибсов, опылённых общей смесью пыльцы, состоящей из пыльцы 20 неродственных отборов, одну контрольную партию, состоявшую из объединённых семян от 10 материнских деревьев, опылённых ранее описанной смесью пыльцы, и две контрольные партии, каждая из которых состояла из одной семьи свободного опыления.

Сеянцы были посеяны в мае 2019 г. в Северокаролинском университете, Полевой лаборатории садоводства в Роли, Северная Каролина, в контейнеры Ray Leach Super Cell Cone-tainers (Stuewe and Sons, Inc., Tangent, OR, USA). Через два месяца после посева сеянцы были организованы в повторности. Было 60 повторностей, из которых 30 повторностей использовались в этом анализе, каждая с 84 сеянцами, по одному сеянцу на семенную партию (неполноблочный план). Для максимизации совместного появления семьи в каждой строке и столбцовой позиции по повторностям использовался разрешимый ряд-столбец неполноблочный план с использованием программного обеспечения CycDesign [21]. Затем сеянцы были расставлены так, чтобы занималась каждая вторая ячейка (половина ёмкости лотка, что эквивалентно 49 ячейкам), чтобы увеличить пространство для роста каждого сеянца и диаметр корневой шейки. После расстановки каждая повторность состояла из двух лотков, а строка внутри лотка и столбец внутри повторности соответствовали неполным блокам.

В августе 2019 г. сеянцы были искусственно инокулированы в Центре скрининга устойчивости Лесной службы USDA (RSC) в Эшвилле, Северная Каролина. Использовался широкий инокулюм, представляющий прибрежный диапазон развёртывания сосны ладанной. Инокулюм распыляли с плотностью 50 000 спор на миллилитр с использованием контролируемой системы инокуляции базидиоспорами, помещали в камеру влажности, настроенную на оптимальный рост с температурами, идеальными для грибковой инфекции, затем перемещали в теплицы RSC. Через три недели сеянцы были возвращены в Полевую лабораторию садоводства в Роли, Северная Каролина, США.

Гиперспектральные сканирования собирали за одну неделю до инокуляции (середина августа 2019 г.) и с приблизительно месячными интервалами после инокуляции (сентябрь 2019 г. — февраль 2020 г.). Результаты, представленные в этой статье, основаны на гиперспектральных изображениях, собранных в феврале 2020 г. с 2521 сеянца, включённого в этот эксперимент. Время сбора данных соответствует приблизительно шести месяцам после инокуляции, что является типичным временем для визуальной оценки при обычном фенотипинге.

Для сбора гиперспектральных данных в диапазоне от 400 до 1000 нм со спектральным разрешением 1,3 нм использовался линейно-сканирующий гиперспектральный визуализатор (Pika XC2, Resonon Inc., Bozeman, MT, USA). Гиперспектральные кубы изображений имели размеры \(1600 \times n \times 462\), где \(n\) — число линейных сканов, использованных при создании одного куба данных, а 1600 — число пикселей в каждой строке. Скорость ленточного транспортёра и частота кадров визуализатора были откалиброваны для обеспечения надлежащего соотношения сторон в создаваемых изображениях. Визуализатор оставался неподвижным, а лоток, загруженный одним рядом сеянцев, перемещался через поле зрения визуализатора с помощью изготовленной на заказ конвейерной системы, приводимой в движение электродвигателем.

Конвейерная система управлялась с помощью микроконтроллера Arduino, запрограммированного на движение вперёд и назад. Визуализатор запускался с помощью поставляемого производителем программного обеспечения «Spectronon». Лоток с сеянцами загружали пятью–семью сеянцами за один раз для сканирования с бокового вида перед размещением на конвейерной плате. Для дополнительного освещения симметрично размещали галогенные лампы, а в качестве фона использовали серую ткань для облегчения сегментации пикселей растений. Калибровочная мишень (SRT-20-020, Labsphere, Inc., North Sutton, NH, USA) с номинальным отражением 20% сканировалась вместе с сеянцами сосны для стандартизации спектральных данных. Визуализация установки для получения изображений показана на рис. 1.

Визуальные оценки после инокуляции использовались как эталонные данные для классификационных моделей и собирались через 6, 26 и 48 недель после инокуляции. Анализ в данной статье основан на визуальной оценке, проведённой через 26 недель после инокуляции. По наличию или отсутствию ржавчинных галлов или поражений сеянцы оценивались как «больные», «сомнительные» и «не больные». Только сеянцы, отнесённые к больным и не больным, использовались для анализа, представленного в данной статье.

Менее 1% сеянцев (51) показали раннее развитие ржавчинных галлов, которые не были результатом искусственной инокуляции, а вероятно, были вызваны спорами грибов из окружающей среды, учитывая время развития галлов. Заражение из окружающей среды было ожидаемым, поскольку сеянцы не обрабатывались фунгицидами. Эти галлы появлялись у основания сеянцев, тогда как галлы, вызванные искусственной инокуляцией, наблюдались примерно на высоте верхушек растений на момент инокуляции, так что они всегда располагались на верхней половине стебля. Это ожидаемое наблюдение, поскольку сочная ткань, восприимчивая к инфекции базидиоспорами, присутствует вблизи апикальной меристемы в точке инокуляции. Таким образом, можно предположить, что растения с галлами у основания стебля были инфицированы в более раннюю дату, чем дата искусственной инокуляции, и эти растения также были исключены из дискриминационного анализа, представленного в данной статье. Гистограмма распределения оценок сеянцев показана на рис. 2.

Рис. 1. Установка для получения гиперспектральных изображений сеянцев сосны ладанной. Использовался линейно-сканирующий гиперспектральный визуализатор с моторизованным конвейером. Показаны дополнительное освещение галогенными лампами и однотонный фон.

Рис. 2. Слева: стебель инфицированного сеянца через 3 месяца (22 ноября 2019 г.) и через 6 месяцев (24 февраля 2020 г.) после инокуляции. Ржавчинный галл чётко виден на изображении, сделанном через 6 месяцев, справа. Справа: распределение визуальных оценок по наличию или отсутствию ржавчинных галлов на стебле. Результаты основаны на оценке, проведённой через шесть месяцев после инокуляции. N: без признаков болезни; SG: ржавчинный галл на стебле; BG: галл у основания растения; Q: сомнительный.

Сегментация пикселей растений выполнялась путём пороговой обработки изображения нормализованного разностного вегетационного индекса (NDVI), полученного с использованием двух каналов изображения на 705 нм и 750 нм, соответствующих красному краю и ближней инфракрасной области соответственно. Это отношение также называют ND705 в литературе; математическая зависимость, использованная для расчёта, показана в уравнении (1) [22,23].

(I₇₅₀) — интенсивность пикселя на 750 нм;

(I₇₀₅) — интенсивность пикселя на 705 нм.

Пиксели растений на NDVI-изображении сегментировали от фона путём применения эмпирически полученного фиксированного порога 0,1. Начальная сегментация уточнялась путём удаления шумовых пикселей с помощью операции area opening, при которой отфильтровывался любой связный компонент с числом пикселей менее 1000.

Разделение областей изображения, соответствующих отдельным сеянцам сосны, было необходимо для извлечения спектральных данных, связанных с каждым растением. Разделение сеянцев было сложно выполнить из-за вариации высот и ориентаций в сочетании с небольшим перекрытием хвои соседних растений. Надёжным методом оценки числа и местоположения растений на изображении оказалось наличие контейнеров Cone-tainers, в которых выращивались растения. Согласованная форма и размер Cone-tainers делали их подходящими признаками для локализации положения растения с использованием методов компьютерного зрения.

Для этой цели RGB-изображения, извлечённые из гиперспектрального куба изображения, использовались для обучения модели обнаружения и локализации объектов. Длины волн, использованные для красного, зелёного и синего каналов, составляли соответственно 640 нм, 550 нм и 460 нм. Для обнаружения объектов была выбрана архитектура Faster RCNN [24], поскольку это универсальная платформа обнаружения объектов, которая вычислительно эффективна и показала хорошую работу в различных задачах компьютерного зрения. Эта платформа состоит из полностью свёрточной сети (FCN) на основе сети предложений регионов (RPN), которая предсказывает вероятные области изображения, содержащие объект интереса. Предварительно обученная глубокая CNN используется в качестве экстрактора признаков перед развёртыванием RPN в конвейере обнаружения объектов. Выход RPN, представляющий собой набор областей изображения с оценкой «объектности» для каждой области, используется для извлечения векторов признаков, которые в конечном итоге используются для классификации полносвязным слоем. Итоговый выход этой модели состоит из координат ограничивающих рамок и вероятности наличия объекта в каждой ограничивающей рамке.

В настоящем исследовании для обучения использовалась реализация Faster RCNN, доступная в Tensorflow Object Detection API [25,26], с inception v2.0 [27] в качестве базового экстрактора признаков. Для использования преимуществ переноса обучения была выбрана модель, предварительно обученная на наборе данных COCO [28]. Эта модель первоначально была дообучена для обнаружения контейнеров сеянцев сосны с использованием 25 изображений со 155 аннотированными экземплярами Cone-tainers на изображениях. Обучение проводилось с изменением размера изображений до 50% от их размера, со скоростью обучения 0,0002; обучение останавливали после 40 000 шагов. Затем эта обученная модель использовалась для обнаружения Cone-tainers на 100 дополнительных изображениях; обнаруженные ограничивающие рамки при необходимости вручную корректировались, и эти 100 изображений снова использовались в качестве обучающих данных для обучения новой модели. В этом случае обучение останавливали после 50 000 шагов.

Ограничивающие рамки, предсказанные моделью обнаружения объектов, распознающей Cone-tainers, давали местоположение основания сеянцев, но сеянцы не всегда были вертикально ориентированы. Чтобы обеспечить лучшую сегментацию области, занимаемой каждым сеянцем, угол ориентации главного стебля оценивали путём подгонки прямой линии через сегментированные пиксели растения после rudimentary удаления хвои. Цветовой вегетационный индекс [16,29], показанный в уравнении (2), рассчитывали, и для каждого пикселя использовался порог 1,9.

где (CI) — цветовой вегетационный индекс; (R, G) и (B) — интенсивности красного, зелёного и синего каналов соответственно.

Самая верхняя часть хвои сегментировалась на основе горизонтального распространения пикселей. В частности, для выделенной трапециевидной области, содержащей каждый сеянец, получали горизонтальную проекцию, или построчную сумму ненулевых пикселей. Брали верхнюю треть сегментированного растения, а границу пикселей кроны определяли путём нахождения наиболее выраженного пика в значениях горизонтальной проекции. Положение пика определяли с помощью функции `find_peaks`, предоставляемой библиотекой Python SciPy [30]. Конвейер обработки изображений показан на рис. 3.

Рис. 3. Этапы обработки изображений, начиная с гиперспектрального куба изображения (A) и заканчивая масками для отдельных сеянцев с сегментированными пикселями кроны и стебля (I). В процессе 1 изображение NDVI красного края подвергается пороговой обработке для получения бинарной маски (B). Сегментированные пиксели растений получаются после area opening (C), а алгоритм поиска пиков используется для определения границы пикселей кроны (F). В процессе 2 эталон отражения сегментируется для радиометрической калибровки (E). В процессе 3 RGB-изображения (D), извлечённые из гиперспектральных кубов, используются для обучения модели Faster RCNN, применяемой для выделения растений (G,H), и модели DeepLabV3+, применяемой для сегментации стебля (I).

Сегментация стебля выполнялась с использованием DeepLabv3+, которая является итерацией модели DeepLab CNN для семантической сегментации [31]. DeepLabv3+ использует архитектуру кодировщик–декодировщик, где модуль кодировщика состоит из модели Xception [32] в качестве экстрактора признаков. Семейство моделей сегментации DeepLab использует атроусную, или дилатированную, свёртку, в которой используются ядра свёртки с промежутками между значениями. Это приводит к большему полю зрения для ядра без добавления вычислительных затрат, которые возникли бы из-за дополнительных параметров в случае стандартной операции свёртки. DeepLabv3+ специально использует Atrous Spatial Pyramid Pooling (ASPP) для кодирования признаков на разных пространственных масштабах, используя модуль декодировщика для точного оконтуривания границ. Кодировщик создаёт карту признаков, размер которой составляет долю от размера входного изображения, а декодировщик вступает в игру для восстановления карты признаков до исходного размера изображения. Модуль декодировщика модели DeepLabv3+ использует билинейную интерполяцию для апсемплинга в сочетании с операциями свёртки. Читателю следует обратиться к [31] для получения подробностей об архитектуре модели; в настоящем исследовании использовалась модель по умолчанию, доступная в репозитории моделей Tensorflow [33], с пользовательским набором обучающих данных.

Для подготовки обучающих данных выполнялась rudimentary сегментация стебля с помощью процесса пороговой обработки, описанного в разделе 2.4.2. Результат этой сегментации был вручную исправлен с использованием приложения Image Labeler, включённого в Computer Vision Toolbox в Matlab 2019a (Mathworks, Inc., Natick, MA, USA). Этот подход привёл к снижению трудозатрат на разметку, поскольку rudimentary карта меток создавалась алгоритмическим подходом, а ручная работа ограничивалась исправлением этой карты меток.

Точность сегментации стебля с помощью DeepLabv3+ оценивалась с использованием пиксельной точности и среднего Intersection over Union (mIoU). Пиксельную точность можно определить как отношение числа правильно классифицированных пикселей к общему числу пикселей. mIoU — широко используемая метрика для оценки моделей семантической сегментации, и она более устойчива по сравнению с пиксельной точностью в случае несбалансированных размеров классов [34]. mIoU рассчитывали путём усреднения значений Intersection over Union (IoU) по различным классам. Уравнения, использованные для расчёта этих метрик, показаны в уравнениях (3) и (4).

TP — доля истинно положительных;

TN — доля истинно отрицательных;

FP — доля ложноположительных;

FN — доля ложноотрицательных.

Эмпирический метод сегментации калибровочной панели был определён на основе спектральных свойств материала, использованного для заключения стандартного материала. Было обнаружено, что пластиковый корпус стабильно сегментируется при использовании пороговой обработки NDVI, описанной для сегментации пикселей растений в разделе 2.4.1. В результате при пороговой обработке для пикселей растений сегментировалась группа пикселей, напоминающая квадратную форму. Эта информация использовалась для сегментации пикселей эталона отражения. Поскольку одно и то же NDVI-изображение можно было использовать как для сегментации растений, так и для сегментации калибровочной панели, это привело к сокращению вычислений и повышению пропускной способности процесса сегментации. Этапы сегментации калибровочной панели можно увидеть на рис. 3. Для сегментации эталона отражения можно было бы использовать другие подходы — например, используя спектральные свойства материала Spectralon, доступные из калибровки производителя. Подход, использованный в этом исследовании, был принят исключительно для удобства и скорости обработки.

Спектры пикселей в каждом сегментированном ROI усреднялись для получения среднего спектра исходных значений интенсивности. Средний спектр эталона отражения Spectralon (SRT-20-020, Labsphere Inc., North Sutton, NH, USA) сначала использовался для радиометрической коррекции исходных спектров из ROI. Калибровочные данные включали значения отражения от 250 нм до 2500 нм для эталона отражения. Значения в диапазоне от 400 нм до 1000 нм, relevant для этого исследования, были извлечены, и линейная интерполяция использовалась для получения значений отражения для каждой полосы длин волн в гиперспектральных данных сеянцев. Зависимость, использованная для этого расчёта, показана в уравнении (5).

R_ROI — спектр отражения для области интереса растения (ROI);

I_ROI— средние исходные значения интенсивности (т. е. цифровые числа) для ROI растения;

I_S — средние исходные значения интенсивности для стандарта Spectralon;

R_FC — значения отражения для стандарта Spectralon, предоставленные производителем.

Поскольку извлечённый набор данных включал шумные спектры, для удаления выбросов использовался Local Outlier Factor [35] с размером соседства 10. Затем для сглаживания спектров использовался фильтр Савицкого–Голея с размером окна 11 и порядком полинома 3. Размер окна и порядок полинома выбирались для эффективного сглаживания, а также для более высокой точности последующих классификационных моделей. Размерность спектральных данных сохранялась путём подгонки полинома порядка 3 к последнему окну для вычисления значений для дополненного сигнала. Для реализации использовалась функция `savgol_filter`, предоставляемая библиотекой Python SciPy [30]. На рис. 4 показаны обработанные спектры для целого растения, при этом больные и не больные сеянцы различаются на рисунке. Кривые представляют 1708 не больных растений и 653 больных растения по данным визуальной оценки.

Рис. 4. Обработанные спектры, когда в качестве ROI рассматривается целое растение. Больные и не больные сеянцы по данным визуальной оценки различаются. Различия между группами больных и не больных на графике неочевидны, но модели машинного обучения могут выучить тонкие признаки, обеспечивая бинарную дискриминацию.

После извлечения обработанных спектров из каждой области интереса дискриминантный анализ с извлечёнными спектральными данными сводится к задаче многомерной классификации. Однако дисбаланс набора данных между группами больных и не больных (см. рис. 2) сделал его непригодным для прямого применения общего алгоритма классификации, который не учитывает дисбаланс классов. Для проведения дискриминантного анализа с несбалансированными наборами данных доступно несколько методов, включая использование методов обучения с учётом стоимости ошибок, а также оверсэмплинг миноритарного класса или undersampling мажоритарного класса [36,37]. Широко используемым методом оверсэмплинга в сочетании с синтетической генерацией данных для миноритарного класса является Synthetic Minority Oversampling Technique (SMOTE), предложенная в [38]. SMOTE был реализован для нашего набора данных с использованием библиотеки `imbalanced-learn` в Python [39].

В рамках исследования дискриминации с использованием извлечённых спектральных данных модели метода опорных векторов (SVM) с линейным ядром использовались для классификации сеянцев на группы больных и не больных. Линейное ядро было предпочтительным выбором из-за большого числа признаков, как рекомендовано в [40]. Для поиска оптимального значения параметра регуляризации C использовался поиск по сетке с 10-кратной перекрёстной проверкой, где вектор, использованный для пространства поиска, был [0,1, 1, 10, 100, 200, 300, 400, 500, 600, 700, 800, 900, 1000, 10000]. Значения для поиска использовались на основе предварительных тестовых прогонов с обучающим набором. Блок-схема на рис. 5 показывает этапы, выполненные при моделировании SVM в сочетании с оверсэмплингом SMOTE для классификации групп больных и не больных. Данные сначала случайным образом разделяли на обучающий набор (80%) и тестовый набор (20%), обучение проводили с 10-кратной перекрёстной проверкой с включением оверсэмплинга SMOTE, и, наконец, выбранная модель применялась к тестовому набору для прогнозирования.

Рис. 5. Блок-схема, показывающая этапы создания классификационной модели по спектральным данным. SMOTE означает Synthetic Minority Oversampling Technique [38].

Значения сбалансированной точности рассчитывались как метрики оценки для моделей дискриминации. Сбалансированная точность определяется как среднее доли правильно классифицированных образцов по всем классам. В настоящем исследовании сбалансированная точность прогнозной модели даёт среднее точности классификации для групп больных и не больных. Из-за несбалансированного числа образцов по двум классам это более устойчивая и надёжная мера точности по сравнению с простой долей правильно классифицированных образцов. Это также широко используемая метрика для оценки моделей обнаружения болезней растений [41,42]. Для каждого ROI было рассчитано десять значений сбалансированной точности (с 10-кратной перекрёстной проверкой в каждом прогоне), и был проведён однофакторный дисперсионный анализ (ANOVA) с последующими тестами честно значимой разности (HSD) Тьюки при 5% уровне значимости (\(p = 0,05\)) для оценки наличия статистически значимого различия между метриками оценки для разных ROI.

TP — доля истинно положительных;

TN — доля истинно отрицательных.

Обычно используемым инструментом оценки диагностических тестов является кривая рабочих характеристик приёмника (ROC) [43,44]. ROC-кривая — это график зависимости доли истинно положительных результатов от доли ложноположительных результатов. Верхний левый угол этого графика, представляющий 100% истинно положительных и 0% ложноположительных результатов, таким образом, является графиком идеального классификатора. Линия, наклонённая под 45° к положительной оси X, напротив, представляет классификатор без какой-либо дискриминационной способности. Была построена ROC-кривая, и наблюдалась площадь под кривой (AUC) для оптимального ROI, выбранного по сравнению сбалансированных точностей. Значения AUC из ROC-кривой часто используются как метрики для оценки и сравнения бинарных классификаторов [45]. AUC 0,5 представляет модель, эквивалентную случайному угадыванию, тогда как более высокое значение AUC представляет большую дискриминационную способность. Использование ROC-анализа позволяет выбрать подходящий порог с желаемым компромиссом между долей истинно положительных и долей истинно отрицательных результатов диагностического теста, также называемых чувствительностью и специфичностью соответственно. ROC-анализ может быть особенно полезен для экспериментов в фенотипинге растений, поскольку эти эксперименты часто направлены на поиск лучших или худших образцов в популяции, и порог дискриминации можно соответственно скорректировать для оптимальной чувствительности или специфичности. Значения AUC часто использовались как метрика для оценки алгоритмов обнаружения болезней растений, особенно в случае несбалансированных наборов данных [46,47].

В таблице 1 показаны значения пиксельной точности и mIoU для сегментации пикселей стебля и хвои. Значения mIoU 0,69 и 0,62 (при включении и исключении фоновых пикселей соответственно) указывают на модель с приемлемой точностью. Примеры размеченных тестовых изображений в паре с результатами тестирования показаны на рис. 6.

Рис. 6. Пиксели стебля (красный) и пиксели, не относящиеся к стеблю (зелёный), для случайной группы изображений из тестового набора. Для каждого растения левое изображение показывает эталонную разметку, а правое изображение показывает прогноз, полученный моделью DeepLabv3+.

Таблица 1. Значения пиксельной точности и среднего Intersection over Union (mIoU) для сегментации пикселей стебля и хвои с использованием DeepLabv3+.

Оптимальные значения параметров стоимости, найденные с помощью метода поиска по сетке, показаны в таблице 2. Соответствующие значения сбалансированной точности и AUC под ROC-кривой также представлены. Значения сбалансированной точности для обучения были получены путём усреднения сбалансированных точностей, полученных на каждой итерации процесса 10-кратной перекрёстной проверки. Данные, полученные из пикселей стебля, стабильно давали более высокую точность классификации тестового набора.

Таблица 2. Результаты для классификационных моделей для различных ROI. C — параметр регуляризации моделей SVM. Точности для обучающего и тестового наборов являются сбалансированными точностями, где сбалансированная точность для обучения — среднее точностей, полученных при 10-кратной перекрёстной проверке. AUC — площадь под ROC-кривой.

Был проведён попарный множественный сравнительный тест для определения того, значительно ли различаются точности по ROI. Результаты 10-кратной перекрёстной проверки были получены десять раз для каждой области интереса, и после того, как однофакторный ANOVA указал на значительные различия (\(F(4,46) = 3137,46\), \(p = < 0,0001\)), был проведён тест HSD Тьюки. Значимые различия наблюдались для результатов между каждой парой.

Ящичные диаграммы значений сбалансированной точности представлены на рис. 7. При сравнении точностей по различным ROI наблюдается отчётливая и последовательная тенденция: данные из пикселей стебля дают наиболее точные модели, а лучшая модель создаётся с использованием данных из верхней половины стебля.

Рис. 7. Слева: ящичные диаграммы, показывающие сбалансированные точности, полученные с помощью дискриминационных моделей SVM для данных, извлечённых из различных ROI. ST: верхняя половина стебля; S: весь стебель; SB: нижняя половина стебля; WP: целое растение; C: крона. Справа: кривая рабочих характеристик приёмника (ROC) для классификационной модели SVM, использующей спектральные данные из верхней половины стебля, в сравнении с моделями с идеальной и отсутствующей дискриминационной способностью.

Основываясь на значениях сбалансированной точности, для дальнейшего анализа была выбрана модель, использующая пиксели верхней половины стебля. ROC-кривая для модели, основанной на этом ROI, также представлена на рис. 7.

В этой статье мы представляем подход на основе глубокого обучения для сегментации конкретных областей интереса на Vis-NIR изображениях сеянцев сосны ладанной с последующим исследованием дискриминации болезней с использованием гиперспектральных данных, извлечённых из этих ROI. Сегментация ROI на основе признаков, извлечённых из одного или нескольких каналов изображения или их комбинаций, является распространённым методом, использовавшимся в исследованиях с гиперспектральной визуализацией. В дополнение к использованию традиционных методов сегментации, таких как NDVI красного края, использование видимой части Vis-NIR изображений для использования возможностей предварительно обученных моделей глубокого обучения оказалось перспективным подходом для извлечения сложных ROI.

Эксперименты по фенотипингу больших популяций растений с использованием гиперспектральной визуализации имеют компромисс между пропускной способностью сбора данных и сложностью обработки данных. Сбор данных с хорошо подготовленных образцов в контролируемой среде идеален для анализа, но страдает от низкой пропускной способности сбора. В текущем исследовании сбор данных лишь умеренно контролировался в тепличной среде ради повышения пропускной способности. Изображения получали при окружающем освещении с дополнительными галогенными лампами при необходимости, и несколько растений визуализировали вместе в тепличных лотках. В результате последующая обработка изображений требовала нескольких этапов для обработки и извлечения соответствующей информации. Поскольку конвейер обработки данных, однажды разработанный, может многократно использоваться для последующих наборов данных, мы считаем более сложный конвейер обработки данных предпочтительнее низкопропускного сбора данных.

Морфологические симптомы веретенообразной ржавчины видны в виде галлов и поражений на стебле, что делает обнаружение симптомов на изображениях нетривиальным. Логическим выбором ROI для сбора спектральных данных был стебель; однако мы провели исследование с использованием нескольких областей интереса по двум причинам:

1. Успешная дискриминация с использованием спектральных данных целого растения повысила бы эффективность сбора данных, а также снизила бы усилия, необходимые для последующей обработки изображений;

2. Спектральные сигнатуры в ближней инфракрасной области могли бы привести к успешной дискриминации с использованием спектральных данных от пикселей, не относящихся к стеблю, независимо от локализации видимых симптомов.

Сравнение дискриминационных моделей с использованием данных из нескольких ROI показало, что верхняя половина стебля является оптимальным ROI, таким образом устанавливая, что область видимых симптомов действительно должна быть ROI выбора. С этим выводом конвейер обработки изображений, разработанный для сегментации пикселей стебля, будет полезен для будущих экспериментов и анализа.

При использовании моделей глубокого обучения разметка большого числа изображений может требовать значительного времени и усилий, особенно в случае попиксельной разметки для моделей семантической сегментации. В этом исследовании использовался полуавтоматический метод разметки, при котором несовершенная, но быстрая сегментация достигалась с использованием цветового индекса для удаления большинства пикселей, не относящихся к стеблю. «Исправление» этой несовершенной сегментации стебля было менее трудоёмким по сравнению с ручной разметкой изображений.

Дискриминационная модель, использующая спектральные данные из верхней половины стебля, достигла сбалансированной точности 77% и AUC 0,83 по ROC-кривой. Хотя эти значения указывают на наличие многообещающей дискриминационной способности, отмечается, что возможны и желательны более высокие точности.

Один из выводов, который можно сделать из этого исследования, заключается в том, что более контролируемая среда для сбора данных с целевой визуализацией верхней половины стебля повысила бы потенциал создания более точных моделей. Исследование с контролируемым сбором гиперспектральных изображений инфицированного стебля, аналогичное [13], было бы информативным для установления наилучшего сценария. Поскольку сигналы, связанные с болезнью, взаимодействуют с биотическими и абиотическими факторами, можно ожидать, что точность и надёжность метода обнаружения будут повышаться с увеличением уровня контроля, связанного со сбором данных.

Использование автоматизированных платформ фенотипинга с возможностью продольного сбора данных в контролируемой среде является перспективным инструментом для дискриминации болезней. Как отмечено в [48], эти платформы позволяют получать многомерные признаки, включая изменения физиологии и морфологии. Хотя необходимость визуального скрининга сохраняется для точности и надёжности [49], можно ожидать, что важность подходов дискриминации на основе датчиков будет возрастать в будущем. В дополнение к улучшениям, возможным благодаря методам сбора данных, выбор конкретных значений длин волн с достаточной информацией для обнаружения болезней является ещё одним возможным направлением исследований [42,50]. Снижение размерности гиперспектральных данных до спектральных индексов или спектральных сигнатур, полученных из нескольких длин волн, уменьшает сложность анализа данных и также может позволить использовать менее дорогие мультиспектральные камеры для сбора данных.

Это исследование представляет собой начальное доказательство концепции для высокопроизводительного скрининга веретенообразной ржавчины у сосны ладанной. Гиперспектральная визуализация обещает несколько преимуществ перед визуальной оценкой человеком с точки зрения объективности и пригодности к автоматизации, и она потенциально может быть интегрирована в стратегию отбора при улучшении деревьев. В этом исследовании был достигнут обнадёживающий уровень дискриминационной способности с использованием спектральных данных из верхней половины стебля. Сбалансированная точность 77% и AUC 0,83 по ROC-кривой могут быть дополнительно улучшены путём повышения уровня контроля при сборе данных и исследования более широкого диапазона значений длин волн. После дальнейшей оптимизации среды сканирования появится возможность оценивать скорость и тяжесть проявления болезни, вызванной искусственной инокуляцией сеянцев. Различия между семьями можно было бы оценивать не только по наличию или отсутствию ржавчинных галлов, но также по скорости и тяжести развития галлов. Кроме того, гиперспектральные данные могут позволить раннее обнаружение болезни до появления видимых симптомов; это сократило бы время и затраты, связанные с обычным процессом скрининга.

Мы сообщаем об использовании технологии гиперспектральной визуализации для обнаружения заболеваемости веретенообразной ржавчиной у сеянцев сосны ладанной. Исследование представляло собой новый подход к скринингу болезней, который обычно проводится путём визуального осмотра симптомов в теплице. Мы представляем рабочий процесс, включающий традиционные методы обработки изображений и методы глубокого обучения для сегментации частей растений, с последующей моделью метода опорных векторов для бинарной классификации на больные и не больные образцы. Мы обнаружили, что этот метод является жизнеспособным и более эффективным методом обнаружения заболеваемости. При дальнейшей работе над методами получения и обработки изображений, возможно, с использованием автоматизированных платформ фенотипинга, высокопроизводительный фенотипинг сеянцев сосны ладанной станет неотъемлемой частью методов, currently используемых в центрах скрининга устойчивости.

Вклад авторов: Концептуализация, K.G.P. и S.Y.; методология, K.G.P. и S.Y.; программное обеспечение, P.P., J.J.A. и Y.L.; формальный анализ, P.P.; исследование, P.P., Y.L., A.J.H. и T.D.W.; ресурсы, K.G.P., A.J.H. и T.D.W.; курирование данных, P.P., A.J.H. и T.D.W.; подготовка черновика рукописи, P.P.; написание — рецензирование и редактирование, все авторы; визуализация, P.P.; руководство, S.Y. и K.G.P. Все авторы прочитали и согласились с опубликованной версией рукописи.

Финансирование: Эта работа частично поддерживалась Национальным институтом продовольствия и сельского хозяйства USDA, проект Hatch 1021499.

Заявление о доступности данных: Данные будут доступны по запросу у автора для переписки.

Благодарности: Мы признательны за поддержку, оказанную членами Программы улучшения деревьев Университета штата Северная Каролина.

Конфликт интересов: Авторы заявляют об отсутствии конфликта интересов.

1. Mullin, TJ; Andersson, B; Bastien, J.C.; Beaulieu, J.; Burdon, R.; Dvorak, W.; King, J.; Kondo, T.; Krakowski, J.; Lee, S.; et al. Economic importance, breeding objectives and achievements. In *Genetics, Genomics and Breeding of Conifers*; CRC Press: Boca Raton, FL, USA, 2011; pp. 40–127.

2. Schmidt, R.A. Fusiform rust of southern pines: A major success for forest disease management. *Phytopathology* 2003, 93, 1048–1051. [CrossRef] [PubMed]

3. McKeand, S.; Li, B.; Amerson, H. Genetic variation in fusiform rust resistance in loblolly pine across a wide geographic range. *Silvae Genet.* 1999, 48, 255–259.

4. Spitzer, J.; Isik, F.; Whetten, R.W.; Farjat, A.E.; McKeand, S.E. Correspondence of loblolly pine response for fusiform rust disease from local and wide-ranging tests in the southern United States. *For. Sci.* 2017, 63, 496–503.

5. Cowling, E.; Young, C. Narrative history of the resistance screening center: It’s origins, leadership and partial list of public benefits and scientific contributions. *Forests* 2013, 4, 666–692. [CrossRef]

6. Kuhlman, E.G. Interaction of virulent single-gall rust isolates of *Cronartium quercum* f. sp. *fusiforme* and resistant families of loblolly pine. *For. Sci.* 1992, 38, 641–651.

7. Bock, C.; Poole, G.; Parker, P.; Gottwald, T. Plant disease severity estimated visually, by digital photography and image analysis, and by hyperspectral imaging. *Crit. Rev. Plant Sci.* 2010, 29, 59–107. [CrossRef]

8. Lowe, A.; Harrison, N.; French, A.P. Hyperspectral image analysis techniques for the detection and classification of the early onset of plant disease and stress. *Plant Methods* 2017, 13, 80. [CrossRef]

9. Thomas, S.; Kuska, M.T.; Bohnenkamp, D.; Brugger, A.; Alisaca, E.; Wahabzada, M.; Behmann, J.; Mahlein, A.K. Benefits of hyperspectral imaging for plant disease detection and plant protection: A technical perspective. *J. Plant Dis. Prot.* 2018, 125, 5–20. [CrossRef]

10. Lu, Y.; Walker, T.D.; Acosta, J.J.; Young, S.; Pandey, P.; Heine, A.J.; Payn, K.G. Prediction of Freeze Damage and Minimum Winter Temperature of the Seed Source of Loblolly Pine Seedlings Using Hyperspectral Imaging. *For. Sci.* 2021, 67, 321–334.

11. Haagsma, M.; Page, G.F.M.; Johnson, J.S.; Still, C.; Waring, K.M.; Sniezko, R.A.; Selker, J.S. Using Hyperspectral Imagery to Detect an Invasive Fungal Pathogen and Symptom Severity in *Pinus strobiformis* Seedlings of Different Genotypes. *Remote Sens.* 2020, 12, 4041. [CrossRef]

12. Mahlein, A.K. Plant disease detection by imaging sensors—parallels and specific demands for precision agriculture and plant phenotyping. *Plant Dis.* 2016, 100, 241–251. [CrossRef]

13. Kong, W.; Zhang, C.; Huang, W.; Liu, F.; He, Y. Application of hyperspectral imaging to detect *Sclerotinia sclerotiorum* on oilseed rape stems. *Sensors* 2018, 18, 123. [CrossRef]

14. Williams, D.; Britten, A.; McCallum, S.; Jones, H.; Aitkenhead, M.; Karley, A.; Loades, K.; Prashar, A.; Graham, J. A method for automatic segmentation and splitting of hyperspectral images of raspberry plants collected in field conditions. *Plant Methods* 2017, 13, 74. [CrossRef]

15. Asaari, M.S.M.; Mertens, S.; Dhondt, S.; Inzé, D.; Wuyts, N.; Scheunders, P. Analysis of hyperspectral images for detection of drought stress and recovery in maize plants in a high-throughput phenotyping platform. *Comput. Electron. Agric.* 2019, 162, 749–758. [CrossRef]

16. Ge, Y.; Bai, G.; Stoerger, V.; Schnable, J.C. Temporal dynamics of maize plant growth, water use, and leaf water content using automated high throughput RGB and hyperspectral imaging. *Comput. Electron. Agric.* 2016, 127, 625–632. [CrossRef]

17. Miao, C.; Xu, Z.; Rodene, E.; Yang, J.; Schnable, J.C. Semantic segmentation of sorghum using hyperspectral data identifies genetic associations. *Plant Phenom.* 2020, 2020, 4216373. [CrossRef] [PubMed]

18. Feng, X.; Zhan, Y.; Wang, Q.; Yang, X.; Yu, C.; Wang, H.; Tang, Z.; Jiang, D.; Peng, C.; He, Y. Hyperspectral imaging combined with machine learning as a tool to obtain high-throughput plant salt-stress phenotyping. *Plant J.* 2020, 101, 1448–1461. [CrossRef] [PubMed]

19. Young, C.; Minton, B.; Bronson, J.; Lucas, S. *Resistance Screening Center Procedures Manual: A Step-by-Step Guide Used in the Operational Screening of Southern Pines for Resistance to Fusiform Rust (Revised 2018)*; United States Department of Agriculture Forest Service, Southern Region Forest Health Protection; USDA Forest Service Southern Region: Atlanta, GA, USA, 2018; pp. 1–69.

20. Pandey, P.; Payn, K.G.; Lu, Y.; Heine, A.J.; Walker, T.D.; Young, S. High Throughput Phenotyping for Fusiform Rust Disease Resistance in Loblolly Pine Using Hyperspectral Imaging. In *2020 ASABE Annual International Virtual Meeting*; American Society of Agricultural and Biological Engineers: St. Joseph, MI, USA, 2020; p. 1.

21. Whitaker, D.; Williams, E.; John, J. *CycDesign: A Package for the Computer Generation of Experimental Designs*; University of Waikato: Hamilton, NZ, USA, 2002.

22. Gitelson, A.; Merzlyak, M.N. Quantitative estimation of chlorophyll-a using reflectance spectra: Experiments with autumn chestnut and maple leaves. *J. Photochem. Photobiol. B Biol.* 1994, 22, 247–252. [CrossRef]

23. Sims, D.A.; Gamon, J.A. Relationships between leaf pigment content and spectral reflectance across a wide range of species, leaf structures and developmental stages. *Remote Sens. Environ.* 2002, 81, 337–354. [CrossRef]

24. Ren, S.; He, K.; Girshick, R.; Sun, J. Faster R-CNN: Towards real-time object detection with region proposal networks. *IEEE Trans. Pattern Anal. Mach. Intell.* 2016, 39, 1137–1149. [CrossRef]

25. Huang, J.; Rathod, V.; Sun, C.; Zhu, M.; Korattikara, A.; Fathi, A.; Fischer, I.; Wojna, Z.; Song, Y.; Guadarrama, S.; et al. Speed/accuracy trade-offs for modern convolutional object detectors. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 7310–7311.

26. Huang, J.; Rathod, V.; Sun, C.; Zhu, M.; Korattikara, A.; Fathi, A.; Fischer, I.; Wojna, Z.; Song, Y.; Guadarrama, S.; et al. Tensorflow Object Detection API. 2017. Available online: https://github.com/tensorflow/models/tree/master/research/object_detection (accessed on 15 March 2020).

27. Szegedy, C.; Vanhoucke, V.; Ioffe, S.; Shlens, J.; Wojna, Z. Rethinking the inception architecture for computer vision. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 27–30 June 2016; pp. 2818–2826.