Классификация видов растений по гиперспектральным изображениям с помощью облегчённой свёрточной нейронной сети

Keng-Hao Liu¹, Meng-Hsien Yang¹, Sheng-Ting Huang¹ и Chinsu Lin²*
¹ Кафедра машиностроения и электромеханики, Национальный университет Сунь Ятсена, Гаосюн, Тайвань. ² Кафедра лесного хозяйства и природных ресурсов, Национальный университет Цзяи, Цзяи, Тайвань. * chinsu@mail.ncyu.edu.tw.
Исследовательская статья. Редактор — Ian Stavness, Университет Саскачевана, Канада. Рецензенты — Dimitrios Fanourakis, Технологический образовательный институт Крита, Греция, и Mohsen Yoosefzadeh Najafabadi, Университет Гуэлфа, Канада. Рубрика «Технические достижения в науке о растениях». Получена 15 января, принята 1 марта и опубликована 13 апреля 2022 г.
Frontiers in Plant Science, 2022, том 13, статья 855660 • DOI 10.3389/fpls.2022.855660

Аннотация

В последние годы предложено много методов классификации видов растений по изображениям. В большинстве методов использовали RGB-изображения и специально разработанные признаки для классификации алгоритмами машинного обучения. Эти работы преимущественно анализировали изображения отдельных листьев, а не живых крон. Из-за ограниченности спектральной информации RGB и отсутствия дополнительных признаков окраски и пространственного рисунка методы не справлялись с внешне сходными листьями. В настоящем исследовании предложен подход, объединяющий гиперспектральную съёмку (HSI) и глубокое обучение. Авторы сформировали набор из 1500 изображений 30 видов растений, полученных камерой диапазона 470–900 нм, и разработали облегчённую свёрточную нейронную сеть (LtCNN). Для сравнения выбрали несколько современных классификаторов CNN и исследовали влияние разных сочетаний каналов на входе сети. Коэффициент каппа для имитации RGB-изображений составил около 0,90, а объединение трёх RGB- и трёх ближних ИК-каналов повысило его до 0,95. LtCNN также обеспечила каппу 0,95 по трём информативным каналам зелёного края (591 нм), красного края (682 нм) и ближней ИК-области (762 нм). Модель успешно распознавала признаки листьев на изображениях живых крон при меньшем числе обучающих образцов, чем более сложные AlexNet, GoogLeNet и VGGNet.
Ключевые слова — классификация видов растений, признаки живой кроны, распознавание признаков листьев, диагностика стресса растений, снижение размерности, свёрточная нейронная сеть, гиперспектральная съёмка, глубокое обучение.

Введение

Видовой состав характеризует ландшафты и лесные экосистемы. Определение видов отдельных растений и деревьев на инвентаризационной площадке или в насаждении важно для автоматического картирования распространения растений, биоразнообразия и структуры насаждений, а также анализа их динамики (Lin et al., 2016; Lin, 2019; Santos et al., 2019). Методы картирования позволяют по данным дистанционного зондирования выявлять признаки климатических изменений на основе фенологии (Lin C. et al., 2018) и улучшать сегментацию отдельных деревьев (Lin C.Y. et al., 2018; Jaskierniak et al., 2021).
Для картирования видов обычно классифицируют спектральные данные. Просветы внутри крон и между ними, связанные с плотностью кроны, состоянием зелёной растительности и фоном, осложняют классификацию спутниковых изображений высокого разрешения (Lin et al., 2015a). Объединение изображений очень высокого пространственного разрешения со спектрально детальными данными после атмосферной коррекции улучшает выделение границ крон (Lin et al., 2015b; Lin C.Y. et al., 2018). При этом пиксели просветов сильнее влияют на отражение крон в объединённом изображении (Lin et al., 2015a), что требует и попиксельных, и объектных методов. Современные наземные, беспилотные, авиационные и спутниковые платформы получают изображения очень высокого пространственного разрешения. На масштабах от долей сантиметра до дециметров заметны тонкие различия отражения, особенно при наземной HSI. Для оценки влияния изменения климата на уязвимые сообщества необходимо отслеживать их видовой состав, поэтому нужны алгоритмы классификации большого числа видов.
Исследования классификации по RGB обычно извлекали признаки одиночных листьев и применяли методы машинного обучения (Zhang, 2020), включая опорные векторы, k ближайших соседей и вероятностные нейронные сети. Для извлечения признаков применяли полярное преобразование Фурье (Kadir et al., 2013), выделение границ Канни (Salman et al., 2017), преобразование Фурье (Hossain and Amin, 2010; Khmag et al., 2017) и вейвлет-разложение (Zhang H. et al., 2012). Чаще всего использовали цвет, форму, контур и текстуру листа. Beghin et al. (2010) и Hu et al. (2012) включали ширину и край листа в многомасштабные матрицы расстояний. Такие методы зависят от инженерии признаков, удаления шума и предварительной обработки и ограничены нехваткой информации о составе листа.
Развитие аппаратуры способствовало распространению глубокого обучения (Bengio et al., 2017). CNN объединяют извлечение признаков, их обучение и классификацию в одной архитектуре. При достаточном объёме данных они могут превосходить классические методы: сеть автоматически выделяет наиболее различительные признаки на нескольких масштабах без ручного отбора. В работах по распознаванию растений двумерные CNN извлекали их из целых RGB-изображений растений (Lee et al., 2015; Grinblat et al., 2016; Carranza-Rojas et al., 2017; Lee et al., 2017; Chen et al., 2018; Zhu et al., 2019; Chen et al., 2021). Пространственное разрешение позволяет использовать листорасположение и перекрытие листьев и подавлять фон. В результате растения определяют по цвету, размеру, контуру, поверхности, жилкованию и листорасположению, подобно морфологическому определению ботаниками.
Даже при достаточном обучении RGB-модели могут путать внешне сходные виды. Для повышения точности нужны более детальные спектральные данные. Гиперспектральную съёмку (Chang, 2013) применяют в сельском хозяйстве, оборонных исследованиях, мониторинге окружающей среды, фенотипировании растений и медицинской визуализации. Типичный гиперспектральный куб содержит сотни каналов от видимого до ближнего ИК-диапазона. Высокое спектральное разрешение позволяет различать материалы, неразличимые визуально. Коммерческие компактные гиперспектральные камеры расширяют возможности исследовательского применения, в том числе для классификации растений.
В этой работе сформировали специализированный набор из 1500 гиперспектральных изображений 30 видов. Известные CNN создавались для наборов из десятков тысяч RGB-изображений с большим числом категорий и могут плохо подходить для такого набора. Поэтому предложена облегчённая архитектура на основе GoogLeNet (Szegedy et al., 2015). Сотни каналов часто коррелируют, что создаёт избыточность при моделировании содержания воды (Lin et al., 2012), восстановлении сигнала (Lin, 2017, 2018) и оценке хлорофилла (Lin et al., 2015c; Lin and Lin, 2019). Исследовали отбор каналов для точной классификации. Цели работы: (1) сформировать набор из 1500 гиперкубов для разработки классификаторов, (2) проверить применимость известных архитектур к спектрально-текстурным признакам живых крон, (3) разработать облегчённую CNN для извлечения признаков кроны и (4) оценить влияние отбора и ограничения числа каналов на качество классификации.

Сбор гиперспектральных данных

Подготовка растений

Для распознавания по цвету, размеру, контуру, поверхности, жилкованию и листорасположению использовали 30 декоративно-лиственных видов из 27 родов и 18 семейств. Для разнообразия геометрии и признаков каждый вид представляли 2–3 экземплярами. Листья различались цветом, размером, жилкованием и краем либо были сходны по этим признакам (рис. 1). Таксономия и состав выборки приведены в таблице 1.
Рисунок 1. Примеры RGB-изображений 30 видов растений.
Рисунок 1. Примеры RGB-изображений 30 видов растений.
Таблица 1. Таксономия и состав выборки изображений 30 видов растений.
№ Семейство Научное название Код Экземпляры Полные кадры Фрагменты
0 Acanthaceae Fittonia albivenis F.a 2 16 50
1 Apocynaceae Hoya carnosa H.c 2 16 50
2 Apocynaceae Hoya kerrii H.k 2 16 50
3 Apocynaceae Ammocallis rosea A.r 2 16 50
4 Araceae Spathiphyllum kochii S.k 2 16 50
5 Araceae Zamioculcas zamiifolia Z.z 2 16 50
6 Araceae Aglaonema anyamanee A.an 2 16 50
7 Araceae Aglaonema commutatum A.c 2 16 50
8 Araceae Alocasia amazonica A.am 2 16 50
9 Araliaceae Hydrocotyle verticillata H.v 2 16 50
10 Araliaceae Polyscias guilfoylei P.g 2 16 50
11 Araliaceae Schefflera arboricola S.a 2 16 50
12 Asparagaceae Sansevieria trifasciata S.t 3 24 50
13 Asparagaceae Dracaena marginata D.m 2 16 50
14 Asparagaceae Chlorophytum comosum C.c 2 16 50
15 Begoniaceae Begonia cathayana B.c 3 24 50
16 Bromeliaceae Cryptanthus bivittatus C.b 3 24 50
17 Clusiaceae Clusia rosea C.r 2 16 50
18 Davalliaceae Davallia griffithiana D.g 2 16 50
19 Haloragaceae Myriophyllum aquaticum M.a 2 16 50
20 Lamiaceae Glechoma hederacea G.h 2 16 50
21 Lamiaceae Plectranthus amboinicus P.am 2 16 50
22 Lamiaceae Plectranthus amboinicus cv. P.a.cv 2 16 50
23 Malvaceae Pachira aquatica P.aq 2 16 50
24 Marantaceae Calathea lancifolia C.l 3 24 50
25 Nephrolepidaceae Nephrolepis exaltata N.e 2 16 50
26 Orchidaceae Spathoglottis plicata S.p 2 16 50
27 Piperaceae Peperomia puteolata P.p 2 16 50
28 Podocarpaceae Podocarpus macrophyllus P.m 3 24 50
29 Urticaceae Pilea cadierei P.c 2 16 50

Получение изображений

Использовали систему IMEC Snapscan VNIR B150 (https://www.imec-int.com/en/), включающую спектральный сенсор, камеру и оптику. Предельный размер кадра — 3600 × 2048 пикселей, диапазон — 458–913 нм, спектральное разрешение — 2,8 нм (161 канал), радиометрическое — 10 бит. Камера на штативе была направлена вниз с расстояний 40 и 60 см. Две галогенные лампы 50 Вт / 12 В располагались по бокам под углом 45° к горизонту. Чёрный фон уменьшал влияние отражения окружающих материалов. Диафрагма — f/5,6. Поворот растения относительно фиксированных ламп изменял освещение листьев и увеличивал разнообразие данных. На каждом расстоянии снимали четыре ориентации с шагом 90°, всего восемь гиперкубов на экземпляр. Исходный кадр имел 1200 × 1200 пикселей, 161 канал и разрядность 10 бит. Из-за шума на концах диапазона оставили 147 каналов в пределах 468–898 нм.
Рисунок 2. Схема съёмки растений.
Рисунок 2. Схема съёмки растений.

Калибровка

Для уменьшения влияния неодинакового освещения и отклика датчика исходный кадр R₀ пересчитывали в отражение Rf:
Rf = (R₀ − Iᵦ) / (I_w − Iᵦ) × 100 % (1)
Iᵦ — темновой эталон с отражением 0 %, зарегистрированный с закрытым объективом, I_w — белый эталон, измеренный по тефлоновой панели с отражением свыше 95 %.

Подготовка гиперкубов

Для увеличения числа изображений и снижения вычислительных затрат кадр 1200 × 1200 разбивали на девять неперекрывающихся фрагментов 400 × 400. Удаляли фрагменты с заметной тенью или недостаточной долей листьев, например при отношении листьев к фону не выше 60 %. Для каждого вида оставили 50 фрагментов с достаточной пространственной информацией, всего 1500 гиперкубов. Их случайно разделили на 1200 обучающих и 300 тестовых кадров. Каждый канал сохраняет отражение и пространственные признаки листьев (рис. 4).
Рисунок 3. Формирование фрагментов гиперспектральных изображений.
Рисунок 3. Формирование фрагментов гиперспектральных изображений.
Рисунок 4. Примеры спектральных изображений видов S.a (№ 11), P.am (№ 21) и P.c (№ 29) на отдельных длинах вол
Рисунок 4. Примеры спектральных изображений видов S.a (№ 11), P.am (№ 21) и P.c (№ 29) на отдельных длинах волн видимого и ближнего ИК-диапазонов.

Получение репрезентативных спектров

Кривая отражения характеризует спектральное поведение объекта. Для каждого вида отражение на каждой длине волны определяли усреднением пикселей листьев с исключением фона. Сначала в гиперкубе определяли каналы максимального и минимального среднего отражения (maxBand и minBand) и вычитали второй из первого. Пороговой обработкой разностного изображения (Ma et al., 2015) выделяли листья и фон, используя эмпирический порог 0,3. Затем для каждого канала усредняли отражение пикселей выделенной области интереса. Для каждой длины волны усредняли соответствующие значения 50 гиперкубов вида. Полную кривую составляли из полученных значений.
Рисунок 5. Выделение областей листьев и построение обобщённого спектра отражения вида.
Рисунок 5. Выделение областей листьев и построение обобщённого спектра отражения вида.

Методы

Архитектура LtCNN

Из-за ограниченного числа видов и изображений разработали компактную модель на основе GoogLeNet и других сетей (Ioffe and Szegedy, 2015; Simonyan and Zisserman, 2015; Szegedy et al., 2015). Первые две части извлекают признаки, третья выполняет прогноз. Часть I преобразует вход в признаки низкого уровня двумя свёртками (5 × 5 и 3 × 3) и одним слоем пулинга. Часть II извлекает многомасштабные признаки высокого уровня тремя модулями Inception. В первых двух используются три ветви. Свёртка 5 × 5 заменена двумя свёртками 3 × 3 для сокращения числа параметров при сохранении рецептивного поля. Третий модуль имеет две ветви из-за уменьшения карты признаков. Часть III объединяет признаки глобальным усредняющим пулингом и прогнозирует вид двумя полносвязными слоями, слоем dropout и классификатором Softmax.
Рисунок 6. Архитектура LtCNN. Conv — свёртка, Concat — конкатенация, MaxPool — максимальный пулинг, GAP — глоб
Рисунок 6. Архитектура LtCNN. Conv — свёртка, Concat — конкатенация, MaxPool — максимальный пулинг, GAP — глобальный усредняющий пулинг, FC — полносвязный слой. После свёрток используется ReLU.
Таблица 2. Параметры слоёв предложенной сети LtCNN.
Слой Ядро Глубина Шаг Размер выхода
Вход — — — 200 × 200 × L
Свёртка 5 × 5 1 2 100 × 100 × 64
Макс. пулинг 3 × 3 0 2 50 × 50 × 64
Свёртка 3 × 3 1 1 50 × 50 × 96
Макс. пулинг 3 × 3 0 2 25 × 25 × 96
Inception 1 — 2 — 25 × 25 × 288
Inception 2 — 2 — 13 × 13 × 296
Inception 3 — 2 — 7 × 7 × 480
Глобальный усредняющий пулинг 7 × 7 0 1 1 × 1 × 480
Полносвязный слой — 1 — 1 × 1 × 196
Dropout (40 %) — 0 — —
Выход — 1 — 1 × 1 × 30
Softmax — 0 — 1 × 1 × 30
Число параметров при размерности входа 6 — 1 388 950.

Функция потерь

Кросс-энтропия измеряет различие между эталонным распределением и прогнозом сети:
LCE = −Σ(c=1…C) Σ(i=1…S) y(c,i) log₂ p(c,i) (2)
C — число классов, S — размер пакета, y(c,i) — бинарный индикатор класса, p(c,i) — прогнозная вероятность. В эксперименте S = 12 и C = 30.

Экспериментальные настройки

Эксперименты выполнялись на Intel i7-7700K с 32 ГБ ОЗУ и NVIDIA GTX 1080 Ti. Сравнивали AlexNet, GoogLeNet и VGGNet. В AlexNet сократили число нейронов полносвязных слоёв и задали 30 классов (AlexNetr). Исходная 16-слойная VGGNet с трудом сходилась на этих данных. Сохранили первые восемь свёрточных и три полносвязных слоя и уменьшили число нейронов последних (VGGNetr). Как и в LtCNN, применяли ReLU.
Обучение выполняли с нуля в TensorFlow 1.8.0 без переноса обучения. Размер входа LtCNN — 200 × 200 × L, остальных сетей — 224 × 224 × L, где L — число отобранных каналов. При L = 6 модели AlexNetr, GoogLeNet, VGGNetr и LtCNN имели соответственно 10 865 310, 15 901 982, 10 404 938 и 1 388 950 параметров. Для аугментации использовали случайную обрезку и отражение по горизонтали или вертикали. Размер пакета — 12, начальная скорость обучения — 10⁻³, множитель экспоненциального уменьшения — 0,9 каждые пять эпох. Обучение длилось 200 эпох, оптимизатор — Adam. Метрики: общая точность (OA), precision, макроусреднённая F1 и каппа.

Отбор признаков

Каналы гиперспектрального изображения, особенно соседние, часто коррелируют. Использование всего спектра может приводить к проклятию размерности (Hughes, 1968) и увеличивать вычислительные затраты. Снижение размерности (Chang, 2013) позволяет выбирать информативные спектральные признаки при сохранении точности. Применяли ручной анализ кривых отражения и автоматический отбор по спектральной неоднородности (табл. 3–4).
Таблица 3. Ручные и автоматические методы отбора каналов.
Метод Описание Источник
RGB Три канала, рекомендованные производителем, имитируют изображение в естественных цветах. IMEC Snapscan v1.1.2
NIR Три ближних ИК-канала, выбранные по кривой отражения (рис. 7), имитируют изображение в условных цветах для сравнения с RGB. Визуальный анализ
RGB+NIR Объединение естественных и условных цветов восполняет спектральную информацию, отсутствующую в каждом наборе. Визуальный анализ
PCA Гиперкуб преобразуют в главные компоненты. Первые шесть сохраняют свыше 99 % суммы собственных значений. Gao et al., 2018; Ma et al., 2015
UBS Равномерный отбор каналов по всему спектру. Диапазон VNIR делят на 3, 6 или 9 поддиапазонов. Наборы обозначены UBS-3, UBS-6 и UBS-9. Li et al., 2019
FNGBS Быстрый групповой отбор по окрестностям. Длины волн делят на M групп по схеме от грубого к точному и выбирают в каждой канал с максимальным произведением локальной плотности и информационной энтропии. Наборы обозначены FNGBS-3, FNGBS-6 и FNGBS-9. Wang et al., 2020
Таблица 4. Отобранные каналы и соответствующие длины волн для классификации видов.
Метод Каналы Номера каналов Длины волн, нм
RGB 3 2 / 19 / 39 471,44 / 535,06 / 602,94
NIR 3 89 / 109 / 126 750,75 / 799,99 / 851,04
RGB+NIR 6 2 / 19 / 39 / 89 / 109 / 126 471,44 / 535,06 / 602,94 / 750,75 / 799,99 / 851,04
PCA 6 PC1-PC6 Компоненты — линейные преобразования каналов
UBS 3 1 / 74 / 147 468,63 / 700,27 / 898,72
UBS 6 1 / 30 / 59 / 88 / 117 / 147 468,63 / 569,27 / 664,12 / 747,22 / 824,74 / 898,72
UBS 9 1 / 19 / 37 / 55 / 74 / 92 / 110 / 128 / 147 468,63 / 535,06 / 594,66 / 651,37 / 700,27 / 761,18 / 802,71 / 856,68 / 898,72
FNGBS 3 36 / 68 / 92 591,46 / 681,80 / 761,18
FNGBS 6 14 / 25 / 68 / 92 / 104 / 118 514,83 / 551,20 / 681,80 / 761,18 / 783,39 / 827,35
FNGBS 9 15 / 32 / 33 / 69 / 80 / 92 / 103 / 118 / 137 520,08 / 557,84 / 571,04 / 685,36 / 721,58 / 761,18 / 780,53 / 827,35 / 871,66
В табл. 4 оригинала канал № 1 указан как 468,63 нм, в обсуждении — как 468,83 нм.

Результаты

Изменчивость спектров отражения и её роль в классификации

Усреднённый спектр листьев позволяет различать пиксели при попиксельной классификации. На рис. 7 показаны усреднённые спектры областей интереса 30 видов. По горизонтали отложена длина волны, по вертикали — отражение. Кривые получали усреднением спектральных векторов пикселей листьев. Отражение различалось между видами на всех длинах волн. При этом были заметны зелёный максимум, синий и красный минимумы и ближнее ИК-плато. Из-за неоднородности освещения и естественного разнообразия окраски листьев одного вида отражение сильно менялось, а полоса стандартного отклонения в Vis/NIR была широкой. Это затрудняет попиксельную классификацию.
Рисунок 7. Обобщённые спектры отражения растений. Сокращения названий видов приведены в таблице 1.
Рисунок 7. Обобщённые спектры отражения растений. Сокращения названий видов приведены в таблице 1.
У D.m (№ 13) белая полоса проходит вдоль средней жилки, у C.c (№ 14) две белые полосы расположены по краям. В отличие от полностью зелёных листьев Z.z (№ 5), у A.an (№ 6) по мезофиллу разбросаны красные пятна, осложняющие попиксельную классификацию. На четырёх гиперкубах A.an среднее по красным пикселям существенно отличается от общего среднего в видимой области и приближается к границе полосы стандартного отклонения. В ИК-области кривые почти совпадают. Авторы связывают ИК-отражение с хлорофиллом и водой в мезофилле, а не с видимой окраской. Lin et al. (2012, 2015c) показали влияние водного стресса на оценку хлорофилла и предложили индексы, учитывающие содержание воды. Различия ИК-отражения могут свидетельствовать о различии видов или физиологическом стрессе, например дефиците воды. Совместное использование видимых и ИК-каналов позволяет учитывать пространственный рисунок листа и строение мезофилла.
Рисунок 8. Изменчивость отражения листьев. Слева — общие средние и полосы стандартного отклонения D.m, C.c, A.
Рисунок 8. Изменчивость отражения листьев. Слева — общие средние и полосы стандартного отклонения D.m, C.c, A.an и Z.z. Справа — сравнение среднего по красным пикселям и общего среднего A.an. Полоса соответствует стандартному отклонению всех пикселей листьев.

Общая оценка точности четырёх моделей

На RGB-каналах AlexNetr, GoogLeNet и VGGNetr получили OA 76,3, 71,7 и 79,9 %, макро-F1 0,758, 0,699 и 0,782 и каппу 0,755, 0,707 и 0,790 соответственно. Precision составила 0,832, 0,705 и 0,806. AlexNetr и VGGNetr дали меньше ложноположительных результатов, чем GoogLeNet. LtCNN достигла OA 89,7 %, F1 0,896 и каппы 0,893, превысив остальные модели на 10–18 процентных пунктов, 0,11–0,19 и 0,10–0,19 соответственно. Ошибка отнесения к классу была около 0,1.
Таблица 5. Качество классификации моделей CNN при разных наборах признаков. OA — общая точность. Числа в скобках обозначают размерность входных признаков.
Модель Набор OA, % Precision Макро-F1 Каппа
AlexNetr RGB (3) 76,30 0,832 0,758 0,755
AlexNetr NIR (3) 60,70 0,637 0,601 0,593
AlexNetr RGB+NIR (3+3) 82,30 0,836 0,824 0,817
AlexNetr PCA (6) 70,70 0,716 0,703 0,697
GoogLeNet RGB (3) 71,70 0,705 0,699 0,707
GoogLeNet NIR (3) 66,00 0,635 0,640 0,648
GoogLeNet RGB+NIR (3+3) 70,30 0,668 0,678 0,693
GoogLeNet PCA (6) 71,00 0,708 0,700 0,700
VGGNetr RGB (3) 79,70 0,806 0,782 0,790
VGGNetr NIR (3) 69,70 0,737 0,686 0,686
VGGNetr RGB+NIR (3+3) 84,00 0,88 0,838 0,834
VGGNetr PCA (6) 78,00 0,803 0,778 0,772
LtCNN RGB (3) 89,70 0,903 0,896 0,893
LtCNN NIR (3) 68,00 0,728 0,674 0,669
LtCNN RGB+NIR (3+3) 94,70 0,950 0,945 0,945
LtCNN PCA (6) 88,00 0,898 0,881 0,876
При трёх NIR-каналах OA снизилась приблизительно на 15, 5, 10 и 21 пункт для AlexNetr, GoogLeNet, VGGNetr и LtCNN. Общая точность составила около 60–70 %. Сходство мезофилла некоторых видов обусловливает сходное ИК-отражение (Hopkins and Hüner, 2004; Lin et al., 2015c). Перекрытие спектров повышает ошибки пропуска и ошибочного отнесения. Изображения в естественных цветах лучше передают цвет, форму и текстуру листьев.
RGB- и NIR-отражение слабо коррелируют. Объединение каналов 471,44, 535,06, 602,94 нм с 750,75, 799,99 и 851,04 нм должно дать дополнительные признаки. Однако каппа GoogLeNet снизилась с 0,707 до 0,693. Для AlexNetr, VGGNetr и LtCNN OA, F1 и каппа выросли примерно на 5 пунктов, 0,05 и 0,05 соответственно. Дополнительные NIR-каналы улучшили классификацию этих моделей.
Первые главные компоненты PCA сохраняют значительную долю спектральной информации, но не дали преимущества над RGB. Макро-F1 для PCA и RGB соответственно составила 0,703/0,758, 0,700/0,699, 0,778/0,782 и 0,881/0,896. Линейное преобразование каналов, вероятно, нарушает физическую интерпретацию отдельных каналов и ослабляет пространственные связи признаков разных тканей листа.

Анализ ошибок распознавания видов

На матрицах ошибок RGB+NIR число видов со стопроцентным распознаванием составило 10, 4, 13 и 22 для AlexNetr, GoogLeNet, VGGNetr и LtCNN. GoogLeNet полностью пропустила Ammocallis rosea (№ 3), приняв её за Sansevieria trifasciata (№ 12) в 60 % случаев, Aglaonema commutatum (№ 7) в 20 %, Schefflera arboricola (№ 11) и Hoya carnosa (№ 1) в 10 % случаев каждую. Остальные сети распознали вид правильно. Цветки № 3 могли восприниматься GoogLeNet как шум.
Рисунок 9. Матрицы ошибок четырёх моделей на шести каналах RGB+NIR. Диагональ — вероятность правильной классиф
Рисунок 9. Матрицы ошибок четырёх моделей на шести каналах RGB+NIR. Диагональ — вероятность правильной классификации, верхние и нижние внедиагональные элементы — доли пропусков и ошибочных отнесений. Цвета моделей: AlexNetr — розовый, GoogLeNet — голубой, VGGNetr — зелёный, LtCNN — оранжевый.
LtCNN допускала ошибки для восьми видов: № 4, 5, 8, 17, 20, 22, 26 и 28. Доли правильных распознаваний составили 0,9, 0,5, 0,9, 0,7, 0,9, 0,8, 0,9 и 0,8. Наиболее трудны № 5 и 17. Фрагменты № 17 не всегда содержали весь лист, что усиливало сходство с № 5 и 2. Изображения № 5 отнесли к № 4, 11 и 10 в 20, 20 и 10 % случаев. Виды можно различать по краю, кожистости поверхности и черешку, однако мелкие признаки могут теряться при свёртке и пулинге. Сходство формы листа также приводило к ошибкам № 13 и 14 у трёх известных сетей. LtCNN выделила существенные признаки и правильно распознала оба вида.
Рисунок 10. Примеры классификации. Виды № 13 и 14 полностью распознаны LtCNN, другие модели допускали ошибки.
Рисунок 10. Примеры классификации. Виды № 13 и 14 полностью распознаны LtCNN, другие модели допускали ошибки. Над изображением указан истинный номер вида, в цветной рамке — прогноз модели.

Обсуждение

Влияние отбора каналов

LtCNN лучше подходит для классификации с ограниченным числом классов. При трёх каналах FNGBS выбрал № 36, 68 и 92 (591,46, 681,80 и 761,18 нм), а UBS — № 1, 74 и 147 (468,83, 700,27 и 898,72 нм по тексту оригинала). В AlexNetr каппа относительно RGB снизилась на 0,11 для UBS и выросла на 0,042 для FNGBS, что соответствует примерно 15 и 6 %. GoogLeNet и LtCNN лучше адаптировались к отобранным каналам. Улучшение составило около 11–12 % относительно 0,707 у GoogLeNet и 4–6 % относительно 0,893 у LtCNN. Каппа VGGNetr выросла на 10 % при FNGBS, но не при UBS.
При шести каналах FNGBS (№ 14, 25, 68, 92, 104 и 118) улучшение относительно RGB+NIR отмечено только у AlexNetr (+0,049, или 6 %). При шести каналах UBS (№ 1, 30, 59, 88, 117 и 147) улучшилась только GoogLeNet: с 0,693 до 0,772, примерно на 11 %. У LtCNN показатели шести и трёх каналов были близки: 0,938 против 0,945 для FNGBS и 0,948 против 0,931 для UBS. При правильном отборе достаточно трёх каналов. FNGBS хорошо адаптируется к четырём архитектурам. Для LtCNN особенно информативны зелёный край 591,46 нм, красный край 681,80 нм и ближний ИК-канал 761,18 нм.
Рисунок 11. Чувствительность четырёх CNN к выбору спектральных каналов. (A) Три канала, (B) шесть каналов. Зна
Рисунок 11. Чувствительность четырёх CNN к выбору спектральных каналов. (A) Три канала, (B) шесть каналов. Значительные различия каппы между наборами указывают на высокую чувствительность модели к составу каналов.

Размерность входных данных

Число каналов M увеличивали до 60 с шагом 3. Настройки обучения сохраняли. VGGNetr не включили, поскольку имеющееся оборудование не позволяло работать с входом высокой размерности. Увеличение числа каналов само по себе не повышало точность и могло ухудшать результаты, особенно у AlexNetr и GoogLeNet.
При UBS каппа AlexNetr выросла с 0,624 до 0,779–0,800 при 6–18 каналах, после чего стала нестабильной. У GoogLeNet она начиналась с 0,797 и снижалась. У LtCNN максимум 0,976 достигнут при 15 каналах, после чего значения держались в пределах 0,941–0,969, что указывает на насыщение спектральной информацией. Средние каппы составили 0,717 ± 0,079, 0,666 ± 0,084 и 0,951 ± 0,021 соответственно. При FNGBS диапазоны AlexNetr и GoogLeNet составили 0,503–0,866 и 0,538–0,807, а LtCNN сохраняла 0,920–0,973. Средние — 0,696 ± 0,096, 0,674 ± 0,081 и 0,940 ± 0,018. LtCNN достигла 0,972 при 18 каналах FNGBS и 0,976 при 15 каналах UBS. Таким образом, хорошее качество достижимо без большого числа каналов.
Рисунок 12. Связь количества каналов M с коэффициентом каппа. (A) Равномерный отбор UBS, (B) FNGBS. Под значен
Рисунок 12. Связь количества каналов M с коэффициентом каппа. (A) Равномерный отбор UBS, (B) FNGBS. Под значениями M приведены соответствующие коэффициенты моделей.

Сопоставление архитектур

AlexNetr и GoogLeNet рассчитаны на большие наборы с многочисленными категориями. Здесь было 30 классов и 1500 изображений, а цвет, форма и рисунок растений отличались от объектов, для которых разработаны сети. С увеличением M растёт межканальная корреляция. Избыточность при недостатке обучающих данных может осложнять сходимость более крупных моделей. LtCNN оптимизирована для небольших выборок и показала более высокие точность и устойчивость. Подходящая архитектура может быть устойчивой к избыточности и сохранять качество при небольшом числе информативных каналов.

Ограничения и перспективы

Метод объединяет спектральные данные HSI и глубокие признаки CNN. Его применение ограничивают высокая стоимость камер и длительность съёмки в поле. Архитектура и память GPU затрудняют обучение по изображениям высокого разрешения. Отбор каналов необходим для снижения размерности, хотя в идеале можно подавать весь гиперкуб и обучать сеть выделять существенные каналы автоматически. Это пока затруднено архитектурой, памятью и объёмом выборки. Для добавления видов нужно расширять не только набор изображений, но и архитектуру с последующим переобучением.
Результаты могут применяться в обучении, определении растений и дистанционном зондировании лесов. Высокая точность LtCNN на трёх каналах зелёного края, красного края и NIR открывает возможность разработки специализированных и менее дорогих систем съёмки для науки и образования.

Выводы

Для распознавания и картирования отдельных деревьев сформирован набор 1500 изображений живых крон и листьев 30 видов. Использовали VNIR-камеру со спектральным разрешением 2,8 нм и разрядностью 10 бит. Отражение сильно варьируется, что осложняет попиксельную классификацию. Окраска листьев одного вида меняет видимый спектр, а их ближнее ИК-отражение остаётся сравнительно однородным и стабильным. Это создаёт возможность улучшить классификацию.
На шести каналах RGB+NIR AlexNetr, GoogLeNet и VGGNetr получили каппу 0,817, 0,693 и 0,834. LtCNN достигла 0,945. Тот же результат получен только на трёх каналах FNGBS: 591,46, 681,80 и 761,18 нм. Он близок к максимальной каппе 0,976, достигнутой на 15 каналах. LtCNN показала высокую эффективность и устойчивость. Отбор спектральных признаков снижает затраты на обучение и нагрузку на оборудование.
В отличие от работ по одиночным листьям исследование использует признаки живой кроны и листьев. Некоторые виды давали ложноположительные и ложноотрицательные результаты у всех четырёх моделей, хотя визуально различались краем, кожистостью поверхности и черешком. Модуль 3D-CNN мог бы улучшить извлечение спектральных признаков. Дальнейшая задача — извлекать мелкие морфологические признаки листьев.

Доступность данных

Исходные данные доступны по адресу https://github.com/asufdhlkj456/Plant_Classification_with_HSI_and_DL.

Вклад авторов

CL и K-HL — концепция, управление проектом, методика и первый вариант текста. K-HL, M-HY и S-TH — подготовка данных и формальный анализ. CL — рецензирование и редактирование. Все авторы внесли вклад и одобрили представленную версию.

Финансирование

Министерство науки и технологий Тайваня — MOST 109-2221-E-110-047-MY2 и 109-2221-E-415-003. Совет по сельскому хозяйству Исполнительного Юаня Тайваня — частичная поддержка по гранту 110AS-8.3.2-ST-a7.

Список литературы

Abbas, S., Peng, Q., Wong, M. S., Li, Z., Wang, J., Ng, K. T. K., et al. (2021). Characterizing and classifying urban tree species using bi-monthly terrestrial hyperspectral images in Hong Kong. ISPRS J. Photogramm. Remote Sens. 177, 204–216. doi: 10.1016/j.isprsjprs.2021.05.003
Adão, T., Hruška, J., Pádua, L., Bessa, J., Peres, E., Morais, R., et al. (2017). Hyperspectral imaging: a review on UAV-based sensors, data processing and applications for agriculture and forestry. Remote Sens. 9:1110. doi: 10.3390/ rs9111110
Baiano, A., Terracone, C., Peri, G., and Romaniello, R. (2012). Application of hyperspectral imaging for prediction of physico-chemical and sensory characteristics of table grapes. Comput. Electron. Agric. 87, 142–151. doi: 10. 1016/j.compag.2012.06.002
Beghin, T., Cope, J. S., Remagnino, P., and Barman, S. (2010). “Shape and texture based plant leaf classification,” in Proceedings of the International Conference on Advanced Concepts for Intelligent Vision Systems, (Berlin: Springer), 345–353. doi: 10.1007/978-3-642-17691-3_32
Bengio, Y., Goodfellow, I., and Courville, A. (2017). Deep Learning, Vol. 1. Cambridge, MA: MIT press.
Briottet, X., Boucher, Y., Dimmeler, A., Malaplate, A., Cini, A., Diani, M., et al. (2006). “Military applications of hyperspectral imagery,” in Proceedings of the International Society for Optics and Photonics. Targets and Backgrounds XII: Characterization and Representation., Orlando, FL, Vol. 6239:62390B. doi: 10. 1117/12.672030
Carranza-Rojas, J., Goeau, H., Bonnet, P., Mata-Montero, E., and Joly, A. (2017). Going deeper in the automated identification of Herbarium specimens. BMC Evol. Biol. 17:181. doi: 10.1186/s12862-017-1014-z
Chang, C. I. (2013). Hyperspectral Data Processing: Algorithm Design and Analysis. Hoboken, NJ: John Wiley & Sons.
Chen, S. Y., Lin, C., Li, G. J., Hsu, Y. C., and Liu, K. H. (2021). Hybrid deep learning models with sparse enhancement technique for detection of newly grown tree leaves. Sensors 21:2077. doi: 10.3390/s21062077
Chen, S. Y., Lin, C., Tai, C. H., and Chuang, S. J. (2018). Adaptive window-based constrained energy minimization for detection of newly grown tree leaves. Remote Sens. 10:96. doi: 10.3390/rs10010096
Fei, B. (2020). “Hyperspectral imaging in medical applications,” in Data Handling in Science and Technology, Vol. 32, ed. J. M. Amigo (Amsterdam: Elsevier), 523–565. doi: 10.1016/B978-0-444-63977-6.00021-3
Feng, L., Wu, B., He, Y., and Zhang, C. (2021). Hyperspectral imaging combined with deep transfer learning for rice disease detection. Front. Plant Sci. 12:693521. doi: 10.3389/fpls.2021.693521
Gao, J., Nuyttens, D., Lootens, P., He, Y., and Pieters, J. G. (2018). Recognising weeds in a maize crop using a random forest machine-learning algorithm and near-infrared snapshot mosaic hyperspectral imagery. Biosyst. Eng. 170, 39–50. doi: 10.1016/j.biosystemseng.2018.03.006
Grinblat, G. L., Uzal, L. C., Larese, M. G., and Granitto, P. M. (2016). Deep learning for plant identification using vein morphological patterns. Comput. Electron. Agric. 127, 418–424. doi: 10.1016/j.compag.2016.07.003
Harrison, D., Rivard, B., and Sanchez-Azofeifa, A. (2018). Classification of tree species based on longwave hyperspectral data from leaves, a case study for a tropical dry forest. Int. J. Appl. Earth Obs. Geoinf. 66, 93–105. doi: 10.1016/j.jag. 2017.11.009
He, K., Zhang, X., Ren, S., and Sun, J. (2016). “Deep residual learning for image recognition,” in Proceedings of the IEEE conference on CVPR, (Piscataway, NJ: IEEE), 770–778. doi: 10.1109/CVPR.2016.90
Hopkins, W. G., and Hüner, N. P. A. (2004). Introduction to Plat Physiology, 3rd Edn. Hoboken, NJ: John Wiley & Sons.
Hossain, J., and Amin, M. A. (2010). “Leaf shape identification based plant biometrics,” in Proceedings of the 2010 International Conference on Computer and Information Technology. (ICCIT), (Piscataway, NJ: IEEE), 458–463. doi: 10.1109/ICCITECHN.2010.5723901
Hu, R., Jia, W., Ling, H., and Huang, D. (2012). Multiscale distance matrix for fast plant leaf recognition. IEEE Trans. Image Process. 21, 4667–4672. doi: 10.1109/TIP.2012.2207391
Hughes, G. F. (1968). On the mean accuracy of statistical pattern recognition. IEEE Trans. Inform. Theory 14, 55–63. doi: 10.1109/TIT.1968.1054102
Ioffe, S., and Szegedy, C. (2015). “Batch normalization: accelerating deep network training by reducing internal covariate shift,” in Proceedings of the 32nd International Conference on International Conference on Machine Learning, ICML, (PMLR), 448–456.
Jaskierniak, D., Lucieer, A., Kuczera, G., Turner, D., Lane, P. N. J., Benyon, R. G., et al. (2021). Individual tree detection and crown delineation from Unmanned Aircraft System (UAS) LiDAR in structurally complex mixed species eucalypt forests. ISPRS J. Photogramm. Remote Sens. 171, 171–187. doi: 10.1016/j. isprsjprs.2020.10.016
Jung, A., Vohland, M., and Thiele-Bruhn, S. (2015). Use of a portable camera for proximal soil sensing with hyperspectral image data. Remote Sens. 7, 11434– 11448. doi: 10.3390/rs70911434
Kadir, A., Nugroho, L. E., Susanto, A., and Santosa, P. I. (2013). Leaf classification using shape, color, and texture features. arXiv [preprint]. arXiv:1401.4447,
Khmag, A., Al-Haddad, S. R., and Kamarudin, N. (2017). “Recognition system for leaf images based on its leaf contour and centroid,” in Proceedings of the IEEE 15th Student Conference on Research and Development (SCOReD), (Piscataway, NJ: IEEE), 467–472. doi: 10.1109/SCORED.2017.8305438
Krizhevsky, A., Sutskever, I., and Hinton, G. E. (2017). ImageNet classification with deep convolutional neural networks. Commun. ACM 60, 84–90. doi: 10.1145/ 3065386
Lee, S. H., Chan, C. S., Mayo, S. J., and Remagnino, P. (2017). How deep learning extracts and learns leaf features for plant classification. Pattern Recognit. 71, 1–13. doi: 10.1016/j.patcog.2017.05.015
Lee, S. H., Chan, C. S., Wilkin, P., and Remagnino, P. (2015). “Deep-plant: plant identification with convolutional neural networks,” in Proceedings of the 2015 IEEE International Conference on Image Processing (ICIP), (Piscataway, NJ: IEEE), 452–456. doi: 10.1109/ICIP.2015.7350839
Li, F., Cao, H., Shang, X., Song, M., Yu, C., and Chang, C. I. (2019). “Uniform band interval divided band selection,” in Proceedings of the 2019 IEEE International Geoscience and Remote Sensing Symposium, (Piscataway, NJ: IEEE), 3816–3819. doi: 10.1109/IGARSS.2019.8900363
Lin, C. (2017). “Applying a logistic-Gaussian complex signal model to restore surface hyperspectral reflectance of an old-growth tree species in cool temperate forest,” in Proceedings of the 2017 IEEE International Geoscience and Remote Sensing Symposium, (Piscataway, NJ: IEEE), 3870–3873. doi: 10.1109/IGARSS. 2017.8127847
Lin, C. (2018). A generalized Logistic-Gaussian-Complex Signal Model for the restoration of canopy SWIR hyperspectral reflectance. Remote Sens. 10:1062. doi: 10.3390/rs10071062
Lin, C. (2019). Improved derivation of forest stand canopy height structure using harmonized metrics of full-waveform data. Remote Sens. Environ. 235:111436. doi: 10.1016/j.rse.2019.111436
Lin, C. Y., and Lin, C. (2019). “Using ridge regression method to reduce estimation uncertainty in chlorophyll models based on worldview multispectral data,” in Proceedings of the 2019 IEEE International Geoscience and Remote Sensing Symposium, (Piscataway, NJ: IEEE), 1777–1780. doi: 10.1109/IGARSS.2019. 8900593
Lin, C. Y., Lin, C., and Chang, C. I. (2018). “A multilevel slicing based coding method for tree detection,” in Proceedings of the 2018 IEEE International Geoscience and Remote Sensing Symposium, (Piscataway, NJ: IEEE), 7524–7527. doi: 10.1109/IGARSS.2018.8517654
Lin, C., Chen, S. Y., Chen, C. C., and Tai, C. H. (2018). Detecting newly grown tree leaves from unmanned-aerial-vehicle images using hyperspectral target detection techniques. ISPRS J. Photogramm. Remote Sens. 142, 174–189. doi: 10.1016/j.isprsjprs.2018.05.022
Lin, C., Wu, C. C., Tsogt, K., Ouyang, Y. C., and Chang, C. I. (2015a). Effects of atmospheric correction and pansharpening on LULC classification accuracy using WorldView-2 imagery. Inf. Process. Agric. 2, 25–36. doi: 10.1016/j.inpa. 2015.01.003
Lin, C., Popescu, S. C., Thomson, G., Tsogt, K., and Chang, C. I. (2015b). Classification of tree species in overstorey canopy of subtropical forest using QuickBird images. PLoS One 10:e0125554. doi: 10.1371/journal.pone.012 5554
Lin, C., Popescu, S. C., Huang, S. C., Chang, P. T., and Wen, H. L. (2015c). A novel reflectance-based model for evaluating chlorophyll concentrations of fresh and water-stressed leaves. Biogeosciences 12, 49–66. doi: 10.5194/bg-12-49-2015 Liu et al. Lightweight CNN for Plant Classification
Lin, C., Tsogt, K., and Chang, C. I. (2012). An empirical model-based method for signal restoration of SWIR in ASD field spectroradiometry. Photogramm. Eng. Remote Sens. 78, 119–127. doi: 10.14358/PERS.78.2.119
Lin, C., Tsogt, K., and Zandraabal, T. (2016). A decompositional stand structure analysis for exploring stand dynamics of multiple attributes of a mixed-species forest. For. Ecol. Manag. 378, 111–121. doi: 10.1016/j.foreco.2016.07.022
Liu, Z., Yan, J. Q., Zhang, D., and Li, Q. L. (2007). Automated tongue segmentation in hyperspectral images for medicine. Appl. Opt. 46, 8328–8334. doi: 10.1364/ ao.46.008328
Ma, J., Pu, H., Sun, D.-W., Gao, W., Qu, J.-H., and Ma, K.-Y. (2015). Application of Vis–NIR hyperspectral imaging in classification between fresh and frozen- thawed pork Longissimus Dorsi muscles. Int. J. Refrig. 50, 10–18. doi: 10.1016/ j.ijrefrig.2014.10.024
Marshall, S., Kelman, T., Qiao, T., Murray, P., and Zabalza, J. (2015). “Hyperspectral imaging for food applications,” in Proceedings of the 2015 23rd European Signal Processing Conference (EUSIPCO), (Piscataway, NJ: IEEE), 2854–2858. doi: 10.1109/EUSIPCO.2015.7362906
Mirzaei, M., Marofi, S., Abbasi, M., Solgi, E., Karimi, R., and Verrelst, J. (2019). Scenario-based discrimination of common grapevine varieties using in-field hyperspectral data in the western of Iran. Int. J. Appl. Earth Obs. Geoinf. 80, 26–37. doi: 10.1016/j.jag.2019.04.002
Nasiri, A., Taheri-Garavand, A., Fanourakis, D., Zhang, Y. D., and Nikoloudakis, N. (2021). Automated grapevine cultivar identification via leaf imaging and deep convolutional neural networks: a proof-of-concept study employing primary iranian varieties. Plants 10:1628. doi: 10.3390/plants10081628
Nicolaï, B. M., Lötze, E., Peirs, A., Scheerlinck, N., and Theron, K. I. (2006). Non- destructive measurement of bitter pit in apple fruit using NIR hyperspectral imaging. Postharvest Biol. Technol. 40, 1–6. doi: 10.1016/j.postharvbio.2005.12. 006
Rapaport, T., Hochberg, U., Shoshany, M., Karnieli, A., and Rachmilevitch, S. (2015). Combining leaf physiology, hyperspectral imaging and partial least squares regression (PLS-R) for grapevine water status assessment. ISPRS J. Photogramm. Remote Sens. 109, 88–97. doi: 10.1016/j.isprsjprs.2015.09.003
Salman, A., Semwal, A., Bhatt, U., and Thakkar, V. M. (2017). “Leaf classification and identification using Canny Edge Detector and SVM classifier,” in Proceedings of the 2017 International Conference on Inventive Systems and Control (ICISC), (Piscataway, NJ: IEEE), 1–4. doi: 10.1109/ICISC.2017.806 8597
Santos, F., Meneses, P., and Hostert, P. (2019). Monitoring long-term forest dynamics with scarce data: a multi-date classification implementation in the Ecuadorian Amazon. Eur. J. Remote Sens. 52(Suppl. 1), 62–78. doi: 10.1080/ 22797254.2018.1533793
Schmitter, P., Steinruecken, J., Roemer, C., Ballvora, A., Leon, J., Rascher, U., et al. (2017). Unsupervised domain adaptation for early detection of drought stress in hyperspectral images. ISPRS J. Photogramm. Remote Sens. 131, 65–76. doi: 10.1016/j.isprsjprs.2017.07.003
Simonyan, K., and Zisserman, A. (2015). Very deep convolutional networks for large-scale image recognition. arXiv [preprint]. arXiv:1409.1556, doi: 10.3390/ s21082852
Sinha, P., Robson, A., Schneider, D., Kilic, T., Mugera, H. K., Ilukor, J., et al. (2020). The potential of in-situ hyperspectral remote sensing for differentiating 12 banana genotypes grown in Uganda. ISPRS J. Photogramm. Remote Sens. 167, 85–103. doi: 10.1016/j.isprsjprs.2020.06.023
Sun, J., Zhou, X., Hu, Y., Wu, X., Zhang, X., and Wang, P. (2019). Visualizing distribution of moisture content in tea leaves using optimization algorithms and NIR hyperspectral imaging. Comput. Electron. Agric. 160, 153–159. doi: 10.1016/j.compag.2019.03.004
Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., et al. (2015). “Going deeper with convolutions,” in Proceedings of the IEEE conference on CVPR, (Piscataway, NJ: IEEE), 1–9. doi: 10.1109/CVPR.2015.7298594
Teena, M. A., Manickavasagan, A., Ravikanth, L., and Jayas, D. S. (2014). Near infrared (NIR) hyperspectral imaging to classify fungal infected date fruits. J. Stored Prod. Res. 59, 306–313. doi: 10.1016/j.jspr.2014.09.005
Ubbens, J. R., and Stavness, I. (2017). Deep plant phenomics: a deep learning platform for complex plant phenotyping tasks. Front. Plant Sci. 8:1190. doi: 10.3389/fpls.2017.01190
Wang, Q., Li, Q., and Li, X. (2020). A fast neighborhood grouping method for hyperspectral band selection. IEEE Trans. Geosci. Remote Sens. 59, 5028–5039. doi: 10.1109/TGRS.2020.3011002
Wang, Y., Qin, Y., and Cui, J. (2021). Occlusion robust wheat ear counting algorithm based on deep learning. Front. Plant Sci. 12:645899. doi: 10.3389/fpls. 2021.645899
Yang, G., Chen, G., Li, C., Fu, J., Guo, Y., and Liang, H. (2021). Convolutional rebalancing network for the classification of large imbalanced rice pest and disease datasets in the field. Front. Plant Sci. 12:671134. doi: 10.3389/fpls.2021. 671134
Zhang, B., Wu, D., Zhang, L., Jiao, Q., and Li, Q. (2012). Application of hyperspectral remote sensing for environment monitoring in mining areas. Environ. Earth Sci. 65, 649–658. doi: 10.1007/s12665-011-1 112-y
Zhang, H., Yanne, P., and Liang, S. (2012). “Plant species classification using leaf shape and texture,” in Proceedings of the 2012 International Conference on Industrial Control and Electronics Engineering, (Piscataway, NJ: IEEE), 2025–2028. doi: 10.1109/ICICEE.2012.538
Zhang, X. D. (2020). A Matrix Algebra Approach to Artificial Intelligence, (Singapore: Springer), 223–440. doi: 10.1007/978-981-15-2770-8_6
Zhu, Y., Sun, W., Cao, X., Wang, C., Wu, D., Yang, Y., et al. (2019). TA-CNN: two-way attention models in deep convolutional neural network for plant recognition. Neurocomputing 365, 191–200. doi: 10.1016/j.neucom.2019.07.016

Конфликт интересов

Авторы заявляют, что исследование выполнено при отсутствии коммерческих или финансовых отношений, которые могли бы быть истолкованы как потенциальный конфликт интересов.

Примечание издателя

Утверждения в статье принадлежат авторам и могут не отражать позицию их организаций, издателя, редакторов и рецензентов. Издатель не гарантирует и не одобряет оцениваемые продукты и заявления производителей.
© Liu, Yang, Huang и Lin, 2022. Статья распространяется по лицензии Creative Commons Attribution (CC BY). Использование, распространение и воспроизведение допускаются при указании авторов и правообладателей и цитировании оригинальной публикации в журнале согласно академической практике. Использование с нарушением этих условий не допускается.
19 ноября 2026