Оставить заявку
Для заказа и получения более подробной информации оставьте заявку, наш менеджер свяжется с Вами!
Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности
Оставьте свой номер и мы с вами свяжемся!
Или Вы можете позвонить нам сами:
+7 902 934 71 72
Активная и недорогая гиперспектральная съемка для спектрального анализа среды при низкой освещенности
Ян Тан 1,2 , Шуан Сун 1,2 , Шэнси Гуй 1,2 , Вэйлунь Чао 3,4, Чинмин Чэн 2,4 и Жунцзюнь Цинь 1,2,3,4 ,*
Аннотация: на основе гиперспектральной съемки можно получать информацию, которая не может быть получена с обычных RGB-камер. Такой вид съемки применим для идентификации материалов и их спектрального анализа. Однако, большинство существующих гиперспектральных камер по-прежнему являются пассивными системами съемки. Такие системы требуют внешнего источника света для освещения объектов, для увеличения спектральной интенсивности. В результате полученные изображения сильно зависят от освещения окружающей среды, камера не может работать в темноте или при слабом освещении. В этой работе разрабатывается прототип системы активной гиперспектральной съемки, которая активно излучает разнообразные одноволновые световые лучи с определенной частотой при съемке. Эта концепция имеет несколько преимуществ: во-первых, при использовании контролируемого освещения величина отдельных каналов более стандартизирована для извлечения информации об отражении; во-вторых, система способна фокусироваться на нужном спектральном диапазоне, регулируя количество и тип светодиодов; в-третьих, активная система может быть механически проще в изготовлении, поскольку она не требует сложных полосовых фильтров, используемых в пассивных системах. Три лабораторных эксперимента показывают, что такая конструкция осуществима и может дать информативные гиперспектральные изображения в условиях низкой освещенности или темноты: (1) спектральный анализ: гиперспектральные изображения, полученные с помощью этой системы, улучшают качество мониторинга состояния пищевых продуктов и различимость геологических пород по сравнению с изображениями RGB; (2) интерпретируемость: гиперспектральные изображения этой системы повышают точность машинного обучения. Таким образом, это потенциально может принести пользу академическим и промышленным сегментам, таким как геохимия, науки о Земле, подземная энергетика и добыча полезных ископаемых.
1. Введение
1.1. Предыстория
Гиперспектральное дистанционное зондирование обладает уникальными возможностями для получения обширной спектральной информации, выходящей за рамки обычных оптических датчиков изображения, и было признано важным средством решения проблем для многих применений [1], таких как мониторинг окружающей среды [2], разведка месторождений рудных полезных ископаемых [3], точное земледелие [4], исследование жизнеспособности семян [5], биотехнология [6], психофизические исследования [ 7], фармацевтика [8] и разведка нефти и газа [9]. По сравнению с другими методами, например, акустическая эмиссионная томография [10–12] является важным методом мониторинга на минном поле с использованием комбинации активных и пассивных источников. Гиперспектральная камера не требует прямого контакта с поверхностью объекта; следовательно, метод может быть применен в более широкой области. Например, гиперспектральная съемка используется в сельском хозяйстве для мониторинга состояния сельскохозяйственных культур с помощью дистанционного зондирования. В Австралии исследователи используют периодически сканируемые гиперспектральные изображения для создания систем раннего предупреждения об эпидемиях заболеваний с использованием спектрометров [13]. По сравнению с другими широкополосными изображениями (т. е. мультиспектральными или обычными изображениями RGB (красный, зеленый, синий), гиперспектральные изображения могут предоставлять более подробную информацию об объектах для облегчения более сложных применений. Например, их можно использовать для обнаружения растений и их видов [14,15], а также для извлечения подробной информации об открытых горных работах [16–18].
Как и во многих других оптических камерах, большинство таких гиперспектральных систем съемки используют пассивную схему зондирования, которая требует внешнего освещения и работает в основном при дневном свете. Камера собирает отраженную энергию от естественных источников света, таких как солнечное излучение или окружающее освещение помещения от объекта. Затем датчик разбивает спектры на отдельные полосы; либо через полосовые фильтры [19], либо через оптические разветвители [20,21]. Из-за того, что гиперспектральные камеры содержат десятки или сотни таких каналов, механику этих фильтров часто трудно реализовать, что делает эти камеры более дорогими и громоздкими, чем обычные камеры. Чтобы приспособиться, многие гиперспектральные камеры используют датчики с линейной матрицей через линейный переменный фильтр (концептуальный рисунок показан на рисунке 1) [22], в котором различные полосовые фильтры реализованы на разных линиях ячеек в сенсорных чипах для достижения сотен диапазонов, тогда как это требует, чтобы камера получала изображения с движением (т. е. линейное сканирование), ограничивая ее использование стационарным захватом в более ограниченном пространстве. Кроме того, поскольку полученные изображения сильно зависят от естественного света, он, скорее всего, будет получать противоречивые изображения одних и тех же объектов, когда условия освещения значительно изменяются. Например, спектральные отклики, отображаемые на гиперспектральном изображении, полученном в солнечный день, могут отличаться от тех, которые получены в пасмурный день.
Аннотация: на основе гиперспектральной съемки можно получать информацию, которая не может быть получена с обычных RGB-камер. Такой вид съемки применим для идентификации материалов и их спектрального анализа. Однако, большинство существующих гиперспектральных камер по-прежнему являются пассивными системами съемки. Такие системы требуют внешнего источника света для освещения объектов, для увеличения спектральной интенсивности. В результате полученные изображения сильно зависят от освещения окружающей среды, камера не может работать в темноте или при слабом освещении. В этой работе разрабатывается прототип системы активной гиперспектральной съемки, которая активно излучает разнообразные одноволновые световые лучи с определенной частотой при съемке. Эта концепция имеет несколько преимуществ: во-первых, при использовании контролируемого освещения величина отдельных каналов более стандартизирована для извлечения информации об отражении; во-вторых, система способна фокусироваться на нужном спектральном диапазоне, регулируя количество и тип светодиодов; в-третьих, активная система может быть механически проще в изготовлении, поскольку она не требует сложных полосовых фильтров, используемых в пассивных системах. Три лабораторных эксперимента показывают, что такая конструкция осуществима и может дать информативные гиперспектральные изображения в условиях низкой освещенности или темноты: (1) спектральный анализ: гиперспектральные изображения, полученные с помощью этой системы, улучшают качество мониторинга состояния пищевых продуктов и различимость геологических пород по сравнению с изображениями RGB; (2) интерпретируемость: гиперспектральные изображения этой системы повышают точность машинного обучения. Таким образом, это потенциально может принести пользу академическим и промышленным сегментам, таким как геохимия, науки о Земле, подземная энергетика и добыча полезных ископаемых.
1. Введение
1.1. Предыстория
Гиперспектральное дистанционное зондирование обладает уникальными возможностями для получения обширной спектральной информации, выходящей за рамки обычных оптических датчиков изображения, и было признано важным средством решения проблем для многих применений [1], таких как мониторинг окружающей среды [2], разведка месторождений рудных полезных ископаемых [3], точное земледелие [4], исследование жизнеспособности семян [5], биотехнология [6], психофизические исследования [ 7], фармацевтика [8] и разведка нефти и газа [9]. По сравнению с другими методами, например, акустическая эмиссионная томография [10–12] является важным методом мониторинга на минном поле с использованием комбинации активных и пассивных источников. Гиперспектральная камера не требует прямого контакта с поверхностью объекта; следовательно, метод может быть применен в более широкой области. Например, гиперспектральная съемка используется в сельском хозяйстве для мониторинга состояния сельскохозяйственных культур с помощью дистанционного зондирования. В Австралии исследователи используют периодически сканируемые гиперспектральные изображения для создания систем раннего предупреждения об эпидемиях заболеваний с использованием спектрометров [13]. По сравнению с другими широкополосными изображениями (т. е. мультиспектральными или обычными изображениями RGB (красный, зеленый, синий), гиперспектральные изображения могут предоставлять более подробную информацию об объектах для облегчения более сложных применений. Например, их можно использовать для обнаружения растений и их видов [14,15], а также для извлечения подробной информации об открытых горных работах [16–18].
Как и во многих других оптических камерах, большинство таких гиперспектральных систем съемки используют пассивную схему зондирования, которая требует внешнего освещения и работает в основном при дневном свете. Камера собирает отраженную энергию от естественных источников света, таких как солнечное излучение или окружающее освещение помещения от объекта. Затем датчик разбивает спектры на отдельные полосы; либо через полосовые фильтры [19], либо через оптические разветвители [20,21]. Из-за того, что гиперспектральные камеры содержат десятки или сотни таких каналов, механику этих фильтров часто трудно реализовать, что делает эти камеры более дорогими и громоздкими, чем обычные камеры. Чтобы приспособиться, многие гиперспектральные камеры используют датчики с линейной матрицей через линейный переменный фильтр (концептуальный рисунок показан на рисунке 1) [22], в котором различные полосовые фильтры реализованы на разных линиях ячеек в сенсорных чипах для достижения сотен диапазонов, тогда как это требует, чтобы камера получала изображения с движением (т. е. линейное сканирование), ограничивая ее использование стационарным захватом в более ограниченном пространстве. Кроме того, поскольку полученные изображения сильно зависят от естественного света, он, скорее всего, будет получать противоречивые изображения одних и тех же объектов, когда условия освещения значительно изменяются. Например, спектральные отклики, отображаемые на гиперспектральном изображении, полученном в солнечный день, могут отличаться от тех, которые получены в пасмурный день.
Рисунок 1. Линейное сканирование движения с переменным фильтром. Пример линейного переменного фильтра на сенсорном чипе для получения гиперспектральной съемки. Съемка достигается с помощью сканирования на основе движения [23].
1.2. Сопутствующие работы
Чтобы устранить вышеупомянутые ограничения, ученые предприняли несколько попыток использовать активную гиперспектральную съемку [24,25], включающую два общих подхода: (1) использование другого механизма съемки с помощью лазерных лучей и (2) использование внешних и контролируемых источников света для освещения интересующего объекта. В первом подходе лазерные лучи с различными длинами волн могут излучаться датчиками, которые модулируются, а затем принимаются детектором для формирования 3D-гиперспектрального изображения. Они могут быть предназначены для работы в темноте [26]. Однако у него есть ряд недостатков. Во-первых, лазеры работают только с ограниченной полосой пропускания (в основном в инфракрасном диапазоне) и могут не охватывать весь спектр желаемой полосы пропускания. Во-вторых, учитывая крошечные следы этих лазерных лучей, требуется очень точная калибровка среди лазерных лучей с разной длиной волны. Это влечет за собой гораздо более высокие затраты на оборудование для интеграции и калибровки. Второй подход использует связанные источники света, которые излучают свет полного спектра (белый свет) или мультиплексированное по времени освещение узкополосным светом [27,28]. Например, Park et al., Li et al. и Wang et al. [29–31] использовали смешанные источники света RGB для освещения сцены и типичную камеру RGB для получения изображений, чтобы определить идеальную последовательность мультиплексирования источников спектра.
Используя светорассеивающий отражатель, HyperCam [32] уменьшает количество светодиодов увеличенного размера. Фиксированная мера расстояния с закрытым подходом к освещению помогает избежать смещения настроек камеры от одного измерения к другому. Поэтому для измерения почвы и низкой растительности Orlando et al. [33] представили подход к прямому освещению с прототипами VIS и NIR. Для различных применений также был разработан альтернативный косвенный метод с использованием многосветодиодных структур различной формы. Song et al. [28], например, предложили световую трубу с методом флип-н-фолда для анализа предлагаемой структуры макета. В нескольких исследованиях рассматривалось использование недорогих светодиодных источников для излучения света с частотой [34–40], а освещенные объекты стационарно воздействуют на одной и той же частоте для построения полос данных. Некоторые приложения, использующие гиперспектральные данные, включают семантическую сегментацию с помощью преобразователей [41], классификацию изображений с помощью графовых сверточных сетей [42] и стереосопоставление с гиперспектральным контролем [43]. Многие существующие приложения часто достигают цветности этих источников света с помощью смеси широкополосных источников света RGB (включая диапазон длин волн 400–700 нм); Таким образом, восстановление узкополосных ответов является плохо поставленной проблемой. Однако во многих существующих исследованиях такие составные огни непосредственно используются для последующих применений [35,44–46], а в некоторых работах исследователи используют методы, основанные на обучении (сверточные нейронные сети (CNN)) [47,48] или байесовские методы регуляризации [49 ] для восстановления узкополосных спектров. Более того, во многих из этих существующих работ в качестве детектора используются коммерческие готовые RGB-камеры [50], что является неоптимальным, поскольку фильтры RGB существенно ограничивают входящий свет и результирующие его полосы в видимом диапазоне.
Хотя эти новые подходы и прототипы датчиков считаются многообещающими, некоторые из них механически сложнее реализовать, увеличивая стоимость и без того дорогого семейства гиперспектральных камер. В этой статье представлено потенциальное решение, в котором используется светодиод в сочетании с оптической камерой, что позволяет создавать экономичные и компактные датчики, которые могут работать в условиях низкой освещенности и ограниченного пространства. Мы предлагаем прототип активной системы гиперспектральной съемки, которая использует синхронизированные светодиодные лампы в качестве активного источника освещения и демонстрирует свою жизнеспособность в типичных применениях гиперспектральной съемки для спектрального анализа и классификации материалов.
1.3. Вклад научного сообщества
В частности, этот прототип системы улучшает предыдущие усилия за счет (1) прямого использования одноволновых светодиодов на круглом хосте, программируемом для освещения, вместо использования смешанного RGB для достижения псевдоузкополосного диапазона; (2) использование готовой камеры полного спектра для сбора изображений за пределами видимых каналов; и (3) обширная проверка системы с помощью спектрального анализа и классификации на основе машинного обучения.
В этом исследовании мы предлагаем прототип активной гиперспектральной системы съемки, которая использует синхронизированные светодиодные лампы в условиях низкой освещенности / темноты. Система состоит из трех модулей: (1) модуль освещения на основе светодиодов; (2) модуль управления, который синхронизируется с затвором камеры полного спектра; (3) модуль наложения и постобработки изображений. Система имеет ряд преимуществ по сравнению с существующими камерами. Во-первых, эта активная сенсорная система предназначена для работы в условиях низкой освещенности и темноты, в отличие от других (пассивных) систем, работающих в условиях дневного света. Во-вторых, изменяя настройки освещения только на изолированные источники в пределах желаемых длин волн, система может легко регулировать спектральный диапазон и разрешение для сбора данных и дальнейшего анализа, сокращая ресурсы, необходимые для этого процесса. В-третьих, все компоненты, используемые в этой системе, являются недорогими, готовыми и потенциально могут быть изготовлены в компактной форме для работы в ограниченных средах, например, в подземной скважине. Мы оцениваем жизнеспособность такой системы, получая гиперспектральные изображения в таких сферах, как классификация горных пород и спектральный анализ, чтобы различать визуально похожие объекты (например, печатные и натуральные листья и испорченные продукты).
Остальные разделы организованы следующим образом: в разделе 2 представлена наша прототипная система, которая включает в себя подразделы компонента светодиодной подсветки, управления камерой и иллюстратором, а также получения изображений; В разделе 3 объясняются эксперименты, приводятся результаты и подтверждение; В разделе 4 обсуждаются ожидаемые трудности на пути его полного осуществления и возможности его улучшения; Последний раздел 5 завершает документ и дает прогноз будущей работы.
2. Методы и материалы
2.1. Обзор предлагаемой системы
На рисунке 2 показан обзор предлагаемой активной гиперспектральной системы, получающей данные в темной среде. Система состоит из круглой платы, на которой размещается массив (всего 76) одноволновых (монохроматических) светодиодных световых лучей и камера полного спектра, которые подключаются через модуль дистанционного управления, синхронизирующий излучаемые огни и затвор камеры. Объект, представляющий интерес для съемки, помещается под подкладной лоток в этой экспериментальной установке, в которую мы помещаем различные образцы для спектрального анализа и классификации материалов на основе машинного обучения (будет представлено в разделе 3). Интересующий объект остается статичным на протяжении всего процесса получения изображений, кондиционируется при различном светодиодном освещении. В следующих нескольких разделах мы познакомим вас с конструкцией светодиодного осветителя, камеры, а также компонентов получения и постобработки данных, ведущих к гиперспектральным изображениям.
Чтобы устранить вышеупомянутые ограничения, ученые предприняли несколько попыток использовать активную гиперспектральную съемку [24,25], включающую два общих подхода: (1) использование другого механизма съемки с помощью лазерных лучей и (2) использование внешних и контролируемых источников света для освещения интересующего объекта. В первом подходе лазерные лучи с различными длинами волн могут излучаться датчиками, которые модулируются, а затем принимаются детектором для формирования 3D-гиперспектрального изображения. Они могут быть предназначены для работы в темноте [26]. Однако у него есть ряд недостатков. Во-первых, лазеры работают только с ограниченной полосой пропускания (в основном в инфракрасном диапазоне) и могут не охватывать весь спектр желаемой полосы пропускания. Во-вторых, учитывая крошечные следы этих лазерных лучей, требуется очень точная калибровка среди лазерных лучей с разной длиной волны. Это влечет за собой гораздо более высокие затраты на оборудование для интеграции и калибровки. Второй подход использует связанные источники света, которые излучают свет полного спектра (белый свет) или мультиплексированное по времени освещение узкополосным светом [27,28]. Например, Park et al., Li et al. и Wang et al. [29–31] использовали смешанные источники света RGB для освещения сцены и типичную камеру RGB для получения изображений, чтобы определить идеальную последовательность мультиплексирования источников спектра.
Используя светорассеивающий отражатель, HyperCam [32] уменьшает количество светодиодов увеличенного размера. Фиксированная мера расстояния с закрытым подходом к освещению помогает избежать смещения настроек камеры от одного измерения к другому. Поэтому для измерения почвы и низкой растительности Orlando et al. [33] представили подход к прямому освещению с прототипами VIS и NIR. Для различных применений также был разработан альтернативный косвенный метод с использованием многосветодиодных структур различной формы. Song et al. [28], например, предложили световую трубу с методом флип-н-фолда для анализа предлагаемой структуры макета. В нескольких исследованиях рассматривалось использование недорогих светодиодных источников для излучения света с частотой [34–40], а освещенные объекты стационарно воздействуют на одной и той же частоте для построения полос данных. Некоторые приложения, использующие гиперспектральные данные, включают семантическую сегментацию с помощью преобразователей [41], классификацию изображений с помощью графовых сверточных сетей [42] и стереосопоставление с гиперспектральным контролем [43]. Многие существующие приложения часто достигают цветности этих источников света с помощью смеси широкополосных источников света RGB (включая диапазон длин волн 400–700 нм); Таким образом, восстановление узкополосных ответов является плохо поставленной проблемой. Однако во многих существующих исследованиях такие составные огни непосредственно используются для последующих применений [35,44–46], а в некоторых работах исследователи используют методы, основанные на обучении (сверточные нейронные сети (CNN)) [47,48] или байесовские методы регуляризации [49 ] для восстановления узкополосных спектров. Более того, во многих из этих существующих работ в качестве детектора используются коммерческие готовые RGB-камеры [50], что является неоптимальным, поскольку фильтры RGB существенно ограничивают входящий свет и результирующие его полосы в видимом диапазоне.
Хотя эти новые подходы и прототипы датчиков считаются многообещающими, некоторые из них механически сложнее реализовать, увеличивая стоимость и без того дорогого семейства гиперспектральных камер. В этой статье представлено потенциальное решение, в котором используется светодиод в сочетании с оптической камерой, что позволяет создавать экономичные и компактные датчики, которые могут работать в условиях низкой освещенности и ограниченного пространства. Мы предлагаем прототип активной системы гиперспектральной съемки, которая использует синхронизированные светодиодные лампы в качестве активного источника освещения и демонстрирует свою жизнеспособность в типичных применениях гиперспектральной съемки для спектрального анализа и классификации материалов.
1.3. Вклад научного сообщества
В частности, этот прототип системы улучшает предыдущие усилия за счет (1) прямого использования одноволновых светодиодов на круглом хосте, программируемом для освещения, вместо использования смешанного RGB для достижения псевдоузкополосного диапазона; (2) использование готовой камеры полного спектра для сбора изображений за пределами видимых каналов; и (3) обширная проверка системы с помощью спектрального анализа и классификации на основе машинного обучения.
В этом исследовании мы предлагаем прототип активной гиперспектральной системы съемки, которая использует синхронизированные светодиодные лампы в условиях низкой освещенности / темноты. Система состоит из трех модулей: (1) модуль освещения на основе светодиодов; (2) модуль управления, который синхронизируется с затвором камеры полного спектра; (3) модуль наложения и постобработки изображений. Система имеет ряд преимуществ по сравнению с существующими камерами. Во-первых, эта активная сенсорная система предназначена для работы в условиях низкой освещенности и темноты, в отличие от других (пассивных) систем, работающих в условиях дневного света. Во-вторых, изменяя настройки освещения только на изолированные источники в пределах желаемых длин волн, система может легко регулировать спектральный диапазон и разрешение для сбора данных и дальнейшего анализа, сокращая ресурсы, необходимые для этого процесса. В-третьих, все компоненты, используемые в этой системе, являются недорогими, готовыми и потенциально могут быть изготовлены в компактной форме для работы в ограниченных средах, например, в подземной скважине. Мы оцениваем жизнеспособность такой системы, получая гиперспектральные изображения в таких сферах, как классификация горных пород и спектральный анализ, чтобы различать визуально похожие объекты (например, печатные и натуральные листья и испорченные продукты).
Остальные разделы организованы следующим образом: в разделе 2 представлена наша прототипная система, которая включает в себя подразделы компонента светодиодной подсветки, управления камерой и иллюстратором, а также получения изображений; В разделе 3 объясняются эксперименты, приводятся результаты и подтверждение; В разделе 4 обсуждаются ожидаемые трудности на пути его полного осуществления и возможности его улучшения; Последний раздел 5 завершает документ и дает прогноз будущей работы.
2. Методы и материалы
2.1. Обзор предлагаемой системы
На рисунке 2 показан обзор предлагаемой активной гиперспектральной системы, получающей данные в темной среде. Система состоит из круглой платы, на которой размещается массив (всего 76) одноволновых (монохроматических) светодиодных световых лучей и камера полного спектра, которые подключаются через модуль дистанционного управления, синхронизирующий излучаемые огни и затвор камеры. Объект, представляющий интерес для съемки, помещается под подкладной лоток в этой экспериментальной установке, в которую мы помещаем различные образцы для спектрального анализа и классификации материалов на основе машинного обучения (будет представлено в разделе 3). Интересующий объект остается статичным на протяжении всего процесса получения изображений, кондиционируется при различном светодиодном освещении. В следующих нескольких разделах мы познакомим вас с конструкцией светодиодного осветителя, камеры, а также компонентов получения и постобработки данных, ведущих к гиперспектральным изображениям.
Рисунок 2. Прототип системы активной гиперспектральной съемки. Обзор предлагаемой активной гиперспектральной системы съемки (прототипная версия), получающей изображения в условиях низкой освещенности/темноты.
2.2. Светодиодный осветитель
Надежным механизмом освещения считается светодиодный светильник [51]. Например, в других механизмах освещения используется комбинация иллюминаторов на основе вольфрама и флуоресцентных ламп, которые неизбежно приводят к непрерывному спектру или неравномерному распределению в спектре. Светодиодные осветители, напротив, могут обеспечивать световые спектры точных и отчетливо более узких полос пропускания в зависимости от освещения (возбуждая определенные электроны к фотонам). Благодаря этому явлению можно наблюдать два преимущества. Во-первых, яркость светодиодного фонаря можно точно контролировать, используя величину тока. Во-вторых, поскольку светодиоды могут обеспечивать очень постоянный спектральный свет, их развертывание может быть стандартизировано для количественной оценки спектрального анализа, который в противном случае потребовал бы калибровки. Светодиодные лампы достаточно малы, чтобы их можно было расположить компактно. После того, как прототип (показанный на рисунке 2) протестирован и проверен, его можно дополнительно уплотнить для практического использования.
Как показано на рисунке 2, осветитель состоит из четырех концентрически круглых колец. Каждое кольцо состоит из 19 светодиодных ламп, имеющих одинаковую конфигурацию светодиодов, образующих кластер, излучающий свет с равномерным световым покрытием. Четыре светодиодных фонаря в каждом кластере размещены с интервалом 90 градусов для создания достаточно сильного освещения, в то же время они расположены распределенно, чтобы уменьшить образование теней при прямом освещении. Осветитель может освещать световые лучи на 19 уникальных длинах волн, и его фактическая реализация была достигнута путем размещения этих светодиодных ламп на круглой печатной плате (печатной плате), которая питалась от поставщика постоянного тока мощностью 3 Вт и управлялась электрическими переключателями (фактический прототип показан на рисунке 3). Каждая светодиодная лампа имеет размеры 3,45 на 3,45 мм, питается от источника постоянного тока. Выбор этих 19 различных светодиодов направлен на то, чтобы охватить как можно более широкие диапазоны спектра. С этой целью эти 19 монохроматических светодиодов охватывают спектральный диапазон 365–1050 нм, который является одноразовым в зависимости от спектрального разрешения и длины волны света (которая может быть расширена от ультрафиолета до 1400 нм в инфракрасном диапазоне). На основании описания продукта и спектрограммы [52,53]. Текущая компоновка этого прототипа осветителя имеет спектральную полосу пропускания 5 нм на светодиодный свет. Эти узкополосные светодиодные фонари потенциально могут генерировать спектральные зазоры, и более желаемая конфигурация заключается в том, чтобы эти светодиодные лампы полностью покрывали спектральный диапазон, чтобы избежать потери информации. На этом этапе прототипирования мы рассмотрели текущие пространственные охваты, достаточно широкие, чтобы получить адекватную информацию. В результате выбранные светодиодные лампы имеют максимально равномерное распределение длин волн в спектральном диапазоне. Это также зависит от инвентаря, доступного на момент покупки материала. В результате выбирается 19 светодиодных ламп с уникальными длинами волн, разделяющих спектральный диапазон 365–1050 нм на примерно равные интервалы (как показано в таблице 1).
Надежным механизмом освещения считается светодиодный светильник [51]. Например, в других механизмах освещения используется комбинация иллюминаторов на основе вольфрама и флуоресцентных ламп, которые неизбежно приводят к непрерывному спектру или неравномерному распределению в спектре. Светодиодные осветители, напротив, могут обеспечивать световые спектры точных и отчетливо более узких полос пропускания в зависимости от освещения (возбуждая определенные электроны к фотонам). Благодаря этому явлению можно наблюдать два преимущества. Во-первых, яркость светодиодного фонаря можно точно контролировать, используя величину тока. Во-вторых, поскольку светодиоды могут обеспечивать очень постоянный спектральный свет, их развертывание может быть стандартизировано для количественной оценки спектрального анализа, который в противном случае потребовал бы калибровки. Светодиодные лампы достаточно малы, чтобы их можно было расположить компактно. После того, как прототип (показанный на рисунке 2) протестирован и проверен, его можно дополнительно уплотнить для практического использования.
Как показано на рисунке 2, осветитель состоит из четырех концентрически круглых колец. Каждое кольцо состоит из 19 светодиодных ламп, имеющих одинаковую конфигурацию светодиодов, образующих кластер, излучающий свет с равномерным световым покрытием. Четыре светодиодных фонаря в каждом кластере размещены с интервалом 90 градусов для создания достаточно сильного освещения, в то же время они расположены распределенно, чтобы уменьшить образование теней при прямом освещении. Осветитель может освещать световые лучи на 19 уникальных длинах волн, и его фактическая реализация была достигнута путем размещения этих светодиодных ламп на круглой печатной плате (печатной плате), которая питалась от поставщика постоянного тока мощностью 3 Вт и управлялась электрическими переключателями (фактический прототип показан на рисунке 3). Каждая светодиодная лампа имеет размеры 3,45 на 3,45 мм, питается от источника постоянного тока. Выбор этих 19 различных светодиодов направлен на то, чтобы охватить как можно более широкие диапазоны спектра. С этой целью эти 19 монохроматических светодиодов охватывают спектральный диапазон 365–1050 нм, который является одноразовым в зависимости от спектрального разрешения и длины волны света (которая может быть расширена от ультрафиолета до 1400 нм в инфракрасном диапазоне). На основании описания продукта и спектрограммы [52,53]. Текущая компоновка этого прототипа осветителя имеет спектральную полосу пропускания 5 нм на светодиодный свет. Эти узкополосные светодиодные фонари потенциально могут генерировать спектральные зазоры, и более желаемая конфигурация заключается в том, чтобы эти светодиодные лампы полностью покрывали спектральный диапазон, чтобы избежать потери информации. На этом этапе прототипирования мы рассмотрели текущие пространственные охваты, достаточно широкие, чтобы получить адекватную информацию. В результате выбранные светодиодные лампы имеют максимально равномерное распределение длин волн в спектральном диапазоне. Это также зависит от инвентаря, доступного на момент покупки материала. В результате выбирается 19 светодиодных ламп с уникальными длинами волн, разделяющих спектральный диапазон 365–1050 нм на примерно равные интервалы (как показано в таблице 1).
Рисунок 3. Светодиодный осветитель. Контроллер освещения (слева) и круглая светодиодная панель (справа).
Таблица 1. Номер спектрального диапазона с соответствующей длиной волны светодиодных ламп.
Следует отметить, что в большинстве предыдущих работ используются светодиодные микшеры RGB, которые, по существу, смешивают спектры освещения трех индивидуально фиксированных диодов красителей, которые не охватывают спектр за пределами видимого диапазона. Напротив, мы напрямую используем диод с одним красителем, который реагирует на один источник электрического тока [54], который может непосредственно излучать свет в узкой полосе длин волн и с более высокой спектральной чистотой, работая за пределами видимых диапазонов (пример светодиода с одним диодом и светодиода RGB-микшера показан на рисунке 4). Hyper-Cam [32], прототип однодиодного светодиодного источника светодиодов, похож на конструкцию нашего осветителя, но они использовали светорассеивающий отражатель для создания равномерного освещения от отдельных светодиодных источников. Хотя это уменьшает количество необходимых светодиодов, могут возникнуть две проблемы. Во-первых, сила освещения может быть недостаточной. Во-вторых, отражатель может исказить спектральную чистоту светодиодных фонарей, добавляя еще один аномальный источник к конечному результату. Наша конструкция (т.е. использование светодиодов с равномерно распределенными длинами волн) выгодна в этих двух аспектах.
Рисунок 4. Светодиодный светодиод и светодиодный микшер RGB. Иллюстрация разницы между однодиодным светодиодом и светодиодом RGB-микшера [55].
В темноте или при слабом освещении оцифрованное изображение объектов определяется интенсивностью светодиодного освещения, настройками камеры и материалом поверхности объектов. Мы стремимся обеспечить постоянную абсолютную интенсивность света на разных длинах волн при одинаковых настройках камеры. Чтобы отрегулировать это, мы провели тест с картой соответствия цветов Pantone (PCNCT) [56]. Для каждой длины волны света мы измерили интенсивность отражения от одного и того же цветового пятна (средний серый). Если яркость различных светодиодных ламп одинакова, интенсивность отраженного света должна быть постоянной. На рисунке 5 показано измерение силы отражения, означающее, что интенсивность отражения постоянна (в основном в видимых диапазонах). Кроме того, реакции в инфракрасном и ультрафиолетовом диапазонах заметно слабее (от трети до половины видимой интенсивности). Эти невидимые части трудно охарактеризовать системой цвета и нумерации Pantone, что приводит к уменьшению интенсивности отражения.
Рисунок 5. Интенсивность отражения света на PCNCT. Интенсивность отражений на разных длинах волн на карточке соответствия цветов Pantone (PCNCT). Ось X относится к количеству полос и длин волн, ось Y представляет интенсивность отражения света от PCNCT (нормализуется до [0, 255]).
2.3. Управление камерой и осветителем
Обычная RGB-камера, использующая инфракрасный зеркальный фильтр, может значительно ухудшить полученное спектральное качество при усечении спектральной информации за пределами видимого диапазона. Поэтому, чтобы полностью улавливать отраженный свет через наш активный осветитель, мы развертываем камеру полного спектра, способную принимать спектры в более широком диапазоне, чем обычная RGB-камера. В то же время, как показано на рисунке 5 (раздел 2.2), учитывая, что интенсивность излучаемого света в основном постоянна, мы сможем получать гиперспектральные изображения без необходимости калибровки. В частности, для предложенной нами прототипной системы мы использовали модель Fujifilm X-T1 IR, оснащенную CMOS-сенсором, но исключающую инфракрасный фильтр среза. В результате эта камера может улавливать свет из ультрафиолетовой (УФ), видимой и инфракрасной (ИК) частей спектра (приблизительно 380–1000 нм) и может предоставлять примерно в два раза больше спектральной информации по сравнению с цветной RGB-камерой. Мы избегали использования какого-либо фильтра объектива, прикрепленного к камере, чтобы обеспечить прием любого или всего входящего света, который тщательно контролируется нашим осветителем. Пульт дистанционного управления соединен с выключателем питания и затвором, как показано на рисунке 6 (раздел 3). Параметры камеры сконфигурированы для работы в условиях низкой освещенности и темноты. Время экспозиции было установлено на 1/8 секунды, а диафрагма была установлена на f/14.0 для достижения компромисса между количеством полученного света и глубиной резкости. Для уменьшения шума и увеличения яркости была выбрана умеренная чувствительность ISO 800. Фиксированное фокусное расстояние 90 мм использовалось для съемки объектов с близкого расстояния. Эти параметры можно регулировать в соответствии с различными условиями освещения.
2.4. Получение изображений
При получении гиперспектрального изображения объекта система будет перебирать все 19 светодиодных световых каналов и регистрировать панхроматическое изображение каждого из них. Таким образом, процесс получения гиперспектрального изображения объекта будет проходить следующие этапы. Печатная плата управляет светодиодом, который подключен к источнику питания постоянного тока (DC). Он запрограммировал автоматическую логику для запуска последующей светодиодной цепи всякий раз, когда включается и выключается питание. Мы используем программное обеспечение источника питания постоянного тока для создания автоматизированной тестовой последовательности для переключения светодиодов через определенное время. Последовательность также управляет камерой с помощью приложения FUJIFILM Camera Remote, которое является приложением, предоставляемым FUJIFILM. Это приложение может управлять беспроводными цифровыми камерами для съемки изображений с синхронизированными светодиодными лампами. Теоретически интервал захвата может быть уменьшен до миллисекунд, что потребует высокоскоростной синхронизации.
Обычная RGB-камера, использующая инфракрасный зеркальный фильтр, может значительно ухудшить полученное спектральное качество при усечении спектральной информации за пределами видимого диапазона. Поэтому, чтобы полностью улавливать отраженный свет через наш активный осветитель, мы развертываем камеру полного спектра, способную принимать спектры в более широком диапазоне, чем обычная RGB-камера. В то же время, как показано на рисунке 5 (раздел 2.2), учитывая, что интенсивность излучаемого света в основном постоянна, мы сможем получать гиперспектральные изображения без необходимости калибровки. В частности, для предложенной нами прототипной системы мы использовали модель Fujifilm X-T1 IR, оснащенную CMOS-сенсором, но исключающую инфракрасный фильтр среза. В результате эта камера может улавливать свет из ультрафиолетовой (УФ), видимой и инфракрасной (ИК) частей спектра (приблизительно 380–1000 нм) и может предоставлять примерно в два раза больше спектральной информации по сравнению с цветной RGB-камерой. Мы избегали использования какого-либо фильтра объектива, прикрепленного к камере, чтобы обеспечить прием любого или всего входящего света, который тщательно контролируется нашим осветителем. Пульт дистанционного управления соединен с выключателем питания и затвором, как показано на рисунке 6 (раздел 3). Параметры камеры сконфигурированы для работы в условиях низкой освещенности и темноты. Время экспозиции было установлено на 1/8 секунды, а диафрагма была установлена на f/14.0 для достижения компромисса между количеством полученного света и глубиной резкости. Для уменьшения шума и увеличения яркости была выбрана умеренная чувствительность ISO 800. Фиксированное фокусное расстояние 90 мм использовалось для съемки объектов с близкого расстояния. Эти параметры можно регулировать в соответствии с различными условиями освещения.
2.4. Получение изображений
При получении гиперспектрального изображения объекта система будет перебирать все 19 светодиодных световых каналов и регистрировать панхроматическое изображение каждого из них. Таким образом, процесс получения гиперспектрального изображения объекта будет проходить следующие этапы. Печатная плата управляет светодиодом, который подключен к источнику питания постоянного тока (DC). Он запрограммировал автоматическую логику для запуска последующей светодиодной цепи всякий раз, когда включается и выключается питание. Мы используем программное обеспечение источника питания постоянного тока для создания автоматизированной тестовой последовательности для переключения светодиодов через определенное время. Последовательность также управляет камерой с помощью приложения FUJIFILM Camera Remote, которое является приложением, предоставляемым FUJIFILM. Это приложение может управлять беспроводными цифровыми камерами для съемки изображений с синхронизированными светодиодными лампами. Теоретически интервал захвата может быть уменьшен до миллисекунд, что потребует высокоскоростной синхронизации.
Рисунок 6. Установка активного гиперспектрального эксперимента. Эксперимент с активной гиперспектральной съемкой проводится в темноте. На рисунке отмечены различные компоненты этой экспериментальной установки.
3. Эксперимент
Были проведены две серии экспериментов для проверки прототипа предлагаемой камеры. Первая серия экспериментов была направлена на то, чтобы определить, может ли предложенный нами прототип предоставить спектральную информацию, выходящую за рамки свойств получения типичных изображений RGB. Это было сделано путем качественного анализа спектральных откликов объектов, которые легко различались гиперспектральными камерами. Это включало анализ визуального увеличения гиперспектральной съемки для идентификации свежей и увядшей клубники (Эксперимент-I), а также реальных и печатных (рисунок) листьев (Эксперимент-II). Во второй серии экспериментов изучалась достаточность результирующих гиперспектральных характеристик изображений объектов и облегчение приложений машинного обучения, распознающих объекты, которые было сложно дифференцировать, просто используя их изображения RGB. В этом эксперименте мы собрали несколько визуально похожих образцов горных пород, визуализировали их с помощью нашей системы и выполнили классификацию на основе машинного обучения для идентификации различных типов горных пород (эксперимент-III). Все эти эксперименты были выполнены с использованием предложенного прототипа, как показано на рисунке 6.
3.1. Эксперимент I — Идентификация свежей и увядшей клубники
Гиперспектральная камера была использована в качестве эффективного инструмента в пищевой промышленности для определения уровня свежести и выявления потенциального загрязнения пищевых продуктов в качестве меры по предотвращению жалоб и отзывов [57]. В этом эксперименте мы изучили свежесть клубники через предложенную нами камеру. Мы поместили свежую клубнику в комнату и регулярно делали снимки с помощью нашей системы камер. В частности, мы отбирали изображение через 0 ч (свежий), 24 ч и 48 ч, используя RGB-камеру и предлагаемую гиперспектральную камеру. Все три изображения RGB имели одинаковые настройки камеры, в частности, ISO 320, диафрагму 2,2f и время экспозиции 1/8 с. Наша активная гиперспектральная съемка получила 3 изображения с общим количеством 19 каналов. Сравнительные результаты представлены на рисунке 7. Видно, что изображения RGB не показали большой разницы в цвете, хотя часть клубники демонстрирует некоторые текстурные различия. Напротив, гиперспектральные изображения (визуализированные с использованием выбранных каналов) показывают характерные спектральные различия. Это ясно показывает преимущества гиперспектральной съемки для облегчения алгоритмов обнаружения для идентификации увядших участков плодов. Кроме того, он проверяет, что предлагаемая нами активная гиперспектральная съемка получает ожидаемые изображения. Критерии выбора каналов для съемки на рисунке 7 были основаны на принципе, что (представляя RGB) различные каналы из нашей активной гиперспектральной системы будут выделять перезрелые части. Мы выбрали длины волн ниже 450 нм, которые соответствовали изменениям пигментации, хлорофилла и содержания влаги в свежей и 24-часовой клубнике [58,59], чтобы продемонстрировать перезрелые части. Полосы 4, 7 и 11 — наиболее репрезентативные каналы — были выбраны для воссоздания клубники в RGB [60].
Были проведены две серии экспериментов для проверки прототипа предлагаемой камеры. Первая серия экспериментов была направлена на то, чтобы определить, может ли предложенный нами прототип предоставить спектральную информацию, выходящую за рамки свойств получения типичных изображений RGB. Это было сделано путем качественного анализа спектральных откликов объектов, которые легко различались гиперспектральными камерами. Это включало анализ визуального увеличения гиперспектральной съемки для идентификации свежей и увядшей клубники (Эксперимент-I), а также реальных и печатных (рисунок) листьев (Эксперимент-II). Во второй серии экспериментов изучалась достаточность результирующих гиперспектральных характеристик изображений объектов и облегчение приложений машинного обучения, распознающих объекты, которые было сложно дифференцировать, просто используя их изображения RGB. В этом эксперименте мы собрали несколько визуально похожих образцов горных пород, визуализировали их с помощью нашей системы и выполнили классификацию на основе машинного обучения для идентификации различных типов горных пород (эксперимент-III). Все эти эксперименты были выполнены с использованием предложенного прототипа, как показано на рисунке 6.
3.1. Эксперимент I — Идентификация свежей и увядшей клубники
Гиперспектральная камера была использована в качестве эффективного инструмента в пищевой промышленности для определения уровня свежести и выявления потенциального загрязнения пищевых продуктов в качестве меры по предотвращению жалоб и отзывов [57]. В этом эксперименте мы изучили свежесть клубники через предложенную нами камеру. Мы поместили свежую клубнику в комнату и регулярно делали снимки с помощью нашей системы камер. В частности, мы отбирали изображение через 0 ч (свежий), 24 ч и 48 ч, используя RGB-камеру и предлагаемую гиперспектральную камеру. Все три изображения RGB имели одинаковые настройки камеры, в частности, ISO 320, диафрагму 2,2f и время экспозиции 1/8 с. Наша активная гиперспектральная съемка получила 3 изображения с общим количеством 19 каналов. Сравнительные результаты представлены на рисунке 7. Видно, что изображения RGB не показали большой разницы в цвете, хотя часть клубники демонстрирует некоторые текстурные различия. Напротив, гиперспектральные изображения (визуализированные с использованием выбранных каналов) показывают характерные спектральные различия. Это ясно показывает преимущества гиперспектральной съемки для облегчения алгоритмов обнаружения для идентификации увядших участков плодов. Кроме того, он проверяет, что предлагаемая нами активная гиперспектральная съемка получает ожидаемые изображения. Критерии выбора каналов для съемки на рисунке 7 были основаны на принципе, что (представляя RGB) различные каналы из нашей активной гиперспектральной системы будут выделять перезрелые части. Мы выбрали длины волн ниже 450 нм, которые соответствовали изменениям пигментации, хлорофилла и содержания влаги в свежей и 24-часовой клубнике [58,59], чтобы продемонстрировать перезрелые части. Полосы 4, 7 и 11 — наиболее репрезентативные каналы — были выбраны для воссоздания клубники в RGB [60].
Рисунок 7. Та же клубника была снята RGB-камерой и активной гиперспектральной камерой. В первом ряду показано графическое сравнение условий с точки зрения свежего (слева), после 24 ч (посередине) и 48 ч (справа) одного и того же образца клубники из супермаркета, снятого камерой RGB. Во втором ряду слева показано псевдоцветное изображение, сгенерированное из наиболее характерных каналов (1, 3 и 4) одной и той же клубники, снятых нашей активной недорогой гиперспектральной камерой. Та же клубника сгенерировала псевдоцветное изображение (справа) из наиболее репрезентативных диапазонов RGB (4, 7 и 11), снятое нашей активной недорогой гиперспектральной камерой.
Далее мы оцениваем различия в спектре, сравнивая условия клубники в свежем виде и после 24 часов. Мы извлекаем средние спектральные отклики объекта для этих 19 каналов, как показано на рисунке 8. Эти отклики сопоставимы, поскольку яркость света одинакова на каждом полученном изображении. Как видно на рисунке 8, абсолютные различия между спектральными откликами свидетельствуют о том, что каналы 1, 3 и 4 являются наиболее отличительными и согласуются с нашим более ранним анализом, выделяя перезрелую часть клубники.
Рисунок 8. Интенсивность света в разных каналах свежей и перезрелой клубники. Продемонстрированы светлые оттенки в различных каналах свежей (синий канал) и перезрелой (зеленый канал) клубники. Красная линия представляет собой абсолютную разницу между двумя значениями интенсивности света. Ось Y представляет интенсивность отражения света клубники. На оси X отображается количество каналов, при этом соответствующий спектр каждого канала представлен цветом RGB для удобства использования.
3.2. Эксперимент II — Листовой эксперимент
Эксперимент II направлен на проверку спектральной компетентности гиперспектральной съемки по сравнению с типичными широкополосными изображениями RGB. Изображения печатных и реальных листьев используются в этом эксперименте с использованием типичной RGB-камеры и предлагаемой гиперспектральной камеры. Мы выбрали шесть разных листьев с точки зрения формы, текстуры и внешнего вида. Эти же листы были отсканированы и напечатаны на бумаге формата А4. Поскольку эти листы подверглись процессам сканирования и печати, ожидается, что их спектральные свойства будут заметно отличаться от их печатных аналогов. Изображения были сделаны с учетом тех же настроек камеры (т. е. ISO, диафрагмы и времени экспозиции), которые использовались в эксперименте-I. На рисунке 9 показаны RGB-изображения этих листов и их печатных аналогов, которые не показывают видимых визуальных различий между реальными и напечатанными листами.
Эксперимент II направлен на проверку спектральной компетентности гиперспектральной съемки по сравнению с типичными широкополосными изображениями RGB. Изображения печатных и реальных листьев используются в этом эксперименте с использованием типичной RGB-камеры и предлагаемой гиперспектральной камеры. Мы выбрали шесть разных листьев с точки зрения формы, текстуры и внешнего вида. Эти же листы были отсканированы и напечатаны на бумаге формата А4. Поскольку эти листы подверглись процессам сканирования и печати, ожидается, что их спектральные свойства будут заметно отличаться от их печатных аналогов. Изображения были сделаны с учетом тех же настроек камеры (т. е. ISO, диафрагмы и времени экспозиции), которые использовались в эксперименте-I. На рисунке 9 показаны RGB-изображения этих листов и их печатных аналогов, которые не показывают видимых визуальных различий между реальными и напечатанными листами.
Рисунок 9. Сравнение печатного и реального листа с помощью RGB-камеры. Часть сравнения между печатными и реальными парами листьев была взята с камеры RGB.
Далее мы анализируем спектральные различия между этими печатными и реальными листьями, используя изображения, полученные предлагаемой нами гиперспектральной камерой. Как показано на рисунке 10, анализируется спектральный отклик одной из пар листьев, который показывает, что несколько каналов отчетливо различаются между печатным и реальным листом. Например, компоненты бумаги в напечатанном листе генерируют заметный пик спектрального отражения около 500 нм, отклоняясь от спектрального отклика реального листа [61].
Рисунок 10. Спектральный анализ между напечатанным и реальным листом из одной и той же области участка. Комбинированное изображение показывает спектральный анализ между напечатанным и реальным листом (коллаж изображения справа) из одной и той же области пятна (крайнее левое изображение). Диаграмма, выделяющая спектральный анализ (изображение в центре), такая же, как на рисунке 8. Сравнение печатных (второе справа изображение) и реальных (крайнее правое изображение) листьев проводится с изображениями RGB и наиболее отчетливыми каналами (5, 6 и 7) псевдоцветного изображения.
Мы визуализируем изображение, используя каналы 5, 6 и 7 (соответствующие длины волн показаны в таблице 1) для пар листьев, как показано на рисунке 11. Ясно показано, что эти каналы могут быть использованы для достаточной дифференциации печатных и реальных листьев. Синтетическое RGB-изображение для печатных листов имеет разнообразный градиент отражения хроматического света (см. рис. 11) за счет впрыска флуоресцентных чернил на бумагу [61]. С другой стороны, разные листья имеют отражения разной интенсивности света из-за различных пропорций хлорофилла [62].
Рисунок 11. Сравнение печатного и реального листа гиперспектральной камерой. Синтетические RGB-изображения пар листьев, полученные из каналов, имеют наиболее значительные абсолютные различия между реальными и печатными изображениями листьев, полученными нашей активной и недорогой гиперспектральной камерой.
3.3. Эксперимент III — Эксперимент с каменными образцами
Гиперспектральные изображения могут предоставить больше спектральной информации о машинном обучении и анализе изображений. В этом эксперименте гиперспектральная съемка использовалась для решения проблем идентификации камней с использованием подходов машинного обучения. В частности, в качестве образцов было собрано 20 камней разных категорий. Некоторые камни были визуально очень похожи (как показано на рисунке 12). Эти камни включают базальт, обсидиан, перлит, плагиогранит, сланец, алевритовый сланец, аренит, известняк, кремнистую породу, углеродистый известняк, сланец, кварцит, ангидрит, змеевик, графит, алунит, гематит, халькопирит, агат. Изображения были записаны в соответствии с согласованными настройками камеры (т. е. ISO, диафрагмой и временем экспозиции), которые использовались в эксперименте-I.
Гиперспектральные изображения могут предоставить больше спектральной информации о машинном обучении и анализе изображений. В этом эксперименте гиперспектральная съемка использовалась для решения проблем идентификации камней с использованием подходов машинного обучения. В частности, в качестве образцов было собрано 20 камней разных категорий. Некоторые камни были визуально очень похожи (как показано на рисунке 12). Эти камни включают базальт, обсидиан, перлит, плагиогранит, сланец, алевритовый сланец, аренит, известняк, кремнистую породу, углеродистый известняк, сланец, кварцит, ангидрит, змеевик, графит, алунит, гематит, халькопирит, агат. Изображения были записаны в соответствии с согласованными настройками камеры (т. е. ISO, диафрагмой и временем экспозиции), которые использовались в эксперименте-I.
Рисунок 12. Образцы камней. Образцы камней, демонстрирующие межклассовое сходство с точки зрения их внешнего вида.
Изображения этих двадцати камней были получены с помощью RGB и предложенной нами гиперспектральной камеры с трех сторон, каждая грань была записана для создания набора данных. В результате получается в общей сложности 20 (количество классов) × 3 (разные стороны) × 19 (каналов) гиперспектральных изображений, а также соответствующие изображения RGB. Обрезав каменные пятна с этих изображений с разрешением 100 × 100 пикселей, было сгенерировано 114 000 образцов, из которых 80% используются для обучения и 20% для тестирования.
Чтобы разрешить этот эксперимент классификации двадцати выборок, мы обучаем случайный лес с n оценками/деревьями (n = 10). 19-канальный патч входных изображений был суммирован до среднего/медианного/гауссовского средневзвешенного значения, а категория камня является результирующим выходом. Результат в таблице 2 показывает, что модель, обученная на гиперспектральных изображениях, имеет точность около 90%, что значительно выше, чем модель, обученная только на изображениях RGB, с точностью около 70%.
Таблица 2. Сравнение производительности результатов RF (классификатора случайных лесов).
Чтобы разрешить этот эксперимент классификации двадцати выборок, мы обучаем случайный лес с n оценками/деревьями (n = 10). 19-канальный патч входных изображений был суммирован до среднего/медианного/гауссовского средневзвешенного значения, а категория камня является результирующим выходом. Результат в таблице 2 показывает, что модель, обученная на гиперспектральных изображениях, имеет точность около 90%, что значительно выше, чем модель, обученная только на изображениях RGB, с точностью около 70%.
Таблица 2. Сравнение производительности результатов RF (классификатора случайных лесов).
На этапе проектирования и эксперимента мы убедились, что этот прототип может функционировать как типичная гиперспектральная камера для получения дополнительной спектральной информации, что приводит к лучшим результатам классификации объектов, которые обычно представляют сложность при использовании только изображений RGB. В частности, эти эксперименты проводились в темной и ограниченной среде. Этот прототип лишь демонстрирует осуществимость такой системы. Несмотря на то, что выявлены некоторые проблемы, существуют огромные возможности для улучшения, чтобы разработать эту систему для практического использования, т.е. быть более эффективной и портативной (компактной) для получения данных в ограниченном пространстве.
Практичная система потребует более быстрого получения изображений, чтобы избежать размытия при движении, и за определенный период можно будет получить больше коллекций. Время сбора данных значительно различается между разработанным нами прототипом и основными пассивными гиперспектральными системами. Чтобы свести к минимуму время съемки между каналами, требуется значительная аппаратная конструкция для идеальной синхронизации между затвором и программируемым освещением. Нынешняя система прототипов не оптимизировала этот компонент, из-за чего на получение всей коллекции изображений требовалось около 20 с. Например, при умеренной оптимизации съемка одного спектра может занять всего 1/8 секунды (т. е. один снимок). Таким образом, время, необходимое для сбора всех 19 полос, может быть сокращено до 2,375 с. Кроме того, наш прототип требует процесса наложения изображений, который может быть легко удален после дальнейшей разработки прототипа с помощью более автоматизированного модуля синхронизации и хранения данных. Кроме того, качество данных может быть улучшено с помощью различных средств. Важной мерой является увеличение числа каналов спектра. Однако это может стать сложной задачей, поскольку наша система сбора данных линейно освещает полосы с помощью светодиодов. Большее количество светодиодов приводит к увеличению логистических и пространственных затрат и увеличению времени получения данных. Мы считаем, что эта проблема может быть решена путем разделения диапазона спектра на два или более комплекта активной системы освещения, что не приведет к дальнейшему увеличению плотности освещения, или путем использования светодиодов с переменными длинами волн для облегчения более компактных систем освещения. Кроме того, если учитывать эффективность и компактность, система будет способствовать лучшему сценарию, например, позволяя камере исследовать темные и замкнутые пространства и передавать данные в реальном времени для приложений машинного обучения в режиме реального времени и принятия решений на месте. В наших будущих усилиях мы рассчитываем решить эти аспекты с помощью более продвинутого производства, системной интеграции и анализа данных.
5. Выводы
Гиперспектральные камеры являются отличными инструментами для идентификации объектов, но большинство из них представляют собой пассивные системы съемки, которые не могут работать в более темных условиях. В данной работе демонстрируется предложенный нами прототип активной гиперспектральной системы, которая может быть использована в условиях темноты. В отличие от ранее существовавших решений, предлагаемая нами недорогая система использует точные узкополосные осветители в плотном диапазоне спектра (который предлагает 19 каналов с максимальным расширением покрытия), установленные на специально разработанной кольцевой схеме в сочетании с синхронизатором и камерой полного спектра. Мы всесторонне оценили системный потенциал этой предлагаемой активной гиперспектральной камеры с помощью трех экспериментов (1) определение свежести пищи, (2) сравнение между реальными и печатными листьями и (3) идентификация и категоризация образцов горных пород (см. Раздел 3).
Результаты экспериментов позволили сделать следующие выводы: во-первых, точный спектральный анализ достижим с помощью недорогих светодиодных фонарей. Это дает возможность разрабатывать недорогие, легкие системы, чтобы иметь возможность получать информацию об объектах с лучшей мобильностью. Во-вторых, наш прототип гиперспектральной системы обладает способностью различать объекты, которые не возможно различить с помощью стандартных RGB-камер. В частности, мы заметили, что изменение свежести клубники легко обнаруживается при временном разрешении 24 часа или меньше.
Настоящие и печатные листья демонстрируют отличительные спектральные сигнатуры под нашими системами камер, обозначая визуальное сходство под стандартной камерой RGB. В сочетании с простыми подходами к машинному обучению изображения, полученные с помощью нашей системы камер, достигают более высокой точности классификации (+22% макс.) по сравнению с изображениями, полученными с помощью типичной камеры RGB. Было продемонстрировано, что такая система осуществима в условиях низкой освещенности. Тем не менее, во время наших экспериментов мы также наблюдали несколько проблем, в том числе теневые эффекты изображений, проецируемых из разных каналов на близких расстояниях, временную задержку получения изображений между каналами, а также проблемы изготовления такой системы в компактной форме, чтобы облегчить ее использование в ограниченном пространстве, например, в скважинах. Поэтому в наших будущих исследованиях мы будем стремиться к повышению компактности и интеграции системы, что приведет к более высокому уровню готовности.
Сокращения
В данной рукописи используются следующие сокращения:
Светодиодный светодиод Сверточные нейронные сети CNNPCPC Печатная плата DC Direct Current PCNCT Pantone Color Match CardCMOS Complementary Metal Oxide Semiconductor UV UltravioletIR InfraredHDR Расширенный динамический диапазон
Ссылки
Практичная система потребует более быстрого получения изображений, чтобы избежать размытия при движении, и за определенный период можно будет получить больше коллекций. Время сбора данных значительно различается между разработанным нами прототипом и основными пассивными гиперспектральными системами. Чтобы свести к минимуму время съемки между каналами, требуется значительная аппаратная конструкция для идеальной синхронизации между затвором и программируемым освещением. Нынешняя система прототипов не оптимизировала этот компонент, из-за чего на получение всей коллекции изображений требовалось около 20 с. Например, при умеренной оптимизации съемка одного спектра может занять всего 1/8 секунды (т. е. один снимок). Таким образом, время, необходимое для сбора всех 19 полос, может быть сокращено до 2,375 с. Кроме того, наш прототип требует процесса наложения изображений, который может быть легко удален после дальнейшей разработки прототипа с помощью более автоматизированного модуля синхронизации и хранения данных. Кроме того, качество данных может быть улучшено с помощью различных средств. Важной мерой является увеличение числа каналов спектра. Однако это может стать сложной задачей, поскольку наша система сбора данных линейно освещает полосы с помощью светодиодов. Большее количество светодиодов приводит к увеличению логистических и пространственных затрат и увеличению времени получения данных. Мы считаем, что эта проблема может быть решена путем разделения диапазона спектра на два или более комплекта активной системы освещения, что не приведет к дальнейшему увеличению плотности освещения, или путем использования светодиодов с переменными длинами волн для облегчения более компактных систем освещения. Кроме того, если учитывать эффективность и компактность, система будет способствовать лучшему сценарию, например, позволяя камере исследовать темные и замкнутые пространства и передавать данные в реальном времени для приложений машинного обучения в режиме реального времени и принятия решений на месте. В наших будущих усилиях мы рассчитываем решить эти аспекты с помощью более продвинутого производства, системной интеграции и анализа данных.
5. Выводы
Гиперспектральные камеры являются отличными инструментами для идентификации объектов, но большинство из них представляют собой пассивные системы съемки, которые не могут работать в более темных условиях. В данной работе демонстрируется предложенный нами прототип активной гиперспектральной системы, которая может быть использована в условиях темноты. В отличие от ранее существовавших решений, предлагаемая нами недорогая система использует точные узкополосные осветители в плотном диапазоне спектра (который предлагает 19 каналов с максимальным расширением покрытия), установленные на специально разработанной кольцевой схеме в сочетании с синхронизатором и камерой полного спектра. Мы всесторонне оценили системный потенциал этой предлагаемой активной гиперспектральной камеры с помощью трех экспериментов (1) определение свежести пищи, (2) сравнение между реальными и печатными листьями и (3) идентификация и категоризация образцов горных пород (см. Раздел 3).
Результаты экспериментов позволили сделать следующие выводы: во-первых, точный спектральный анализ достижим с помощью недорогих светодиодных фонарей. Это дает возможность разрабатывать недорогие, легкие системы, чтобы иметь возможность получать информацию об объектах с лучшей мобильностью. Во-вторых, наш прототип гиперспектральной системы обладает способностью различать объекты, которые не возможно различить с помощью стандартных RGB-камер. В частности, мы заметили, что изменение свежести клубники легко обнаруживается при временном разрешении 24 часа или меньше.
Настоящие и печатные листья демонстрируют отличительные спектральные сигнатуры под нашими системами камер, обозначая визуальное сходство под стандартной камерой RGB. В сочетании с простыми подходами к машинному обучению изображения, полученные с помощью нашей системы камер, достигают более высокой точности классификации (+22% макс.) по сравнению с изображениями, полученными с помощью типичной камеры RGB. Было продемонстрировано, что такая система осуществима в условиях низкой освещенности. Тем не менее, во время наших экспериментов мы также наблюдали несколько проблем, в том числе теневые эффекты изображений, проецируемых из разных каналов на близких расстояниях, временную задержку получения изображений между каналами, а также проблемы изготовления такой системы в компактной форме, чтобы облегчить ее использование в ограниченном пространстве, например, в скважинах. Поэтому в наших будущих исследованиях мы будем стремиться к повышению компактности и интеграции системы, что приведет к более высокому уровню готовности.
Сокращения
В данной рукописи используются следующие сокращения:
Светодиодный светодиод Сверточные нейронные сети CNNPCPC Печатная плата DC Direct Current PCNCT Pantone Color Match CardCMOS Complementary Metal Oxide Semiconductor UV UltravioletIR InfraredHDR Расширенный динамический диапазон
Ссылки
- Соумья, В.; Соман, К..; Хассабалла, М. Гиперспектральное изображение: основы и достижения. В последних достижениях в области компьютерного зрения: теории и применения; Хассабалла, М., Хосни, К.М., ред.; Исследования в области вычислительного интеллекта; Springer International Publishing: Чам, Швейцария, 2019; С. 401–424. [Перекрестная ссылка]
- Ли, Дж.; Пей, Ю.; Чжао, С.; Сяо, Р.; Санг, X.; Чжан, К. Обзор дистанционного зондирования для мониторинга окружающей среды в Китае. 2020, 12, 1130. [Перекрестная ссылка]
- Сонг, В.; Сонг, В.; Гу, Х.; Ли, Ф. Прогресс в дистанционном мониторинге экологической среды в районах добычи полезных ископаемых. J. Environ. Res. Public Health 2020, 17, 1846. [CrossRef] [PubMed]
- Лягат, С.; Баласундрам, С. Обзор: Роль дистанционного зондирования в точном земледелии. Am. J. Agric. Biol. Sci. 2010, 5, 50–55. [Перекрестная ссылка]
- Амвросий, А.; Кандпал, Л.М.; Ким, М.С.; Ли, В.Х.; Чо Б.К. Высокоскоростное измерение жизнеспособности семян кукурузы с использованием гиперспекционной съемки. Инфракрасный физ. 2016, 75, 173–179. [Перекрестная ссылка]
- Мехта, Н.; Саху, С..; Шейк, С.; Девиредди, Р.; Гартиа, М.Р. Гиперспектральная съемка в темном поле для обнаружения нанобиоматериалов без меток. WIREs Nanomed. Нанобиотехнол. 2021, 13, д1661. [CrossRef] [PubMed]
- Раза, А.; Дюмортье, Д.; Йост-Буассар, С.; Каувертс, К.; Дубайл, М. Точность гиперспектральных систем съемки для исследования цвета и освещения. ЛЕУКОС 2023, 19, 16–34. [Перекрестная ссылка]
- Рогго, Ю.; Эдмонд, А.; Чалус,.; Ульмшнайдер, М. Инфракрасная гиперспектральная съемка для качественного анализа твердых лекарственных форм. Анальный. Acta 2005, 535, 79–87. [Перекрестная ссылка]
- Лассаль, Г.; Кредоз, А.; Хедак, Р.; Фабр, С.; Дюбук, Д.; Элгер А. Оценка загрязнения почв в результате добычи нефти и газа с использованием гиперспектрального отражения растительности. Environ. Sci. Technol. 2018, 52, 1756–1764. [CrossRef] [PubMed]
- Саидифар, М.; Мансвельдер, Дж.; Мохаммади, Р.; Заручас Д. Использование пассивных и активных акустических методов оценки ударных повреждений композитных конструкций. Сочинения. Структура. 2019, 226, 111252. [Перекрестная ссылка]
- Донг, Л.; Пей, З.; Се, С.; Чжан, Ю.; Янь, X. Ранняя идентификация аномальных участков в массиве горных пород с помощью томографии во времени перемещения. Машиностроение 2022. [Перекрестная ссылка]
- Чжан, Ю.Б.; Яо, Х.Л.; Лян,.; Ван, К.Х.; Вс, Л.; Тянь, Б.З.; Лю, X.X.; Ван С.Ю. Эволюция трещин и эффект локализации повреждений в горных породах на основе технологии съемки скорости волны. J. Cent. Южный университет. 2021, 28, 2752–2769. [Перекрестная ссылка]
- Лакар, Ф.М.; Льюис, М.; Грирсон, И. Использование гиперспектральных изображений для картирования сортов винограда в долине Баросса, Южная Австралия. В материалах IGARSS 2001, Сканирование настоящего и разрешение будущего, IEEE 2001 International Geoscience and Remote Sensing Symposium (кат. No.01CH37217), Сидней, Австралия, 9–13 июля 2001 года. [Перекрестная ссылка]
- Аснер, Г..; Кнапп, Д.Е.; Кеннеди-Боудойн, Т.; Джонс, М.О.; Мартин, Р.Э.; Бордман, Дж.В.; Филд, К.Б. Воздушная обсерватория Карнеги: Слияние гиперспектральной съемки и обнаружения и дальности света в полете для трехмерных исследований экосистем. J. Appl. Remote Sens. 2007, 1, 013536. [Перекрестная ссылка]
- Ферверда, Дж.Г. Составление графиков качества кормов: измерение и картирование изменения химических компонентов в листве с помощью гиперспектрального дистанционного зондирования; Вагенингенский университет: Вагенинген, Нидерланды, 2005 г.
- Марс, Дж.К.; Кроули, Дж.К. Картографирование шахтных отходов и анализ районов, пострадавших от богатого селеном стока воды на юго-востоке Айдахо, с использованием изображений AVIRIS и цифровых данных о высоте. Дистанционное зондирование. 2003, 84, 422–436. [Перекрестная ссылка]
- Чжан, М.; Он, Т.; Ли, Г.; Сяо, В.; Сонг, Х.; Лу, Д.; Ву, К. Непрерывное обнаружение следов открытых горных работ на медном руднике с использованием Google Earth Engine. 2021, 13, 4273. [Перекрестная ссылка]
- Ю, Л.; Сюй, Ю.; Сюэ, Ю.; Ли, С.; Ченг, Ю.; Лю, С.; Порвал, А.; Холден, Э.Дж.; Янг, Дж.; Гонг,. Мониторинг открытых горных поясов с использованием нескольких наборов данных дистанционного зондирования: глобальная перспектива. Ore Geol. Rev. 2018, 101, 675–687. [Перекрестная ссылка]
- Темелис, Г.; Ю, Дж.С.; Нциахристос В. Мультиспектральная съемка с использованием многополосных фильтров. Opt. Lett. 2008, 33, 1023–1025. [Перекрестная ссылка]
- Ду, Х.; Тонг, X.; Цао, X.; Линь, С. Призматическая система для получения мультиспектрального видео. В материалах 12-й Международной конференции IEEE по компьютерному зрению 2009 г., Киото, Япония, 29 сентября – 2 октября 2009 г.; С. 175–182. [Перекрестная ссылка]
- Гомес-Санчис, Х.; Лоренте, Д.; Сория-Оливас, Э.; Алейшос, Н.; Куберо, С.; Бласко, Д. Разработка гиперспектральной системы компьютерного зрения на основе двух жидкокристаллических настраиваемых фильтров для контроля фруктов. Применение для обнаружения гниения цитрусовых. Пищевая биотехнология Технол. 2014, 7, 1047–1056. [Перекрестная ссылка]
- Ренхорн, И.Г.Е.; Бергстрём, Д.; Хедборг, Дж.; Леталик, Д.; Мёллер С. Гиперспектральная камера с высоким пространственным разрешением на основе линейного переменного фильтра. Opt. Eng. 2016, 55, 114105. [Перекрестная ссылка]
- Функциональность измерительных систем — LLA Instruments GmbH & Co KG. Доступно в Интернете: https://www.lla-instruments.de/en/ how-it-works-en/functionality-of-measuring-systems.html (дата обращения: 18 декабря 2022 г.).
- Фишер, К.; Какулли, И. Технологии мультиспектральной и гиперспектральной съемки в консервации: текущие исследования и потенциальные приложения. Шпилька. Консервация. 2006, 51, 3–16. [Перекрестная ссылка]
- Болдрини, Б.; Кесслер, В.; Ребнер, К.; Кесслер, Р.В. Гиперспектральная съемка: обзор передового опыта, производительности и подводных камней для поточных и онлайновых приложений. J. Ближний инфракрасный спектросц. 2012, 20, 483–508. [Перекрестная ссылка]
- Го, З.; Лю, Ю.; Чжэн, С.; Инь, К. Активная гиперспектральная съемка с помощью суперконтинуального лазерного источника в темноте. Chin. Phys. B 2019, 28, 034206. [Перекрестная ссылка]
- Мультиспектральные системы съемки. Доступно в Интернете: https://spectraldevices.com/collections/multispectral-imaging-system (дата обращения: 18 декабря 2022 г.).
- Сонг, Дж.Ю.; Бянь, Л.Ф.; Вс, Х.М.; Дин, З.; Янг, К. Проектирование активного гиперспектрального источника света на основе компактной световой трубы с схемой отклонения светодиодов. Опция Laser Technol. 2022, 145, 107536. [Перекрестная ссылка]
- Парк, Дж.И.; Ли, М.Х.; Гроссберг, доктор медицины; Найяр С.К. Мультиспектральная съемка с использованием мультиплексного освещения. В материалах 11-й Международной конференции IEEE по компьютерному зрению 2007 года, Рио-де-Жанейро, Бразилия, 14–21 октября 2007 года; С. 1–8. [Перекрестная ссылка]
- Ли, Х.Н.; Фэн, Дж.; Янг, В..; Ван, Л.; Сюй, Х.Б.; Цао,.Ф.; Дуан, Дж.Д. Мультиспектральная съемка с использованием светодиодной подсветки. В материалах 5-го Международного конгресса по обработке изображений и сигналов 2012 г., Чунцин, Китай, 16–18 октября 2012 г.; С. 538–542. [Перекрестная ссылка]
- Ван, Х.; Ху, Ю.; Ма, Х.; Сун, Дж.; Солнце, X.; Чен, Д.; Чжэн, С.; Ли, К. Активная гиперспектральная система съемки на основе мультисветодиодного источника света. Преподобный Sci. Instrum. 2019, 90, 026107. [CrossRef] [PubMed]
- Гоэль, М.; Уитмайр, Э.; Мариакакис, А.; Сапонас, Т.С.; Джоши, Н.; Моррис, Д.; Гюнтер, Б.; Гаврилю, М.; Боррьелло, Г.; Патель, С.Н. HyperCam: гиперспектральная съемка для вездесущих вычислительных приложений. В материалах Международной объединенной конференции ACM 2015 года по повсеместным и повсеместным вычислениям (UbiComp'15), Осака, Япония, 7–11 сентября 2015 г.; Ассоциация вычислительной техники: Нью-Йорк, Нью-Йорк, США 2015 г.; С. 145–156. [Перекрестная ссылка]
- Орландо, С.; Минакапилли, М.; Сарно, М.; Каррубба, А.; Мотиси, А. Недорогая мультиспектральная система съемки для определения свойств почвы и мелкой растительности с использованием отражения в видимом и ближнем инфракрасном диапазонах. Вычислять. Электрон. Аграрный. 2022, 202, 107359. [Перекрестная ссылка]
- Чаннерль, Дж.; Жэнь, Дж.; Чжао, Х.; Као, Ф.Дж.; Маршалл, С.; Юэнь. Реконструкция гиперспектральных изображений с использованием многоцветной и мультиплексированной по времени светодиодной подсветки. Opt. Lasers Eng. 2019, 121, 352–357. [Перекрестная ссылка]
- Мо, К.; Ким, Г.; Ли, К.; Ким, М.С.; Чо, Б.К.; Лим, Дж.; Канг, С. Неразрушающая оценка качества семян перца (Capsicum annuum L.) с использованием LED-индуцированной гиперспектральной отражательной съемки. Датчики 2014, 14, 7489–7504. [Перекрестная ссылка]
- JSSS. Ближняя инфракрасная светодиодная система для распознавания состояния дорожного покрытия для автономных транспортных средств. 2022. Доступно онлайн: https://jsss.copernicus.org/articles/11/187/2022/ (дата обращения: 18 декабря 2022 г.).
- Кассельгрен, Дж.; Розендаль, С.; Шёдаль, М.; Йонссон,. Анализ состояния дорог с использованием освещения ближнего ИК-диапазона и компенсации окружающего света. Opt. Lasers Eng. 2016, 77, 175–182. [Перекрестная ссылка]
- Тёрнберг, Б. Анализатор изображений материалов MIA. В материалах симпозиума IEEE Sensors Applications Symposium (SAS) 2022 года, Сундсвалль, Швеция, 1–3 августа 2022 г.; С. 1–6. [Перекрестная ссылка]
- Сюй, Дж.Л.; Сан, Д.В. Идентификация ожога морозильной камеры на поверхности замороженного лосося с использованием гиперспектральной съемки и компьютерного зрения в сочетании с алгоритмом машинного обучения. Int. J. Refrig. 2017, 74, 151–164. [Перекрестная ссылка]
- Сюй, Дж.Л.; Риччоли, К.; Сан, Д.В. Сравнение гиперспектральной съемки и компьютерного зрения для автоматической дифференциации лосося, выращиваемого на органических и обычных фермах. J. Food Eng. 2017, 196, 170–182. [Перекрестная ссылка]
- Хонг, Д.; Хан, З.; Яо, Дж.; Гао, Л.; Чжан, Б.; Плаза, А.; Chanussot, J. SpectralFormer: переосмысление классификации гиперспектральных изображений с помощью трансформаторов. IEEE Trans. Geosci. 2022, 60, 1–15.
- Хонг, Д.; Гао, Л.; Яо, Дж.; Чжан, Б.; Плаза, А.; Шануссо, Д. Графовые сверточные сети для классификации гиперспектральных изображений. IEEE Trans. Geosci. Дистанционное зондирование 2021, 59, 5966–5978.
- Чанг, Дж.Р.; Чен Ю.С. Пирамидальная стерео согласующая сеть. В материалах конференции IEEE/CVF 2018 года по компьютерному зрению и распознаванию образов, Солт-Лейк-Сити, Юта, США, 18–22 июня 2018 г.; С. 5410–5418.
- Лохуми, С.; Ли, Х.; Ким, М.С.; Цинь, Дж.; Кандпал, Л.М.; Бэ, Х.; Рахман, А.; Чо, Б.К. Калибровка и тестирование системы рамановской гиперспектральной съемки для выявления фальсификации порошкообразных пищевых продуктов. PLoS ONE 2018, 13, e0195253. [CrossRef] [PubMed]
- Абдель-Рахман, Ф.; Океремгбо, Б.; Альхамада, Ф.; Энтони, К.; Салех, М. Caenorhabditis elegans как модель для изучения воздействия воздействия светодиодов (LED) на домашнее освещение. J. Environ. Sci. Health Part A Toxic/Dangerous Subst. Environ. Англ. 2017, 52, 1–7. [Перекрестная ссылка]
- Li, S.X. Выбор фильтров для оптимизации спектральной чувствительности широкополосных мультиспектральных камер на основе максимальной линейной независимости. Датчики 2018, 18, 1455. [CrossRef] [PubMed]
- Ю, К.; Хан, Р.; Сонг, М.; Лю, К.; Чанг, К.И. Упрощенная архитектура 2D-3D CNN для классификации гиперспектральных изображений на основе пространственно-спектрального слияния. IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens. 2020, 13, 2485–2501. [Перекрестная ссылка]
- Ян, Х.; Е, Ю.; Ли, С.; Лау, Р.Ю.К.; Чжан, С.; Хуанг, X. Классификация гиперспектральных изображений с помощью моделей глубокого обучения. IEEE Trans. Geosci. 2018, 56, 5408–5423. [Перекрестная ссылка]
- Чжан, Ю.; Дуйстер, А.; Шандерс,. Байесовский подход к восстановлению гиперспектральных изображений. IEEE Trans. Geosci. 2012, 50, 3453–3462. [Перекрестная ссылка]
- О, С.В.; Браун, М.С.; Поллефейс, М.; Ким, С.Дж. Гиперспектральная съемка своими руками с помощью повседневных цифровых камер. В материалах конференции IEEE 2016 года по компьютерному зрению и распознаванию образов (CVPR), Лас-Вегас, штат Невада, США, 27–30 июня 2016 г.; С. 2461–2469. [Перекрестная ссылка]
- Хан, М.Н. Понимание светодиодного освещения; Тейлор и Фрэнсис: Оксфордшир, Великобритания, 2020.
- Темно-красный светодиод, светодиодный чип 3535, гипер-красный светодиод. Доступно в Интернете: https://www.moon-leds.com/product-3535-deep-red-660nm- smd-led.html (дата обращения: 18 декабря 2022 г.).
- Королевский синий 3535 SMD LED, 3535 LED, синий светодиод. Доступно в Интернете: https://www.moon-leds.com/product-royal-blue-450nm-35 35-smd-led.html (дата обращения: 18 декабря 2022 г.).
- Хуан, Ю.; Коэн, Т.А.; Luscombe, C.K. Натуральные органические красители для светодиодных светильников с высокой цветопередачей и точностью воспроизведения
- Светодиод коррелировал цветовую температуру и 5050 светодиодов. Доступно в Интернете: https://www.boogeylights.com/understanding-led-color- температура/ (дата обращения: 18 декабря 2022 г.).
- ПАНТОНЕ® США| Карта соответствия цветов Pantone (PCNCT). Доступно в Интернете: https://www.pantone.com/pantone-color-match-card (дата обращения: 18 декабря 2022 г.).
- Бхаргава, А.; Бансал А. Оценка качества фруктов и овощей с помощью компьютерного зрения: обзор. J. King Saud Univ. Comput. Inf. Sci. 2021, 33, 243–257. [Перекрестная ссылка]
- Нагата, М.; Таллада, Дж.Г.; Кобаяши, Т. Обнаружение синяков с использованием гиперспектральной съемки NIR для клубники (Fragaria × ananassa Duch.). Окружать. Контроль Биол. 2006, 44, 133–142. [Перекрестная ссылка]
- Ченг, Дж.Х.; Сан, Д.В.; Нагата, М.; Таллада, Дж.Г. Глава 13 - Оценка качества клубники. В технологии компьютерного зрения для оценки качества пищевых продуктов, 2-е изд.; Сан, Д.В., Эд.; Академическая пресса: Сан-Диего, Калифорния, США, 2016; С. 327–350. [Перекрестная ссылка]
- Михай, Д.; Стражеску, Э. От длины волны до фильтра RG B. УПБ С.Н. Булл. 2007, 69, 77–84.
- Крауз, Л.; Пата,.; Кайзер Й. Оценка спектральных характеристик струйных отпечатков на основе красителей и пигментов методом VNIR Hyperspectral
- Борсук А.М.; Бродерсен, К.Р. Пространственное распределение хлорофилла в листьях. Физиология растений. 2019, 180, 1406–1417. [Перекрестная ссылка]
11 мая / 2023