Требования к датчикам и камерам для гиперспектральной съемки

При правильном выборе компонентов технология гиперспектральной съемки обеспечивает эффективный захват изображения за пределами видимой длины волны.

Рисунок 1: Один из методов получения гиперспектральных изображений - pushbroom

Первоначально используемая для наблюдения Земли, технология гиперспектральной съемки (HSI) расширилась в различных областях, от промышленной сортировки отходов до медицинских исследований, где, например, ученые используют эту технику для создания баз данных для кожи и подкожных тканей. Гиперспектральная съемка сочетает в себе преимущества камеры и спектрометра (рисунок 1) и одновременно собирает как пространственную, так и спектральную информацию. С улучшением датчиков изображения и камер исследователи и разработчики находят все больше и больше применений для гиперспектральной съемки сегодня, включая контроль качества пищевых продуктов, контроль фармацевтических процессов, сортировку пластмасс и биологические измерения.

Рисунок 2: Перерабатывающие заводы (вверху) получают три миллиона тонн пластика в год. Гиперспектральные камеры могут различать четыре различных типа пластика (снизу).

Примеры применения

Контроль качества пищевых продуктов

В прошлом контроль качества пищевых продуктов требовал разрушающих технологий. Персонал по обеспечению качества выбирал один образец в каждой партии для отбора проб, проверял его внешний вид и использовал разрушающие методы для определения сорта на основе результатов анализа. Теперь гиперспектральная съемка SWIR может помочь идентифицировать и количественно оценить химические компоненты пищевого продукта, предоставляя такую информацию, как калорийность, процент жира, уровень сахара и свежесть на основе различных длин волн или спектрального образа каждой анализируемой молекулы. Например, гиперспектральная камера SWIR на дроне может помочь измерить содержание сахара в яблоках, растущих на дереве, и спрогнозировать сорт и качество до сезона сбора урожая.


Сортировка пластмасс

В 2017 году в США уровень переработки пластика составлял 8,4% (bit.ly/VSD-EPA), но заводы по переработке получают 3 миллиона тонн пластика в год (рисунок 2a). С ростом осведомленности о переработке все больше людей, как ожидается, будут перерабатывать свои отходы, что означает больше пластика для заводов по переработке. Однако различные пластиковые материалы требуют разных процессов переработки, и неспособность дифференцировать их может выщелачивать токсичные химические вещества, если используется неправильный процесс, или повредить инструмент во время процесса. С помощью гиперспектральной съемки предприятия по переработке могут легко сортировать пластиковые материалы, используя спектральную информацию от 1,7 до 2,6 мкм, и отмечать положение на конвейерной ленте, используя пространственную информацию, собранную с камеры (рисунок 2b).

Рисунок 3: Типы гиперспектральных камер и их соответствующие методы сбора и хранения данных включают: (a) камеру сканирующего типа Whiskbroom; b) камера сканирующего типа Pushbroom; c) гиперспектральная (HS) камера, основанная на спектральном сканировании; и d) кадровая камера (Snapshot).

Виды гиперспектральной съемки

Гиперспектральные камеры могут получать изображения четырьмя способами: камеры whiskbroom (точечное сканирование), камеры pushbroom (линейное сканирование), камеры на основе спектрального сканирования (сканирование области или сканирование плоскости) и камеры Snapshot (одиночный снимок). Камеры Whiskbroom захватывают один пиксель за раз (рисунок 3a). Изображение создается по мере того, как камера сканирует растр по всему образцу, и содержит всю его спектральную информацию. Несмотря на то, что метод занимает очень много времени во время получения изображения, он приводит к очень высокому спектральному разрешению.

Камеры pushbroom, работающие быстрее, чем камеры whiskbroom, и с высоким спектральным разрешением захватывают одну строку за один раз (рисунок 3b). Камера сканирует эту линию по всему образцу, чтобы создать полное изображение. Несмотря на то, что камеры pushbroom быстрее, чем whiskbroom, они могут создавать артефакты – смазы в результирующих изображениях. Спектральные сканирующие камеры собирают всю пространственную информацию для заданной длины волны за один раз (рисунок 3c). Гиперспектральный куб генерирует на основе одного изображения / одной длины волны за раз. Несмотря на высокую скорость процессов в данной системе, спектральное сканирование производит гиперспектральные кубы медленно из-за времени, необходимого для изменения длин волн. Гиперспектральные камеры могут захватывать гиперспектральное видео (рисунок 3d) и быстро и идеально подходят для визуализации движущихся объектов. Однако эти камеры обычно предлагают ограниченное спектральное и пространственное разрешение.

Рисунок 4: Hamamatsu Photonics предлагает датчик G14741-0808W InGaAs на основе арсенида индия-галлия (вверху), который предлагает кривые фоточувствительности и спектрального отклика, видимые на диаграмме (внизу).

Требования к датчикам изображения

Независимо от гиперспектральной платформы, оптический датчик играет наиболее важную роль в сборе данных. В этом разделе в статье рассматриваются спецификации датчиков, необходимые для гиперспектральной съемки.

Диапазон спектрального отклика

По сравнению с традиционной RGB-съемкой, основное преимущество гиперспектральной съемки заключается в его способности захватывать больше деталей в более широком спектральном диапазоне отклика с более высоким спектром разрешения. С помощью кремниевых технологий, таких как ПЗС- и КМОП-датчики изображения, обесцвечивание и некоторые посторонние предметы в мясном продукте, например, могут быть обнаружены в видимом и ближнем инфракрасном диапазоне, от 400 нм до 1100 нм длин волн. Однако для обнаружения содержания воды в мясе с помощью метода визуализации отражательной способности требуется спектральный диапазон от 900 до 1700 нм. В этом диапазоне длин волн ПЗС- и КМОП-сенсоры не имеют достаточного отклика, в то время как стандартная технология InGaAs (арсенида индия-галлия) может достичь более 70% квантовой эффективности при приличных затратах. В качестве другого примера, обнаружение жирных кислот в говядине требует спектрального диапазона от 1000 до 2300 нм. Благодаря расширенной технологии InGaAs датчик может обнаруживать длины волн от 900 нм до 2,5 мкм, что делает его пригодным для гиперспектральной съемки свыше 1,7 мкм. Как один из немногих поставщиков, которые могут предложить датчик изображения на базе технологии арсенида индия-галлия InGaAs с расширенной длиной волны, Hamamatsu Photonics (Hamamatsu City, Japan; www.hamamatsu.com) выпустила серию датчиков изображения QVGA InGaAs с длиной волны 1,7 мкм, 1,9 мкм, 2,2 мкм и 2,5 мкм (рисунок 4).


Динамический диапазон


Динамический диапазон оптического датчика очень важен для получения информации в широком спектральном диапазоне, особенно при использовании технологии pushbroom. Камеры Pushbroom захватывают всю линию изображения одновременно со спектральной информацией, а время экспозиции может быть установлено только на одном значении для всех длин волн, поэтому датчик должен иметь достаточный динамический диапазон для получения сигналов очень низкого уровня и пиковых сигналов по всему спектру. Динамический диапазон зависит как от шума считывания, так и от уровня насыщенности датчика. Шум считывания обычно определяет минимальный уровень сигнала, который может обнаружить датчик. Например, для достижения динамического диапазона 1500 при выходном уровне насыщения 1,2 В требуется шум считывания 800 мкВ, что непросто для конструкции CMOS ROIC. При длительном времени экспозиции шум считывания снимка темновой ток требует внимания, особенно при использовании расширенного InGaAs. Например, при том же формате пикселей, если стандартный датчик InGaAs (длина волны отсечки 1,7 мкм) имеет темновой ток, указанный как 0,03 пА, то расширенный датчик InGaAs (длина волны отсечки 2,5 мкм) может иметь свой темновой ток, заданный до 30 пА.

Чувствительность

По сравнению с традиционной спектроскопией, где время экспозиции может быть установлено до ~ 30 секунд, время экспозиции для гиперспектральной съемки должно быть достаточно коротким (иногда в миллисекундах, даже микросекундах), чтобы избежать насыщения на любой длине волны, что может привести к недоэкспонированию некоторых спектральных полос и низкой точности спектрального измерения, если датчик не имеет достаточной чувствительности на любой длине волны. Чувствительность датчика включает в себя светочувствительность фотодиодного массива и коэффициент усиления преобразования заряда в напряжение встроенной схемы считывания. Однако уровень шума считывания обычно увеличивается с увеличением чувствительности. С помощью метода сканирования области при гиперспектральной съемке для каждой длины волны может быть установлено подходящее время экспозиции или усиление на кристалле. Например, длительное время экспозиции или высокий коэффициент усиления преобразования могут быть установлены для диапазона низкого сигнала, в то время как короткое время экспозиции или низкое усиление преобразования могут быть установлены для диапазона сильных сигналов с целью получения гладких выходных спектров во всем диапазоне длин волн. Hamamatsu Photonics предлагает как линейные, так и зональные датчики изображения InGaAs с программируемым встроенным коэффициентом усиления преобразования заряда в напряжение.

Быстрое получение данных: IWR и ROI

Как наиболее популярный, метод pushbroom хранит гиперспектральный куб данных в формате полосы-чередования по строке (band-interleaved-by-line - BIL) — схемы непрерывного сканирования в одном направлении. По этой причине камеры pushbroom особенно подходят для конвейерных ленточных систем, обычно используемых в промышленных процессах, таких как проверка качества и безопасности пищевых продуктов, сортировка на заводах по переработке, а также фармацевтическая маркировка и упаковка. Для приложений с быстро движущимися объектами быстрое получение данных становится критически важным. Не только короткое время экспозиции, но и архитектура конструкции датчика могут улучшить скорость считывания. Например, встроенная в микросхему схема отбора проб и удержания позволяет использовать функцию интеграции при считывании (integrate-while-readout - IWR), поэтому датчик может начать вторую экспозицию, в то время как вся линия (с данными из предыдущей экспозиции) считывается. Метод зонального сканирования записывает как пространственную, так и спектральную информацию в серии длин волн, что делает его привлекательным для быстрых приложений гиперспектральной съемки, но камеры сканирования области не подходят для приложений, требующих измерений движущегося образца. Hamamatsu Photonics производит датчики пространственного изображения с параллельной структурой столбцов и функцией частичного считывания (sensors with the column parallel structure and the partial readout - ROI), что не только может сократить время считывания пропорционально количеству пикселей, но и сэкономить усилия по хранению и обработке данных.

Рисунок 5: Камера сканирования C14041-10U QVGA InGaAs от Hamamatsu Photonics и блок-схема конструкции камеры.

Требования к камерам


Камеры


Гиперспектральные камеры бывают двух типов: камеры линейного сканирования и камеры сканирования области. Камеры линейного сканирования интегрируют линейный 1D-датчик и предлагают преимущество высокой частоты кадров более чем 40 000 строк / с, что делает их пригодными для встроенного контроля на сборочных линиях. В сочетании с искусственным интеллектом (ИИ) для идентификации дефектов или распознавания образов он является ценной частью системы контроля, поскольку высокие скорости сбора позволяют выполнять задачи сортировки и идентификации дефектов на основе ИИ. Камеры сканирования области интегрируют 2D-датчик и предлагают высокую пространственную информацию, генерируя снимки всей сцены. Типичные камеры InGaAs для сканирования области выпускаются в форматах QVGA или VGA (рисунок 5a). Камеры могут быстро захватывать много изображений, обеспечивать большое поле зрения и подходит для широкого применения гиперспектральной съемки в сельском хозяйстве. Гиперспектральные камеры также используются для проверки пищевых продуктов, безопасности, сортировки пластика и обнаружения лекарств. Большинство камер имеют охлаждение на датчике, которое снижает шум и темновой ток, улучшая общее качество изображения. Встроенная память или доступная пользователю FPGA делает камеры очень привлекательными для настройки.


Интерфейсы

Выбор интерфейса представляет собой важное соображение при выборе камеры, поскольку он определяет скорость камеры, возможности подключения и то, насколько хорошо она интегрируется с остальной частью инструмента (рисунок 5b). Камеры поставляются во многих интерфейсах, предназначенных для различных целей. USB и GigE являются наиболее часто встречающимися, в то время как примеры включают интерфейсы RS-422 / LVDS, Camera Link, RS-232 и CoaXPress.


Поддержка программного обеспечения

Сопряжение правильного программного обеспечения с гиперспектральным оборудованием представляет собой важный шаг в разработке системы. Необходимо учитывать поддержку драйверов оборудования, так как камера должна функционировать в выбранной программной среде. Многие сторонние программные платформы, такие как LabVIEW от National Instruments (Austin, TX, США; www.ni.com) и MATLAB от MathWorks (Natick, MA, США; www.mathworks.com), VisionPro от Cognex (Natick, MA, США; www.cognex.com) и IMPACT от Datalogic (Болонья, Италия; www.datalogic.com), существуют сегодня, которые хорошо интегрируются с различными производителями камер. Поддержка комплектов для разработки программного обеспечения представляет собой основное соображение для пользователей, которые хотят самостоятельно запрограммировать интерфейс. Написание пользовательского интерфейса позволяет пользователям иметь полный контроль над работой конечного пользователя. Python и C++ являются распространенными языками программирования, в то время как операционная система Linux обеспечивает большую гибкость для управления устройствами и потоками данных. Разработчик должен подтвердить, что его камера поддерживает эти инструменты программирования или произвести дорогостоящий редизайн системы.


Заключение

Гиперспектральная съемка сочетает в себе функции камеры и спектрометра. Сбор спектральной и пространственной информации одновременно экономит время и деньги, используя одну камеру вместо спектрометра и камеры. Ранее датчики изображения и камеры имели ограничения в скорости, разрешении, чувствительности и программном обеспечении. Новые достижения в области технологий сделали гиперспектральную съемку проще, чем когда-либо. Такие компании, как Hamamatsu Photonics, разработали датчики изображения и камеры, которые обеспечивают высокую скорость, высокое разрешение и высокую чувствительность. Улучшенное программное обеспечение и средства программирования упрощают интеграцию гиперспектральных изображений для любого приложения. Сегодня существует множество вариантов гиперспектральной съемки.