Оптические ускорители позволяют создавать новое поколение мощных гиперспектральных камер, пишет профессор Андреа Фраталокки из KAUST и Pixeltra

Аппаратные ускорители, такие как графические процессоры (GPU) и тензорные процессоры (TPU), быстро завоевывают место в технологиях искусственного интеллекта (AI) в качестве более быстрых процессоров для приложений в компьютерном зрении, обработке естественного языка и робототехнике.

В настоящее время коммерческие ускорители внедрены в электронику и страдают от ограничений вычислительной мощности чиповых архитектур, скорость обработки которых исчисляется сотнями МБ/с.

Это позволяет обрабатывать информацию, получаемую системами машинного зрения в режиме реального времени, но только ограниченную несколькими стандартными спектральными каналами - красным, зеленым и синим (RGB).

Эта проблема является серьезной и не позволяет получать важную информацию, выходящую за рамки основных спектральных каналов, что препятствует появлению новых приложений для машинного зрения. Поэтому исследователи изучают альтернативные технологии, такие как оптические вычисления, чтобы преодолеть эту проблему. Оптические вычисления непосредственно обрабатывают информацию в световом луче, не преобразуя ее в цифровой электронный сигнал.

Такой подход имеет ряд преимуществ перед электроникой:

Скорость: световая информация может обрабатываться так же быстро, как скорость перемещения фотонов, со скоростью сотни ТБ/с, что значительно быстрее, чем когда-либо могла бы быть электронная информация.

Эффективность: оптические вычисления требуют значительно меньше энергии, чем электронные. Это свойство основано на том, что оптические сигналы не выделяют столько тепла, сколько электроника, и достигают больших расстояний с минимальными потерями энергии.

Параллельные вычисления: поскольку свет может проходить по нескольким путям одновременно, оптические вычисления могут выполнять миллионы операций параллельно практически бесплатно.

Совсем недавно команда исследователей из группы Primalight в Университете науки и технологий имени короля Абдаллы в Саудовской Аравии (KAUST) разработала первую форму ультратонкого оптического ускорителя для глубокого обучения. Эта система, называемая Hyplex, использует взаимодействия света и материи, происходящие в универсальных световых энкодерах, которые представляют собой соответствующим образом спроектированные наноструктуры с характерными характеристиками размером до 20 нм.

Технология Hyplex может быть интегрирована непосредственно в любую обычную камеру и служить в качестве экстрактора для спектрального кодирования, оценки глубины или измерения поляризации. Несмотря на раннюю разработку оптических ускорителей, Hyplex уже недавно продемонстрировал количественные преимущества в гиперспектральной съемке (HSI), области машинного зрения, которая в настоящее время вызывает огромный интерес. В отличие от традиционных методов, которые захватывают информацию только в узком диапазоне цветов RGB, HSI собирает данные в непрерывном диапазоне для большого числа длин волн. Эта информация предоставляет ключевые сигнатуры о химических и физических свойствах любого объекта в сцене. В точном земледелии HSI может обнаруживать стресс растений и автоматически сегментировать, и классифицировать карты растительности; в медицине HSI выявляет и классифицирует различные заболевания, в том числе рак; в науке об окружающей среде HSI может отслеживать и обнаруживать загрязнение, и это лишь несколько примеров.

Технология Hyplex может быть интегрирована непосредственно в любую обычную камеру

В настоящее время лучшая доступная система гиперспектральной съемки требует значительных инвестиций (в диапазоне от 20 000 до 200 000 долларов США) и зависима от низкой скорости обработки данных (минут). Это требует использования значительных объемов вычислительных ресурсов для постобработки большого объема сгенерированных данных, но при этом не способно генерировать видео с высоким разрешением. Оптические ускорители, лежащие в основе Hyplex, позволяют решать эти проблемы. В отличие от современных гиперспектральных систем, Hyplex не использует спектрометры или фильтры и может получать и обрабатывать гиперспектральные видео в режиме реального времени с той же скоростью и с тем же разрешением, что и современная цифровая камера, например, 12 МП со скоростью 30 кадров в секунду или выше. Hyplex был проверен на соответствие современным критериям спектральной реконструкции и гиперспектральной сегментации. Во всех этих тестах он превзошел все современные альтернативы, потому что ни одна из этих систем не использует оптические ускорители.

Pixeltra, стартап KAUST с представительствами в ОАЭ и Саудовской Аравии, коммерциализирует технологию Hyplex. Последние разработки Hyplex относятся к точному земледелию с использованием беспилотных летательных аппаратов (БПЛА или дронов) для получения гиперспектральных изображений сельскохозяйственных культур с высоким разрешением. Эти изображения анализируются с помощью программного обеспечения машинного обучения для выявления болезней, вредителей и дефицита питательных веществ. Затем эта информация может быть использована для принятия более обоснованных решений о посадке, внесении удобрений и других методах управления, что в конечном итоге приведет к повышению урожайности сельскохозяйственных культур и снижению затрат.

Еще одной разработкой является DermaPlex, новое портативное и неинвазивное устройство гиперспектральной съмки для диагностики и классификации рака кожи в режиме реального времени. DermaPlex облегчает диагностику рака кожи, фиксируя подробный химический профиль ткани, анализируя текстуру и цвет поражений кожи и отслеживая прогрессирование рака кожи с течением времени. Эта система обеспечивает неинвазивную визуализацию, которая устраняет необходимость в биопсии и в сочетании с искусственным интеллектом может значительно повысить точность диагностики.

Hyplex используется в точном земледелии с использованием беспилотных летательных аппаратов для получения гиперспектральных изображений сельскохозяйственных культур с высоким разрешением

Благодаря этим технологическим достижениям мы ожидаем значительного роста интереса к гиперспектральной съемке и использованию видео как в промышленных, так и в исследовательских областях. Гиперспектральные системы на основе оптических ускорителей преодолевают ограничения мультиспектральной съемки, позволяя им решать задачи, в которых информация разрежена в широком спектральном диапазоне. К ним относятся дистанционное зондирование, медицинская диагностика, точное земледелие и безопасность. Портфель приложений оптических ускорителей, таких как Hyplex, не ограничивается гиперспектральной съемкой. Одним из основных преимуществ оптических ускорителей является то, что они могут выполнять умножение матриц — фундаментальную операцию в глубоком обучении — на несколько порядков быстрее, чем электронные устройства. Эта функция может значительно ускорить время обучения нейронных сетей и обеспечить обучение более крупных и сложных моделей, недостижимых современной электроникой.

Оптические ускорители могут использоваться как автономные устройства, так и в сочетании с другими аппаратными ускорителями, такими как графические процессоры, TPU и программируемые вентильные матрицы (FPGA), для дальнейшего повышения производительности алгоритмов глубокого обучения. При достаточном развитии оптические ускорители могут открыть новые будущие пути для приложений машинного зрения с использованием глубокого обучения, повышая скорость и эффективность алгоритмов машинного обучения в более сложных моделях, которые сегодня невозможны с обычной электроникой.