HSI-PP: гибкое программное обеспечение с открытым исходным кодом для фенотипирования растений на основе гиперспектральной съемки

Вступление

Гиперспектральная съемка стала одним из самых популярных методов высокопроизводительного фенотипирования растений. Извлечение и анализ полезных фенотипических признаков растений из гиперспектральных изображений представляет собой серьезное узкое место для растительного и селекционного сообщества. Это исследование направлено на представление автономной простой в использовании программной платформы под названием HSI-PP для обработки и анализа гиперспектральных изображений для фенотипирования растений с высокой пропускной способностью. Программное обеспечение HSI-PP интегрирует функции предварительной обработки, извлечения функций и моделирования. Примером применения HSI-PP является исследование реакции различных генотипов Arabidopsis thaliana на засуху и влияния различных углов визуализации на прогнозирование содержания азота для масличных рапса (Brassica napus L.). Результаты показали, что HSI-PP может обрабатывать 10 ГБ на обычном ПК за время от 30 до 73 минут в зависимости от размера изображения и сложности конвейера. HSI-PP извлек несколько фенотипических признаков (спектральных, текстурных и морфологических) Arabidopsis thaliana из большого набора данных изображения (104 ГБ) в течение пяти часов. Слияние этих признаков достигло более высокой точности (94%), чем только использование спектральной информации (85%) уже на 4-й день после лечения стресса засухи. Для рапса масличных культур около 384 ГБ данных изображения были обработаны в течение восемнадцати часов, и было обнаружено, что наклонный угол изображения 75° имеет оптимизированную подгонку PLSR (0,83) к истине. Результаты показывают, что HSI-PP - это автономная, автоматизированная и гиперспектральная платформа обработки изображений с открытым исходным кодом, адаптированная к различным приложениям в фенотипировании растений, не требующая профессиональных навыков программирования для исследовательского сообщества.

Графическое изображение архитектуры и алгоритмов работы HSI-PP

Знакомство

Существует настоятельная необходимость удвоить производство продовольствия для растущего населения мира. Фенотипирование высокоурожайных растений стало важным инструментом для повышения эффективности селекции растений и точного управления, в конечном итоге увеличивая производство растений с минимальными сельскохозяйственными ресурсами. Различные высокопроизводительные платформы фенотипирования растений на многомасштабных уровнях, включая лабораторные, тепличные и полевые условия, были созданы во всем мире для оценки различных фенотипических признаков растений. Из этих платформ фенотипирование растений на основе мулиспетркальной и гиперспектральной съемки предоставляет беспрецедентную возможность количественной оценки большого количества растений высокопроизводительными, неразрушающими и быстрыми способами.

Гиперспектральная съемка (HSI) - это перспективный метод, который сочетает в себе обычные методы съемки и спектроскопические методы в одной сенсорной системе и предоставляет пространственную и спектральную информацию, одновременно связанную со структурными и биохимическими свойствами растений, которые не всегда видны человеческому глазу. Гиперспектральная съемка может охватывать широкий диапазон электромагнитного спектра от видимых (400–700 нм), ближних инфракрасных (700–1000 нм) до коротковолновых инфракрасных (1000–2500 нм) областей с высоким спектральным разрешением. Данные для формирования гиперкуба могут быть получены с гиперспектральных сенсоров, включая полную спектральную информацию для каждого пикселя и текстурные или статистические свойства изображения в каждой полосе спектра. В этом отношении гиперспектральная съемка фиксирует физические и морфологические особенности, а также химический состав растения быстро и неразрушительно с течением времени от клетки до всего растения. Поэтому эта технология широко используется в фенотипировании растений для изучения реакции растений на биотические и абиотические стрессы и неразрушающую оценку биохимии листа. Теперь главная проблема заключается в том, как эффективно, быстро и очень точно извлечь полезную фенотипическую информацию из большого количества данных гиперспектрального изображения. Благодаря высокой размерности и избыточной информации в гиперспектральных изображениях применяются передовые методы со сложными вычислительными навыками и навыками программирования, такими как анализ изображений (например, предварительная обработка изображений), машинное обучение и многомерные статистические подходы, необходимые для преодоления этой проблемы.

ENVI (Environment for Visualizing Images, Inc., Boulder, CO, USA) - самый известный коммерческий продукт, который используется для анализа гиперспектральных изображений из-за его мощного извлечения исследовательских функций. Однако обработка крупномасштабных данных ENVI является трудоемкой и не имеет большинства химометрических функций. Некоторые языки программирования содержат пакеты и наборы инструментов, которые можно использовать для анализа гиперспектральных данных, такие как гиперспектральный набор инструментов и многомерный набор инструментов анализа изображений в пакетах MATLAB, Hsdar и HyperSpe в статистическом программном обеспечении R. Эти пакеты и наборы инструментов требуют знаний программирования. Кроме того, графический удобный интерфейс на основе MATLAB под названием HYPER-Tools был представлен в одном отчетном исследовании для анализа гиперспектральных изображений (Mobaraki and Amigo, 2018), который интегрировал фундаментальные процедуры предварительной обработки изображений и функции химометрии. Однако он ограничен извлечением спектральных функций из гиперспектрального изображения и требует знаний программирования для импорта гиперспектральных изображений в рабочее пространство MATLAB. Кроме того, необходимо добавить все более подробные функции и инструменты, чтобы они были более подходящими для извлечения различных фенотипических черт из растений, которые требуют углубленных навыков программирования, компьютерных знаний и значительного времени на разработку программного обеспечения. Поэтому необходимо разработать автономную программную платформу под общей лицензией для анализа данных гиперспектральных изображений для различных операций фенотипирования растений.

При разработке платформы для гиперспектрального анализа изображений необходимо учитывать несколько критических вопросов. Его адаптация к различным гиперспектральным расширениям изображений (например, .raw, .dat, .img, .tif и т. д.) и чередующихся форматам band-interleaved-by-pixel (BIP), band-interleaved-by-line (BIL) и band sequential (BSQ). Реализация радиометрической калибровки изображения в программном обеспечении имеет решающее значение для обеспечения согласованности данных между различными экспериментальными условиями. В программное обеспечение необходимо добавить различные методы и процедуры предварительной обработки изображений, чтобы тщательно выбрать оптимальный в соответствии с условиями изображения без искажения полезной информации. Чтобы упростить обработку и хранение гиперспектральных изображений, также необходимы методы сжатия изображений, которые должны достичь низкой степени сжатия с минимальными искажениями. Программное обеспечение должно быть способно извлекать различные фенотипические черты (например, спектральные, морфологические черты, показатели растительности и текстурные черты), которые готовы к анализу и моделированию с помощью машинного обучения и/или глубокого обучения. Для лучшего понимания извлеченных признаков реализация математических и статистических моделей помогает разложить эти сложные многомерные данные на простые и интерпретируемые структуры. Кроме того, важно сравнить различные химометрические модели для наилучшей производительности. Наконец, программное обеспечение должно обеспечивать высокопроизводительную обработку данных изображений (тысячи или сотни тысяч изображений на набор данных) гибким и удобным образом, чтобы соответствовать требованиям научного сообщества. Насколько нам известно, для сообщества нет программного обеспечения с открытым исходным кодом для анализа гиперспектральных наборов данных изображений.

Программное обеспечение HSI-PP является как раз доступным в использовании и автономным программным обеспечением с открытым исходным кодом для анализа гиперспектральных данных, с отличной реализацией следующих функций: гибкие пользовательские рабочие процессы анализа, пакетная обработка для высокой производительности, реализованный химометрический анализ и учет вышеупомянутых критических проблем при разработке. Универсальность этого программного обеспечения была продемонстрирована предоставлением двух типичных примеров исследования вегетации: (1) обнаружение значительного влияния генотипа и засухи на морфологические и спектральные реакции Arabidopsis thaliana; (2) сравнение производительности многомерных алгоритмов анализа для определения оптимального метода оценки азота в рапсе масличных культур.

Можно ожидать, что это программное обеспечение поможет заполнить пробел в недорогих, масштабируемых, автоматизированных решениях для фенотипирования растений и управления сельским хозяйством.

В настоящее время около 180 инструментов могут быть использованы для фенотипирования растений в базе данных Plant Image Analysis (//www.plant-image-analysis.org/. Таким образом, HSI-PP займет достойное место в ряду решений для научного сообщества.