Определение материального состава объектов имеет решающее значение для многих приложений в секторе переработки. Традиционно классификация объектов основана либо на гиперспектральной визуализации (HSI), которая анализирует хемометрические свойства объектов для определения типов материалов, либо на RGB-визуализации, которая фиксирует визуальный внешний вид объекта и сравнивает его с эталонным образцом. Хотя оба подхода имеют свои сильные стороны, каждый также страдает от ограничений, особенно в сложных сценариях, таких как роботизированная сортировка муниципальных отходов, где объекты часто сильно деформированы или загрязнены различными видами грязи, что затрудняет распознавание материалов. В этой работе представлен новый метод классификации объектов на основе материала, который совместно использует HSI и RGB-визуализацию. Предлагаемый подход направлен на смягчение слабых сторон каждого метода, усиливая при этом их соответствующие преимущества. Он включает в себя выравнивание потоков данных HSI и RGB в реальном времени для обеспечения надежной корреляции результатов, а также структуру машинного обучения, которая учится использовать сильные стороны и компенсировать слабые стороны каждой модальности для различных типов материалов. Экспериментальная валидация на предприятии по сортировке муниципальных отходов демонстрирует, что комбинированный подход HSI-RGB значительно превосходит индивидуальные методы, обеспечивая надежную и точную классификацию даже в сложных условиях.

Ключевые слова: гиперспектральная визуализация; RGB-визуализация; интеграция HSI и RGB; сортировка отходов; промышленная оценка

Цитирование: Alexakis, G.; Pellegrino, M.; Rodriguez-Turienzo, L.; Maniadakis, M. Enhanced Waste Sorting Technology by Integrating Hyperspectral and RGB Imaging. Recycling 2025, 10, 179. https://doi.org/10.3390/recycling10050179

Авторские права: © 2025 авторы. Лицензиат MDPI, Базель, Швейцария. Эта статья находится в открытом доступе и распространяется на условиях лицензии Creative Commons Attribution (CC BY) (https://creativecommons.org/licenses/by/4.0/).

Переход к экономике замкнутого цикла имеет важное значение для достижения устойчивого управления ресурсами за счет сокращения образования отходов и содействия повторному использованию или переработке материалов. Учитывая постоянно растущий объем бытовых отходов, одной из главных проблем, стоящих перед современным обществом, является эффективная сортировка твердых бытовых отходов, которая до сих пор в значительной степени зависит от ручного труда, что часто приводит к неэффективности работы и повышению уровня загрязнения вторсырья. Повышение эффективности сортировки отходов и чистоты извлекаемых материалов имеет важное значение не только для экономической целесообразности, но и для экологической устойчивости. Недавние разработки в технологиях автоматизации, включая робототехнику, компьютерное зрение и машинное обучение, открывают значительные возможности для повышения эффективности и точности сортировки отходов на мусоросортировочных комплексах [1, 2].

Помимо твердых бытовых отходов, мусоросортировочные комплексы регулярно перерабатывают разнородные упаковочные отходы и отходы электрического и электронного оборудования (WEEE). Эти потоки объединяют многослойные структуры, композиты и поверхностные загрязнения, что усложняет автоматизированное разделение и, как правило, снижает чистоту готовой продукции и выход извлекаемых материалов. Оценки на уровне предприятий сообщают о высокой эффективности для хорошо определенных предметов, таких как бутылки для напитков, в то время как смешанные фракции остаются более сложными из-за ошибок сортировки и остаточных загрязнений. Эти ограничения мотивируют стратегии интеграции на уровне сенсоров и принятия решений, которые улучшают различение материалов среди различных типов отходов, включая визуально похожие полимеры и мультиматериальную упаковку [3, 4].

Для идентификации отходов используется множество датчиков: индуктивные, емкостные, основанные на изображениях, звуковые и весовые датчики. Датчики на основе изображений в видимом диапазоне являются наиболее часто используемыми в литературе [1]. Ключевой новой технологией для сортировки вторичного сырья является анализ материалов в инфракрасном спектре. В частности, гиперспектральная визуализация (HSI) может использоваться для классификации отходов благодаря своей неразрушающей природе, высокому спектральному разрешению и способности получать детальную химическую информацию об отходах. Она очень эффективна для идентификации типов материалов, а также для обнаружения загрязнителей в сложных потоках отходов. Несколько применений [5-7] указывают на потенциал HSI как ценного инструмента для задач сортировки отходов. Системы HSI обычно работают по схеме "push-broom" (линейного сканирования), и генерируемые многомерные наборы данных часто требуют применения передовой хемометрики. Дискриминантный анализ методом частных наименьших квадратов (PLSDA) поддерживает обработку спектральных данных благодаря своим возможностям снижения размерности при использовании значимых спектральных признаков [8, 9]. Для приложений с высокой пропускной способностью и классификации отходов, чтобы повысить надежность модели, метрики эффективности классификации на основе объектов могут использоваться параллельно с оценкой эффективности классификации на основе пикселей [7]. Несмотря на свои преимущества, классификация отходов с помощью HSI также имеет некоторые ограничения, такие как большая внутренняя изменчивость потока бытовых отходов и сложность выделения отдельных объектов без передовой обработки изображений, особенно когда предметы находятся рядом или перекрываются, из-за внутренних характеристик пиксельного анализа.

В то же время, быстрый прогресс глубоких нейронных сетей (DNN) за последнее десятилетие значительно расширил возможности классификации отходов с использованием данных из видимого спектра [10-12]. Благодаря сбору крупномасштабных наборов данных, изображающих отходы в реальных условиях переработки, стало возможным переобучать и практически точно настраивать современные модели специально для задач, стоящих перед областью управления отходами [13, 14]. В результате многие промышленные приложения теперь используют RGB-камеры, работающие в видимом спектре, совместно с моделями на основе DNN для мониторинга потоков отходов и обеспечения автоматизированной, основанной на машинном зрении сортировки вторичного сырья [15, 16], которая также была применена во многих промышленных установках [17-21]. Несмотря на то, что DNN обеспечивают надежную классификацию отходов в видимом спектре, проблемы, связанные со значительными изменениями формы, природы упаковки, загрязнения или цвета, а также визуально неразличимыми объектами, сделанными из разных материалов, могут иногда снижать эффективность классификации в неограниченных условиях.

Недавние исследования предложили совместное использование методов компьютерного зрения, изначально разработанных для RGB-визуализации, для улучшения мониторинга с помощью HSI [22]. Например, аналогичные модели глубокого обучения использовались для обработки HSI и RGB-изображений с целью улучшения категоризации чайных листьев [23]. Кроме того, были разработаны синтетические данные HSI с использованием метода на основе генеративно-состязательных сетей для генерации реалистичных спектральных признаков, улучшающих классификацию, применяемые в нескольких предметных областях [24].

Другие подходы рассматривают совместное использование как HSI, так и RGB-визуализации для преодоления проблем, создаваемых каждой отдельной техникой визуализации. В то время как HSI добавляет детальную спектральную информацию, RGB захватывает более тонкие контекстуальные и пространственные детали. Комбинируя характеристики отдельных технологий, морфологические признаки, извлеченные из RGB-изображений, могут быть объединены со значениями отражательной способности для автоматизированной и продвинутой сортировки фруктов [25]. В частности, отдельные признаки извлекаются из HSI и RGB-изображений с использованием специфичных для предметной области механизмов и впоследствии объединяются с помощью многослойного перцептрона (MLP) для классификации. Кроме того, были созданы объединенные HSI и RGB-изображения для разработки метода идентификации повреждений зерен сои [26]. Эта работа включает в себя идентификацию небольшого числа информационно-насыщенных спектральных полос, которые затем объединяются с RGB-изображениями для повышения точности классификации. Оба упомянутых выше исследования рассматривают объекты, которые являются неподвижными (не движутся) в полностью контролируемых лабораторных условиях.

В настоящей работе представлена новая методология интеграции HSI и RGB-визуализации в промышленные системы сортировки отходов, специально нацеленная на сортировку непрерывных потоков отходов. В отличие от предыдущих работ, предлагаемая структура основана на разработке двух согласованных, но независимо оптимизированных модулей: один для анализа материалов на основе HSI, а другой для визуальной классификации на основе RGB. Каждый модуль настроен на полное использование уникальных сильных сторон своей модальности — способности HSI захватывать детальные спектральные сигнатуры для различения материалов на уровне пикселей и недорогого распознавания и классификации объектов на основе внешнего вида с помощью RGB. На последующем этапе выходные данные двух модулей объединяются для формирования единой системы классификации, которая смягчает ограничения каждого отдельного подхода, тем самым повышая общую точность и надежность. Это включает в себя регистрацию двух типов изображений на основе гомографии, что позволяет нам использовать области объектов, идентифицированные в RGB-области, для выполнения классификации на уровне объектов в HSI-области. Наконец, SVM-классификатор объединяет результаты как из HSI, так и из RGB-областей для достижения высокоточной классификации объектов отходов. Предлагаемый подход обобщен на Рисунке 1. Насколько нам известно, это первое исследование, в котором объединяются технологии HSI и RGB-визуализации для реальных приложений сортировки отходов. Чтобы продемонстрировать преимущества предлагаемого подхода комбинированного зондирования, производительность модальностей только HSI и только RGB сравнивается с производительностью комбинированной системы классификации HSI+RGB.

Рисунок 1. Обзор рабочего процесса, представленного в этом исследовании, интегрирующего технологии HSI и RGB для улучшения классификации отходов.

Остальная часть статьи организована следующим образом: Раздел 2 представляет экспериментальную установку и процедуры оценки, используемые для оценки производительности каждой конфигурации — только HSI, только RGB и интегрированной модели HSI-RGB — оценивая их работу в реальных условиях. В Разделе 3 делаются выводы из исследования и обсуждаются многообещающие направления для будущих исследований в области гибридного зондирования для автоматизированной сортировки отходов в рамках нашей недавно внедренной современной экспериментальной установки. Наконец, в Разделе 4 излагается методология, принятая в этом исследовании, начиная с резюме ключевых характеристик и принципов проектирования отдельных модулей HSI и RGB. Затем он подробно описывает предлагаемый подход к интеграции, который обеспечивает совместное принятие решений путем объединения выходных данных двух сенсорных модальностей, что приводит к высокоточной окончательной классификации.

Гиперспектральные данные образцов отходов были получены с использованием промышленной гиперспектральной системы визуализации Visum HSI™ (IRIS Technology Solution S.L., Барселона, Испания), которая использует линейный сканер (подробности см. в Разделе 4). Сбор данных учитывал шесть различных типов объектов отходов, а именно: полиэтилентерефталат (ПЭТ), полипропилен (ПП), полиэтилен (ПЭ), полистирол (ПС), бумажные упаковки и алюминиевые (ALU) упаковки. Затем была применена модель классификации, описанная в Разделе 4, и рассчитаны параметры эффективности классификации на пиксель, как указано в Таблице 1.

Таблица 1. Статистические параметры эффективности модели, полученные из значений матрицы ошибок, включая точность (precision), чувствительность (также известную как полнота (recall)), специфичность (также известную как доля истинно отрицательных результатов (TNR)), долю ложноотрицательных результатов (FNR), долю ложноположительных результатов (FPR) и F1-меру для каждого класса материала.

Более высокий показатель точности наблюдался для класса ALU (0.990), за которым следуют ПС (0.960) и БУМАГА (0.950), что указывает на способность модели правильно относить эти материалы к истинному классу. Самое низкое значение точности было обнаружено для класса ПЭТ (0.740), что предполагает более высокую долю ложноположительных результатов в этом классе. С точки зрения чувствительности, класс ПЭТ продемонстрировал самое высокое значение (0.987), отражая сильную способность модели идентифицировать истинные образцы ПЭТ. Однако более низкое значение точности привело к более скромной F1-мере 0.846. Классы, такие как ПС и БУМАГА, достигли самых высоких F1-мер — 0.970 и 0.964 соответственно, сочетая как высокую точность, так и высокую чувствительность. Значения специфичности были в целом высокими для всех классов (>0.95), причем класс ALU достиг самого высокого значения специфичности (0.998), что подтверждает надежность модели в правильной идентификации истинно отрицательных результатов. Соответственно, класс ALU также показал самый низкий FPR (0.002), в то время как ПЭТ показал самый высокий FPR (0.050), что может объяснить более низкую точность для этого класса. FNR были в целом заметно низкими, при этом ПЭТ снова продемонстрировал самое низкое значение (0.013), в то время как ПЭ показал самый высокий FNR (0.214), что указывает на более частые пропуски обнаружений в этом классе.

Что касается более низкого значения точности, наблюдаемого для ПЭТ (0.740), этот результат согласуется с неоднородностью бытовых изделий из ПЭТ. Комбинации с другими пластиками, такими как ПЭ, и/или наличие бумажных этикеток обычно присутствуют среди объектов отходов класса ПЭТ. Это может изменить спектральный сигнал поверхности и привести к спектральному перекрытию при попиксельной классификации. Как показано в Разделе 4.3, объединенная система частично компенсирует это поведение путем перекрестной проверки спектральных признаков, похожих на ПЭТ, с помощью RGB-масок экземпляров и признаков внешнего вида.

Несмотря на то, что большинство классификаций, основанных на хемометрике, полагаются исключительно на значения точности, включение точности и чувствительности в оценку производительности дает более полное представление о работе разработанной модели классификации, особенно в случае с различными устройствами, участвующими в классификационной деятельности [27].

На втором этапе оценки эффективности HSI-классификации в Таблице 2 представлены результаты валидации на основе объектов.

Таблица 2. Результаты валидации на основе объектов.

Все образцы всех классов материалов были правильно классифицированы при обоих порогах пикселей >50% и >70% — давая одинаковые результаты — что свидетельствует о стабильной работе модели по классификации доминирующего материала в каждом объекте. По этой причине результаты для порогов >50% и >70% были объединены в один столбец, чтобы избежать дублирования. Однако при пороге >90% показатели эффективности снизились. Классы ALU и ПС сохранили высокую точность классификации (6/6 и 2/2 соответственно); между тем, образцы ПЭТ и ПЭ показали самую низкую производительность при этом более строгом пороге (1/5 и 4/8 соответственно), вероятно, из-за более высокой спектральной изменчивости и наличия смешанных материалов в этих образцах. На Рисунке 2 показаны четыре различных валидационных образца и результат классификации, указывающий, как предсказываются различные материалы в одних и тех же объектах.

Рисунок 2. Валидационные образцы и результаты предсказания для объектов, которые содержат компоненты из разных материалов. Каждая карта предсказаний снабжена соответствующей легендой для назначения классов.

Похожий подход, основанный на объектах и связанный с анализом гиперспектральных изображений, был реализован в работе [28]. В их исследовании использовались как метрики, связанные с матрицей ошибок, так и метрики на основе объектов, представляя результаты, сопоставимые с нашим исследованием, при небольшом различии в рассматриваемых материалах и параметрах, используемых для разработки модели. В другом примере [29] были реализованы обе классификационные статистики вместе с количеством правильно классифицированных объектов (в данном случае поддерживаемых программным обеспечением для валидации), с различиями в типе материала, используемого для сортировки (отходы гипсокартона).

Обычно бытовые отходы имеют гетерогенный состав, либо из-за их многокомпонентной конструкции (например, крышки, этикетки), либо из-за случайного перекрытия, как показано на Рисунке 2, где кусок бумаги застрял внутри образца ПП. Другие образцы представляют собой специально разработанные гетерогенные компоненты, такие как этикетки и крышки в образцах ПЭТ и ПЭ, в то время как в бумажном образце обнаружена только крышка. Разработанный метод классификации учитывает эти химические и спектральные изменчивости, естественно встречающиеся в упаковочных отходах.

В отдельном потоке обработки отходов (см. Рисунок 1) разрабатывается модуль классификации отходов на основе RGB с использованием хорошо зарекомендовавшей себя архитектуры Mask Regional Convolutional Neural Network (Mask R-CNN) [30]. Mask R-CNN доказала свою высокую эффективность в задачах визуального распознавания благодаря способности одновременно выполнять обнаружение объектов, сегментацию экземпляров и классификацию. Эти возможности делают ее особенно подходящей для приложений сортировки вторичного сырья, где требуется точная локализация и идентификация разнообразных объектов отходов. Чтобы адаптировать Mask R-CNN для конкретной задачи классификации отходов, используется подход трансферного обучения. Процесс обучения начинается с предварительно обученной модели Mask R-CNN, что значительно сокращает количество требуемых специфичных для отходов обучающих данных и обеспечивает более быструю сходимость при дообучении. В этой адаптации дообучаются только окончательные слои классификации и предсказания масок (называемые "головами") с использованием аннотированных изображений из сред переработки отходов, в то время как магистраль извлечения признаков остается фиксированной.

Для обучения модели был разработан набор данных, состоящий из 1000 изображений конвейерной ленты с ручной аннотацией, дополненных синтетическими изображениями объектов отходов, как описано в [16]. Модель обучалась с использованием 80% изображений, 20% было оставлено для валидации. Результаты, полученные после применения новой обученной модели к тестовым изображениям, обобщены в Таблице 3.

Таблица 3. Результаты классификации отходов на основе RGB.

Несмотря на общую успешную работу модели, были случаи, когда она иногда показывала недостаточно высокие результаты. Одно из таких ограничений связано с классификацией предметов отходов из ПП и ПС, объединенных в один класс в нашем наборе данных. Это связано с тем, что образцы отходов были получены с местного мусоросортировочного комплекса в Ираклионе (Крит, Греция), где ПП и ПС сортируются вручную в один и тот же контейнер. В результате аннотации набора данных также обрабатывают их как единую категорию, что не позволяет модели научиться различать их. Интересно, что, хотя классификатор на основе RGB обучен обрабатывать ПП и ПС как единый класс, путем объединения выходных данных RGB и HSI модулей можно различать эти два материала, как описано в следующем разделе.

Чтобы устранить ограничения отдельных методов классификации HSI и RGB, описанные выше, был обучен классификатор на основе метода опорных векторов (SVM), который объединяет их предсказания в единое агрегированное решение, следуя методологии, изложенной в Разделе 4.3.

Для получения набора данных, используемого для обучения SVM, был проведен новый эксперимент, в котором мониторинг как RGB, так и HSI был одновременно активирован на одном и том же потоке отходов, что означает, что следующие модули работали параллельно: (i) классификатор HSI, (ii) классификатор RGB, (iii) рабочий процесс регистрации HSI/RGB-изображений и (iv) процесс извлечения признаков, который собирал специфичные для объекта атрибуты, перечисленные в Разделе 4.4. В частности, были получены данные RGB и HSI для 378 объектов отходов. Полученный набор данных был вручную проверен экспертом-человеком, который предоставил эталонную классификацию и подтвердил точность данных.

В этом наборе данных объединенный класс ПП/ПС, используемый RGB-модулем, был разделен на два специфичных для материала класса, ПП и ПС, которые рассматриваются SVM отдельно. Более того, в ходе экспериментов с SVM выяснилось, что создание нового класса, посвященного объектам "темный ПП", которые видны RGB-камере, но не HSI-камере, может лучше подчеркнуть их уникальную природу и облегчить их идентификацию (в противном случае, при использовании единого класса ПП, они, по-видимому, рассматриваются как шум в общих данных по ПП и игнорируются). Таким образом, был добавлен еще один класс в качестве опции для выходных данных SVM. Эти два класса (ПП и Темный ПП) могут быть объединены на следующем этапе, когда цели по извлечению материалов отправляются роботизированным сортировщикам отходов, помещая как ПП, так и Темный ПП в один и тот же контейнер.

Перед обучением SVM был применен метод главных компонент (PCA) для уменьшения размерности задачи и фильтрации шума из исходного набора данных. Применение PCA перед классификацией повышает точность модели SVM, оказывая лишь незначительное влияние на время обработки. Для обучения были использованы первые четыре главные компоненты, что способствовало повышению надежности классификации. Набор данных был разделен на две части: 70% использовалось для обучения SVM, а оставшиеся 30% были зарезервированы для тестирования и оценки его производительности на ранее не виденных объектах (264 элемента для обучения, 114 для тестирования). Модель SVM использует RBF-ядро с дисперсией 3.5 (определено после повторения попыток). Гиперпараметры SVM были выбраны эмпирически для достижения хорошего баланса между точностью классификации и обобщающей способностью модели. Было использовано ядро радиальной базисной функции (RBF), так как оно способно улавливать сложные нелинейные связи в пространстве признаков. Параметр регуляризации C был установлен на 3.5, что обеспечивает компромисс между максимизацией отступа и штрафованием ошибок классификации, тем самым контролируя баланс между гибкостью модели и переобучением. Параметр gamma был установлен на 'scale', что позволяет автоматически регулировать его на основе дисперсии входных данных, что повышает надежность для различных распределений признаков. Отчет о классификации обученной модели обобщен в Таблице 4.

Таблица 4. Отчет о классификации SVM.

Особый интерес представляет сравнение совместного, двумодального подхода к классификации отходов с классификацией в одном режиме. В Таблице 5 представлен процент успешной классификации объектов отходов при обработке только RGB-изображений, только HSI-изображений и при комбинации двух методов. Важно отметить, что для результатов HSI для определения категории объекта используется доминирующий материал, требующий >50% пикселей того же типа материала.

Таблица 5. Процент образцов отходов, успешно классифицированных в трех спектральных областях: видимый спектр (RGB), инфракрасный спектр (HSI) и совместный видимо-инфракрасный спектр с использованием SVM.

Отмечается, что класс Темный_ПП рассматривается только классификатором SVM, поскольку он не существует ни для мониторинга только RGB, ни для мониторинга только HSI. В частности, как уже обсуждалось в конце Раздела 2.2, модель классификации отходов на основе RGB обучена классифицировать объекты в классе ПП/ПС (в Таблице 5 это указано как простой ПП). Однако это не относится к HSI, который может различать объекты из ПП и ПС, за исключением того, что он испытывает трудности с темными объектами. SVM использует мощность инфракрасной визуализации для коррекции предсказаний RGB, эффективно классифицируя соответствующие объекты либо как ПП, либо как ПС. Рассматривая конкретно класс Темный_ПП, указанный в Таблице 5, RGB-модуль обнаруживает объект и классифицирует его как ПП/ПС. Между тем, HSI-модуль может идентифицировать только часть пикселей объекта из-за его темноты, но эти пиксели правильно классифицируются как ПП. Интересно, что SVM эффективно объединяет частично правильную информацию от обоих модулей RGB и HSI для успешной классификации объекта в правильный тип материала ПП.

В целом, интеграция результатов классификации отходов как из видимой (RGB), так и из инфракрасной (HSI) спектральных областей обеспечивает более точную и надежную дифференциацию материалов. Используя дополнительные преимущества RGB-визуализации (например, высокое пространственное разрешение и идентификацию на основе цвета) и HSI (например, различение спектральных сигнатур химически схожих материалов), система достигает повышенной производительности классификации. Обученный SVM эффективно объединяет эти две модальности, динамически взвешивая их соответствующие преимущества и ограничения для каждого типа материала. Этот подход к интеграции данных смягчает недостатки отдельных датчиков — такие как чувствительность RGB к условиям освещения или неспособность HSI видеть темные объекты — что приводит к высоконадежной автоматизированной классификации отходов с минимальной ошибкой. Потенциальные недостатки предлагаемого решения включают необходимость в контролируемых условиях освещения, которые должны минимально подвергаться влиянию внешнего окружающего света, требование отдельных вычислительных инфраструктур для обеспечения надежной и быстрой обработки как в HSI, так и в RGB-областях, а также необходимость обучения компонентов ИИ не на общих данных по сортировке отходов, а на специфичных для приложения наборах данных, собранных на месте.

Вышеописанная система является ключевым компонентом портативного роботизированного мусоросортировочного комплекса (prMRF), разработанного в рамках финансируемого ЕС проекта RECLAIM. Система, представленная в настоящей работе, генерирует цели для отбора группой из пяти недорогих роботизированных сортировщиков [31], установленных внутри prMRF. Однако мы не описываем подробно конструкцию или работу этих роботов, поскольку их физическая механика сортировки отходов выходит за рамки данного документа.

В настоящей работе рассматривается реализация и оценка нового подхода к классификации отходов, который направлен на повышение чистоты извлекаемых материалов в автоматизированных приложениях сортировки отходов путем объединения HSI и RGB мониторинга и классификации объектов.

В частности, мы исследуем три метода классификации, адаптированных для реальных промышленных условий, обеспечивающих непрерывную и автоматизированную сортировку отходов за пределами лабораторных условий. Предлагаемые решения включают в себя:

Модуль HSI, работающий в инфракрасном спектре, выполняющий классификацию материалов на уровне пикселей с использованием спектральных сигнатур.

Модуль на основе RGB, работающий в видимом спектре для обнаружения и классификации объектов отходов на основе визуального внешнего вида.

Бимодальную систему, объединяющую выходные данные HSI и RGB для объединения спектральной и визуальной информации, повышая точность классификации.

Каждый модуль независимо оптимизирован для своей сенсорной модальности: HSI превосходно идентифицирует материалы благодаря детальным химическим данным, в то время как RGB-визуализация обеспечивает быстрое распознавание объектов на основе внешнего вида. Предлагаемый подход к интеграции пост-обрабатывает результаты HSI и RGB, извлекая признаки для SVM-классификатора, обученного компенсировать индивидуальные ограничения. Эта объединенная система повышает надежность, достигая средней точности классификации 97% на предметах отходов. Такая высокая производительность позволяет извлекать материалы со значительно улучшенной чистотой, тем самым снижая загрязнение в потоке рециклинга. Кроме того, комбинация HSI и RGB позволяет обнаруживать больше материалов, таких как Темный_ПП, которые обычно трудно классифицировать. Таким образом, предлагаемый подход укрепляет процессы переработки и поддерживает долгосрочную жизнеспособность экономики замкнутого цикла, гарантируя, что вторичное сырье сохраняет более высокую ценность и пригодность к использованию.

Для оценки эффективности три подхода (только HSI, только RGB и комбинированный HSI+RGB) были протестированы на реальных потоках отходов в портативном роботизированном мусоросортировочном комплексе (prMRF). Использование промышленных образцов отходов обеспечило реалистичное представление условий, встречающихся на предприятиях по переработке, включая загрязненность, неправильность форм и сложность материалов. Результаты показывают, что комбинированная система превосходит отдельные модули, демонстрируя ценность интегрированного зондирования в практической сортировке отходов.

В отличие от предыдущих применений HSI-RGB, проводившихся в контролируемых лабораторных условиях освещения при отсутствии движения объектов, настоящая работа выполняет синхронизацию на основе энкодера и выравнивание гомографии между потоком линейного сканирования HSI и высокоскоростными RGB-изображениями на движущейся ленте. Это позволяет осуществлять интеграцию на уровне решений в динамической промышленной среде, решая два типа сбоев, которые редко рассматриваются вместе: (i) сниженный отклик HSI для темных пластиков или перекрывающихся объектов, и (ii) путаница RGB между химически разными, но похожими на вид полимерами. Полученный конвейер показывает, что интеграция в реальном времени на ленте может быть надежно встроена в существующие операции сортировки.

Будущая работа сосредоточена на обширном тестировании разработанного решения с реальными потоками отходов, демонстрирующими различный состав и качественные характеристики (например, смешанные пластик, металл, картонные упаковки для напитков (ПМД)), также рассматривая требования как к положительной, так и к отрицательной сортировке отходов. Кроме того, интеграция источников данных RGB и HSI открывает многообещающую перспективу для улучшения классификации в других секторах экономики замкнутого цикла, таких как переработка текстиля, но также и в кардинально разных областях применения, таких как сельское хозяйство и производство продуктов питания. Такое применение потребовало бы полного переобучения всех модулей машинного обучения (классификация материалов и объектов в RGB и HSI-областях, а также SVM-объединение решений) перед развертыванием в новом контексте. Это переобучение должно быть дополнено повторной калибровкой не-ИИ компонентов для соответствия характеристикам новой рабочей среды — например, настройка на высоту объекта (которая влияет на гомографию) или скорость конвейерной ленты (которая влияет на относительный размер HSI и RGB-изображений).

Чтобы оценить эффективность обобщенных выше модулей классификации отходов, мы интегрировали их в портативный роботизированный мусоросортировочный комплекс (prMRF), расположенный в Ираклионе (Крит, Греция). prMRF вмещает пять роботизированных сортировщиков отходов, размещенных внутри стандартного контейнера, который был адаптирован для функционирования в качестве полностью автоматизированной и автономной системы извлечения и сортировки определенных фракций материалов из смешанных потоков городских отходов.

Исследуемые модули классификации отходов предназначены для мониторинга объектов отходов на конвейерной ленте prMRF, идентификации подходящих целей для роботизированных сортировщиков, чтобы они могли отбирать и направлять их в соответствующие выходные контейнеры. В экспериментальной установке, представленной здесь, классификация отходов выполняется с использованием трех альтернативных сенсорных конфигураций: (a) только гиперспектральная визуализация (HSI), (b) только RGB-визуализация и (c) комбинированный бимодальный подход HSI+RGB.

Чтобы обеспечить применимость модуля классификации отходов на основе HSI в реальных условиях, крайне важно использовать репрезентативные образцы, отражающие сложные условия, встречающиеся в реальных операциях по переработке. По этой причине материалы были получены непосредственно с действующего завода по переработке отходов. Материалы, отобранные в качестве калибровочных образцов (Рисунок 3), включали шесть различных типов материалов, описанных в Таблице 6, которые также объясняют классы, включенные в разработанную модель классификации, такие как образцы на основе полиэтилентерефталата (ПЭТ), полипропилена (ПП), полиэтилена (ПЭ), бумаги, алюминия и полистирола (ПС). Общее количество образцов, использованных для калибровки, составило 60.

Рисунок 3. Примеры реальных образцов отходов, использованных для разработки моделей классификации.

Собранные предметы отходов демонстрировали типичные характеристики бытовых материалов, включая поверхностное загрязнение остатками пищи или клеем, гетерогенный состав материалов (например, многослойная упаковка) и неправильную форму в результате обработки и уплотнения. Хотя эти факторы вносили изменчивость, усложнявшую классификацию, они также предоставили ценную испытательную среду для разработки надежных моделей. Более того, выбранные обучающие образцы отражают средний состав европейских ПМД потоков и согласуются с предыдущими исследованиями сортировки пластика с помощью HSI [4, 32-34]. Такая изменчивость реального мира имеет решающее значение для оценки надежности и практической ценности системы классификации HSI.

Таблица 6. Материалы, отобранные для калибровки модели классификации.

Гиперспектральные данные были получены с использованием промышленной гиперспектральной системы визуализации Visum HSI™ (IRIS Technology Solution S.L., Барселона, Испания), которая использует конфигурацию линейного сканирования (push-broom). Эта конфигурация захватывает одну линию пространственной информации за раз, одновременно записывая спектральные данные в широком диапазоне длин волн, что делает ее идеальной для инспекции материалов, движущихся по конвейерной ленте. Система интегрирована со специальным электрическим шкафом, вычислительной системой и галогенной осветительной установкой, которая обеспечивает постоянное и равномерное освещение сканируемого потока отходов, сводя к минимуму спектральные искажения, вызванные тенями или изменчивостью окружающего освещения.

Работая в ближнем инфракрасном (NIR) спектральном диапазоне, система Visum HSI™ особенно хорошо подходит для сортировки потоков муниципальных отходов, особенно состоящих из ПМД (пластик, металлы и картонные упаковки для напитков), которые демонстрируют отчетливые особенности поглощения в NIR-спектре, что позволяет различать материалы на основе уникальных спектральных "отпечатков пальцев" материалов.

Система управляется через программное обеспечение Visum HSI™ (v1.9.5), которое обеспечивает всесторонний контроль над всем конвейером обработки изображений — от получения и предварительной обработки гиперспектральных изображений до извлечения признаков и автоматической классификации материалов. Это программное обеспечение использует спектральную информацию, закодированную в каждом пикселе, для генерации попиксельных карт классификации, поддерживая высокоточную сортировку материалов для последующих процессов роботизированного разделения.

Анализ данных HSI и моделирование проводились при поддержке MATLAB Version 24.1.0 (R2024a) и PLS_Toolbox 9.2.1 (2024) от Eigenvector Research, Inc., Manson, WA, USA.

Предварительная обработка спектров является распространенным шагом в методах классификации материалов на основе спектроскопии [6, 35]. PLS-DA — это контролируемый алгоритм классификации, который обычно реализуется для надежного различения отходов [36] и других типов отходов, таких как строительные отходы [37], путем объединения снижения размерности с контролируемой классификацией, что делает его особенно подходящим для сложных, гетерогенных образцов, встречающихся в реальных потоках отходов. Это также было исследовано в недавних исследованиях, посвященных переработке, с использованием HSI для сортировки пластиковых отходов и при переработке пластика из отходов электрического и электронного оборудования (WEEE) [38].

Для этого конкретного приложения несколько комбинаций методов предварительной обработки спектров, таких как стандартное нормальное преобразование (SNV) или центрирование среднего (MC), были протестированы и реализованы для обеспечения высокого качества гиперспектральных данных и выделения наиболее важных спектральных признаков. Дискриминантный анализ методом частных наименьших квадратов (PLS-DA) был использован для разработки модели классификации. PLS-DA был реализован как широко используемый метод благодаря своей эффективности в обработке многомерных данных [22], характерных для данных HSI в NIR-диапазоне.

Для реализации валидационных мероприятий был использован независимый набор из 40 образцов для оценки эффективности моделей классификации на основе гиперспектральной визуализации (HSI). Этот набор включал репрезентативные образцы из каждого класса материалов. Спектральные данные были получены в разные дни и из реальных потоков отходов.

Для оценки эффективности модели были рассчитаны статистические показатели, полученные из матрицы ошибок, как это широко практикуется для аналогичных приложений и целей [36, 38, 39]. Рассчитанные параметры следующие: точность (precision), которая представляет собой долю правильно предсказанных положительных случаев среди всех случаев, предсказанных как положительные; чувствительность (sensitivity), которая количественно определяет способность модели правильно идентифицировать истинно положительные случаи; специфичность (specificity) (или доля истинно отрицательных результатов — TNR) указывает на способность правильно отклонять отрицательные случаи; доля ложноотрицательных результатов (FNR) и доля ложноположительных результатов (FPR), которые соответственно представляют долю пропущенных обнаружений и неправильных положительных назначений; и F1-мера (F1-score), среднее гармоническое точности и чувствительности.

Кроме того, была проведена вторая оценка классификации на основе объектов, чтобы лучше отразить практическую эффективность этого реального применения в области отходов. Этот подход учитывал классификацию всего объекта, который считался правильно классифицированным, если минимальный процент его пикселей был предсказан как принадлежащий истинному эталонному классу объекта. Аналогичный подход описан в [28]. В нашем случае было установлено три различных порога классификации пикселей: 50-70-90%.

Недавние достижения в технологии глубоких нейронных сетей значительно повысили производительность систем классификации отходов в промышленных средах. Одним из критически важных и технически сложных аспектов идентификации отходов является сегментация экземпляров, при которой компьютерное зрение должно обнаруживать и классифицировать несколько объектов на одном изображении, точно разделяя перекрывающиеся предметы. Это особенно актуально для реальных мусоросортировочных комплексов, где различные вторсырьевые объекты смешаны вместе и транспортируются по конвейерным лентам. Недавние работы, посвященные производительности различных моделей нейронных сетей в задачах сегментации экземпляров, показывают, что по-прежнему сложно сочетать работу в реальном времени с высококачественным маскированием объектов [40].

Mask Regional Convolutional Neural Network (Mask R-CNN), хорошо зарекомендовавшая себя архитектура, которая сочетает сверточную нейронную сеть на основе регионов с ветвью предсказания масок для сегментации на уровне пикселей [30], продемонстрировала высокую точность в задачах идентификации и категоризации отходов [13]. В настоящей работе Mask R-CNN принята в качестве основного механизма компьютерного зрения для идентификации, локализации и классификации вторсырья на категории, специфичные для материала.

Как и большинство глубоких нейронных сетей, Mask R-CNN требует значительного объема обучающих данных из-за своей архитектурной сложности, а также сложности и характера задачи классификации отходов, которую она призвана решать. Промышленный процесс переработки вторсырья создает контекст, в котором происходит сбор данных, поскольку отходы транспортируются по ленте. Постоянное движение объектов отходов на ленте требует использования камеры с глобальным затвором, которая экспонирует все пиксели одновременно. Это предотвращает смазывание движения и обеспечивает получение четких изображений, не подверженных влиянию движения объектов. Чтобы обеспечить постоянное освещение как во время сбора данных, так и при применении модели в реальном времени, была построена небольшая темная комната для блокировки окружающего света. Внутри этой контролируемой среды установлена высокоинтенсивная стабильная система освещения для устранения изменчивости, вызванной внешним освещением. Камера с глобальным затвором также размещена внутри этой темной комнаты, захватывая изображения в почти идентичных условиях каждый раз.

Обучение с большим объемом данных направлено на предотвращение переобучения при одновременном содействии обобщению, что в конечном итоге позволяет модели делать точные предсказания на данных, которые она никогда не видела ранее. Однако одним из наиболее значительных узких мест в этом процессе является подготовка и аннотирование обучающих данных. В контексте промышленной сортировки отходов камеры могут захватывать миллионы изображений в день, изображающих объекты, движущиеся по конвейерным лентам. Ручная аннотация каждого объекта на этих изображениях требует много времени, труда и средств. Более того, поддержание постоянного качества аннотаций требует хорошо обученного персонала и строгих процедур контроля качества, что еще больше увеличивает накладные расходы.

Для решения этих проблем использование синтетических данных об отходах стало многообещающей альтернативой. Генерируя искусственные изображения с автоматическими аннотациями, синтетические наборы данных могут значительно сократить требуемые ручные усилия. В то же время они могут повысить общую производительность моделей классификации отходов за счет увеличения разнообразия данных и балансировки распределения классов. Как показано в [16], интеграция синтетических изображений отходов в обучающий конвейер повышает как точность, так и надежность моделей классификации. Этот гибридный подход, сочетающий реальные и синтетические данные, предлагает масштабируемый и эффективный путь для разработки высокопроизводительных систем без ограничений, связанных с ручной аннотацией.

Оба модуля HSI и RGB были интегрированы в контейнеризированный портативный роботизированный мусоросортировочный комплекс (prMRF), разработанный в рамках финансируемого ЕС проекта RECLAIM (см. Рисунок 4). Чтобы объединить результаты классификации от RGB и HSI модальностей в единое решение для непрерывно текущего потока отходов, необходимо синхронизировать их работу. С этой целью два компонента были установлены над одной и той же лентой, как показано на Рисунке 5.

Рисунок 4. Портативный роботизированный мусоросортировочный комплекс (prMRF), в котором размещены модули классификации отходов HSI и RGB.

Лента работает автономно с заданной скоростью, транспортируя отходы, которые контролируются следующими двумя подсистемами. Камера HSI расположена первой и захватывает линии в нескольких узких полосах инфракрасного спектра, предоставляя спектральную информацию для каждого пикселя, соответствующего очень малой области реального мира. RGB-камера расположена после гиперспектральной камеры (по ходу потока отходов) и захватывает обычные 2D RGB-изображения. Вся информация, захваченная HSI и RGB-камерами, помечается специальными энкодерами, которые способны детально записывать положение ленты в данный момент. Примеры выходных данных компонентов категоризации отходов HSI и RGB проиллюстрированы на Рисунке 6.1.1 метра

Рисунок 5. Архитектура связанной системы классификации отходов HSI-RGB.

Рисунок 6. Два объекта отходов, обработанные независимо (a) модулем HSI и (b) модулем RGB.

Внеплановая калибровка HSI и RGB камер. Перед интеграцией выходных предсказаний HSI и RGB требуется регистрация двух камер, приводящая их предсказания к общему базису, на котором могут приниматься совместные решения. Регистрация камер выполняется один раз, и ее результат впоследствии используется во время штатной работы системы.

Линейные сканы HSI обрабатываются пакетами по 200 линий. Каждый пакет маркируется временной меткой со значениями энкодера, соответствующими первой и последней захваченной линии, что позволяет также маркировать все промежуточные линии с помощью процесса интерполяции. Модуль обработки RGB-изображений использует собственные значения энкодера для назначения положения ленты центру изображения и на его основе всем линиям 2D плоскости изображения.

Дополнительно учитывается расстояние между двумя камерами и скорость ленты, транспортирующей вторсырье, чтобы найти их относительное расстояние в значениях отсчетов энкодеров. Учитывая, что два энкодера HSI и RGB-камер предоставляют значения с разной частотой, реализован предиктивный механизм, который позволяет использовать выходные данные высокочастотного энкодера (RGB-камера) для предсказания соответствующих значений низкочастотного энкодера (HSI-камера). Эта синхронизация двух камер позволяет связать линии HSI-изображений с соответствующими линиями RGB-изображений. Однако HSI и RGB-изображения по-прежнему различаются по своей природе по следующим причинам:

Размеры двух изображений различаются: пакеты HSI размером 200 × 640 против RGB-изображений размером 1280 × 1080. Углы обзора двух камер различаются: вертикальные линейные сканы HSI против двумерных RGB-сканов с перспективными искажениями, зависящими от относительного положения камеры и объекта.

Таким образом, требуется вторая фаза выравнивания RGB-HSI, которая включает оценку геометрического преобразования, описывающего, как планарное HSI может быть отображено на RGB-изображение. Для решения этой проблемы была оценена гомография, которая кодирует проективное преобразование, связывающее соответствующие точки между двумя изображениями. Это представлено матрицей 3×3 H, удовлетворяющей следующему уравнению:

где (x, y) и (x', y') — соответствующие точки в двух изображениях, а s — масштабный коэффициент. Матрица гомографии H инкапсулирует преобразования вращения, переноса, масштабирования и перспективных искажений. Оценив H, изображения можно преобразовать в единую систему координат, обеспечивая выравнивание и надежное интегрированное принятие решений.

Критическим соображением при оценке гомографии является то, что выходные данные модуля классификации материалов на основе HSI (см. Рисунок 6a) не могут быть напрямую использованы для выравнивания RGB и HSI модальностей. Это связано прежде всего с тем, что выходные данные классификации материалов лишены детальной текстурной информации, которая необходима для точного сопоставления признаков. Более того, границы классификации в выходных данных HSI могут содержать мелкомасштабные ошибки предсказания материала, внося шум, который может значительно ухудшить точность оценки гомографии. Чтобы решить эту проблему, гомография оценивается с использованием центральной спектральной полосы исходных данных HSI, а не обработанных предсказаний материалов. Эта центральная полоса часто напоминает полутоновое изображение для многих материалов, сохраняя достаточно структурных и текстурных деталей для надежного выравнивания на основе признаков. После того как гомография оценена с использованием исходной центральной полосы HSI, она может быть применена для выравнивания RGB-изображения с выходными предсказаниями HSI благодаря inherent 1:1 соответствию пикселей между исходными данными HSI и обработанными результатами классификации.

Для оценки матрицы гомографии, кодирующей соответствие между двумя изображениями, было использовано 15 ARUCO-маркеров, причем каждый ARUCO-маркер идентифицировался как единый составной элемент, для которого должно быть установлено соответствие. Таким образом, использование набора ARUCO-маркеров повышает надежность идентификации и минимизирует влияние выбросов пикселей.

Мы использовали высокоотражающие алюминиевые фольгированные ARUCO-маркеры, закрепленные на плоском картонном фоне, окрашенном в черный матовый пластиковый цвет. Этот высокий контраст как по материалу, так и по внешнему виду делает маркеры четко видимыми как для HSI (Рисунок 7a), так и для RGB (Рисунок 7b) камер. Для точного обнаружения местоположения и ориентации ARUCO-маркеров использовался класс ArucoDetector из OpenCV. Матрица гомографии была оценена с использованием OpenCV, что дало среднюю ошибку репроекции 0.76 пикселя. Успешность выравнивания визуально подтверждается наложением преобразованного HSI на эталонное RGB-изображение (Рисунок 7c). Дальнейшая количественная оценка была выполнена путем расчета нормализованной средней квадратичной ошибки между исходным RGB-изображением и выровненным HSI, нормализованной в диапазоне [0, 1], что дало значение 0.048.

Выравнивание RGB/HSI во время выполнения. Как уже обсуждалось, модуль, обрабатывающий HSI, выводит предсказание материала каждого сканируемого пикселя на основе спектральной информации в этой точке. Линейные сканы HSI обрабатываются пакетами по 200 линий, каждая из которых состоит из 640 столбцов (см. Рисунок 8). Они отправляются в RGB-модуль для регистрации с RGB-изображениями, которые захватываются повторно с гораздо более высокой частотой (примерно 10 кадров в секунду).

Рисунок 7. Часть (a) показывает ARUCO-маркеры, захваченные HSI-камерой; (b) те же маркеры, захваченные RGB-камерой; (c) результат регистрации после применения преобразования гомографии, с HSI, наложенным на RGB-изображение.

Все данные HSI, полученные RGB-модулем, динамически сохраняются в очереди для обеспечения 2D выравнивания с RGB-изображениями. Фактически, очередь хранит результаты HSI в отдельных строках, которым присваивается идентификатор и ожидаемое значение энкодера, как обсуждалось выше. Когда поступает новый пакет данных HSI, старые данные отбрасываются, и в очереди всегда хранятся самые новые выходные данные HSI (т.е. 1000 последних строк результатов HSI хранятся в памяти).

Параллельно с информацией, представленной выше, модель Mask R-CNN, обученная на изображениях отходов, используется для обработки RGB-изображений, которая предоставляет маску каждого идентифицированного объекта (т.е. область, покрываемую объектом) и его материальную характеристику в качестве выходных данных. Для выравнивания HSI и RGB-изображений каждый раз, когда захватывается новое RGB-изображение, оно сопоставляется с очередью ранее сохраненных HSI-линий. В частности, центральная горизонтальная линия RGB-изображения выравнивается с ближайшей соответствующей линией в очереди HSI. Этот первый уровень выравнивания выполняется для компенсации расстояния между двумя камерами. После обрезки интересующей области HSI применяется гомографическое выравнивание, чтобы привести два изображения к одному размеру, обеспечивая соответствие пикселей между ними.

Интегрированное принятие решений. После регистрации HSI и RGB-изображений, обобщенной в предыдущих пунктах, классификация объектов отходов улучшается путем интеграции выходных данных RGB и HSI. Для этой цели необходимо использовать границы объектов, которые были определены модулем обработки RGB-изображений. Затем для каждого объекта отдельно рассматривается ряд признаков, извлеченных из выходных данных отдельных классификаторов RGB и HSI, которые объединяются с помощью метода опорных векторов (SVM) для выработки окончательного интегрированного решения о типе материала объектов.

Рисунок 8. Визуальная демонстрация линейного сканирования HSI и обработки пакетами по 200 линий. Цветовая карта объяснена на Рисунке 9.

Рисунок 9. Цветовая карта HSI для рассматриваемых типов материалов.

Более конкретно, признаки, рассматриваемые SVM, обобщены в Таблице 7. Они включают маски, выведенные Mask R-CNN для объектов, вместе с классом и оценкой уверенности (confidence score). Первое используется для сегментирования соответствующей области в выходном HSI-изображении и концентрации остальной обработки в этой области. Общее количество пикселей P_Total, приписанных объекту в RGB-области, и общее количество фоновых пикселей P_nonB_HSI, идентифицированных в инфракрасной области, используются как меры, которые могут неявно указывать на уверенность HSI-модальности. Затем для каждого типа материала рассчитывается соответствующее количество пикселей в этой области, и эти проценты подаются на вход SVM. Наконец, вручную предоставленный признак Cross_Check_Class служит эталоном для оценки выходных данных SVM. Это используется как для обучения модели, так и для тестирования ее производительности на ранее не виденных объектах. Процедура, используемая для обучения SVM, определяется характеристиками предметной области и обобщена в Разделе 2.3.

Таблица 7. Признаки, извлеченные путем обработки изображений в видимой и инфракрасной областях.

Это исследование подчеркивает, как интеграция гиперспектральной и RGB-визуализации может дать более надежные результаты классификации материалов в автоматизированной сортировке отходов. Предлагаемая методология направлена на использование различных преимуществ каждой модальности независимо. Впоследствии их выходные данные объединяются для создания единой системы классификации, которая компенсирует ограничения каждого отдельного подхода, тем самым улучшая общую точность и надежность. Проведенные валидационные мероприятия подтвердили, что комбинированный подход достигает более высоких показателей точности, чем отдельные модальности, включая сложные материалы, такие как темные пластики, которые трудно классифицировать по отдельности. Эти результаты подчеркивают практическую ценность мультимодальной визуализации для повышения показателей классификации и последующей эффективности сортировки, что согласуется с постоянным прогрессом в технологиях переработки. Однако остается значительный потенциал для улучшения; выравнивание и обработка в реальном времени характеризуются вычислительными затратами, и потребуется дальнейшая валидация для расширения этого применения на более широкие категории материалов, различные уровни загрязнения и более масштабные промышленные внедрения.

Таким образом, будущая работа должна быть сосредоточена на расширении как пробных мероприятий, так и улучшении базы данных для более разнообразных потоков отходов с различным составом и характеристиками, а также на изучении оптимизаций для снижения требований к обработке. Помимо цели переработки отходов, предлагаемая совместная система классификации объектов HSI+RGB также демонстрирует будущий потенциал для использования в других секторах, включая переработку текстиля, сельское хозяйство и производство продуктов питания, где эффективная классификация материалов является актуальной потребностью.

Вклад авторов: Концептуализация, М.М. и Л.Р.-Т.; Методология, Г.А. и М.П.; Программное обеспечение, Г.А.; Валидация, Г.А., М.М., М.П. и Л.Р.-Т.; Формальный анализ, Г.А. и М.П.; Исследование, М.М. и Л.Р.-Т.; Ресурсы, Г.А., М.М. и Л.Р.-Т.; Курирование данных, Г.А. и М.П.; Написание черновика, М.М. и М.П.; Написание и редактирование, М.М. и Л.Р.-Т.; Визуализация, Г.А. и М.П.; Надзор, М.М. и Л.Р.-Т.; Администрирование проекта, М.М.; Привлечение финансирования, М.М. Все авторы прочитали и согласились с опубликованной версией рукописи.

Финансирование: Эта работа была финансирована Исследовательской и инновационной программой "Horizon Europe" Европейского Союза через проект RECLAIM: Соглашение о гранте № 101070524.

Заявление о доступности данных: Данные, представленные в этом исследовании, доступны по запросу от соответствующего автора в связи с политикой интеллектуальной собственности IRIS. Доступ может быть предоставлен с разрешения IRIS Technology Solutions S.L.; утвержденные получатели получат доступ для некоммерческого исследовательского использования и не могут распространять файлы.

Конфликт интересов: Марина Пеллегрино и Лаура Родригес-Турьенцо являются сотрудниками компании IRIS Technology Solutions S.L., Ctra. d'Esplugues, 39-41, 08940 Корнелья-де-Льобрегат, Барселона (Испания). Остальные авторы не имеют конфликта интересов для декларирования.
Список литературы (References)

(Список литературы переведен транслитерацией с сохранением оригинального форматирования, так как это стандартная практика для библиографических ссылок. Названия статей и журналов оставлены на английском, как в оригинале, поскольку они являются идентификаторами.)

1. Arbelaez-Estrada, J.C.; Vallejo, P.; Aguilar, J.; Tabares-Betancur, M.S.; Rios-Zapata, D.; Ruiz-Arenas, S.; Rendon-Velez, E. A Systematic Literature Review of Waste Identification in Automatic Separation Systems. Recycling 2023, 8, 86. [CrossRef]
2. Kiyokawa, T.; Takamatsu, J.; Koyanaka, S. Challenges for Future Robotic Sorters of Mixed Industrial Waste: A Survey. IEEE Trans. Autom. Sci. Eng. 2024, 21, 1023-1040. [CrossRef]
3. Gadaleta, G.; De Gisi, S.; Todaro, F.; D'Alessandro, G.; Binetti, S.; Notarnicola, M. Assessing the Sorting Efficiency of Plastic Packaging Waste in an Italian Material Recovery Facility: Current and Upgraded Configuration. Recycling 2023, 8, 25. [CrossRef]
4. Packaging Waste Statistics—Statistics Explained—Eurostat. Available online: https://ec.europa.eu/eurostat/statistics-explained/index.php?title=Packaging_waste_statistics#Data_sources (accessed on 26 August 2025).
5. Amigo, J.M.; Grassi, S. Configuration of Hyperspectral and Multispectral Imaging Systems. Data Handl. Sci. Technol. 2019, 32, 17-34. [CrossRef]
6. Zheng, Y.; Bai, J.; Xu, J.; Li, X.; Zhang, Y. A Discrimination Model in Waste Plastics Sorting Using NIR Hyperspectral Imaging System. Waste Manag. 2018, 72, 87-98. [CrossRef]
7. Tamin, O.; Gubin Moung, E.; Dargham, J.A.; Yahya, F.; Omatu, S.; Moung, E.G. A Review of Hyperspectral Imaging-Based Plastic Waste Detection State-of-the-Arts. Int. J. Electr. Comput. Eng. (IJECE) 2023, 13, 3407-3419. [CrossRef]
8. Jiang, Z.; Yu, Z.; Yu, Y.; Huang, Z.; Ren, Q.; Li, C. Spatial Resolution Enhancement for Pushbroom-Based Microscopic Hyperspectral Imaging. Appl. Opt. 2019, 58, 850. [CrossRef]
9. Krasniewski, J.; Dabala, L.; Lewandowski, M. Hyperspectral Imaging for Analysis and Classification of Plastic Waste. In Proceedings of the 25th International Conference on Pattern Recognition, Milan, Italy, 10-15 January 2020; pp. 4805-4812. [CrossRef]
10. Shennib, F.; Schmitt, K. Data-Driven Technologies and Artificial Intelligence in Circular Economy and Waste Management Systems: A Review. In Proceedings of the IEEE International Symposium on Technology and Society (ISTAS), Ontario, CA, USA, 28-31 October 2021. [CrossRef]
11. Lu, W.; Chen, J. Computer Vision for Solid Waste Sorting: A Critical Review of Academic Research. Waste Manag. 2022, 142, 29-43. [CrossRef]
12. Wu, T.W.; Zhang, H.; Peng, W.; Lü, F.; He, P.J. Applications of Convolutional Neural Networks for Intelligent Waste Identification and Recycling: A Review. Resour. Conserv. Recycl. 2023, 190, 106813. [CrossRef]
13. Koskinopoulou, M.; Raptopoulos, F.; Papadopoulos, G.; Mavrakis, N.; Maniadakis, M. Robotic Waste Sorting Technology: Toward a Vision-Based Categorization System for the Industrial Robotic Separation of Recyclable Waste. IEEE Robot. Autom. Mag. 2021, 28, 50-60. [CrossRef]
14. Bashkirova, D.; Abdelfattah, M.; Zhu, Z.; Akl, J.; Alladkani, F.; Hu, P.; Ablavsky, V.; Calli, B.; Bargal, S.A.; Saenko, K. ZeroWaste Dataset: Towards Deformable Object Segmentation in Cluttered Scenes. In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, New Orleans, LA, USA, 18-24 June 2022; p. 21115. [CrossRef]
15. Luo, Y. Research on Sorting System of Industrial Robot Based on Machine Vision. In Proceedings of the 2024 International Conference on Power, Electrical Engineering, Electronics and Control (PEEEC), Athens, Greece, 14-16 August 2024; pp. 270-274. [CrossRef]
16. Tsagarakis, N.; Maniadakis, M. On the Generation and Assessment of Synthetic Waste Images. In Proceedings of the 2024 IEEE Conference on Artificial Intelligence, Singapore, 25-27 June 2024; pp. 1011-1016. [CrossRef]
17. AI-Powered Waste Sorting Solutions. Available online: https://ampsortation.com/ (accessed on 2 July 2025).
18. Robenso. Available online: https://www.robenso.gr/ (accessed on 2 July 2025).
19. SamurAI® Series—Sorting Robots—Machinex. Available online: https://www.machinexrecycling.com/sorting/equipment/samurai-sorting-robot/ (accessed on 2 July 2025).
20. Recycleye QualiBot®—Recycleye. Available online: https://recycleye.com/robotics-3/ (accessed on 2 July 2025).
21. Fast Picker | ZenRobotics. Available online: https://www.terex.com/zenrobotics/robots/fast-picker (accessed on 2 July 2025).
22. Ghamisi, P.; Plaza, J.; Chen, Y.; Li, J.; Plaza, A.J. Advanced Spectral Classifiers for Hyperspectral Images: A Review. IEEE Geosci. Remote Sens. Mag. 2017, 5, 8-32. [CrossRef]
23. Xu, Y.; Mao, Y.; Li, H.; Shen, J.; Xu, X.; Wang, S.; Zaman, S.; Ding, Z.; Wang, Y. A Deep Learning Model Based on RGB and Hyperspectral Images for Efficiently Detecting Tea Green Leafhopper Damage Symptoms. Smart Agric. Technol. 2025, 10, 100817. [CrossRef]
24. Zhan, Y.; Wang, Y.; Yu, X. Semisupervised Hyperspectral Image Classification Based on Generative Adversarial Networks and Spectral Angle Distance. Sci. Rep. 2023, 13, 22019. [CrossRef]
25. Mesa, A.R.; Chiang, J.Y. Multi-Input Deep Learning Model with Rgb and Hyperspectral Imaging for Banana Grading. Agriculture 2021, 11, 687. [CrossRef]
26. Zheng, L.; Zhao, M.; Zhu, J.; Huang, L.; Zhao, J.; Liang, D.; Zhang, D. Fusion of Hyperspectral Imaging (HSI) and RGB for Identification of Soybean Kernel Damages Using ShuffleNet with Convolutional Optimization and Cross Stage Partial Architecture. Front. Plant Sci. 2023, 13, 1098864. [CrossRef]
27. Neo, E.R.K.; Low, J.S.C.; Goodship, V.; Debattista, K. Deep Learning for Chemometric Analysis of Plastic Spectral Data from Infrared and Raman Databases. Resour. Conserv. Recycl. 2023, 188, 106718. [CrossRef]
28. Bonifazi, G.; Fiore, L.; Gasbarrone, R.; Hennebert, P.; Serranti, S. Detection of Brominated Plastics from E-Waste by Short-Wave Infrared Spectroscopy. Recycling 2021, 6, 54. [CrossRef]
29. Castro-Diaz, M.; Osmani, M.; Cavalaro, S.; Cacho, I.; Uria, I.; Needham, P.; Thompson, J.; Parker, B.; Lovato, T. Hyperspectral Imaging Sorting of Refurbishment Plasterboard Waste. Appl. Sci. 2023, 13, 2413. [CrossRef]
30. He, K.; Gkioxari, G.; Dollár, P.; Girshick, R. Mask R-CNN. IEEE Trans. Pattern Anal. Mach. Intell. 2020, 42, 386-397. [CrossRef] [PubMed]
31. Kounalakis, N.; Alexakis, G.; Raptopoulos, F.; Maniadakis, M. Cost-Effective Robotic Recycling Workers: From Lab Experiments to Real-World Deployment. In Proceedings of the International Conference on Agents and Artificial Intelligence, ICAART, Porto, Portugal, 23-25 February 2025.
32. Singh, M.K.; Hait, S.; Thakur, A. Hyperspectral Imaging-Based Classification of Post-Consumer Thermoplastics for Plastics Recycling Using Artificial Neural Network. Process Saf. Environ. Prot. 2023, 179, 593-602. [CrossRef]
33. Lubongo, C.; Bin Daej, M.A.A.; Alexandridis, P. Recent Developments in Technology for Sorting Plastic for Recycling: The Emergence of Artificial Intelligence and the Rise of the Robots. Recycling 2024, 9, 59. [CrossRef]
34. Araujo-Andrade, C.; Bugnicourt, E.; Philippet, L.; Rodriguez-Turienzo, L.; Nettleton, D.; Hoffmann, L.; Schlummer, M. Review on the Photonic Techniques Suitable for Automatic Monitoring of the Composition of Multi-Materials Wastes in View of Their Posterior Recycling. Waste Manag. Res. 2021, 39, 631. [CrossRef] [PubMed]
35. Taneepanichskul, N.; Hailes, H.C.; Miodownik, M.; Taneepanichskul, N.; Hailes, H.C.; Miodownik, M. Using Hyperspectral Imaging and Machine Learning to Identify Food Contaminated Compostable and Recyclable Plastics. UCL Open Env. 2025, 7, 3237. [CrossRef]
36. Bonifazi, G.; Capobianco, G.; Serranti, S. A Hierarchical Classification Approach for Recognition of Low-Density (LDPE) and High-Density Polyethylene (HDPE) in Mixed Plastic Waste Based on Short-Wave Infrared (SWIR) Hyperspectral Imaging. Spectrochim. Acta A Mol. Biomol. Spectrosc. 2018, 198, 115-122. [CrossRef]
37. Bonifazi, G.; Capobianco, G.; Serranti, S. Hyperspectral Imaging and Hierarchical PLS-DA Applied to Asbestos Recognition in Construction and Demolition Waste. App. Sci. 2019, 9, 4587. [CrossRef]
38. Bonifazi, G.; Fiore, L.; Gasbarrone, R.; Palmieri, R.; Serranti, S. Hyperspectral Imaging Applied to WEEE Plastic Recycling: A Methodological Approach. Sustainability 2023, 15, 11345. [CrossRef]
39. Mazanov, G.; Ilushina, A.; Nesteruk, S.; Pimenov, A.; Stepanov, A.; Mikhaylova, N.; Somov, A. Hyperspectral Data Driven Solid Waste Classification. IEEE Access 2025, 13, 3551097. [CrossRef]
40. Bolya, D.; Zhou, C.; Xiao, F.; Lee, Y.J. YOLACT++ Better Real-Time Instance Segmentation. IEEE Trans. Pattern Anal. Mach. Intell. 2022, 44, 1108-1121. [CrossRef] [PubMed]