Этот спектральный алгоритм позволяет легко обнаружить скрытое заболевание листьев! Эта серьезная научная статья поможет вам разобраться в новом подходе к гиперспектральному обнаружению.

Специалисты, занимающиеся инспекциейсельскохозяйственной продукции и спектральным анализом, частосталкиваются с серьезной проблемой: ранние стадии заболеванийрастений протекают скрыто внутри листьев, не проявляясьвнешними признаками на поверхности. К тому моменту, когда поражения становятся заметны невооруженным глазом, патогены уже распространяются на значительной площади, что приводит к максимальным потерям урожая.

В журнале *Chemometrics and IntelligentLaboratory Systems* было опубликовано интересное исследование, в котором алгоритм «матричного профиля» (Matrix Profile), изначально разработанный для анализа временныхрядов, адаптировали для задач гиперспектральной визуализации. Этот метод нацелен на ранний неразрушающий скрининг парши яблони, позволяя решить такие проблемы традиционных методов спектральногоанализа, как высокая вероятность ошибочной интерпретацииданных и низкая контрастность зон поражения.

I. Почему традиционные методы гиперспектральногоанализа часто приводят к ошибочным выводам?

Гиперспектральная визуализация позволяет одновременно получатьпространственную информацию об изображении и данные в сотнях спектральных диапазонов, что дает возможность анализировать изменения содержания влагии органических веществ в растениях без разрушения образцов. Этораспространенный инструмент неразрушающего контроля в сельском хозяйстве. Однако при использовании в полевых условиях для анализа листьевнедостатки этого метода проявляются особенно остро.

В статье отмечается, что структура листавесьма сложна. Жилки, толщина, шероховатость поверхности и рассеяние света создают значительныеспектральные помехи, вызывая сильное глобальное смещениебазовой линии. Например, на раннейстадии заражения паршой яблони очаги поражения крайне малы. Тонкиеспектральные различия, обусловленные незначительными изменениямивлажности, полностью маскируются физическим «шумом», присущим самой структуре листа.

Традиционные методы обработки данных опираются на снижение размерности (метод главных компонент — PCA), использованиеспектральных индексов или обучение с учителем, и у них естьочевидные недостатки:

• Модели, требующие обучения с учителем, нуждаются в предварительной разметке большого количества образцов (как больных, так и здоровых листьев), что затрудняет их быстрое применение в новых ситуациях илипри других заболеваниях;

• Метод PCA работает непосредственно снеобработанными спектрами отражения, поэтому жилки листьеви тени распознаются как аномалии, что делает невозможнымотделение зон поражения от здоровых тканей;

• Глобальные эффекты мультипликативного рассеяния создают серьезныепомехи, и даже незначительные изменения условий освещениямогут исказить весь массив данных.

Проще говоря: традиционные алгоритмыне способны отличить «естественную текстуру листа» от «поражений, вызванныхпатогенами», что приводит к многочисленным ошибкам и делаеткрайне сложным выявление микроскопических очагов поражения на ранней стадии.

II. Инновационный подход: применение алгоритма Matrix Profile (матричныйпрофиль) для анализа временных рядов и«фильтрации различий» в спектрах

Главное новшество данной работы заключается в адаптации алгоритма Matrix Profile — изначально предназначенного для анализа временныхрядов — под задачу предварительной обработки гиперспектральных данных. Весь процесс протекает в режиме обучения без учителя и не требуетпредварительной разметки образцов. Основная идея алгоритмавесьма проста и понятна.

1. Что такое MatrixProfile: краткий обзор для неспециалистов

В анализе временных рядов алгоритм MatrixProfile последовательно сравнивает фрагменты последовательности, вычисляя расстояние между каждым конкретным коротким фрагментоми наиболее похожим на него фрагментом во всем массиве данных. Большеезначение расстояния указывает на то, что данный фрагментданных является более уникальным или аномальным. Исследователипреобразовали двумерную матрицу спектральных данных листа в длинную одномерную последовательность, рассматривая непрерывные спектральные каналы как «фрагменты временного ряда» и объединяяих в группы с помощью скользящего окна шириной в 50 каналов.

Для каждого спектрального окна вычисляется минимальное евклидоворасстояние до других окон, в результате чего формируетсяновый «спектр расстояний» (в даннойработе — спектр расстояний MP). По сути, это равносильно наложению фильтра на исходные спектры: сохраняются лишь локальные спектральные различия, тогда как глобальные помехи, вызванныеобщим рассеянием света на поверхности листа, нивелируются.

2. Краткое описание процесса обнаружения

• Сбор гиперспектральных данных листьев яблони в коротковолновоминфракрасном диапазоне (SWIR) и выбор интересующей области (ROI), содержащей признаки ранних поражений;

• Преобразование трехмерного спектрального куба в одномерную последовательность, выделение подпоследовательностей каналов с помощью скользящегоокна и расчет расстояния по методу Matrix Profile;

• Формирование матрицы расстояний «пиксель-канал» и отбор информативных каналовдля последующего анализа методом главных компонент (PCA);

• Расчет показателя расстояния (SD) дляпостроения тепловой карты, на которой выделяются и маркируютсяпиксели, соответствующие аномальным поражениям.

Описанный процесс не требует ручной разметки образцов с признакамизаболевания. Вычисления можно выполнять сразу после полученияисходного гиперспектрального изображения, что делает этотметод чрезвычайно удобным для экспресс-диагностики в полевыхусловиях.

III. Результаты измерений: контрастность пораженных участков существенно возросла, а уровень мешающих факторов резко снизился

Для сравнения были отобраны две группы образцов листьев на 4-й и 5-й дни после инокуляции. Анализ методом главных компонент (PCA) проводилсяс использованием исходных спектров отражения и спектров расстояний, преобразованных с помощью метода MatrixProfile (матричного профиля). Различие между этимидвумя наборами данных очевидно с первого взгляда.

1. Сравнение тепловых карт: жилки листа «исчезают», а пораженные участки четко выделяются

При непосредственном построении карты расстояний на основе оценокметода главных компонент (PCA) по исходным спектрам весьлист оказывается покрыт выделенными точками шума. Жилки, края листа и легкие тени ошибочно классифицируются как аномалии. Небольшие очаги поражения теряются на фоне этого шума, из-за чего человеку трудно определитьместонахождение болезни.

После преобразования с использованием метода Matrix Profile и последующей визуализации помехи, вызванные жилками и текстурой листа, существенноподавляются. Единственной выделенной областью на изображенииостается зона поражения паршой яблони, в то время как посторонниешумовые точки практически исчезают, обнажая четкие и различимыеграницы поражения. Согласно статистическим данным, приведенным в статье, значения лямбдыУилкса для обеих групп образцов значительно снизились, долявнутриклассовой дисперсии сократилась почти вдвое, а степеньразличимости между пикселями здоровых участков листа и пикселями зон поражения заметновозросла.

2. Спектральный механизм: признаки болезни скрыты по обе стороны от полос поглощения воды

На основе анализа кривых нагрузок авторы статьи пришли к важномувыводу: заражение патогеном изменяет внутреннее состояниевлажности листа. Изменения наклона спектральной кривой пообе стороны от двух пиков поглощения воды (в диапазонах 1400–1450 нм и 1900–2000 нм) служат ключевыми характеристикамидля различения здоровых и зараженных листьев.

В исходных спектрах эти тонкие изменения наклона маскируютсяобщей интенсивностью отражения. Преобразование Matrix Profile усиливает локальные различия между спектральнымидиапазонами, преобразуя незначительные деформации полоспоглощения воды в высокие значения расстояния. В результатеудается зафиксировать слабые сигналы болезни даже на ранних стадиях заражения (длительностью всего 2–5 дней).

Кроме того, в статье подтверждается, что данный алгоритм хорошо работает с аномальными областями, обладающими различными спектральными характеристиками. Он позволяет одновременно выявлять как псевдоаномалии (возникающие из-за ошибок совмещенияизображений), так и реальные поражения,не пропуская при этом различные типы спектральных аномалий.

IV. Перспективы внедрения: что этот алгоритм может привнести в сферу спектрального обнаружения?

Если выйти за рамки лабораторных условий, описанныхв статье, то концепция предварительной обработки данныхс использованием метода Matrix Profile представляет значительныйинтерес для специалистов, занимающихся неразрушающим гиперспектральнымконтролем качества фруктов, овощей и сельскохозяйственныхкультур:

• Снижение затрат на разметку образцов: посколькуэто алгоритм обучения без учителя, при столкновении с новымиболезнями растений или неизвестными дефектами не требуется предварительный сборбольшого количества размеченных образцов, что сокращаетцикл настройки оборудования;

• Адаптация к сложным полевым условиям: листьяи кожура плодов естественным образом различаются по текстуре и толщине. Алгоритм позволяет минимизировать влияние физической структурыобъектов, повышая стабильность обнаружения как в полевыхусловиях, так и в теплицах;

• Возможность адаптации для компактного оборудования: вычислительная логика Matrix Profile отличаетсялаконичностью, что позволяет интегрировать её в компактныегиперспектральные системы и автоматизированные линии сортировки для обеспеченияпредварительной обработки изображений в режиме реального времени;

• Расширение сферы применения: помимо выявленияболезней листьев плодовых деревьев, этот же подход можноиспользовать для обнаружения внутренней плесени во фруктах, скрытыхповреждений сельскохозяйственной продукции и выявления микродефектов в промышленныхматериалах.

На данный момент в качестве примера для подтверждения концепциив исследовании рассматривается только парша яблони. В дальнейшемпредстоит изучить чувствительность параметров и расширить набор данных, включив в него другие культуры, однакополученных результатов достаточно, чтобы утверждать: Matrix Profile — это эффективное решение для предварительнойобработки гиперспектральных данных, заслуживающее практическогоприменения.

Отказ от ответственности

Данный материал подготовлен и отредактирован на основе общедоступнойнаучной публикации (ссылка:https://www.sciencedirect.com/science/article/pii/S0169743926001292). Онпредназначен исключительно для технического обсуждения в профессиональном сообществеи популяризации знаний, не является коммерческим предложениеми не может служить основанием для принятия инвестиционных решений. На приведенные в статье экспериментальные данные и выводы могутвлиять различные факторы, такие как условия проведения испытаний, индивидуальные особенности образцов и методика построения модели. При внедрении в реальные рабочие процессы эффективность методанеобходимо подтверждать отдельными практическими испытаниями с учетом спецификиконкретных условий эксплуатации.