Сегментация цитоплазмы раковых клеток на гиперспектральных гистопатологических изображениях: новый подход на основе аугментации данных

В патоморфологической диагностике окрашивание гематоксилиноми эозином (H&E) является распространенным методом исследованияморфологии тканей. Гематоксилин окрашивает ядра клеток всине-фиолетовый цвет, а эозин —цитоплазму и внеклеточный матрикс в розовый. Патологи изучаюттакие окрашенные срезы под микроскопом, чтобы определить, произошли ли в клетках злокачественные изменения. При классификации типов рака ключевым этапом является точноевыделение области цитоплазмы раковых клеток.

В последние годы технология гиперспектральной визуализации началаактивно применяться в патоморфологических исследованиях. Посравнению с обычными CMOS-камерами, гиперспектральныекамеры позволяют получать более детальную информацию о клетках.Однако при практическом использовании этой технологии возникают две серьезныепроблемы.

Первая проблема связана со сложностью получения данных. Стоимость получения гиперспектральных изображений высока, а создание обширного размеченного набора данных — трудоемкаязадача. При этом для эффективной работы моделей глубокогообучения требуются именно большие объемы данных. Втораяпроблема — это аппаратный шум. Гиперспектральные камеры, работающие по принципу линейного сканирования (push-broom), часто создают помехи в виде вертикальных или горизонтальныхполос, смещения пикселей и другие артефакты. Характер этих помех зависит от особенностей оборудования и условийэксплуатации, поэтому полностью избежать их крайне сложно.

Для решения этих проблем в журнале*Informatics in Medicine Unlocked* было опубликовано исследование, авторы которого предложили метод аугментации данных. Он заключается в использовании обычныхCMOS-изображений для генерации псевдогиперспектральных снимков, имитирующих реальный аппаратный шум; полученныетаким образом изображения затем используются для обучения модели сегментации U-Net.

1. Почему для аугментации используются CMOS-изображения?

Одним из ключевых факторов являются затраты на аннотирование. Текстура цитоплазмы раковых клеток на гиперспектральных изображенияхсложна, поэтому их ручная разметка в полутоновом форматетребует значительных затрат времени и усилий. В то же время CMOS-изображения отличаются визуальной четкостью, что делает процесс их аннотирования гораздо более эффективным. Идея исследовательской группы заключается в следующем: использовать легко поддающиеся разметкеCMOS-изображения для генерации зашумленных псевдогиперспектральных изображений, а затем применять их для обучения модели.

Данный подход включает три этапа:

Первый этап — преобразование цвета и регулировка яркости. Исходное RGB-изображение (полученное с CMOS-сенсора) преобразуется в полутоновое; затем выполняетсякорректировка яркости с помощью гамма-коррекции и выравниваниягистограммы, чтобы приблизить визуальное восприятие изображенияк виду гиперспектральных снимков в определенном диапазоне длин волн (например, 580 нм).

Второй этап — внесение инструментального шума. На изображение случайным образом накладываются вертикальныеи горизонтальные шумовые линии для имитации полосчатого шума, возникающегов реальных гиперспектральных камерах из-за различий в чувствительностисенсоров или особенностей обработки сигнала. Количествовертикальных шумовых линий варьируется от 19 до 29, а положение и ширина горизонтальных линий также определяютсяслучайным образом. Кроме того, моделируютсяпотеря информации и смещение пикселей.

Третий этап — геометрическое преобразование.Для дальнейшего расширения набора данных над сгенерированными псевдоизображениямивыполняются такие операции, как кадрирование, зеркальное отражение и перенос.

В результате применения этого рабочего процесса на основе 44 исходных CMOS-изображений было получено 792 псевдогиперспектральных изображения; ихобъединение с 44 исходными гиперспектральными изображениямипозволило довести размер обучающей выборки до 836 изображений.

2. Каковы результаты эксперимента?

Исследовательская группа оценивала эффективность модели с помощьюметода пятикратной перекрестной проверки (5-foldcross-validation), используя в качестве показателей метрики IoU (Intersection over Union — отношение площади пересеченияк площади объединения) и коэффициент Дайса (Dice coefficient).

При обучении только на 44 исходных гиперспектральныхизображениях показатель IoU составил0,5786, а коэффициент Дайса — 0,7304. После добавленияпсевдогиперспектральных изображений значение IoU возрослодо 0,6458, а коэффициент Дайса — до0,7820; таким образом, показатель IoU улучшился примерно на 11,6%, а коэффициентДайса — примерно на 7,1%.

Исследование также показало, что яркостьизображения и плотность клеток влияют на результаты сегментации. Более темные изображения и снимки с высокой плотностью клеточныхядер демонстрировали относительно более низкую точность сегментации. Это указывает на определенную зависимость модели от качестваизображения, а также намечает пути для ее дальнейшего совершенствования.

3. В чем заключается значимость данногоисследования?

При обработке гиперспектральных патологических изображений двумянеизбежными препятствиями являются нехватка данных и инструментальный шум. Данное исследование предлагает практически применимый подход: вместо трудоемкого процесса удаления шума лучше позволить моделинаучиться справляться с ним в ходе обучения. Генерация псевдогиперспектральныхизображений с инструментальным шумом на основе снимков CMOS-камерне только решает проблему сложности разметки, но и повышаетустойчивость модели к шуму.

Разумеется, у данного исследования естьи ограничения. Экспериментальные данные были получены наобразцах опухолей молочной железы собак, а набор типов изображенийограничивался семью вариантами. Необходимо постепенно накапливатьданные по более сложным типам образцов и формировать более обширные наборы данных.

Тем не менее, с методологической точкизрения концепция «использования легко размечаемых изображенийдля генерации зашумленных обучающих выборок» открывает ценныйпрактический путь для внедрения гиперспектральной микроскопии в патологическую диагностику. По мере распространения оборудования для гиперспектральной визуализациив отделениях патологии подобные методы аугментации данных могут помочь исследователямэффективнее обучать модели, снижая зависимость от масштабнойручной разметки.

Отказ от ответственности

Данный материал подготовлен и отредактирован на основе открытыхнаучных публикаций (ссылка на источник:https://www.sciencedirect.com/science/article/pii/S2352914826000213). Онпредназначен исключительно для профессионального обсуждения и популяризации научныхзнаний; материал не содержит никаких коммерческих обязательстви не может служить основанием для принятия инвестиционных решений. На приведенные в тексте экспериментальные данные и выводы могутвлиять различные факторы, такие как условия проведения эксперимента, индивидуальные особенности образцов и архитектура модели. При практическом применении полученные результаты требуют проверкипосредством независимого тестирования с учетом специфики конкретных условий использования.