GTMNet: преобразователь машинного зрения с управляемой картой передачи для удаления дымки с одного изображения дистанционного зондирования

Научные отчеты, том 13, Номер статьи: 9222 (2023) Цитировать эту статью

35 доступов

Подробности о метриках

Существующие алгоритмы устранения дымки неэффективны для изображений дистанционного зондирования (RSI) с плотной дымкой, а результаты удаления дымки склонны к чрезмерному усилению, искажению цвета и артефактам. Для решения этих проблем мы предлагаем модель GTMNet, основанную на сверточных нейронных сетях (CNN) и преобразователях зрения (ViTs) в сочетании с предварительным темным каналом (DCP) для достижения хорошей производительности. В частности, слой преобразования пространственных признаков (SFT) сначала используется для плавного введения в модель управляемой карты передачи (GTM), улучшая способность сети оценивать толщину дымки. Затем добавляется усиленный модуль «усиление-работа-вычитание» (SOS) для уточнения локальных особенностей восстановленного изображения. Структура GTMNet определяется путем настройки входа модуля SOS с усилением и положения уровня SFT. В наборе данных SateHaze1k мы сравниваем GTMNet с несколькими классическими алгоритмами устранения дымки. Результаты показывают, что в поднаборах данных умеренного тумана и густого тумана PSNR и SSIM GTMNet-B сопоставимы с показателями современной модели Dehazeformer-L, с увеличением количества параметров всего в 0,1 раза. Кроме того, наш метод интуитивно эффективен в улучшении четкости и детализации очищенных от дымки изображений, что доказывает полезность и значимость использования предшествующего GTM и модуля с усилением SOS в одном удалении дымки RSI.

Спутники дистанционного зондирования и датчики беспилотных летательных аппаратов (БПЛА) подвержены атмосферным явлениям, которые могут ухудшить контрастность и точность цветопередачи собранных изображений, что приводит к ослаблению деталей изображения и затруднению распознавания информации на изображении. Дымка, туман и дым — очень распространенные атмосферные явления, возникающие в результате атмосферного поглощения и рассеяния. При применении технологии дистанционного зондирования в области полицейской безопасности, защиты сельского и лесного хозяйства, инспекции электроэнергетического патруля, обследования земельных ресурсов и аналогичных приложений большое значение имеет точное удаление дымки, тумана и дыма с изображений дистанционного зондирования. (RSI) для обнаружения целей, сопровождения целей и обнаружения БПЛА. Для простоты термин «удаление дымки» используется единообразно для обозначения удаления дымки, тумана и дыма.

В задаче удаления дымки изображения широко используется следующее выражение для описания нечеткого изображения как 1,2,3:

где \(I(x)\), \(J(x)\), A и t обозначают размытое изображение, изображение без дымки, глобальное атмосферное освещение и карту пропускания соответственно. Устранение дымки одиночного изображения — сложная задача, решение которой недостаточно ограничено из-за неизвестной информации о глубине. В настоящее время предложено множество алгоритмов устранения дымки по нескольким направлениям.

Ранние подходы, основанные на предшествующих исследованиях, доказали свою эффективность. Используя уравнение (1), \(A\) и \(t\) должны быть точно оценены, чтобы восстановить четкие изображения. Одним из наиболее репрезентативных является метод априорного темного канала (DCP)4, предназначенный для определения взаимосвязи между четкими изображениями и физическими моделями атмосферы, который представляет собой относительно стабильный алгоритм устранения дымки. Однако эффект удаления дымки на больших белых участках имеет тенденцию вызывать большие отклонения. Поэтому некоторые исследователи используют подходы глубокого обучения на основе данных5,6 для оценки промежуточных параметров модели атмосферного рассеяния и построения взаимосвязи между туманным изображением и промежуточными параметрами. Эти алгоритмы глубокого обучения основаны на модели атмосферного рассеяния. Хотя они значительно улучшились в области неба и визуально более эффективны, чем традиционные методы, модели очень сложны и уязвимы к ограничениям атмосферного освещения и изменений сцены, что приводит к плохой производительности в реальном времени и затемнению яркости восстановленного изображения. Чтобы решить эти проблемы, несколько алгоритмов напрямую прогнозируют скрытые изображения без дымки сквозным способом. Хуанг и др.7 предложили условную генеративно-состязательную сеть, которая использует изображения RGB и SAR для устранения дымки. Мехта и др.8 разработали SkyGAN специально для удаления дымки на аэрофотоснимках, решая проблему ограниченных наборов данных нечетких гиперспектральных аэрофотоснимков.