基于生成对抗网络的多特征融合去雾技术

司亚中; 张旭龙; 杨帆; 王健宗; 程宁; 肖京

doi:10.11959/j.issn.2096-0271.2024047

您当前的位置：

首页 >

文章列表页 >

基于生成对抗网络的多特征融合去雾技术

研究 | 更新时间：2024-08-07

- 基于生成对抗网络的多特征融合去雾技术
- Multiple-feature fusion based generative adversarial network for image dehazing
- 大数据 2024年10卷第4期页码：77-88
- 作者机构：
  
  1. 平安科技（深圳）有限公司，广东深圳 518063
  2. 河北工业大学，天津 300401
- 作者简介：
  
  [ "司亚中（1996- ），男，河北工业大学博士生，主要研究方向为深度学习、计算机视觉等。" ]
  [ "张旭龙（1988- ），男，博士，平安科技（深圳）有限公司高级算法研究员，复旦大学计算机理学博士，主要研究方向为语音合成、语音转换、音乐信息检索以及机器学习和深度学习方法在人工智能领域应用。担任清华大学深圳研究院以及中国科学技术大学先进技术研究院校外导师，目前是IEEE、中国自动化学会以及中国计算机学会会员，担任联邦数据与联邦智能专委会委员，2023年入选上海市东方英才计划青年项目。" ]
  [ "杨帆（1966- ），男，博士，河北工业大学电子信息工程学院教授、博士生导师，主要研究方向为智能信息处理、计算机视觉、图像处理等。" ]
  [ "王健宗（1983- ），男，博士，平安科技（深圳）有限公司副总工程师，资深人工智能总监，联邦学习技术部总经理，智能金融前沿技术研究院院长。美国佛罗里达大学人工智能博士后，美国莱斯大学和华中科技大学联合培养博士，中国计算机学会资深会员，中国计算机学会大数据专家委员会委员，中国自动化学会联邦数据和联邦智能专业委员会副主任。主要研究方向为大模型、联邦学习和深度学习等。" ]
  [ "程宁（1981- ），男，博士，平安科技（深圳）有限公司高级经理，中国科学院计算技术研究所计算机应用技术博士后，主要研究方向为语音识别、语音增强以及麦克风阵列。" ]
  [ "肖京（1972- ），男，美国卡耐基梅隆大学博士，IEEE Fellow，国家特聘专家。国家新一代普惠金融人工智能开放创新平台技术负责人、深圳市政协委员、深圳市决策咨询委员会委员，兼中国计算机学会深圳分部副主席、广东省人工智能与机器人学会副理事长、深圳市人工智能行业协会会长、深圳市人工智能学会副理事长，清华大学、上海交通大学、同济大学等客座教授。长期从事人工智能与大数据分析挖掘相关领域研究，先后在爱普生美国研究院及美国微软公司担任高级研发管理职务，现任平安集团首席科学家，负责人工智能技术研发及其在金融、医疗、智慧城市等领域的应用，带领团队树立了多项传统行业智能化经营的标杆。己发表学术论文249篇，美国授权专利101项，中国发明专利155项，参与及承担国家级项目8项。凭借在技术创新及应用的杰出贡献，先后获得2018年中国专利奖、2019年吴文俊人工智能杰出贡献奖、2020年吴文俊人工智能科技进步一等奖、2020年上海市科技进步奖一等奖、2020年中国人工智能十大风云人物、2021年深圳市五一劳动奖章、2022年深圳市最美科技工作者等荣誉。" ]
- 基金信息：
  
  广东省重点领域研发计划“新一代人工智能”重大专项;The Key Research and Development Program of Guangdong Province(2021B0101400003)
- DOI：10.11959/j.issn.2096-0271.2024047
  中图分类号： TP317.4
- 网络首发：2024-07，
  
  纸质出版：2024-07-15
- 稿件说明：
移动端阅览
司亚中, 张旭龙, 杨帆, 等. 基于生成对抗网络的多特征融合去雾技术[J]. 大数据, 2024,10(4):77-88.

Yazhong SI, Xulong ZHANG, Fan YANG, et al. Multiple-feature fusion based generative adversarial network for image dehazing[J]. Big data research, 2024, 10(4): 77-88.
司亚中, 张旭龙, 杨帆, 等. 基于生成对抗网络的多特征融合去雾技术[J]. 大数据, 2024,10(4):77-88. DOI： 10.11959/j.issn.2096-0271.2024047.

Yazhong SI, Xulong ZHANG, Fan YANG, et al. Multiple-feature fusion based generative adversarial network for image dehazing[J]. Big data research, 2024, 10(4): 77-88. DOI： 10.11959/j.issn.2096-0271.2024047.

摘要

为提高图像清晰度，解决传统图像在去雾过程中存在的特征提取困难、去雾不彻底等问题，提出一种基于生成对抗网络的多特征融合端到端去雾网络。该网络由生成器和判别器组成，生成器采用编解码结构，通过多特征提取融合（MFEF）块提取多种感受野下的高维表征信息。判别器使用一系列卷积计算对生成图像和清晰图像进行特征差异分析，引导生成器输出更加真实的去雾图像。实验结果表明，该算法在有效消除雾霾干扰的同时，能够最大限度地保留图像的原始色调。与现有方法相比，该算法在峰值信噪比、结构相似性客观评价指标上分别提升了2.588 dB、2.66%。

Abstract

To enhance image clarity and address the difficulties in feature extraction and incomplete haze removal in traditional image dehazing processes

a multi-feature fusion based generative adversarial dehazing network is proposed.The network adopts a generative adversarial approach and consists of a generator and a discriminator.The generator utilizes an encoderdecoder structure

and extracts haze-related feature maps from multiple receptive fields by a multi-feature extraction fusion (MFEF) block.The discriminator uses a series of convolutional calculations to analyze the feature differences between the generated images and the clear images

guiding the generator to output move realistic dehazing images.The experimental images show that the proposed method can effectively eliminate haze interference while preserving the original color tone of the image to the greatest extent possible.The experimental results demonstrate that the dehazed images produced by our algorithm have improved peak signal-to-noise ratio and structural similarity with an average of 2.588 dB and 2.66% respectively

compared with existing methods.

关键词

Keywords

references

禹晶 , 徐东彬 , 廖庆敏 . 图像去雾技术研究进展 [J ] . 中国图象图形学报 , 2011 , 16 ( 9 ): 1561 - 1576 .

YU J , XU D B , LIAO Q M . Image defogging:a survey [J ] . Journal of Image and Graphics , 2011 , 16 ( 9 ): 1561 - 1576 .

STARK J A . Adaptive image contrast enhancement using generalizations of histogram equalization [J ] . IEEE Transactions on Image Processing , 2000 , 9 ( 5 ): 889 - 896 .

JOBSON D J . Retinex processing for automatic image enhancement [J ] . Journal of Electronic Imaging , 2004 , 13 ( 1 ): 100 .

NARASIMHAN S G , NAYAR S K . Contrast restoration of weather degraded images [J ] . IEEE Transactions on Pattern Analysis and Machine Intelligence , 2003 , 25 ( 6 ): 713 - 724 .

HE K M , SUN J , TANG X O . Single image haze removal using dark channel prior [J ] . IEEE Transactions on Pattern Analysis and Machine Intelligence , 2011 , 33 ( 12 ): 2341 - 2353 .

刘万军 , 白宛司 , 曲海成 , 等 . 融合GFMSRCR和暗通道先验的图像去雾 [J ] . 中国图象图形学报 , 2019 , 24 ( 11 ): 1893 - 1905 .

LIU W J , BAI W S , QU H C , et al . Image dehazing based on GF-MSRCR and dark channel prior [J ] . Journal of Image and Graphics , 2019 , 24 ( 11 ): 1893 - 1905 .

CAI B L , XU X M , JIA K , et al . DehazeNet:an end-to-end system for single image haze removal [J ] . IEEE Transactions on Image Processing , 2016 , 25 ( 11 ): 5187 - 5198 .

LI B Y , PENG X L , WANG Z Y , et al . AOD-net:all-in-one dehazing network [C ] // Proceedings of the 2017 IEEE International Conference on Computer Vision . Piscataway:IEEE Press , 2017 : 4780 - 4788 .

CHEN D D , HE M M , FAN Q N , et al . Gated context aggregation network for image dehazing and deraining [C ] // Proceedings of the 2019 IEEE Winter Conference on Applications of Computer Vision . Piscataway:IEEE Press , 2019 : 1375 - 1383 .

DONG Y , LIU Y H , ZHANG H , et al . FDGAN:generative adversarial networks with fusion-discriminator for single image dehazing [J ] . Proceedings of the AAAI Conference on Artificial Intelligence.California:AAAI , 2020 , 34 ( 7 ): 10729 - 10736 .

ULYANOV D , VEDALDI A , LEMPITSKY V , et al . Instance normalization:the missing ingredient for fast stylization [EB ] . arXiv preprint,2016,arXiv:1607.08022 .

GOODFELLOW I J , POUGET-ABADIE J , MIRZA M , et al . Generative adversarial nets [C ] // Proceedings of the Proceedings of the 27th International Conference on Neural Information Processing Systems Volume 2 . Cambridge:MIT Press , 2014 : 2672 - 2680 .

HE K M , ZHANG X Y , REN S Q , et al . Deep residual learning for image recognition [C ] // Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition . Piscataway:IEEE Press , 2016 : 770 - 778 .

ISOLA P , ZHU J Y , ZHOU T H , et al . Image-to-image translation with conditional adversarial networks [C ] // Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition . Piscataway:IEEE Press , 2017 : 5967 - 5976 .

SILBERMAN N , HOIEM D , KOHLI P , et al . Indoor segmentation and support inference from RGBD images [C ] // Proceedings of the 12th European Conference on Computer Vision . Heidelberg:Springer , 2012 : 746 - 760 .

LI B Y , REN W Q , FU D P , et al . Benchmarking single image dehazing and beyond [J ] . IEEE Transactions on Image Processing , 2018 , 28 ( 1 ): 492 - 505 .

ANCUTI C , ANCUTI C O , TIMOFTE R , et al . NTIRE 2018 challenge on image dehazing:methods and results [C ] // Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops . Piscataway:IEEE Press , 2018 : 1004 - 100410 .

DONG H , PAN J S , XIANG L , et al . Multi-scale boosted dehazing network with dense feature fusion [C ] // Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Piscataway:IEEE Press , 2020 : 2154 - 2164 .

SONG Y D , HE Z Q , QIAN H , et al . Vision transformers for single image dehazing [J ] . IEEE Transactions on Image Processing , 1927 , 32 : 1927 - 1941 .

ZHENG L R , LI Y S , ZHANG K H , et al . T-net:deep stacked scale-iteration network for image dehazing [J ] . IEEE Transactions on Multimedia , 2022 , 25 : 6794 - 6807 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

深度学习在医学影像中的研究进展及发展趋势

基于改进YOLOv8的高分辨率遥感图像目标检测算法

沙尘图像视觉增强技术综述

情感语音合成综述

面向非平行语料的语音转换技术综述