APP下载

西安交大在智能手机TOLED屏下ToF深度图像恢复方面取得创新研

2022-12-02

智能手机作为现代人最常用的移动设备,为人们日常生活带来了极大便捷。全面屏作为未来智能手机的发展趋势,能带来更加惊艳的视觉效果。在不牺牲美观的前提下,全面屏智能手机需要解决前置RGB摄像头和ToF深度相机置于透明屏TOLED(Transparent Organic Light Emitting Diode)下拍摄的难题。由于TOLED透光率有限,在拍摄过程中存在光衍射、反射和折射等效应,不仅会导致屏下拍摄RGB图像产生模糊、色偏、细节丢失、噪声等图像质量退化问题,还会导致屏下ToF深度信息丢失,包括3D点云精度下降、X-Y方向细节丢失等。


图1 屏下ToF拍摄原理及反射引起FPN

针对智能手机屏下ToF拍摄高质量深度图像的迫切需求,西安交通大学人工智能学院葛晨阳团队设计制作了基于智能手机的TOLED屏下ToF拍摄装置,深入研究基于深度学习的TOLED屏下ToF深度恢复算法,具体包括屏下ToF深度相机成像噪声模型分析、屏下ToF真实数据采集和大规模合成数据集生成、复数神经网络的RAW域深度恢复,不仅解决了屏下ToF深度图像和红外图像的模糊和噪声问题,而且提升了3D点云数据Z方向测量精度和X-Y方向细节分辨能力,并在屏下ToF真实3D人脸重建上验证了算法的有效性。


图2 TOLED屏下ToF深度恢复网络


图3 去除FPN噪声及屏下ToF 3D人脸恢复效果

上述研究成果近日在线发表在人工智能顶级期刊《模式识别汇刊》(IEEE Transactions on Pattern Analysis and Machine Intelligence)上,题为“屏下ToF深度图像恢复”(Depth Restoration in Under-Display Time-of-Flight Imaging),论文第一作者为人工智能学院博士生乔欣,指导教师葛晨阳博士,西安交通大学为第一作者单位和第一通讯单位。

葛晨阳博士团队在计算视觉、三维成像、嵌入式AI、VR/AR领域有着十多年的研究积累,擅长跨学科技术创新,拥有近20项美国发明专利。技术成果和专利被广泛用于3D人脸支付、智能手机、智能装备。该团队同智能手机、智能车、智能家电等行业领军企业开展了密切合作。

论文链接:https://ieeexplore.ieee.org/document/9903562
关闭窗口
  • 二维码