摘 要
三维图形渲染一直以来是计算机图形学领域的重点研究内容,在真实、准确又快速的图形绘制问题上已经有了大量成熟的研究工作。近些年兴起的深度神经网络技术在计算机视觉领域也已经取得了显著的成功。可微渲染模块在深度神经网络中可以进行前向渲染,并可以对渲染参数的导数进行计算,这使得神经网络可以对 3D 场景中的参数信息进行学习。
本文针对前向渲染速度慢、逆向渲染收敛速度慢、渲染效果的真实感与速度无法取得合适的平衡问题做了以下几项工作:首先,本文在可微渲染中实现了基于微面元理论的基于物理的光照模型。基于物理的光照模型相比于基于经验的光照模型更加具有真实感,相比于基于测量的方法更加快速。它在渲染速度和画面质量上取得了合适的平衡,也使得神经网络可以对渲染物体的粗糙度进行学习;其次,实现了对环境光遮蔽的支持,并也可以由此对环境光项进行求导。环境光遮蔽可以更好的表现物体局部间的光照遮挡关系,使画面更加具有类似全局光照的真实感;最后,本文还提出了根据光照方向和法线方向进行优化的重要性边采样方法,加快了逆向渲染收敛速度,提高了稳定性。
在上述工作的基础上,本文实现了一个简单的基于边采样方法的可微物理渲染器 Kay.它支持对三角形片元组成的 3D 模型的加载、对相机和物体的参数进行设置、前向图形绘制、反向传播计算。它能以嵌入为重写的 pytorch 自定义函数的方式在网络中对输入的渲染参数的导数进行计算。本文在图形学领域经典的3D 模型上进行了实验,验证了该渲染器的能力。本文的算法模型对于三角形片元组成的几何图形平面可以进行有效的微分渲染,但对于体绘制和次表面散射模拟等复杂的光照效果无法有效地实现,对于不连续的纹理和程序生成材质参数也无法处理。
关键词:可微渲染,基于物理渲染,边采样方法,环境光遮蔽
Abstract
Three-dimensional graphics rendering has always been a key research content in the field of computer graphics, and there has been a lot of mature research work on real, accurate and fast graphics rendering. The deep neural network technology that has emerged in recent years has also achieved remarkable success in the field of computer vision. The differentiable rendering module can perform forward rendering in the deep neural network, and can calculate the derivative of rendering parameters, which allows the neural network to learn parameter information in the 3D scene.
In this paper, the following work has been done to solve the problems of slow forward rendering, slow convergence speed of reverse rendering, and the inability to achieve a proper balance between the realism and speed of the rendering effect: First of all, this article adds support for the physically-based lighting model based on the microfacet theory in the differentiable renderer. The physics-based lighting model is more realistic than the experience-based lighting model, and is faster than the measurement-based method. It has achieved a proper balance between rendering speed and picture quality, and also allows the neural network to learn the roughness of the rendered object; Secondly, this article adds support for ambient light occlusion, and the ambient light term can also be derived from this. Ambient light occlusion can better express the light occlusion relationship between the parts of the object, making the picture more realistic like global illumination; finally, this paper also designs and implements the importance edge sampling method optimized according to the light direction and the normal direction , This method speeds up the convergence speed of reverse rendering and improves the stability.
Based on the above work, this paper implements a simple differentiable physical renderer Kay based on the edge sampling method. It supports loading of 3D models
composed of triangular fragments, setting of camera and object parameters, forward graphics drawing, and back propagation calculation. It can calculate the derivative of the input rendering parameters in the network by embedding it as a rewritten pytorch custom function. In addition, this article conducted experiments on classic 3D models in the field of graphics to verify the capabilities of the renderer. The algorithm model in this paper can perform effective differential rendering for the geometric figure plane composed of triangular fragments. It cannot effectively achieve complex lighting effects such as volume rendering and subsurface scattering simulation, and it cannot effectively achieve discontinuous textures and procedurally generated material parameters.
Key Words:Differentiable rendering, physically based rendering, edge sampling method, ambient light occlusion
目 录
第1章 绪论
1.1 问题研究背景
随着计算机科学与技术以及相关产业的不断发展进步,目前很多领域都逐渐用到了计算机图形学技术,如数字媒体艺术、医疗辅助、工业制造、虚拟现实教育、数据可视化、线上家装、模拟军事训练和电子商务平台等[1].而如今计算机图形学的研究内容大体可以分为建模,渲染和动画三部分。其中渲染和动画技术在很大程度上来说分别属于对现实世界的光照现象和物体运动现象进行合适尺度的数学建模和计算,因此有很多过去的相对较成熟的数学物理方法可以借鉴,并且随着计算机硬件制造水平带来的运算能力的提高,过去的一些对算力要求过高的方法也慢慢变得可以尝试。然而在建模方面,虽然目前已经有很多计算机辅助建模技术,三维重建技术,基于图像的三维模型生成技术等可以帮助研究人员和艺术家们进行三维模型创作的方法。但是,建模技术的发展仍然还没有达到与渲染和动画技术相匹配的发展水平,建模过程仍然需要大量的人工参与。
另一方面,近些年深度学习技术在计算机视觉,自然语言处理,医学图像处理等各个方面取得了显著的成功[2].在面部重建[3]、三维重建[4]、位姿估计[5]等方面,深度学习技术也有着众多应用。在这些方法中,可以通过在神经网络中加入可微分渲染模块,使建模和渲染模块得到连接,整个网络可以根据模型参数信息进行图像渲染,然后根据图像与目标图像之间的误差再对模型进行修正,从而实现从图像进行建模。这类方法的成功得益于高效又准确的微分渲染方法,因此,微分渲染这一新兴的研究领域十分具有研究价值。事实上,这一新兴的研究方向也的确正在火热发展。
微分渲染方法根本上来说仍属于一种渲染算法。长期以来,基于物理的渲染算法是计算机图形学领域备受关注的研究方向。相比于追求特定艺术表现形式的非真实感渲染算法,真实感渲染方法除了可以在艺术作品中带来真实的视觉体验,也给需要物理上准确的渲染应用领域提供了理论和工具基础。然而,真实感的往往意味着需要更大的计算量,受限于当今的硬件设备的计算能力,较为复杂的绘制目标需要在真实感和绘制速度之间进行取舍[6].因此,平衡计算速度和绘图质量的可微物理渲染方法研究也至关重要。
1.2 问题研究现状
随着深度学习的成功,可微渲染作为近几年来计算机图形学的渲染领域新兴起的一个崭新的研究方向,为传统的图形渲染领域带来了新的活力。而传统的图形渲染领域大体可以分为实时渲染和离线渲染两个子领域,其中前者对实时性要求较高,一般应用于游戏,交互领域。而后者则愿意牺牲时间以换取更高的画面质量,基于物理的真实感离线渲染使用基于辐射度量学的光学原理进行光辐射量的精确计算,能够极为真实的模拟现实世界的光照效果。而微分渲染则是在传统的渲染方法对速度和质量要求的基础上,又加上了可微这一条件。本节将按顺序分别简要的介绍传统图形渲染领域和可微渲染领域的一些重要的研究成果。
在渲染方面,基于光栅化的实时渲染方法和基于光线追踪方法的离线渲染方法是两大主流分支。光栅化方法的优势在于可以充分地利用 GPU 设备的数据并行特性,和专门优化过的硬件处理单元来满足实时绘制的需求,发展出了以渲染管线技术为核心的大量并行绘制方法[7; 8],这也是过去的计算机图形学领域最主要和常见的教学内容,因此本文将不会再过多的论述光栅化的原理,仅将光栅化方法作为一种处理可见性方法。
在离线渲染方面,有基于光线追踪、光子映射的方法等。其中,早在十九世纪七十年代,就有基于由 Arthur Appel 所提出的光线投射(Ray Casting)方法所创造的光线追踪渲染方法[9],该方法根据光沿直线传播的可逆原理,从观察者的视角向着成像平面的像素点中心发出多条试探性的射线,沿着光线方向得到颜色。
1979 年,Turner Whitted 提出了递归光线追踪算法(Recursive/Whitted-style RayTracing),该方法在得到射线与物体的相交点之后,还会进行光源可见性,反射和折射操作[10; 11],如此递归下去直到光线进入光源、或消失在场景外、或达到设定的最大递归深度。
1984 年,Robert L. Cook 在递归光线追踪的基础上提出了分布式光线追踪算法(Distributed/Stochastic Ray Tracing),该方法增加了光线信息的时间信息和对光线的随机采样,实现了对半透明物体以及高光材质,运动模糊和景深,软阴影等物理现象的渲染。值得注意的是,该方法将采样维度从空间拓展到了时间,从而实现了运动模糊。下图为递归式光线追踪示意图:
1986 年,James T. Kajiya 提出了具有重要意义的计算机图形学的渲染方程[12].
该方程基于物理光学原理,描述了当一个场景中的光辐射能量达到稳定状态之后的物体表面上各方向之间出射光,入射光的关系,该方程被誉为是计算机图形渲染领域的里程碑式成果,它规范化的定义了渲染这一问题。从此之后,才有了无数的基于此的渲染算法的研究。随后的诸多改进方法都是基于对该方程的简化形式进行计算,从而实现具有真实感的三维场景光照效果,并有效地提高绘制速度。
在后续章节中,还会对这部分再作描述。
在 Rendering Equation 提出的同年,James T. Kajiya 提出了路径追踪算法(PathTracing),该方法开创了基于蒙特卡洛采样的全局光照方法[13],该方法解渲染方程的方法是在光线分布的积分域内发射多条采样射线以实现对渲染方程中球面积分值的估计,该方法基于蒙特卡洛积分,属于无偏的计算方法,但是具有采样数量与方差值互为倒数的特点,在采样数量不足时,会出现明显的噪点。如下页图 1.2 所示:
1997 年,在 Eric Veach 的博士毕业论文[14]中,提出了梅特波利斯光传输算法(Metropolis Light Transport)。该算法在对光照有突出贡献的路径的采样点附近进行 Metropolis 采样,生成新的采样点并计算得出光照路径。除此之外,还有优先对光源进行采样的重要性采样方法[15],以及基于分层采样的提高采样效率的方法[16],和针对复杂光线路径的双向路径追踪[17]等。
不同于以上基于蒙特卡洛方法的无偏算法,光子映射算法[18]属于有偏的一致性算法,该方法分为光子追踪和辐射量度估计两部分,首先通过光线追踪方法得到光子图,然后在路径的终点进行聚合操作。而近些年 NVIDIA 公司所主导流行的 RTX 实时光线追踪技术则是结合了实时图形渲染管线和深度学习中的图像超分辨率技术来对低分辨率的渲染帧图像进行降噪[19],因此,严格来说并不属于传统的图形渲染计算方法。
另一方面,可微渲染(又名微分渲染、可逆渲染)是近几年刚刚涌现的新领域,它常被用于在网络中需要对输入的渲染参数进行更新部分,以实现整个网络从头到尾的整体可微。
在微分渲染的研究方法中,从这些方法所处理的数据类型上可以分类为对网格、体素、点云、以及隐式表示四类[20],接下来本章将按顺序主要介绍最为常见的,也是本文所属的网格类方法,以及简要介绍与微分渲染关系密切的神经渲染方法。其他三种方法不再过多介绍。
首先,网格(三角网格)是计算机图形学中最广泛使用的数据表示类型,3D形状被表示为顶点信息和它们之间的连接信息,在绘制过程中,对于三角形内部的像素颜色求导可以通过自动微分技术实现,然而,对于边界的不连续部分却无从下手。为此,发展出了近似梯度方法和基于物理原理的非近似梯度的两类处理边界不可微问题的方法。
近似类方法最早由 Loper 和 Black 在 2014 年提出,并由此提出了 OPENDR框架[21],该框架可显式地对模型参数和图像观测值之间的关系进行建模。该框架使表达正向图形模型变得容易,然后可以自动获取有关模型参数的导数并对其进行优化。
随后,Kato 等人在 2018 年针对 OPENDR 存在的以下两个问题提出了神经 3D网格渲染器[22](neural 3D mesh renderer NMR)。其一,由于 OpenDR 中差分滤波器的局部性,只有边界像素上的渐变可以流向顶点,而其他像素上的渐变则无法被使用。基于此的优化可能导致较差的局部最小值。其二,是导数不能利用目标应用程序的损失梯度。为了克服这些问题,作者提出了非局部近似梯度,该梯度也使用了从损失函数反向传播的像素梯度。作者后来也用类似于 OpenDR 的局部梯度替换了非局部梯度,以降低算法计算复杂度[23].
另一个思路是,为了能够计算有用的梯度,其他一些方法没有去近似反向渲染的过程,而是去考虑近似前向渲染的光栅化过程。 Rhodin 等[24]重新解释了场景参数以确保可微分性。为了解决在物体边界处的不连续性,该文的方法中每个物体都是由密度参数定义,该参数在对象中心具有最大不透明度,且对边界是透 明的。使得渲染结果在边缘变得模糊且平滑,同时从场景参数中删除了尖角以确保了可区分性。Liu 等采用类似的方法,提出了一个名为"Soft Rasterizer"的渲染器[25].除了空间变得模糊之外,它还用概率方法代替了传统的栅格化过程的基于z 缓冲区的三角形选择,在概率方法中,投影到某个像素上的每个三角形都有一定的概率为该像素颜色做出贡献。然后由一个聚合函数融合了每个像素的所有颜色概率,使得每个像素颜色被计算为对应于相关三角形的值的加权和,并且该运算是可微分的。
另一类用于处理网格数据的逆向渲染方法是基于物理的非近似的类型。2018年由李子懋(Li)等人所发表的 Edge Sampling 方法[26],是针对于摄像机,材质和几何体等任意输入参数计算基于物理渲染图像的标量函数导数的第一项工作。
它使用基于蒙特卡洛光线追踪的随机采样方法,可以估算像素区域积分的积分和的梯度。由于物体边缘和物体之间相互遮挡的部分本质上是不连续的,因此该方法将积分计算分为平滑区域和不连续区域。对于被计算物体的平滑部分,采用具有自动微分的传统区域采样。对于不连续的部分,引入了一种新颖的边缘采样方法来捕获边界处的变化。他们的方法有一些基本的假设:网格之间没有互穿,场景里没有完美的点光源,也没有完美的镜面,并且场景是静态的。由于这种方法也是本篇论文的理论基础,所以具体的理论细节会在下一章详细论述。
2019 年,Zhang 等提出了一种与 Li 相似的方法[27].与 Edge Sampling 方法不同,他们的方法除了支持三角网格外还支持对体积渲染[28]进行微分计算。这类方法的两个主要缺点是渲染速度的缓慢和估计梯度的较大方差。这是因为找到所有对象边的缘部分并对其进行采样这一任务需要许多采样。
2019 年,Loubet 等人不依赖于边采样方法,提出了重新参数化所有相关的积分,包括球形域上的像素积分的方法[29].尽管这种方法在计算上是有效的,它仍然不能支持完美镜面的反射。2020 年,Zhang 等提出了一种估算路径积分公式的导数的方法[30],Zhang 表示,路径积分的微分可以分为内部项和边界项,并提出了用于估计两个分量的蒙特卡洛方法。这种方法是无偏的并且在计算上是有效的,因为它不需要显式地找到对象轮廓边缘。但是,由于单个渲染图像的梯度计算需要几秒钟到几十秒之间的时间,因此训练神经网络是不切实际的。
另一类使得渲染过程可微化的方法是从数据中学习渲染过程。这种方法通常称为神经渲染[31].通常通过最小化图像重建误差来训练输出场景表示的场景生成网络和图形渲染网络。得益于神经网络的最新进展,如今神经渲染已能够生成高质量图像(例如各种基于 GAN 的图像生成技术),并被用于许多应用,例如新颖的视图合成,语义照片处理,面部和身体重建,以及创建逼真的头像。通过从现实世界的数据中学习,神经渲染几乎可以生成与真实世界无法区分的新颖图像。
然而,另一方面,将其推广到不同于训练数据的场景,放置到由多个对象组成的场景以及进行人为修改的能力是有限的。另外,由于这种生成图像的方式不同于传统的图像渲染模式,目前这一领域属于计算机图形学还是计算机视觉仍然存在争议。
1.3 问题研究意义
在计算机图形学领域,传统的渲染领域一直以追求快速地绘制具有真实感的计算机图像为目标,这类方法依赖于前人所发现的经典光学物理规律,在它的研究爱好者眼里无疑是精准而优雅的,也为充满艺术创造的游戏,动画,影视产业带来了科技的活力。而在深度学习技术仍然被认为缺少可解释性的今天,曾被认为不需要使用函数拟合近似方法的图形渲染技术却以可微渲染这一方式与神经网络巧妙结合,发挥出了结合了自身的基于物理规则的真实感渲染能力与神经网络强大的函数拟合能力的优势,这一结合给很多应用领域带来了新的方法和思路,某种程度上来说,它打通了 2D 与 3D 的桥梁。
另一方面,本文着眼于基于三角形片元的物理渲染方法而不是基于其他形式的数据表示或神经渲染方法则是因为,当今最流行的图形数据仍然是网格,而GAN 这种从图像到图像的生成方法并没有严格的光学数理原理作为理论保障,生成的图像仍然不能说是物理真实的,因此在很多对于真实感比较敏感的领域,并不适用。而且,从本文上一小节所介绍的图形渲染领域的发展脉络来看,渲染方程的出现可以说是一道分水岭,正是由于这个打通了辐射度量学和计算机图形学的重要方程,图形渲染技术才得以找到方向,在微分渲染领域也是一样,只有先有了一个基于物理的精准严密的理论作为基础,其他的或者是做简化加速也好还是做特定风格的非真实感渲染也好,都会更加有发展潜力。因此,基于物理的可微渲染方法这一方向更加的具有研究意义。
最后,我国的动画和影视产业相比于好莱坞,迪士尼等国际知名公司仍然技术十分落后。微分渲染这一技术在该行业目前具有实际的应用价值。并且,计算机图形学这一领域虽然很多技术应用属于娱乐产业,但是背后涉及到的数学物理方法,数值模拟技术等也说明了一个国家在文化产业输出,意识形态塑造,工业软件制造等其他方面的水平。
1.4 论文主要工作
本文通过对可微物理渲染方法进行分析,提出了改进的基于边采样方法的可微物理渲染方法,该方法在前人研究的基础上,在对于材质模拟和提高采样方法稳定性方面进行改进与融合,并在图形学领域经典的模型上进行了实验对比和分析,本文的主要贡献如下:
(1)在可微渲染中,引入了基于微面元理论的光照模型,在对图元进行光照计算和计算微分的过程中,增加了包括菲涅尔函数、几何函数等在内的基于物理渲染技术的方法,以对材质进行更真实的刻画,并使其可以对物体表面粗糙程度进行求导。
(2)增加了对环境光遮蔽效果的支持,可以更好的模拟全局光照的效果,并可以对环境光进行求导。
(3)针对物体在常见光照条件下的图像光照分布特性,对于在相机空间中物体法线方向与视线接近垂直的三角形的边以及相对于光源方向接近垂直的三角形的边进行重要性采样,减少迭代轮数,增加稳定性。
最后,以样例场景测试作为本文方法的实验,验证本文提出的改进方案能否得到较快的绘制速度、较好的稳定性与渲染真实感,同时利用其他光照模型和采样方法作为参照,进行了对比分析,以满足微分渲染应用领域的需求。
1.5 论文组织架构
本文正文内容共有五个章节,每章节的组织形式与内容主题如下:
第一章,绪论部分,首先论述了计算机图形学在当今社会生产生活中的重要作用,随后说明了结合了传统的图形渲染技术和当今流行的深度学习技术的用于三维重建等领域的可微渲染技术的重要性,并分别简要的介绍了传统的渲染技术发展现状和近几年涌现的可微渲染技术的现状。简要说明了可微渲染领域主要的要解决的问题以及本文试图解决的问题。最后简要的介绍了论文所做的主要工作。
第二章介绍了现代图形渲染和边采样可微渲染的理论基础。首先,对基于辐射度量学的光学理论基础进行了简要的介绍,包括光传播的物理规律、渲染方程、光线追踪算法和将渲染问题视作积分问题的理论。然后,介绍了本文所基于的边采样可微渲染方法的理论知识,讲解了将成像区域分为内部和边界部分分别进行求导计算的对应方法和雷诺传输方程的理论。
第三章论述了基于边采样的可微物理渲染方法的具体理论和实现,以及主要工作。本文的工作主要包括三部分,其一,引入了基于微面元理论的物理光照模型来更加真实的表现物体的材质,同时也兼顾了绘制速度。其二,在可微渲染中增加了环境光遮蔽效果,更好的模拟全局光照效果。其三,提出了针对场景中光源和相机空间中法线方向所优化的重要性采样方法,用于加速逆向渲染过程和提 高收敛稳定性。在这部分中首先介绍了重要性采样的理论基础,随后解释了本文改进方法对于轮廓和光照的边界部分进行重要性采样的理论优势,并简述了本文对应代码实现的重要细节。
第四章详细展示了本文的样例场景和实验过程,以及对实验结果和相关数据的对比分析。首先,列出了进行本实验所使用的机器硬件参数和软件规格。然后展示了本次实验的模型的来源和相关参数。随后,将本次实验的结果和过去的其他光照模型以及 Groud Truth 进行参照对比,以及与其他采样方法对比证明了改进的采样方法的优势。
第五章对本文提出的方法所存在的优势和局限性和实验所表现出的真实表现进行了分析和总结,并提出了关于可微物理渲染、可微全局光照模型、可微编程和可微图形学等未来研究方向的规划论述,以及对进一步的研究工作大方向的简要论述。
第 2 章 问题理论基础
2.1 图形渲染与光学原理
2.1.1 视觉成像原理
2.1.2 辐射度量学理论
2.1.3 渲染方程和蒙特卡洛积分法
2.1.4 路径追踪算法
2.2 边采样可微渲染方法
2.2.1 雷诺传输方程
2.2.2 可微渲染方程
2.3 本章小结
第 3 章 基于边采样的可微物理渲染方法
3.1 引入基于微面元理论的光照模型
3.2 环境光遮蔽支持
3.3 改进的边采样方法
3.3.1 重要性采样理论
3.3.2 改进的重要性边采样方法
3.3.3 可微渲染算法流程和实现
3.4 本章小结
第 4 章 实验对比分析
4.1 实验环境介绍
4.1.1 硬件设备要求
4.1.2 软件框架概述
4.1.3 实验模型概述
4.2 实验结果对比分析
4.3 本章小结
第 5 章 总结与展望
5.1 全文工作总结
本文实现了对常规的几何图形进行前向渲染,可以模拟漫反射、镜面反射等常规光照现象。实现了可微渲染,使得渲染出来的图像可以对输入的参数进行求导。满足了微分渲染的应用需求,主要的工作如下:
在微分渲染的着色过程中,引入了基于微面元理论的物理光照模型,使得渲染物体可以更好的模拟真实材质,并可以对粗糙度进行微分。引入了环境光遮蔽效果,该效果对于实现更加真实的环境光照具有重要作用。以及在逆向绘制部分增加了对于物体法线与视线、光照方向的重要性考虑,提出了改进的对于边采样的重要性采样方法,从而加快了速度,提高了稳定性。
与此同时,本文的方法虽然一定程度上缓解了边采样微分渲染的速度问题,却仍然具有微分渲染所共有的很多问题:对于一些场景参数变化较大的情况下,容易收敛到局部最小值;对于较为复杂的光照效果也无法很好的模拟;存在三角形片元之间互穿的病态情况等问题。
5.2 未来工作展望
随着计算机图形技术和深度学习技术的发展和融合,可微计算机图形学和可微编程都取得了广泛的关注,这两个领域所拥有的不同特性结合出了特有的优势。
可微渲染方法的出现给图形渲染带来了新的活力。进一步的优化微分渲染方法具有重要的研究和应用价值。除了可以将本文的 pytorch 实现自动微分全部整合进自行编写的求导函数之外,正如上一小节最后所提出的不足之处所说,微分渲染方法还有很多问题可供研究。比如说:
在计算渲染参数导数的过程中,需要存储大量的中间数据作为计算辅助,这对于内存的需求比较高,可以研究更加高效的计算流程使得整个算法对内存的需求减少。
研究如何将实时渲染中的经典算法移植到可微渲染中,从而实现更加快速的前向绘制和反向求导过程,摆脱来自于离线渲染思路中的全局光照算法的依赖。
参考文献
[1] 黄杨昱。基于实时全局光照的3D绘制引擎研究和开发[D].北京化工大学, 2015.
[2] Litjens G, Kooi T, Bejnordi B E, et al. A Survey onDeep Learning in Medical Image Analysis[J]. Medical ImageAnalysis, 2017, 42(9): 60-88.
[3] Genova K, Cole F, Maschinot A, et al. Unsupervisedtraining for 3d morphable model regression[C]. Proceedingsof the IEEE Conference on Computer Vision and PatternRecognition, 2018: 8377-8386.
[4] Tulsiani S, Zhou T, Efros A A, et al. Multi-viewsupervision for single-view reconstruction viadifferentiable ray consistency[C]. Proceedings of the IEEEconference on computer vision and pattern recognition, 2017:2626-2634.
[5] Liu Z, Zhu J, Bu J, et al. A survey of human poseestimation: the body parts parsing based methods[J].Journal of Visual Communication&Image Representation, 2015,32: 10-19.
[6] 扎西次仁。复杂场景中实时全局光照模型研究[D].北京邮电大学, 2015.
[7] 秦家水。基于 HDR 的实时光照技术研究[D].西安科技大学,2010.
[8] 杨永奇。基于体像素全局光照算法模型的设计与实现[D].吉林大学, 2019.
[9] Wald I, Slusallek P, Benthin C, et al. Interactiverendering with coherent ray tracing[C]. Computer graphicsforum, 2001: 153-165.
[10] Whitted T. An improved illumination model for shadeddisplay[C].Proceedings of the 6th annual conference onComputer graphics and interactive techniques, 1979: 14.
[11] Macdonald J D, Booth K S. Heuristics for ray tracingusing space subpision[J]. The Visual Computer, 1990, 6(3):153-166.
[12] Kajiya J T. The rendering equation[C]. Proceedings ofthe 13th annual conference on Computer graphics andinteractive techniques, 1986: 143-150.
[13] Kay T L, Kajiya J T. Ray tracing complex scenes[J].ACM SIGGRAPH computer graphics, 1986, 20(4): 269-278.
[14] Veach E. Robust Monte Carlo methods for lighttransport simulation[M]. Stanford University, 1998.
[15] Lafortune E. Mathematical models and Monte Carloalgorithms for physically based rendering[J]. Departmentof Computer Science, Faculty of Engineering, KatholiekeUniversiteit Leuven, 1996, 20: 74-79.
[16] Girard P, Landrault C, Pravossoudovitch S. Delay-faultdiagnosis by critical-path tracing[J]. IEEE Design & Testof Computers, 1992, 9(4): 27-32.
[17] Lafortune E P, Willems Y D. Rendering participatingmedia with bidirectional path tracing[C]. EurographicsWorkshop on Rendering Techniques, 1996: 91-100.
[18] Krüger J H, Bürger K, Westermann R. InteractiveScreen-Space Accurate Photon Tracing on GPUs[J]. RenderingTechniques, 2006, 2006: 17th.
[19] Wang Z , Chen J , Hoi S . Deep Learning for ImageSuper-resolution: A Survey[J]. IEEE Transactions on PatternAnalysis and Machine Intelligence, 2020, PP(99):1-1.
[20] Kato H, Beker D, Morariu M, et al. Differentiablerendering: A survey[J]. arXiv preprint arXiv:.12057, 2020.
[21] Loper M M, Black M J. OpenDR: An approximatedifferentiable renderer[C]. European Conference onComputer Vision, 2014: 154-169.
[22] Kato H, Ushiku Y, Harada T. Neural 3d mesh renderer[C].Proceedings of the IEEE conference on computer vision andpattern recognition, 2018: 3907-3916.
[23] Kato H, Harada T. Learning view priors for singleview 3d reconstruction[C]. Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition, 2019:9778-9787.
[24] Rhodin H, Robertini N, Richardt C, et al. A versatilescene model with differentiable visibility applied togenerative pose estimation[C]. Proceedings of the IEEEInternational Conference on Computer Vision, 2015: 765-773.
[25] Liu S, Li T, Chen W, et al. Soft rasterizer: Adifferentiable renderer for image-based 3d reasoning[C].Proceedings of the IEEE/CVF International Conference onComputer Vision, 2019: 7708-7717.
[26] Li T-M, Aittala M, Durand F, et al. Differentiablemonte carlo ray tracing through edge sampling[J]. ACMTransactions on Graphics, 2018, 37(6): 1-11.
[27] Zhang C, Wu L, Zheng C, et al. A differential theoryof radiative transfer[J]. ACM Transactions on Graphics,2019, 38(6): 1-16.
[28] Chandrasekhar S. Radiative transfer[M]. CourierCorporation, 2013.
[29] Loubet G, Holzschuch N, Jakob W. Reparameterizingdiscontinuous integrands for differentiable rendering[J].ACM Transactions on Graphics, 2019, 38(6): 1-14.
[30] Zhang C, Miller B, Yan K, et al. Path-spacedifferentiable rendering[J]. ACM Trans. Graph., 2020, 39(6):143.
[31] Eslami S A, Rezende D J, Besse F, et al. Neural scenerepresentation and rendering[J]. Science, 2018, 360(6394):1204-1210.
[32] Zhao S, Jakob W, Li T-M: Physics-based differentiablerendering: from theory to implementation, ACM SIGGRAPH 2020Courses, 2020: 1-30.
[33] Mitchell D P, Netravali A N. Reconstruction filtersin computer-graphics[J]. ACM Siggraph Computer Graphics,1988, 22(4): 221-228.
[34] Flanders H. Differentiation under the integral sign[J].The American Mathematical Monthly, 1973, 80(6): 615-627.
[35] Walter B, Marschner S R, Li H, et al. Microfacet Modelsfor Refraction through Rough Surfaces[J]. Renderingtechniques, 2007, 2007: 18th.
[36] Hertzmann A. Introduction to 3d non-photorealisticrendering: Silhouettes and outlines[J]. Non-PhotorealisticRendering. SIGGRAPH, 1999, 99(1)。
[37] Paszke A, Gross S, Massa F, et al. Pytorch: Animperative style, high-performance deep learninglibrary[J]. arXiv preprint arXiv:.01703, 2019.
[38] Wald I, Woop S, Benthin C, et al. Embree: a kernelframework for efficient CPU ray tracing[J]. ACMTransactions on Graphics, 2014, 33(4): 1-8.
[39] Matusik W. A data-driven reflectance model[D].Massachusetts Institute of Technology, 2003.
[40] Blinn J F. Models of light reflection for computersynthesized pictures[C]. Proceedings of the 4th annualconference on Computer graphics and interactive techniques,1977: 192-198.
致 谢
一转眼,我的学生生涯也要结束了。回忆过往的经历,让我知道了自己是一个幸运而执着的人。忘不了小时候第一次玩游戏时的震撼和感动,让我对计算机游戏产生兴趣。大学兴冲冲的报了计算机专业,被它的精美和神奇所征服。
接触到计算机图形学让我知道世界上还有这么好玩的学科。追随着兴趣的指引,我摸索着向前学习,虽然在这个过程中屡次认识到自己的渺小和平庸,但也一次又一次地沉迷在接触到新鲜有趣的知识的快乐中。随着眼界的开阔,我也逐渐地打开了思想的宽度,乐意去接触世间其他精美的智慧结晶。研究生这三年是自由幸福的三年,在这三年里我拥有充足的时间去接触我感兴趣的知识,也足够幸运认识了很棒的老师和同学以及可爱的女朋友。
感谢我的导师卢奕南,卢老师既是老师又像是和蔼可亲的朋友,在我的学习之路上为我提供关心和帮助。还要感谢数学学院的伍铁如老师,二位老师组织的和数学学院一起的讨论班让我开阔了眼界。感谢 A431 实验室的同学们,他们是一群活泼又可爱的人。其中特别鸣谢媛儿姐以及她的小伙伴给我学习和发展上的建议,以及让我可以蹭晚上的车回寝室。感谢我的另外三个也姓张的室友,大家各有各的特点,陪我度过了有趣味的寝室生活。大家都是很优秀的人,让我感觉受益匪浅。
最后,特别感谢我的父母亲朋,没有你们的关心和爱护就没有现在的我。
尤为感谢母亲这么多年的付出,希望她可以活出退休之后属于自己的人生精彩。
也要感谢我的妹妹对我平日里的关心。感谢我的女朋友,也是 Kay 渲染器的命名者,你的陪伴让我的生活充满阳光。
世界上有趣的事物真是太多了,能够感受这么多奇妙的感受,体会到生活的美好,让我感到十分幸运。
(如您需要查看本篇毕业设计全文,请您联系客服索取)