Nvidia的人工智能总监和论文合著者Sanja Fidler说：“公司下一步可能会尝试将可微渲染框架（Differentiable Rendering Framework，DIB-R）扩展到更复杂的任务，比如为多个对象或整个场景渲染三维模型；这样的工作可以应用于游戏、AR/VR、机器人或目标跟踪系统中。”

Fidler还说：“关于三维深度学习目前很多公司已经做了一些工作，如Facebook AI Research与DeepMind也能将二维转化成三维AI，但DIB-R是第一个可以通过二维图像预测几个关键的三维特征（如对象的形状、三维几何、颜色和纹理）的神经或者深度学习架构之一。因此尽管之前有很多研究，但没有一个能真正同时预测所有这些关键属性的研究；它们不是专注于预测几何形状就是专注于预测颜色，而不是同时预测形状、颜色、纹理和光线；而我们的这项研究是真正完成了——不是完全完成，但却是对一个场景中的对象更加完整的理解。

NeurIPS的一项相关工作是试图根据人们的声音来预测他们的“声之形”。

Fidler说：“我认为这是一个非常有趣的领域，我们没有在这篇特别的论文中解决这个问题；但就深度学习而言，这是另一个有趣的输入，当提供给神经结构后就可以得到非常好的三维信息；如今，我认为这绝对是有效的。”

DIB-R是在Nvidia今年发布Kaolin（Kaolin是Nvidia的三维深度学习库，拥有一系列的模型来帮助开发人员开始使用神经网络进行三维处理）之后发布的，Nvidia会在NeurIPS上公布五篇论文：《Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer》、《Joint-task Self-supervised Learning for Temporal Correspondence》、《Dancing to Music》、《Few-shot Video-to-Video Synthesis》、《Exact Gaussian Processes on a Million Data Points》。

参考资料：

https://venturebeat.com/2019/12/09/nvidia-trains-ai-to-transform-2d-images-into-3d-models/

联系：highspeedlogic

QQ ：1224848052

微信：HuangL1121

邮箱：1224848052@qq.com

网站：http://www.mat7lab.com/

网站：http://www.hslogic.com/

微信扫一扫：