从单一深度图像完成语义场景补全

#计算机 03:17 10

众译鸣谢

原文字幕: 原文字幕由译学馆搜集制作完成

译文字幕: HX于2017.05.27制作完成

审核过程: 2

字幕详情

亲爱的学霸们 这是由Karoly Zsolnai-Feher带来的两分钟论文
本期介绍的是深度神经网络的一项很棒的应用
从单一深度图像即可完成场景补全
这张彩图就是深度图 不同颜色表示
物体距离观察者的远近
用消费级硬件就能创造出深度图 如微软的
Kinect 就有深度传感器 可用于制图
场景补全的意思是可以从这张大量信息缺失的深度图中
还原出房间的完整景象
甚至连带图中缺失和封闭起来的部分!
计算机图形学研究者把该算法的输出称为一种立体表示
也就是体素的集合 本质上可看成许多乐高积木
堆成了一个场景
但还不全如此 因为语义场景补全意味着算法
能理解场景 能给场景的不同部分分类
类别包括墙壁 窗口 地板 沙发 以及其他家具
场景补全和分类并非新技术 但该算法
最酷的部分在于不仅改进了这些步骤 而且
能同时对它们进行计算
研究中使用了三维卷积神经网络
之所以要用三维 是要让算法能够处理立体数据
如你所见 效果一级棒 和真实场景十分相近
不久前 第一次看到基于神经网络的从二维图像
理解三维场景的技术时 我兴奋不已
那项技术使用了生成对抗网络 要复杂得多
也没有做场景补全 而且输出的分辨率
也低很多 直观上看就是说堆积的乐高积木块很大
真不可思议
机器学习的研究进展惊人 即使是
看我们节目的各位高要求学霸也会震惊的
前面几期我们介绍过多种关于神经网络的工作
我把链接放在视频介绍里 想提高机器学习水平的
朋友们一定要看看
论文作者还发布了新的数据集 供将来研究使用
而且该技术的输出可以与真实场景相比较
将来有新的算法时 这个数据集可以作为比较的标杆
项目的源代码也开放了
学霸们欢呼吧
感谢您的观看和支持 下次见喽
以下内容有剧透 , 请注意打开姿势

精彩推荐

  • DeepMind的AI学习基于想象的规划

    04:21 24

  • 用神经网络重新聚焦视频

    03:45 11

  • 可控的流体和烟雾效果模拟

    04:17 8

  • AI开始学习创建UI界面

    03:06 105

  • 模拟潮湿的沙滩

    03:43 31

  • 从照片生成3D户型图

    03:34 86

  • 用深度不透明贴图实时描绘头发

    03:57 17

  • 【谷歌快报】#39 Android A/B测试

    03:00 53

更多视频, 请移步译学馆APP欣赏 GET APP