跳到内容 跳到导航

Research & Ideas

站内搜索

用爱与革新实时全息

研究人员的神经网络产生高品质的3-d的图像,可能是一个改变游戏规则的教育,游戏,以及远程工作。

Juxtaposed images of conventional holography next to neural holography

在常规的全息带照相机功能于该环神经方法进行比较,后者显著改善图像质量。 |海的形象礼貌

想象举办3 d虚拟会议中,你的客人是在不同的城市,但似乎整个会议桌坐在你的权利。

不仅如此,您的客人可以走在你的非常真实的房间用在白板上的同事或做笔记聊天。

这就像从星际旅行的全息甲板,对不对?

那种实时体验一直是遥不可及的,但它可能是一个有点接近了。

结合人工智能与光学,CQ9电子游戏的研究人员的物理 已经创建了一个系统 该列车本身创造良好的算法足以瞬间重现真实世界的场景,所有的三维的,不断变化的复杂性。

由...领着 戈登wetzstein电气工程助理教授,CQ9电子游戏的团队已经推出了,教它本身需要通过“循环相机”使用,以评估它投影图像的精度,然后从错误学习的技能神经网络。

“大挑战是,我们没有那么好足够的所有物理方面的模型算法是如何在光一个复杂的光学系统传播,如AR眼镜,” wetzstein说。 “目前我们有算法在两个方面受到限制。他们计算效率低下,所以时间过久,不断更新的图像。而在实践中,影像看上去不那么好“。

wetzstein说,新的方法使得实时图像生成和图像质量都大进步。在单挑的比较,他说,该算法通过产生更清晰,更准确的3-d图像他们的“holonet”神经网络发达,当场,比传统的全息软件。

具有用于虚拟和增强现实大的实际应用,远远超出了游戏和虚拟会议的明显领域。实时全息对教育,培训和远程工作的巨大潜力。飞机机械师,例如,可以通过探索喷气发动机的内部千里之外学习,或心脏外科医生可以实践特别具有挑战性的过程。

除了wetzstein,该系统是由创建 彭一凡在CQ9电子游戏计算机科学专业的博士后研究员; suyeon彩, 一个博士研究生在CQ9游戏电机工程; 尼蒂什padmanaban, 谁刚刚完成了他在电机工程博士学位CQ9游戏;和 钟铉金, 在NVIDIA股份有限公司的高级研究科学家。

相机在循环

在机器学习的许多其他应用程序,通过对一组训练图像的不懈实践,并从其错误学习holonet神经网络改进其算法。

关键说,wetzstein,就是将一个真实的相机到人工智能的培训课程。该神经网络开始通过尝试再现3-d的图像,然后将其投射到显示器上。该投影显示器和进料上的图像的数字照相机捕获它放回系统,该系统可以比较原稿突起。

随着时间的推移,系统越来越好创造准确的3-d图像。最后,说wetzstein,成为能够再现,它从来没有在训练数据中遇到的新图像。

这听起来简单,直到你认为在不断变化的三维图像潜力波形状的数量惊人。

“想想光波作为在一个池塘的涟漪石头击中水后,” wetzstein建议。 “在显示器上的像素都喜欢在他们控制的是创建要显示的图像光的波动模式的岩石。创建复杂的图像,你必须扔了很多石头,在短短的正确方法。现在想想你会怎么扔那些礁石创建光波起来星球大战添加到莱娅公主的全息视频“。

这太过分了数据和太多的可能的排列人类从头弄清楚。但如果用机器学习的能力,结合物理学的知识孜孜不倦地寻找新的模式,一个神经网络可以开发全新的算法来解决已经困扰专家数十年3 d问题。

全息图的未来

作为耐人寻味的3-d游戏和会议似乎,研究人员说,实时全息还具有增强现实产生巨大的影响。使用AR-配眼镜,例如,人们可以把在他们面前的普通物理对象为虚拟键盘或仪表板,控制计算机和机械设备数百英里之外。全息甚至可以让音乐家玩虚拟仪器和虚拟乐团合作。

wetzstein说,算法是指日可待,和科技公司都在小型化所需的硬件大踏步前进,从眼镜该项目全息图成一个人的眼睛便宜3 d相机。事实上,苹果公司最近成立的3-d扫描到其垫亲平板电脑。

“这项工作,我们已经得到了更接近创造的视觉体验是来自真实世界区分的更广泛的目标,说:” wetzstein。 “这将是从星际迷航预想中的全息甲板不同的,因为你不会需要一个专门的房间 - 你的眼镜里面只是一个微小的全息显示。但现代神经网络的强大功能与经典物理光学的技术相结合,我认为我们的目标是真正实现。”

观看视频 有关holonet技术: