北京中科刘云涛 https://wapjbk.39.net/yiyuanzaixian/bjzkbdfyy/bdf/艺术和科技看似是两个不同领域，但如果深入研究，就能发现两者可以通过某种“桥梁”，让两个不同领域融会贯通。这个桥梁就像《雷神》电影里的彩虹之桥，一边连接着创意，一头则通向创意实现后的彼岸。而在笔者来看，Unity就像是这个桥梁，创作者就像是建设者，他们利用Unity引擎工具，造出让梦想变为现实的桥梁。在这次Unity大会上，Unity日本技术美术总监KeijiroTakahashi就为我们带来了一场别开生面的主题演讲，在这场名为“以技术为源汲取艺术灵感”的主题演讲上，通过一系列“增强现实”表演，让开场充满了神秘、惊奇感。Unity日本技术美术总监KeijiroTakahashi上台做主题演讲简单来讲，其通过RealSense深感相机，可以把被拍摄对象影像映射到大屏幕上，之后把记录下来的数据节点、位置和颜色节点，保存纹理并导入到VisualEffectGraph(VFXGraph)当中，利用Unity物理引擎的诸多特性，让可视化效果成为可能，在整个演示过程中，给笔者的观感印象，从不屑一看转为吃惊的速度非常快，没想到unity还能这样“玩儿”。艺术表现形式其实想实现这种效果，并不难，KeijiroTakahashi也在会场中，为我们做了简单介绍：其使用的是几何着色器的效果（整个VFXGraph的演绎过程，离不开各项着色器的相互协调）。首先是需要顶点着色器，其作用是调整控制顶点的着色器，进行坐标转换或者是一些光照处理。片元着色器是处理像素的着色器，也就是说其会对画面每个像素进行筛选，这时候就回选取片元着色器，对像素会进行处理或者纹理影射处理等等，片元着色器可以处理像素的着色器，可以使光和颜色发生变化或使其消失。VFXGraph艺术表现形式但是顶点着色器和片元着色器都无法让视觉效果得到最大限度表现，这时候就需要几何着色器。几何着色器所处理的单位就是三角形，在几何着色器当中，不仅可以移动三角形的顶点而且可以加入新的三角形，就可以实现新的效果。所以，可以把三角形变成一个四边形或者加入厚度，使其变成一个立方体。顶点着色器和片元着色器以及几何着色器通过现场演示，笔者发现，还可以设置在立方体边缘上使其发光，让它展示出更加绚丽的效果，想要发光效果其实也非常简单，只需要调整片元处理器和几何着色器即可。此外，KeijiroTakahashi也为我们介绍了深度学习和视觉效果相结合的相关内容，其表示在多年之前，就希望找到一种方式，把机器学习技术应用到视觉效果上，但是一直没有找到很好的方向，而Pix2pix的技术出现，则解决了Keijiro遇到的一大问题。Pix2pix技术简单来讲，Pix2pix技术，就是把一种图像技术转化为另外一种图像的NeuralVFX技术，这体现了Unity的高效转化效率。而在现场，KeijiroTakahashi为我们详细的演示了采用这项技术的可视效果，例如，Keijiro通过在绘画板上画出猫的几个线条轮廓，就可以在右边屏幕上，显示出猫的具体真实外貌。Pix2pix技术在整个演讲过程中，Keijiro着重提到了预测机制，其首先把视频分成图像阵列，在把连续两个帧作为学习材料进行深度学习，“当你给到任意帧之后，可以实时预测出下一帧是什么样子的。我们可以看到在给到Pix2pix这个具体帧之后会生成下一帧，再同样返回到Pix2pix里面再实现下一帧，通过不断反复循环来实现无限循环的影像。”Pix2pix技术演示在会后，笔者也对Unity日本技术美术总监KeijiroTakahashi先生进行了采访，就unity看待动画艺术发展和其对艺术与科技结合的理念，进行了详细沟通。KeijiroTakahash对于开发理念的分享其表示，未来在开发功能时候，也是有意识的去向动画艺术和电影艺术去发展，unity在动画领域的应用，特别是亚洲，尤其日本的需求是非常大的，KeijiroTakahashi会围绕这些功能进行开发。感兴趣朋友可以在github进行下载另外KeijiroTakahashi表示，艺术和技术是不可分割的，是一体化的，比如绘画领域，出现新的配色方案、艺术流派、表现手法时候，会产生出新的艺术效果，两者是想通的。在电影领域也是如此，比如拍摄手法和剪辑手段有了新的提升以后，表达电影的手法也会更加多样，我自己所做的工作就是计算机图像工作，艺术技术是完全没办法分割的。