浙江卫视在线直播,语义图画切割 解密谷歌DeepLab-v3+,选调生是什么

频道:国内时事 日期: 浏览:429

谷歌的的语义图画切割(Semantic Image Segmentation)模型DeepLab-v3+已开源,而这一技能在Google Pixel 2和2XL手机(包含后续类型)上也得到运用。这项技能能够完结对图画或视频的布景切割,给图画和视频处理APP带来极大便当。今日就让咱们来聊聊什么是语义图画切割,以及它的完结原理。

视频抠像,了解谷歌DeepLab-v3+技能

提到抠图,许多朋友想到的是PhotoShop,的确凭借PS咱们能够准确将人像从杂乱的布景图中抠出来。可是假如要将人像从视频画面中“抠”出来,估量许多朋友就没听说过这项技能了。

PS抠图是对静态的相片进行前后景的别离,DeepLab-v3+技能则是对视频抠像,当然也能够对相片进行实时处理。比方之前某视频巨子网站测验的抠像技能(即时去布景),以及Google Pixel 2和Pixel 2XL手机的肖像功用,拍照相片后能够取得相似单反相机的景深作用。这些技能背面的工程便是DeepLab-v3+技能(图1)。



图1 装备DeepLab-v3+技能的Pixel 2 XL手机

抠像技能的背面,知道谷歌DeepLab-v3+技能原理

如上所述,DeepLab-v3+技能最大的特征便是能够抠像。那么这个抠像的功用是怎样完结的呢?

咱们先来简略了解一下PS抠图技能,PS抠图是凭借PS组件将相片远景和后景准确区别出来,然后经过提取远景的办法完结抠图(图2)。不过PS的准确抠图明显不是一般人都能担任,它需求用户长期学习和精密操作才干完结。DeepLab-v3+的抠像原理与之相似,不过这个学习的进程则是经过人工智能技能完结,作为终端用户则只需墨守成规地运用即可。



图2 PS抠图需求长期学习

那么DeepLab-v3+是在怎样完结这种作用?这首要得益于日渐开展的人工智能技能。首要谷歌会树立DeepLab 模型,经过机器来辨认许多的相片和视频,凭借改善的卷积神经网络特征萃取器、物体份额刻画模型以及同化前后内容的技能,再加上先进的模型练习进程。这样经过许多的样本学习和练习,一起凭借人工智能的自我学习,DeepLab-v3技能能够对图画或许视频画面中的前后景象体进行准确的辨认,然后生成一套共同的算法。现在DeepLab-v3+ 在 Tensorflow 上进行,运用布置于服务器端的卷积神经网络(CNN)主干架构,能够让该技能有更高效处理速度和更精准的辨认精度,能够快速对相片或许视频中的各种元素进行准确辨认(图3)。



图3 DeepLab-v3技能原理图解

这儿以Pixel 2XL人像形式中的组成浅层景深作用为例,在Pixel 2XL手机启用人像形式后,集成DeepLab-v3+处理后台会主动依据相片背面风光进行剖析,比方路、天空、树木、人或是狗等物体进行辨认,一起为每个像素指定语义标签。这样算法能够依据相片实践环境里显现作用,对指定的语义标签进行处理,比方对人物背面的景象进行含糊处理,然后能够取得相似单反相机的景深作用(图4)。



图4 Pixel 2XL手机启用人像形式后的拍照作用

关于视频抠像处理相似,在视频画面中,DeepLab-v3+相同会对视频中前后景的元素进行剖析,相同为每个像素指定语义标签。凭借服务器端的卷积神经网络就能够完结对视频远景人物的准确辨认,然后完结视频抠像功用,抠出的活动人物能够叠加到其他视频场景中,然后做出相似绿幕MR特效的影片(图5)。



图5 视频抠图

DeepLab-v3+,接地气的抠像技能

上面咱们介绍了DeepLab-v3+技能原理,能够看到这项技能并不像技能自身称号那样“居高临下”,它在咱们日子中都有许多的运用。

比方跟着手机遍及和摄像头分辨率进步,人们越来越期望手机能够拍照出更高质量,更实在复原实践环境的相片来。可是受限于手机自身的超薄尺度,只是经过手机摄像头自身是无法拍出相似单反相机那样作用的图片(由于手机没有满意景深)。不过跟着技能的开展,相似DeepLab-v3+技能凭借人工智能,运用机器学习来别离主题,结合定制的深度数据,使得手机也能够拍出相似单反作用的相片,明显会给咱们日常拍照带来更多的便当(图6)。



图6 经过DeepLab-v3+技能含糊相片布景取得单反作用

另一方面,现在短视频盛行,也使得越来越多朋友喜爱在手机上赏识和处理视频数据。DeepLab-v3+支撑的抠像技能则能够很好满意我们在手机上对视频的处理,比方凭借DeepLab-v3+能够很轻松将自己抠出来,叠加不同视频布景,制造各种风趣的视频。当然该技能在电影特效方面有更多的用途,制造者能够制造出更多特效的影片作用来。

热门
最新
推荐
标签