A前瞻官网
前瞻网
a 当前位置: 前瞻网 » 资讯 » 产经

视频通话不清晰,运营商又不愿提高网速,英伟达出手了!

分享到:
 CHEN • 2020-11-25 10:00:20 来源:前瞻网 E3957G0
100大行业全景图谱

1

疫情期间,虚拟沟通大行其道。许多会议都被被迫通过网络进行,教学活动也以网课为主。

许多用户在实际使用中发现,视频通话的效果并不好,除了自己的画面外,其他人的画面非常模糊。

出现这种原因的情况,其一可能是因为视频软件本身不支持高分辨率;其二,也是最主要的原因——网速限制。

我们常说的网速通常指的是下载网速,以20M宽带为例,实际使用时下载速度通常为2-3MB/s。但是,网速还包括上传速度,这是决定我们网络语音/视频通话质量的决定性因素。按照中国几家网络运营商的标准,上传速度只有下载速度的十分之一,而在实际使用中往往还达不到这一比例。

近日,英伟达终于出手解决这个问题,该公司推出了一个名为Maxine的新平台,该平台使用人工智能来增强视频会议软件的性能和功能。

英伟达表示,与传统压缩技术相比,其技术可以将视频会议软件的带宽需求降低10倍。如果在实际使用中真的能达到宣称效果,那么视频清晰度将极大提升。

此外,英伟达还表示该平台可以纠正显示位置,如果某人由于相机摆放的位置而看起来偏离中心,软件可以将其面部移动到屏幕中心,也可以用动画头像代替某人的真实面部。

据了解,Maxine使用的是种称为生成性对抗性网络(generative atteriral network,GAN)的机器学习技术。

生成性对抗性网络是一种深度学习模型,包含两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)。判别模型需要输入变量,通过某种模型来预测。生成模型是给定某种隐含信息,来随机产生观测数据。

举例来说,我们给判别模型输入一张狗的照片,让其判别图中的是狗还是别的动物;在生成模式中输入一系列狗的照片,让其找到一定规律,并最终输出一张新的狗狗照片。需要注意的是,最终输出照片中的狗狗是不存在的,它是根据给定图片中的狗狗特点自动生成的。

这两个模型需要相互协作,在判定输入的图像是人的时候,其才会根据人面部的特点对画面进行补全。

想体验这一技术可以搜索ThisPersonDoesNotExist这个网站,该网站由英伟达的一名工作人员开发,在广泛收集的数据基础上,该网站可以生成(需要刷新网页)各种人脸图像,比如:

1

丝毫不用担心肖像权问题,因为图上这个人根本不存在。

这种应用方式其实比较原始,它是在足够图像数据的基础上随即产生逼真的图像,这也被称为无条件生成性对抗性网络。最近,研究人员开发出了有条件生成性对抗性网络,在获取图像数据的基础上,可以实现相应图像的输出。

简单来说,你可以把它理解成美颜:将不好看的你变好看,只不过它的实现原理更深奥。

英伟达此次用到的就是条件生成性对抗性网络。

英伟达内部对这种神经网络的研究在去年就取得了一些结果。根据2019年英伟达一些员工联合发布的论文显示,输入某人的面部视频和第二人的几张照片,系统就能生成以第二人面部显示的视频图象,而人物动作还是第一个视频中的。

简单来说,就是换脸。

不过,此次Maxine的技术更近一步,Maxine直接从源视频数据点提取一组关键点,指定对象的眼睛、嘴、鼻子、眉毛和其他面部特征的位置和形状。这种数据可以比普通视频更简洁地表示,其传输时对网络速度的要求更低。

同时,系统还会向接受者发送一个高分辨率的视频帧数。这些数据在被送到接受者的电脑后,用户所使用的视频软件就会重建发送者的面部信息。

当然,要实现这种效果,双方都要使用用Maxine平台开发的软件。

需要说明的是,Maxine并不是一款具体的软件,而是一种软件开发套件,也就是SDK。按照英伟达的设想,公司希望软件开发者可以使用该平台来改善视频通话软件的质量。

不管,Maxine有一个严重不足,那就是接收视频流的设备使用的需要是英伟达的显卡。为了支持没有合适显卡的设备,英伟达建议在云中生成视频帧,而这种方法在实践中可能奏效,也可能不奏效。

外界对此也颇为关注,在被问到有没有在未来支持非英伟达显卡设备的计划时,英伟达拒绝就未来的产品计划置评。

当然,并不只是英伟达才能实现这种效果,虽然其他科技公司还没有使用条件生成性对抗性网络技术的计划。但是,苹果、高通这些巨头都在不断升级自己芯片的自我学习能力,试图通过神经网络实现类似于Maxine的效果。

编译/前瞻经济学人APP资讯组

原文来源:

https://www.sciencealert.com/for-the-first-time-ever-scientists-create-diamonds-in-the-lab-without-heat

https://edition.cnn.com/2020/11/19/world/diamonds-room-temperature-scli-intl-scn/index.html

本文来源前瞻网,转载请注明来源。本文内容仅代表作者个人观点,本站只提供参考并不构成任何投资及应用建议。(若存在内容、版权或其它问题,请联系:service@qianzhan.com) 品牌合作与广告投放请联系:0755-33069875 或 hezuo@qianzhan.com

p32 q0 我要投稿

分享:

品牌、内容合作请点这里:寻求合作 ››

前瞻经济学人微信二维码

前瞻经济学人

专注于中国各行业市场分析、未来发展趋势等。扫一扫立即关注。

前瞻产业研究院微信二维码

前瞻产业研究院

如何抓准行业的下一个风口?未来5年10年行业趋势如何把握?扫一扫立即关注。

前瞻经济学人 让您成为更懂趋势的人

想看更多前瞻的文章?扫描右侧二维码,还可以获得以下福利:

  • 10000+ 行业干货 免费领取
  • 500+ 行业研究员 解答你的问题
  • 1000000+ 行业数据 任君使用
  • 365+ 每日全球财经大事 一手掌握
  • 下载APP

  • 关注微信号

前瞻数据库
企查猫
前瞻经济学人App二维码

扫一扫下载APP

与资深行业研究员/经济学家互动交流让您成为更懂趋势的人

下载APP
前瞻经济学人APP

下载前瞻经济学人APP

关注我们
前瞻经济秀人微信号

扫一扫关注我们

我要投稿

×
J