业内首家！快手实现基于深度学习的实时变声直播，自然度高且表现稳定

在主流直播平台上，主播往往需要一些趣味性强的功能增强和观众的互动，而“变声”功能就是其中之一。由于直播变声业务的场景特殊性，对变声后语音的自然度与系统运行实时性都要求非常高，而且为了避免网络抖动等带来的干扰，变声系统一般都需要部署在用户客户端（电脑、手机等）上。

不过，直播平台们在这些的技术研发步伐一点也没落下。就在近日，快手成为了业内首次在PC客户端实现基于深度学习实时变声直播的公司。

据悉，快手实现了一套既能保证变声后音色自然稳定，同时又具有高实时性、低复杂度等优势的变声系统。

这项变声技术，可以实现任意用户到目标音色的稳定变声，变声后语音具有自然度高，相似度高，音质清晰等优势，同时整个系统的链路延迟可低至200毫秒。

目前，该技术已经完成算法开发，工程质量测试以及用户灰度测试，并在AcFun直播业务场景（windows 客户端，i7 4核以上机器）全量上线。主播可以通过A站直播伴侣中的变声功能，选择基于深度学习变声的“憨憨音”或者“软妹音”，实现音色切换。

快手还准备将直播变声玩出更多花样，比如多种方言与普通话的双向切换，甚至可以进行用户个性化定制变声音色，更好的实现人工智能为直播平台赋能。

参考资料：https://arxiv.org/abs/1904.05742

https://arxiv.org/abs/2011.00316

https://ieeexplore.ieee.org/document/9362095