通过这三个步骤 ， 高通 AI 研究院构建了一个具有高效解码性能的 8 比特模型（8-bit model） 。
AI 解码的效果
在 Demo 设置中 ， 高通 AI 研究院选取了分辨率为 1280×704（接近 720p HD）的视频 ， 通过离线运行解码器网络和熵解码生成压缩的比特流 。接着 ， 压缩的比特流通过骁龙 888 移动设备（商用智能手机）上运行的并行熵解码和解码器网络来处理 ， 其中并行熵解码在 CPU 上运行 ， 解码器网络在第六代高通 AI 引擎进行加速 。
最终 ， 高通 AI 研究院得到了一个神经解码算法 ， 在 1280×704 分辨率的视频中实现了每秒 30 帧以上的解码速度 。如下为商用智能手机上神经视频解码的动态演示 ， 右上角为视频解码速度（Speed）和同一视频帧内的迭代次数（Loop） ， 右边为运行时平均比特率（Bit Rate）和视频每帧图像中每单位像素的平均码流（Bits per Pixel per Frame, BPF） 。
在 Demo 演示中 ， 视频和解码参数被设置为高质量 ， 并选取了一系列具有挑战性和精细纹理的自然场景 。在实现 30 帧以上解码速度的同时 ， 丰富的视觉结构和纹理都借助神经解码网络准确地保留了下来 ， 实现了非常好的场景重现 。比特率符合全帧内（all-intra）配置和选取的质量 ， 表明这一神经视频解码器能够支持高质量视频流所需的数据吞吐量 。
由于基于 AI 的编解码器可以生成比特流中没有的视觉细节 ， 因此与传统编解码器相比 ， 相同或更高质量视频的比特率应该会低一些 。这也意味着视频编解码器将变成软硬件结合驱动的 ， 任何新的编解码器都可以由 SoC 中的 CPU 和内置 AI 加速器处理 ， 只要它们足够强大 。
目前 ， 这一神经视频解码器只支持帧内解码 ， 这意味着每帧视频都是独立解码 ， 不需要像其他视频编解码器那样考虑帧之间的微小变化 。据悉 ， 高通还将继续致力于研究移动设备上实时运行的帧间视频解码 。
就此项研究的意义而言 ， 虽然在骁龙 888 SoC 上实现 30 fps高清视频实时解码依然有提升的空间 ， 但手机端侧 AI 算力和影像能力的释放 ， 能够为手机用户带来更丰富的视频应用以及更清晰流畅的观看体验 。比如近期最新发布的骁龙 888 Plus 移动平台 ， 虽然仅仅是在骁龙 888 基础上做出了部分升级 ， 但其 AI 算力已经达到了惊人的 32TOPS ， 进一步大幅度升级；再加上高通接下来的持续深入研究 ， 可以预见的是 ， AI 的高清视频实时解码能力将很快进一步提升 。
除了手机平台之外 ， 高通也已将 AI 处理视频的各项能力引入了 PC、XR 和汽车等其他应用平台 。比如全球首款 5G 扩展现实平台骁龙 XR2 的 AI 性能相较初代 XR 提升了 11 倍 ， 大幅提升了视频处理能力；PC 端的第二代骁龙 8cx 5G 计算平台中 ， AI 能力加持的 Spectra ISP 支持了 4K HDR 品质的视频拍摄和背景虚化；第 4 代骁龙汽车数字座驾平台 ， 增强了图形图像、计算机视觉和 AI 等功能 ， 可以为驾乘者提供更智能和舒适的视频服务等体验 。
因此 ， 从更大的视角来看 ， 利用 AI 算力进行视频处理代表了未来的一个发展方向 ， 也势必会赋能更多应用场景 。
推荐阅读
- 我来分享通过小米手机助手传文件的详细操作。
- 我来分享录屏王APP导出视频的图文操作。
- 分享录屏王APP剪辑视频的操作过程。
- 我来教你通过录屏大师APP给视频添加字幕的图文操作。
- 小编分享苹果手机中备忘录删除了进行恢复的操作教程。
- 我来教你在苹果手机里使用备忘录画画的操作内容讲解。
- 分享苹果手机分享备忘录的操作教程分享。
- 我来教你在苹果手机中使用备忘录录音的操作教程。
- 小编教你苹果手机中备忘录进行撤销的操作步骤。
- 我来教你苹果手机关闭掉电话按键音的操作过程。