随着通信和互联网技术的进步 , 特别是智能手机的普及以及 4G、5G 移动通信技术的成熟与发展 , 视频聊天、视频游戏等多样化的视频娱乐方式层出不穷 , 普通用户对视频的消费需求也在不断增长 。2018 年思科 CISCO《视觉网络指数》报告预测 , 到 2022 年 , 82% 的互联网流量将由视频创造 。
除了日常生活中的娱乐交流用途之外 , 视频也正在更多行业场景中大显身手 。比如 , 以视频技术为核心的安防领域、智能工厂中对工人行为的视频监控与识别、辅助与自动驾驶中通过摄像头记录视频画面实时检测环境、以及近年来越来越多明星也下场参与的视频直播营销 , 等等 。与此同时 , 随着 AI 领域计算机视觉(CV)技术的蓬勃发展 , CV视频的技术组合将会在越来越多的应用场景中发挥不可或缺的作用 。
然而 , 海量的视频数据对视频的传输、存储和其他处理带来了巨大的挑战 。视频压缩、编解码等视频处理技术也就变得至关重要 。在观看视频时 , 用户想要体验更高的画质和流畅度 , 这些都依托更高效的视频处理技术 。多年来 , 计算机中视频解码的工作多由 CPU 来完成 , 这种方式易于使用但效率算不上很高 。利用 GPU 解码视频是另一种选择 。随着短视频等应用的兴起 , 在手机等移动端借助专用解码单元进行实时视频解码也成为了一种新的发展方向 , 对于视频直播等实时性视频服务具有重要意义 。
与此同时 , 随着 AI 领域深度神经网络的发展 , 越来越多的企业探索如何使神经网络赋能自身产品 。高通骁龙 SoC 中的 AI 引擎就充分融入了神经网络能力 , 其中的硬件组件 Hexagon 向量处理器支持 8 位定点加速神经网络运行 , 软件组件骁龙神经处理(SNP)SDK 支持 CNN、LSTM 与自定义层 。
旗舰 SoC 骁龙 888 集成的第六代高通 AI 引擎更是实现了 26 TOPS 的 AI 算力 , 神经网络处理 SDK 带来一系列改进 , 增加了对 RNN 模型的支持 , 助力手机端侧 AI 性能提升至了全新水平 。
那么 , 有没有可能将 AI 引擎蕴含的巨大算力更广泛、更深入地应用于视频领域呢?最近 , 高通就在这方面做了更多的尝试 , 利用骁龙 888 内置的 AI 引擎和 CPU 进行视频解码 。结果发现:基于神经网络的神经视频解码效果还不错 。
高通 AI 研究院的新工作 , 实现了业界首款在商用智能手机端实时运行、基于软硬件结合的神经视频解码器 , 在接近 720p HD 分辨率的视频上实现了 30 fps 以上的实时解码 。
从软 / 硬解码到 AI 神经视频解码
作为一项重要的视频处理技术 , 视频编解码广泛应用于通信、计算机与广播电视领域 , 并催生了网络电视、广播电视、数字影院、远程教育和会议电视等一系列实际应用 。
就主要作用而言 , 视频编解码技术是在可用的计算资源内 , 追求尽可能高的视频重建质量和尽可能高的压缩比 , 以达到带宽和存储容量的要求 。视频编解码器则是一种能够对数字视频进行压缩或者解压缩的程序或者设备 。
很长时间以来 , 基于 CPU 的软件编解码技术(也称软解码)一直主导着市场 , 如英特尔内置于其 CPU 中的视频编解码引擎以及开源软件 FFmpeg 中的 libavcodec 解码器 , 虽然易于使用 , 但会占用 CPU 资源 , 提升功耗 , 编解码效率不高 , 容易出现卡顿、花屏等异常 , 影响其他应用的正常运行 。
【手机视频解码器推荐 视频解码器哪个好】因此 , 利用 GPU 或者专用处理器来对视频进行编解码(也称硬解码)成为另一种选择 , 如英伟达推出的基于 GPU 的硬件解码器模块 NvCodec , 不仅可以实现良好的编码性能 , 而且使用显卡编码不会占用太多系统资源 , 也就不会影响应用的使用性能 。
推荐阅读
- 我来分享通过小米手机助手传文件的详细操作。
- 我来分享录屏王APP导出视频的图文操作。
- 分享录屏王APP剪辑视频的操作过程。
- 我来教你通过录屏大师APP给视频添加字幕的图文操作。
- 小编分享苹果手机中备忘录删除了进行恢复的操作教程。
- 我来教你在苹果手机里使用备忘录画画的操作内容讲解。
- 分享苹果手机分享备忘录的操作教程分享。
- 我来教你在苹果手机中使用备忘录录音的操作教程。
- 小编教你苹果手机中备忘录进行撤销的操作步骤。
- 我来教你苹果手机关闭掉电话按键音的操作过程。