人工智能与视频处理和编码

人工智能(AI)是一项令人兴奋的新兴科技技术。每天都会有让人耳目一新的人工智能应用推出来改进和便利人类的生活，可以说，人工智能正在以迅雷不及掩耳之势重塑着人们的生活方式。对于未来零售业的初步变革，阿里、京东、亚马逊均推出了自己的无人超市。在这里，没有任何店员，顾客也不需要经过繁琐的结账过程。取而代之的是亚马逊通过人工智能驱动所想达成的全新理念，即“拿了就走”，造就了这个革命性的无人零售店，给予了客户不一样的购物体验，同时也提高了店面的运营效率。

人工智能与视频分析

随着互联网和5G网络的飞速发展，视频已经成为信息交流最重要的媒介之一。

在过去没有人工智能的情况下，进行视频数据分析的唯一方法是人工手动标注视频内容，这无疑是一个繁琐而低效的过程。然而，随着人工智能的介入，一切都改变了。谷歌和Facebook利用大量的数据，通过算法使得机器模仿人类，进行视频分析去自动检测视频中时间、空间维度的事件。就此AI实现了超大规模的视频分析，创造了大量有价值的视频数据。

截至2021年底，视频分析的价值十分可观，其全球市场规模价值53.2亿美元，并且预计将从2022年的63.5亿美元增长到2029年的283.7亿美元，使其成为世界上最重要的新兴技术之一。

一种全新的方法：视频转码+人工智能

视频分析的传统方法涉及了许多组件，其中包括解码器、编码器、数据传输、AI推理和前/后处理算法的计算等。视频分析过程可能还需要不同类型的硬件支持，如GPU、CPU和AI加速引擎。将这些不同的组件协调在一起执行推理和视频编解码任务无疑是一场艰难的战役。此外，通用的硬件虽然在组合时可以执行所需的主要功能，但效率低非常底下并且十分耗电。

基于ASIC的视频解决方案的先驱，通过将这一专长与AI增强的视频处理的深刻理解相结合，实现了一个基于AI的视频分析应用的芯片级高效方案。方案包括了逐帧视频分析、视频主观质量优化等多项功能，可以为客户显著优化带宽使用和节省电力。

Quadra VPU功能性流程示意图

最新的AI视频处理单元（VPU）Quadra采用创新架构，将人工智能和视频编解码器结合在一起，实现了端到端的视频分析和处理的流程，极大的减少了与主机和CPU的交互，提高了系统效率。

这种方法的特点是利用NETINT的Codensity G5 ASIC将人工智能和视频处理单元（VPU）无缝的合二为一，从而解决了其他架构中最常见的ASIC和主机CPU之间的数据传输所产生的带宽瓶颈和延迟问题。

对比图 – Quadra与CPU的AI性能对比, Quadra每瓦特FPS性能是CPU的20倍以上

上面显示的性能图为高端CPU和Quadra之间的比较。用于测试的模型是不同输入尺寸的Mobilenetv2以证明尺寸对于功耗的影响。在这些测试案例中，Quadra的每瓦特FPS性能比高端CPU高出20多倍。使用Quadra系统能够大大降低运营成本。分析视频并保存有用信息

在许多与视频相关的应用中，用户的普遍需求是从视频帧中自动提取有用的信息，用于相关的增值业务。

一个简单的例子是高速公路收费。视频分析的任务是从摄像机提取帧后应用物体检测和OCR来识别车牌号，以便自动收取通行费。

视频增强

对于视频流应用，终端用户总是比较喜欢低带宽的高质量视频。而相反，平台运营商则更喜欢在尽量减少硬件和运营成本基础上服务更多客户。

那么如何利用人工智能来同时满足最终用户和运营商的需求。一个例子是在在线游戏应用中。游戏服务提供商生成由GPU渲染出的低分辨率游戏流，然后使用人工智能的超分和其他增强功能，包括去噪、解锁以及视频增强（例如替换背景），来提高分辨率并保持视频质量。

视频分析处理示例

使用AI对内容进行去噪的视频增强实例

实用案例：超低带宽的视频会议

在包括Covid-19大流行在内的全球事件的推动下，越来越多的会议已经从面对面转移到了网上。在许多工作场所，视频会议已经完全取代了线下的面对面会议。NETINT的Quadra VPU以其AI驱动的视频处理能力可以实现先进的视频会议功能：

• ROI编码：为了提高图像质量，同时优化带宽需求，ROI处理能够在最感兴趣的区域实现更高的图像质量，同时降低非必要区域的质量水平。

• 背景去除：人工智能将实时检测图像背景并与用户选择的背景替换。

• 手势识别：可以利用人工智能来识别手势，并提供实时反馈，如表情符号的插入。

总结

Quadra VPU是目前唯一由AI驱动的VPU，它结合了硬件视频编码和集成AI加速的优势。Quadra VPU系列的U.2和PCIe产品是所有新的超大规模视频分析应用的完美选择。