AI Vision处理器使8K视频在2W下的30FPS下实现8K视频

使用CES 2021作为发射平台,Ambarella宣布其第五代人工智能(AI)视觉处理器系统上的芯片(SOC),它表示为功率效率的新标准。它的CV5 AI Vision CVFlow处理器在高级三星5nm工艺中制造,使得在2瓦的2次速度下的30帧中的全额8K视频进行编码,这对于汽车,消费者(包括无人机)和机器人摄像机中的智能相机系统具有重要意义。

新的CV5将AmbArella的CVFlow AI发动机与双臂A76 CPU相结合,为广泛的基于AI的算法提供了所需的性能。从最多14个摄像机启用输入,图像信号处理器(ISP)可以同时处理人类观察和机器处理的图像。在Ambarella的营销和业务发展副总裁克里斯日,克里斯日表示,“这是我们的第五代图像处理器,为视频和AI分开处理。这是第一个5nm芯片,实现了低功耗,这对于许多应用来说至关重要,特别是在体育摄像机中。“

他补充道,“我们与三星工厂密切合作,拥有该行业中最好的VLSI设计团队。这意味着我们最好早日访问过程库,因为我们与三星的密切工作关系。“

在汽车视频远程信息处理应用中,CV5提供了从前进的先进驾驶员辅助系统(ADA),驱动程序监控,机舱监控和侧视摄像机中编码多个视频流所需的性能。其CVFlow AI引擎可以同时运行ADAS算法,如车道偏离,以及前进碰撞警告以及驱动器监控算法,如DROWSY驱动程序检测。高分辨率视频捕获与高级AI处理的组合使ADA相机能够识别长距离和高精度的图像。

天表示,最初的兴趣是汽车市场,因为这个细分占Ambarella of Ambarella的业务的20%。

CV5 SOC的低功耗也使其适用于下一代高分辨率和高帧速率动作,360°和虚拟现实(VR)摄像机,在非常小的外形设计中提供8K记录和播放。特别地,它还具有诸如片上图像稳定和拼接的特征,适用于VR摄像机。

在机器人和无人机应用中,CV5的CVFLOW AI发动机可以加速同时定位和映射(SLAM),路径规划和障碍物检测,以及用于导航和自主操作的避免算法。对于基于无人机的航空摄像机和电影摄影,CV5可以同时执行飞行控制和导航功能,同时录制高达8K分辨率的视频录制,每秒60帧。

Day评论了无人机市场中有两个区域,CV5特别适用于:一个是改进摄像机,但另一个是为物体检测等物品添加计算机视觉和AI。

CV5 AI Vision处理器将AmbArella的CVFlow AI发动机与双臂A76 CPU结合,为广泛的基于AI的算法提供了所需的性能。启用从最多14个摄像机的输入,图像信号处理器可以同时处理人类观察和机器处理的图像。 (图片:Ambarella)

在所有不同的应用程序中,日表示,CV5的主要好处是能够在所有市场上添加8K录制。他还表示,这是该公司第一次将PCIe接口界面上芯片,打开连接选项。虽然初始焦点是在汽车,运动摄像机,无人机和VR相机上,但他希望在今年晚些时候拥有CV5的CV5版本

新的SoC与Ambarella的其他CVFlow SoC系列共用普通SDK和计算机视觉(CV)工具,简化了具有多种价格和性能选择的摄像机的开发。一套完整的CV工具可以帮助客户端口他们自己的神经网络进入CV5,包括编译器,调试器和支持行业标准机器学习框架,如Pytorch,Onnx,Caffe和Tensorflow,以及卷积神经的广泛指导网络(CNN)性能优化。

CV5 SOC的主要功能包括:

  • 具有DNN支持的CVFlow架构
  • 双芯ARM Cortex-A76高达1.6 GHz,带有霓虹DSP扩展和FPU
  • 高速SLVS-EC,MIPI-CSI(C / D PHY)接口,最多可连接14个摄像机
  • 多通道ISP,最高可达8kp60吞吐量
  • 对RGGB,RCCB,RCCC,RGB-IR和单色传感器格式的本机支持
  • 多曝光高动态范围(HDR)处理
  • 实时,硬件加速Fisheye Dewarping和镜头失真校正(LDC)
  • AVC和HEVC编码,最高可达8KP60吞吐量和多流支持
  • 丰富的接口组包括4车道PCIe,CAN FD,千兆以太网,USB 3.1主机和设备,三个SD卡控制器,MIPI DSI / CSI-2和HDMI视频输出
  • LPDDR4X / LPDDR5 / LPDDR5X支持,64位数据总线和高达32 GB的容量
  • 安全功能,包括带有信任的安全启动和安全的内存,TRNG,OTP,DRAM扰乱和虚拟化
  • 5 NM工艺技术
  • 16×16个FBGA封装,球间距0.5毫米

相关内容:

更嵌入, 订阅嵌入式’S每周电子邮件时事通讯.

发表评论

本网站使用AkisMet减少垃圾邮件。 了解如何处理评论数据.

发布时间: 2021-05-13 13:35:20

最近发表