各类产品对人工智能的需求与日俱增，在计算成像领域尤为明显。智能手机已经普遍集成了摄像头，且能够提供高质量的图像，这也为将摄像头集成到从门铃到医疗设备等各种产品铺平了道路。计算成像有两个分支：
计算摄影，涉及使用数字计算来捕获和处理图像。
计算机视觉，涉及打造能像人类一样处理、分析和理解视觉数据的数字系统
事实证明，AI驱动的计算机视觉技术是实时提供准确、高分辨率图像的关键技术。过去，卷积神经网络（CNN）是计算机视觉应用领域的主流算法。神经网络一直普遍用于物体检测，如今在图像质量改进方面发挥着重要作用，接管多项曾经由数字信号处理器完成的任务。例如，神经网络可以嵌入关于什么是优质图像的知识，通过超分辨率网络将视频流分辨率提高4倍，并可用于减少噪点和提高弱光性能。AI驱动的计算机视觉技术还拥有包括模糊降低、高动态范围和宽动态范围等功能。
如今，最高精度的方案是Transformer。该AI模型最初用于自然语言处理，比如翻译和问答。Transformer基于自注意力机制，相比CNN，它更擅长学习复杂的模式，实现准确的物体检测，也能更好地理解情境。如果结合使用这两种深度学习模型，可以显著增强计算机视觉和图像处理精度。
全新ARC NPX6-1K NPU IP具有1,024个MAC，为开发者提供了一个很好的入口点，让开发者能够为功耗和面积受限的视觉处理设计添加最新神经网络（特别是Transformer）的支持。该IP还提供了另一个版本，即ARC NPX-1KFS NPU IP，其中提供了先进的硬件安全功能，有助于汽车设计更快通过ISO 26262认证。NPX6-1K和1KFS处理器能够与新思科技ARC VPX2 DSP处理器IP紧密集成，从而为DSP 和神经网络Transformer 提供市场上最节省面积和功耗的AI+DSP 解决方案。NPX6和VPX解决方案组合可以向上扩展，并且可以混合和匹配使用不同的配置，从而支持大型DSP+小型AI，或是大型AI+小型DSP等。
具有1,024个MAC的神经网络处理器支持多种用例。以下是其中一些示例：
在摄像头应用中，在图像信号处理器（ISP）之前处理原始数据，以实现更好的降噪，从而提高图像质量，而不是使用ISP处理原始数据，然后在后期处理过程中应用AI
通过运行神经网络算法，可以将显示的图像精度提高4倍，同时大幅降低功耗和面积
在视觉应用中直接处理来自图像传感器的流数据，从而大幅减少无DRAM架构的面积和功耗
使用成本较低的摄像头镜头，然后借助神经网络算法来提高图像质量，或在汽车应用中，提高诸如物体检测等功能的准确性
将AI集成到汽车雷达和激光雷达设计中，以支持物体检测和自动刹车等应用
为汽车环境中使用的虚拟机提供支持，帮助分隔安全关键型和非安全关键型任务，并简化认证要求
除上述用例外，还有许多其他使用场景，ARC NPX6-1K等处理器的出现开辟了将AI集成到众多新应用中的可能性。
文章出处：【微信公众号：新思科技】欢迎添加关注！文章转载请注明出处。