全国产0延时USB3.0 ISP工业相机

针对视频图像以及目标识别、跟踪等应用，奥唯思基于全国产BOM选型设计，经历了1年的磨练，已经完成*规 7*24小时归零时间+震动测试，正式推出了全国产0延时USB3.0 ISP工业相机解决方案——VU3-1S200CR。

1. 全国产BOM选型

针对一个USB3.0相机，主要的芯片为FPGA、DDR3、USB3.0 PHY、图像传感器、FLASH等，除此之外主要的还有晶振、DCDC、接插件、镜头等，经过多个版本的迭代更新，我们的选型BOM如下：

结合以上国产BOM选型，给出当前我们的USB3.0相机的硬件架构，如下所示：

2.0延时ISP图像处理器

除了基本的国产USB3.0相机，客户更希望能够聚焦产品应用，想把图像处理前置；同时，针对目标跟踪，运动识别等应用场景，对于延时的要求很高，因此采用FPGA实现0延时全流水线ISP图像处理，用户只关注ARM应用层，不仅解决了传统方案延时的问题，也可以聚焦产品应用，做好识别跟踪。 

因此我们花了1年时间，累积迭代了n个版本，自研了一套基于国产FPGA的全流水0延时ISP图像处理器，如下所示：

0延时其实不是[敏感词]的，实际计算会有若干行的缓存delay，用来做5*5、7*7的图像处理算法，相对于一帧16.67ms来说，几百us的延时微乎其微，约等于0延时。实测我们的显示效果，如下：

备注：暂无时间做专业性的指标测试，目前已满足客户需求为准，已经成功上机，未来有时间再做指标性的测试吧。

3.苛刻的测试，掉线也得恢复

国产的芯片虽然出来了，但国产的IP化进行还是有一些路要走，撞了南墙撞北墙，我们重写了很多IP、SDK，万事开头难：

• 重写了易灵思FPGA的MIPI CSI控制器，来做到更高的稳定性（软核优势）

• 重写了方寸T630的SDK，来做到各种压力测试的稳定性来满足性能

• 自研了精简版RISC-V处理器，来实现复杂的调度协调工作

• 正在重新了DDR3控制器，来适应低温以及高温的DDR3稳定性

针对当前给客户定制化量产的0延时USB3.0 ISP相机，相机整机的研发花了4个月，地狱般的测试花了我们8个月，做好一个产品不容易，尤其是国产化的过程更艰辛，要求比商用产品更加苛刻。

首先，未曾想到SMT爬锡也会影响到高低温、震动场景，以至于后全部重新补强。如下是锡浆爬锡后的高倍放大镜测试图：

其次，为了适应实际应用中的震动实验，我们甚至这样做（如下视频），因此在接口、线缆的选型上也花了巨大的精力，在掉线自动恢复上甚至花了比正常出图传输更多的代价——所以实现简单，异常机制反而艰难。

后，总结一句话：做好一个全国产化产品，不容易。

期待更多合作，我们继续做国产化ISP相机！

4.总结

截至目前，我们已经帮客户做了很多接入工作：

• 双目U3 ISP相机，接入RK3588

• 单目U3 ISP相机，接入RK3568

• 单目BT1120 ISP相机，接入Hi3516

• 单目MPI ISP相机，接入了NVIDIA AGX Orin
  

未来，我们会继续完善国产化ISP相机产品，欢迎关注：