基于MIPI的FPGA-ISP相机标准化

• 1.被迫放弃了USB3.0

基于FPGA的全国产ISP相机，我们已经先后努力了2个年头，也持续向大家汇报过我们的进展：

1. 时隔10年，我将重新杀回国产FPGA
2. 全国产0延时USB3.0 ISP工业相机但就2年的坎坷经历来看，这也许是个伪命题，因为不管是从需求侧还是应用侧，虽然我做到了全国产，但仍有2个问题是无解：

• USB3.0接口的相机，有海康大华等龙头在，后来者入场很难
• USB3.0接口的相机，在冲击抗震中的表现不佳，是个难题
• USB3.0接口接入ARM协议解析延时更大，无法做到低延时

USB接口会由于震动、撞击等脱落，导致触电接触不良，这需要耗费大量的精力去做自恢复以及断点重传。尽管扛住了了苛刻的测试流程，也安装到了甲板上，但始终觉得南辕北辙，身心疲惫——方向不对，努力白费!

经过了一年多的持续迭代与探索，我们终于在工业相机模组应用上，放弃了USB3.0接口，放弃了在全国产方寸T630 USB3.0方案上，投入1年多研发精力的方案，全面走向MIPI CSI接口，并且推出了标准化产品。

1. 迭代6代后，终于推出MIPI ISP全国产相机
2. FPGA在低空经济中的入场机会：ISP相机

• 2.全国产关键物料选型

卡脖子确实难受，是一种呼吸不过来的憋屈，那么国产化仍然是坚定不移的，未来10年的战略，所以我们一如既往地坚持：全国产化ISP相机。

如下是我们的全国产相机的选型/架构：

这里的关键元件选型，如下：

• FPGA：易灵思钛金16nm Ti60F225，低功耗高性能
• Sensor：思特威CMOS图像传感器，全国产高性能
• DDR3：FPGA合封DDR3，追求体积
• 其他：各种国产芯片选型，

经过1年的迭代，以及几个客户的先后系统集成+对接测试后，一次性推出6个机型（4种传感器），如下图所示：

其中有几个型号重点描述下：

1. VM-200CR是目前出货最多的彩色1/1.8寸1080P60的机芯；
2. VH-130MG则是目前130万无线图传客户喜欢的HDMI输出模式；
3. VM-500MG的成本很高，参数性能也很高，面向高端需求
4. VM-130CG功耗非常夸张，做到720P 240帧的实时ISP，将近3W++

• 3.全国产ISP相机特性

利用易灵思FPGA高速并行低功耗等特性，我们在有限的资源内，将流水线按ISP的性能与延时做到了极致。

同时，利用FPGA来实现ISP，相对于ARM的优势，主要有如下：

尤其是帮客户解决了Sensor对接，以及ISP调试的工作量，加上FPGA 低延时的特性，是基于FPGA的ISP相机的最大特性。如下所示，是我们在FPGA上实现的ISP Pipeline：

基于此，我们调试了几款思特威的主流CMOS传感器，包括130→500万，以及卷帘/全局曝光传感器，主要有如下：

• IPEX同轴20P传输

在车载/无人机应用领域，往往希望线缆可以有以下特性：

1. 传输速率高
2. 线缆材质软
3. 接口安装稳定
4. 10-50cm的传输（更长建议SDI）

USB3.0除了传输带宽还可以，需求2+3着实无法满足，鉴于此，我们选用了无人机常用的IPEX线缆，信号线都走同轴，号称单线可以运行10Gbps的速率（我们实测过2.5Gbps）。

IPEX（被动元件）是进口的品牌，但是也有国产替代型号；另外工厂对IPEX同轴线的加工，已经是轻车熟路，因此选型没有壁垒。自从我们选用IPEX同轴线缆进行传输后，终于打破了1米传输高速MIPI ISP相机的限制。

如下是我们提供给定制客户的80cm的IPEX 20P同轴线，双目接入了NVIDIA Jetson，已经稳定上机测试，完美解决了原来TypeC传输接口的问题。

• 成功案例分享

1）单目VM-200CR接入FPGA

如下所示，客户基于易灵思钛金ti60F100做机器视觉的开发，但又不想把精力放在ISP上，因此采用我们的FPGA-ISP相机，50+cm传输后接入Ti60F100做显示后处理。

🔺为了加速客户开发，我们提供基于Ti60F100 接入VM-200CR的源代码级FPGA工程。

2）双目VM-200CR接入RK3588

这是目前行业客户需求量最大的应用，即采用RK进行无人机侦察，或者低空飞行的相关检测应用。RK3588有强大的算力，但负责AI开发的工程师，仍然有3个问题：

• 负责AI的同时不会RK ISP
• 没有更多精力投入ISP Tuning
• RK处理启动+延时太慢了

因此，也就有了我们FPGA实现ISP相机的需求。如下是客户RK3588接入奥唯思双目VM-200CR的实物演示（原先用USB3.0方案，最终放弃）：

          

在国产ISP相机方案上，我们将持续迭代，不断地优化图像效果与功耗。

如果对我们产品感兴趣，可以联系我们：

https://item.taobao.com/item.htm?ft=t&id=830528734362

或在”奥唯思FPGA店铺“ 搜索 ISP相机（批量可谈）：