FPGA ISP相机，成功接入NVIDIA Orin NX & Nano-深圳市奥唯思科技有限公司_FPGA图像开发

FPGA ISP相机，成功接入NVIDIA Orin NX & Nano

Author：admin / Time：2025-08-04

NVIDIA的生态完善，官方基于几十年的GPU应用，可以提供非常完善的GPU生态，提供完整的linux外设驱动，甚至针对开发者生态，又可以提供很多相机的驱动解决方案。

但与此同时，NVIDIA的生态又非常封闭，比如用户想要接入开发者生态里没有集成Driver的相机，寸步难行；又比如用户想要使用NVIDIA的ISP去做一个更好的图像算法，也是无能为力。

目前在中国，NVIDIA只对几家公司开放了ISP的授权，普通用户虽然也可以买到NVIDIA套件，但是对此却有心无力。

在过去，这确实是一件很麻烦的事情，毕竟驱动不开放，对大部分人封闭。

但从去年开始，我们投入了大量的时间研究NVIDIA底层驱动，也交付了客户基于IMX252的ISP相机，成功接入NVIDIA Orin AGX，以至于去年有了这篇文章，第二天NVIDIA原厂的人就上门探讨了。

FPGA模拟MIPI相机，成功接入NVIDIA AGX开发者套件

而今年，针对客户不断地对成本与性能的追求，在不断的迭代升级了几十个版本后，我们终于做到了2件事情：

基于FPGA的MIPI ISP相机

放弃USB3.0接口后，我们标准化了基于MIPI的FPGA-ISP相机

榨干RK3588后，我们开源了基于Ti60的6目"0"延时ISP相机接入方案

经过多个项目的实战积累，我们一致认为在非静态场景中，USB相机因为其接口结构因素，天然的不稳定、不靠谱。我们曾经在无人机上给客户提供USB3.0 ISP相机，虽然后项目做成了，但是双方却耗费了巨大的精力在做USB3.0掉线恢复的workaround，给系统异常检测以及FPGA自我恢复增加了巨大的负担，南辕北辙...

事实上USB是针对PC设计的通用串行接口，而针对终端或切入是设备，USB并非一定是优解。因此今年开始，我们强行推出了基于MIPI接口的ISP相机，并且基于IPEX20455-20线缆接入方案，完成了更高的带宽（6-10G），更方便的接入，以及更稳定的系统集成方案。

同时，为了解决SoC侧ISP开发难度大、开发周期长，系统适配投入资源大，我们也针对200万、130万彩色/黑白传感器，采用FPGA集成了流水线低延时ISP图像处理模块，来适配多种不同的SoC环境，减轻SoC和系统集成的负担。

基于此，我们推出了多款基于行业无人机应用的MIPI-ISP相机，如下所示。目前以VM-200CR为例，作为主流发货型号，已经适配了多个客户的如人机，完成了传感器上天入地的使命。

基于NVIDIA Orin 的ISP相机接入方案

针对瑞星微（RK3568，RK3588），或者海思HI3516等型号SoC，生态相对比较开放，尤其是RK系列SoC，这几年在国内的推广非常成功。我们的大部分国内客户，用的也是RK3588，因为针对RK3588平台，我们可以提供比较成熟的MIPI-ISP相机接入方案，比如6目200万ISP相机同步接入应用，如下所示：

但是针对NVIDIA的开发套件，尤其是相对低成本的NVIDIA套件，我们过去一直还没有做MIPI-ISP相机接入的解决方案。

然而就在近日，为了吻合客户新的需求，需要有更强的算力平台以及完善的开发者生态，我们又被逼着上了刀山，使出浑身解数，完成了基于NVIDIA Nano Orin / NX平台的MIPI-ISP接入方案，终于打通了任督二脉，完成了奥唯思MIPI-ISP相机的后一块拼图。

基于NVIDIA Orin Nano/NX套件，采用奥唯思MIPI-ISP相机的前置FPGA，集成低延时ISP处理的架构，我们实现了“第三方模组+外置ISP相机”接入NVIDIA套件的方案，因此过去NVIDIA生态的2个难题迎刃而解：

解决了NVIDIA生态不支持列表外Sensor的问题
解决了NVIDIA生态不对普通用户开放ISP的问题

但技术不能止步于此，我们仍在不断地突破，不断地做出更多有竞争力的设计，榨干FPGA的极限，不断地突破实现FPGA的价值。

针对我们的客户，我们将会免费提供基于NVIDIA Orin Nano/NX开发套件的MIPI ISP相机接入源代码，助力客户快速搭建环境，将更多的精力放到产品应用上去。

淘宝链接：

https://item.taobao.com/item.htm?ft=t&id=830528734362

Solution

FPGA ISP相机，成功接入NVIDIA Orin NX & Nano

Product

Solution

FPGA开发平台

News