解决方案

专注FPGA图像方案定制

当前位置:

首页解决方案FPGA工业图像

基于FPGA的全国产ISP相机 V1.0

作者:admin / 发表时间:2024-02-02

携手国产芯,共铸全国产USB3.0相机

1. 前言

由于国际形势,以及芯片战争等制约因素,当前IT行业热门的话题,莫过于芯片的国产化。从操作系统到CPU,从传感器到电源芯片,凭着劳动人民的智慧,以及不屈不挠的精神,中国正在各个行业百花齐放,逐步拥有了自己的替代。

即便屡败屡战,即便任重而道远,国产化的趋势势不可挡,尤其是军工研究所等机构,国产化选型不仅仅是货源问题,更多的是因为国防安全,自主可控而不得不做出的选择。

 

鉴于此,奥唯思携手全国产芯片方案,耗时数月,打造了一款高性能、低照度、全国产的1080P60的USB3.0工业相机方案。目前方案已经小批量产,成功接入了Windows、Linux,以及RK3588等国产化平台,并已交付alpha客户,开始落地客户需求,助力整体国产化方案。如下所示,为奥唯思实现的全自主国产化USB3.0相机解决方案:

image.png 


 

2. 全国产U3相机描述

2.1. 相机方案选型

VU3-1S130/200MG/CR全国产工业相机模组,采用易灵思FPGA+江波龙DDR3+方寸微USB芯片,实现高性能、全国产的USB3.0工业相机方案。相机搭载思特威图像传感器(全局130W、卷帘200万等),基于libusb通过USB3.0接口实现图像传输,可实时传输数据,信噪比好,图像质量优异,并且用户可定制图像处理等相关功能需求。

如下图所示,为奥唯思设计的全国产工业相机模组的硬件架构,该相机主要元件几乎100%采用国产化,满足了目前迫切的国产化需求,以及自主可控的定位。

image.png 

其中主控为深圳易灵思的钛金16nm(低功耗、高速)FPGA为主控核心,完成MIPI图像的采集/存储、ISP图像处理,以及US3.0数据收发协议等处理。

image.png 

image.png 

行业内有Sony、Micron等的进口图像传感器,国产也不甘示弱。虽然在[敏感词]领域还有一定的差距,但在中低端领域的蛋糕已经几乎被国产拿下。因此我们选用了国内龙头思特微(上海)电子科技的图像传感器,完成相机的图像感应采集。

image.png
image.png 

 

同时,USB3.0传输是工业相机重要的组件之一,目前国外主要有Cpyress的CY3014,拿下了绝大部分的市场;同时还有台湾FTDI的FT601 USB3.0芯片,在USB3.0应用中也有一定的份额。而国产USB3.0控制芯片这几年也拔地而起,典型的以山东方寸微为例,其2019年推出的USB3.0控制芯片T630,不逊色于CY3014。

image.png 

 image.png

2.2. 相机特性参数

型号

VU3-1S130MG

VU3-1S130CG

VU3-1S200CR

传感器

思特微

SC130GS

思特微

SC130GS

思特

SC2210

接口

USB3.0 TypeC

USB3.0 TypeC

USB3.0 TypeC

供电

USB供电

USB供电

USB供电

分辨率

1280*1024

1280*1024

1920*1080

帧率

240FPS

240FPS

60FPS

色彩

黑白

彩色

彩色

曝光模式

全局曝光

全局曝光

卷帘曝光

像素尺寸

4*4um

4*4um

4*4um

像素深度

8/10/12bit

8/10/12bit

8/10/12bit

靶面

1/2.7寸

1/2.7寸

1/1.8寸

镜头

M12镜头

M12镜头

M12镜头

焦距

3.6mm

3.6mm

8mm

外触发

支持

支持

支持

功耗

TBD

TBD

TBD

工作温度

-40ºC~+85ºC

-30ºC~+85ºC

-30ºC~+85ºC

重量

34g

34g

33g

特性

高帧率,全局曝光

工业应用

高帧率,全局曝光

工业应用

大靶面,低照度,

高灵敏度,近红外增强

驱动

Libusb driver

Libusb driver

Libusb driver

操作系统

Windows Linux Android

Windows Linux Android

Windows Linux Android

2.3. FPGA ISP算法

对于黑白传感器,很多时候客户希望拿到原始的RAW数据,即不经过任何处理的数据,由应用再去做终的图像处理。因此客户需要可控曝光、增益等参数,以便在更好的条件下获取更佳的图像。

但对于彩色传感器而言,如果客户拿到的只是原始的RAW数据,那经过Bayer转RGB之后,得到的只是暗绿色的图像,离客户终可以用来做算法的图像,还需要一系列图像处理,这些图像处理的流程,专业术语称之为ISP(Image Signal Processor)。

凭借易灵思16nm钛金系列FPGA高速、低功耗的特性,选用60K LUT的型号,相机在模组端完成了必要的ISP处理环节,相关的Pipeline如下所示:

image.png 

备注:

1)部分模块可开可关,部分模块可以调节参数。

2)未来规划:发布Tuning Tool...

3. 国产U3相机硬件介绍

3.1. 易灵思Ti60 FPGA SOM

image.png 

3.2. 思特微Sensor模组

image.png

 

image.png 

 

3.3. 方寸微USB3.0尾板

image.png 

3.4. 相机尺寸介绍

image.png 

3.5. 相机设备清单

image.png 

4. 国产U3相机软件介绍

4.1. 资料介绍

image.png 

4.2. 驱动安装

奥唯思的USB3.0相机,采用了libusb作为驱动。无缝兼容Windows、linux、Andorid,方便在RK/全志等ARM平台的移植。

 

libusb是一个由C语言编写的,用于访问USB设备的跨平台用户库,具备以下特点:

1)可移植: 使用单一的跨平台API,支持Windows、Linux、Android等系统;

2)用户模式: 应用程序与设备通信不需要特殊的权限或者提升;

3)与版本无关: 支持目前所有版本的USB协议,从1.0 到1.1。

 

4.2.1. Windows驱动安装

打开资料包中给的USB_Driver文件夹,双击InstallDriver,即可一键完成驱动的安装,随后可以在设备管理器中加载,看到OVS的Camera设备。

image.png 

 

4.2.2. Linux驱动安装

待补充...

 

4.3. 软件介绍

安装好OVS_Camera驱动后,通过USB TypeC数据线,将相机接入PC,打开上位机,即可获取图像。以1080P60的SC2210为例,Windows客户端采集图像如下所示。

image.png 
640.png



广东省深圳市南山区西丽龙珠三路南山睿园17栋302

19926595670

cb@szovs.com

官方微信

Skype

CopyRight © 2023 深圳奥唯思(SZOVS) All Right Reserved.  备案号:粤ICP备2023025753号
咨询

电话

服务热线:

199 2659 5670

手机站

二维码

扫码访问

公众号

二维码

公众号

Skype

skype

Skype

邮箱

电子邮箱

cb@szovs.com

回顶