致奥唯思艰难挺过的第一年……

作者：admin / 发表时间：2024-02-10

这是新年的[敏感词]天，也是我们应该总结过去的1天；伴随着满屏的“新年快乐”，奥唯思在祝福声中，向您汇报我们《2023年的工作总结》。

这是奥唯思的[敏感词]年，因为我们终于开始了我们的说好的事业。

但这也是艰难的[敏感词]年，不仅因为万事开头难，也因为后疫情时代，国内经济从未有过的低迷，半导体雪崩的今天，我们承受着初创企业未曾有过的坎坷与困难。夹杂着强烈的求生欲望，我们不希望自己倒在起跑线上。

相比未来，也许当下又是经济[敏感词]的一天，因此我们同样没有再来一次的机会。乘上了这条船，走上了这条不归路，我们未曾想过退路；即便风雨兼程，我们也只能坚持走下去，走出一条属于奥唯思自己的路。

回首2023，我们做了很多的尝试，或对或错，于公于私，只为能够坚挺走完奥唯思的[敏感词]年：

2023.2月，我们租下了南山睿园的一个办公室。没有投资，没有规模，甚至没有采购办公桌椅，随着南下的兄弟到位，我们开始踏上了这条不归路：2个人，2个电脑，2个不认命的程序员。

万事开头难，我们没有可下蛋的鸡，甚至没人听说过奥唯思成功不能借鉴，但失败可以学习；试错成本很高，但这无法避免。凭着人均15年的FPGA开发经验，因此我们开始了一切可能与不可能的尝试。

<1>FPGA图像类开发板

1）易灵思FPGA图像开发板

由于易灵思独特的低功耗以及在MIPI RX/TX领域的IP，在图像行业有着较大的优势。同时也因我们的出生（为FPGA图像而生）我们尝试着设计Trion 40nm系列T35，以及钛金16nm系列Ti60的FPGA图像开发板，专门针对MIPI采集显示，以及摄像头开发等客户提供易灵思FPGA开发平台，如下所示（目前淘宝上销量[敏感词]的易灵思FPGA开发板）：

鉴于我们的成果与付出，我们成功援助了11月份的FPGA设计大赛(易灵思）；同样也感谢易灵思对我们的认可：我想，互惠与利益，都是相互的。

2）紫光FPGA图像开发板

在控制领域，或者说非MIPI应用、非低功耗领域，紫光同创的产品其实也有一定的优势；加上目前国产FPGA规模[敏感词]，份额[敏感词]的也是紫光同创，因此我们也想尝试着想拓宽一下国产FPGA的应用。鉴于此，在原厂销售的支持下，我们设计了基于Logos2 100K FPGA（PG2L100H676）的视频图像处理开发板，填补了紫光同创在图像行业的FPGA开发板解决方案空缺，如下：

我们想着在有限的时间内，如果能尽可能地帮助大家在FPGA图像解决方案的落地，这也是我们奥唯思存在的价值。因此耗时数月+几个版本，终于落地了一套100K的FPGA图像开发板。

只可惜，开发板/资料也准备好了，推广文章/公众号开白也准备好了，虽然有原厂销售的推动，但紫光商务仍以需供应商审批为由，迟迟不转发文章助推。终原厂上头没有买我们的殷勤，转而跳单支持了“小眼睛FPGA”。我们想说，早已移情别恋，何必脚踏两条船呢？

承受了一万点打击的我们，只能很遗憾地退出，并且停止了关于更多紫光FPGA开发板的研发及资料的更新（可怜的库存）。随后很多采购“小眼睛FPGA”的朋友，寻求我们支持图像与PCIE的设计，我们也很遗憾的表示抱歉了，毕竟我们还得继续风雨兼程。

此外，由于紫光的PG2L100H676 P2P兼容Xilinx的XC7A100K FPGA，为了不至于让3个月的努力打水漂，我们[敏感词]时间推出了Xilinx版本的100K FPGA图像处理开发板，并且100%移植了《基于MATLAB与FPGA的图像处理教程》的FPGA算法源代码，如下：

2024即将进行的ISP相关设计的教程与培训，将会基于这套平台，发光发热！

3）思特威CMOS模组

除了Sony与ONSE，传感器第三家应该算思特威，并且在国产图像应用领域，思特威占了绝大部分的国产份额。因此支持国产，同样我们也希望引入思特威的传感器。当国产FPGA配上国产CMOS传感器，口感与味道，可以更上一层楼。感谢思特威的SC130GS与SC2210，这两款传感器带动了我们部分平台的落地，以及在线上线下的销量。

以下是2023我们开发的思特威的CMOS传感器，包括MIPI及DVP接口，以及不同的靶面特性，欢迎感兴趣的朋友前来咨询合作：

奥唯思可提供的完整的MIPI Sensor解决方案，并且已经成功交付多个量产客户，2024年，奥唯思将新设计SC235HS高性能全局200W相机，敬请期待。

<3>FPGA图像类项目

1）基于Lattice NX100的SLVS-EC3.0相机

作为除了MIPI标准外的另一个重要分支，Sony这些年也在高分高带宽Sensor上推SLVS-EC3.0接口。该接口目前Xilinx官方没有IP，如果还要考虑FPGA的成本，全球仅Lattice一家官方提供了SLVS-EC3.0 IP。为此，我们耗费了2023年一半的的人力物力，帮甲方爸爸设计基于IMX472的SLVS-EC3.0采集+MIPI发送CPU的原型样机，并且完成了交付。

其中我们耗费了1/2的Schedule，在帮Lattice磨EC3.0的IP。由于IP本身比较新，同时也还没有经过量产测试，我们经历了九九八十一难，在帮原厂修正了数个bug后，终于得以调通此解决方案，成为国内[敏感词]家基于lattice SLVS-EC3.0实现成熟解决方案的公司。

截至目前，奥唯思已经成功支持了3个客户SLVS-EC3.0的解决方案，并且不断地完善IP feature之外的内容。付出与回报成正比，感谢Lattice原厂对我们的支持与认可，欢迎大家共同探讨SLVS-EC3.0解决方案。

预告：奥唯思自研SLVS-EC3.0 IP也已经已成熟。

2）基于易灵思Ti60的SC2210实时ISP相机

甲方爸爸要求全国产USB3.0相机，因此我们采用了易灵思的FPGA、思特威的Sensor，以及方寸微的T630 USB PHY。当时写了一篇文章，详细介绍了此方案：携手国产芯，共铸全国产USB3.0相机。

该方案的初步实现花了3个月，但是各种一场测试的恢复，又花了3个月。方案亮点，主要有如下：

全国产芯片选型

自研完成的ISP解决方案

得益于易灵思低功耗高速易灵思FPGA，我们的方案终于落地。该方案在2023华南电子展亮相，ISP效果相比同类FPGA产品，得到一致的认可。当然这只是个开始，未来我们还会不断地优化，争取做到更好。

预告：

为了支持国内良好生态，助力同胞们进行USB3.0相机的开发（FTDI或国产T630方案）,我们在再三斟酌下，决定推出全开源精简方案，包括FPGA的源代码，以及PC上位机的软件程序。开源文件列表如下：

3）基于易灵思MIPI方案接入NVIDIA Jestson

视觉相机是机器智能/自动化的关键，NVIDIA Jetson支持多个合作伙伴的Camera，这些相机包括USB、以太网、MIPI等接口的相机。Jetson为这些相机提供了完整的Jetpack SDK，支持用户可以快速接入这些相机，来实现相应的设计。但NVIDIA的开发目前有2个问题需要解决：

NVIDIA的SDK只支持合作伙伴的Camera，不支持第三方相机的接入
NVIDIA的ISP功能没有开放，全国仅2家公司有权限。

那么，用户无法接入parter外的相机，同时更是无法进行ISP的调试。为了解决这一迫在眉睫的问题，我们花了4个月的时间进行尝试，期间无数次想放弃，终于在后实现了客户需求的设计，如下：

出于对系统安全性的保护，Jetson出厂时，内核编译打开了驱动签名选项，如果新开发的驱动签名证书不匹配，则驱动ko文件无法加载。但是一般用户无法拿到NVIDIA编译出厂镜像时的签名证书，无法解决ko签名问题。如果需要使用新的sensor模组，则需要重新编译内核、生成全系统镜像、烧录系统，工作量相当巨大。

失败与成功，只是一步之遥，在无数次即将放弃的挣扎下，后得以实现，并且在FPGA上实现了完整的ISP，有效地降低了整体Pipeline的延时，解决了客户的问题。我们认为该方案还是有一定的价值，因为有效打通了NVIDIA AGX/Jestson套件的接入选项，以至于发公众号（FPGA模拟MIPI相机，成功接入NVIDIA AGX开发者套件）的第二天，NVIDIA的人就上门了，洽谈是否有机会合入NVIDIA生态，这也将是我们2024努力的方向之一。