搜索

中国航空工业集团公司北京长城航空测控技术研究所《测控技术》杂志社版权所有
地址:北京市亦庄经济技术开发区经海二路航空工业科技商务园9号楼       邮编:101111 
编辑部:010-65667497;  广告部:010-65667357;
  发行部:010-65667497

扫码关注微信公众号

本网站为《测控技术》指定官方网站

Coypright◎2012-2018 北京长城航空测控技术研究所      京ICP备09097201号-2

按应用领域分类

按应用领域分类

按应用领域分类

测控技术

艾默生的新电动执行器适用于多种应用、精密度高且可重复使用
集智达Coeus系列边缘AI计算机
发布时间:
2022-06-23 09:58
模块化设计,高度集成化,可自由拼接组合的紧凑型多轴系统
研华EIS-S232边缘云解决方案简化多云集成 实现数据和设备的集中管理
华北工控搭载RK3588芯片的嵌入式新品EMB-3582
远程桌面式DFT验证,PXI又露了一手
发布时间:
2022-06-17 10:30
华北工控支持工业物联网应用的主板EMB-3581
西门子工业5G实时通信,支持Profinet工业协议

知识工程

微视频

测控技术

为数据采集选驱动程序?至少要看完这五个问答
第8代Intel处理器平台SOM-6882,紧凑无风扇型设计,助力核磁共振影像应用
如何对桥梁结构进行监控和测试
发布时间:
2022-06-21 10:20
机器学习解决方案助力实现高精度直线电机的齿槽力补偿
动态压力校准技术
发布时间:
2022-06-17 08:22
芯片测试大讲堂——宽禁带半导体模块动态参数测试
智慧政务焕然一“芯”,实现政府管理与公共服务高效管理
EPX系列Ether CAT I/O首次将IP 67防护等级与本质安全相结合

知识工程

微视频

为数据采集选驱动程序?至少要看完这五个问答
第8代Intel处理器平台SOM-6882,紧凑无风扇型设计,助力核磁共振影像应用
如何对桥梁结构进行监控和测试
发布时间:
2022-06-21 10:20
机器学习解决方案助力实现高精度直线电机的齿槽力补偿
动态压力校准技术
发布时间:
2022-06-17 08:22
芯片测试大讲堂——宽禁带半导体模块动态参数测试
智慧政务焕然一“芯”,实现政府管理与公共服务高效管理
EPX系列Ether CAT I/O首次将IP 67防护等级与本质安全相结合

测控技术

知识工程

微视频

中国航空工业集团公司   中航高科智能测控有限公司  北京瑞赛长城航空测控技术有限公司   中国航空工业技术装备工程协会  中国航空学会

中国航空工业集团公司北京长城航空测控技术研究所 《测控技术》杂志社版权所有
地址:北京市亦庄经济技术开发区经海二路航空工业科技商务园9号楼 邮编:101111 
编辑部:010-65667497;
广告部:010-65667357;

发行部:010-65667497;
网站管理部:010-65665345

Oculi利用感存算一体化技术打造全球首款“软件定义视觉传感器”

浏览量
【摘要】:
一家从约翰霍普金斯大学(Johns Hopkins University)独立出来运营的初创公司Oculi,希望通过为图像传感器每个像素增加存储和计算能力(感存算一体化),使机器视觉变得更像人类视觉。

 

据麦姆斯咨询报道,一家从约翰霍普金斯大学(Johns Hopkins University)独立出来运营的初创公司Oculi,希望通过为图像传感器每个像素增加存储和计算能力(感存算一体化),使机器视觉变得更像人类视觉。目前,Oculi正在开发消费级增强现实/虚拟现实(AR/VR)系统应用的手势识别和眼球跟踪产品,其他目标应用还包括智慧城市基础设施,以及面向未来的汽车视觉传感。

据Oculi首席执行官(CEO)Charbel Rizk称,除了当前热议的基于事件的视觉感知框架,其他方面还有很大的创新空间。

Rizk说道:“当前,在机器视觉领域遇到的问题是,我们所使用的传感器和处理器是为不同应用目的而开发的,现在直接把它们放在一起,然后希望努力在下游投入足够的处理能力来解决问题。但事实并非如此,因为问题实际上始于图像传感器层面。机器视觉可不是为了输出漂亮的图片。真正应该关注的是效率,我们如何以更高效的方式获取信息?”

像素级集成存储和计算功能

Oculi开发的传感和处理单元(Sensing and Processing Unit, SPU)芯片,基于像素级集成的存储和计算功能,类似于人眼的工作方式。每个Oculi像素都包括了传感和数字处理功能(逻辑单元和小存储单元),使传感器像素足够智能,能够在检测到感兴趣的内容时提供信息。当然,如果应用需要,仍然能够提供全帧图像输出。用户可以选择不同的输出模式,通过软件优化隐私、延迟和功耗。Rizk补充称,对于大多数应用,SPU的功耗为毫瓦级。

 

Oculi采用专有IntelliPixel®技术的SPU™,通过在像素中集成传感+预处理能力,提供实时视觉智能(Vision Intelligence, VI)


与现有基于事件的动态视觉传感器类似,Oculi的传感器可以输出检测变化像素数据的“事件”。但Rizk认为,这种事件输出缺乏模拟人类视觉所需的效率。

“有时候,我们需要捕捉的不只是事件变化,而是需要捕捉场景中的某些内容。”Rizk表示,“现在的事件传感器在这种情况下就无法提供任何信息。这时我们确实需要完整的全帧输出。因此,我们开发了自己的架构,可以通过软件获取所有这些输出。”

 

Oculi的SPU在像素级结合了视觉感知、处理和存储功能


由于每个像素都能够进行一些基本计算,因此算法可以在SPU上实现,而无需外部处理。除了全帧图像和事件输出,Oculi的SPU还支持两种额外的输出形式。

 

1、智能事件

一种输出是“智能事件”,与全帧图像相比,智能事件使用的带宽不到10%,但也包含了应用所需要的足够信息。智能事件也可以基于颜色或深度传感(使用两个SPU进行高速立体视觉)。关键是,与传统基于事件的视觉感知相比,智能事件大大降低了信号噪声。凭借每个像素中的存储能力,可以在多个帧上评估一致性,以帮助消除噪声。与纯粹基于帧的视觉相比,显著降低了带宽。

Oculi的SPU在芝加哥成功地进行了现场测试,为过路费电子计费系统计算过往的车辆。此外,该测试还利用智能事件估算了速度。

 

Oculi的SPU提供的输出,从左至右分别为:全帧图像、事件图像、智能事件图像以及可操作数据(上方为车轴计数,下方为“向右滑动”的手势)

 

 

2、可操作信息

另一种输出是“可操作信息”,通过利用模式识别技术在SPU上处理智能事件,进一步减少了带宽。因为,对于某些应用,并不需要进一步的视觉处理。

例如,作为智慧城市基础设施现场测试的一部分,Oculi应客户要求对其硬件进行了重新编程,以用作山洪暴发警报系统。其传感器经过校准,可以对相机前的雨滴进行计数,从而估算降水量(通过确定雨滴的大小和运动来实现)。并且,降水量的估算完全在SPU上完成。

手势识别、汽车环境感知

基于Rizk的学术工作,以及测试芯片的数次迭代,Oculi于2019年从Johns Hopkins University独立出来运营。这家初创公司正在进行种子轮融资,并正与潜在的代工合作伙伴洽谈合作。

 

 

虽然这项技术最初专注于军事应用(早期展示了枪口闪光检测),但Oculi现在正在寻求消费类和汽车领域的应用市场。目前,该公司的目标是消费级AR/VR系统中的手势识别和眼球跟踪。AR/VR供应商希望能够去除遥控手柄,节省头戴设备的电池电量。Oculi还在与汽车制造商就未来的高级驾驶辅助系统(ADAS)/自动驾驶汽车(AV)机遇展开合作。此外,智慧城市基础设施、人脸识别和人员检测也在探索之中。

 

Oculi视觉智能(Vision Intelligence, VI)平台

 

Oculi的产品路线图包括具有不同级别片上处理能力的产品系列。未来的器件可能会在芯片上增加人工智能(AI)功能。演示开发板上的工程样品(单目、双目/立体视觉SPU)和软件开发工具套件,现在已经可以提供。

 

来源MEMS

视频展示

测控科技

相关文件

暂时没有内容信息显示
请先在网站后台添加数据记录。