深受行业领导者信赖
Prophesee 是世界上先进的神经拟态视觉系统的发明者。
Prophesee Metavision® 系统由已获专利的事件视觉传感器组成，该传感器具有智能、独立的像素和广泛的人工智能库，从而解锁高级别、仿生眼动追踪功能。
从用于现实世界ChatGPT交互的视线追踪，到注视点渲染、驾驶员监控系统、变焦头戴式耳机，甚至远视矫正，Metavision® 传感器和算法首次允许以消费者友好的形式进行超快速和低能耗的眼动追踪。
<2mW
感应功耗 / 16uW待机模式
>1kHz
采样率
数据速率降低 5 倍
与基于图像传感器相比
>120dB 动态范围
降低照明需求
<1ms
端到端延迟
<1°
检测精度
应用领域
视线追踪
Zinn Labs 借助 Prophesee GenX320 传感器，提供高刷新率、低延迟的视线追踪解决方案，推动头戴式显示设备的响应速度和逼真度不断提高。
Zinn Labs 的 3D 注视估计的计算占用空间小，可灵活地支持低功耗模式，用于外观与普通眼镜无异的智能可穿戴设备。
Zinn Labs 首席执行官 Kevin Boyle 解释：与基于视频的解决方案相比，Zinn Labs 基于事件的视线追踪技术可将带宽降低两个数量级，使其能够扩展到以往不可能的应用和外形尺寸。
驾驶员监控系统（DMS）
使用事件相机进行实时面部监控、眼动追踪以及眨眼检测
该论文介绍了一种卷积递归神经网络 (convolutional recurrent neural network) 的新方法来检测和追踪面部与眼睛，专用于 DMS。论文还重点介绍了事件相机如何更好地捕捉眨眼的独特时间特征，从而深入了解驾驶员疲劳情况。
眼动追踪
利用编码差分照明进行基于事件的千赫兹眼动追踪-2022
采样率：测试结果表明，基于 VGA 的系统以 1 kHz 的采样率运行，即使在高达 1000°/s 的高速眼球运动下也能准确检测角膜闪烁。
检测精度：系统在闪光检测中实现了亚像素级精度，即使在高转速下误差也小于 0.5 像素。
噪声抑制：系统对外部噪声保持鲁棒性，即使在背景光闪烁等具有挑战性的条件下也能保持亚像素级精度。
事件相机非常适合 AR/VR 头戴式设备中的眼动追踪传感器，因为它们满足功耗和延迟的关键需求。
通过在 1-2kHz 范围内以二进制模式脉冲闪烁刺激，我们可以将角膜反光更新的采样时间缩短至1毫秒。
因此，它是一种低功耗、亚像素精度的角膜闪烁检测器，能够以kHz的速率提供稳定的更新。
EVS 算法整合性
使用事件相机评估基于图像的面部和眼动追踪
该论文展示了将传统算法与事件数据相结合的可行性，并将其转换为帧格式。
通过使用GR-YOLO和YOLOv8等模型，在各种现实世界数据集上实现了平均精度（mAP）评分为0.91的性能，即使在具有挑战性的光照条件下也表现出了稳健的性能。
注视点渲染
人眼永远无法看到整个场景的高清效果。
它只能通过瞳孔感知高清晰度，而瞳孔仅覆盖视场的3度。
目前，虚拟场景中约90%的内容被渲染为高清晰度，而这些场景的部分细节并未被人眼感知到。
但是，注视点渲染并不是一件容易的事。
眼球是身体中移动速度最快的肌肉之一，收缩时间不到10毫秒。眼球的角速度经常达到约700°/s的极值。
事件视觉速度和能效首次实现了最佳的注视点渲染，以高达1kHz的速度捕捉眼球最细微的快速运动。
问答
传感器究竟提供了什么数据？
- X 和 Y 坐标，表示传感器阵列中被激活像素的位置
- 极性，即激活的事件对应的是正向（从暗到亮）还是负向（从亮到暗）的对比度变化
- 时间戳 “t”，精确编码事件生成的时间，分辨率达到微秒级
欲了解更多信息，请查看我们关于基于事件的概念以及事件流和解码的页面。
如何做到 “无模糊”？
图像模糊主要是由于曝光过程中相机或被摄物体的运动造成的。当快门速度过慢或运动过快时，就会发生这种情况。
使用事件传感器时，没有曝光，而是每当检测到光照变化时，每个像素都会独立触发连续的“事件”流。因此不会出现模糊。
是否兼容主动/被动照明的眼动追踪？
帧率是多少？
没有帧率，Metavision传感器既不是全局快门，也不是滚动快门，它实际上是无快门的。
这代表了一个全新的机器视觉类别，该类别由专利传感器设计实现，该设计将每个像素嵌入其自己的智能处理。这样，它们能够在检测到变化时独立激活自己。
事件一旦生成，就会连续地、逐像素地发送到系统中，而不再是以固定的速率发送。
动态范围为什么如此之高？
事件传感器的像素包含光接收器，能够以对数刻度检测照明变化。因此，它可以自动适应低光强度和高光强度，不会像传统基于帧的传感器那样使传感器饱和。
我现有的基于图像的数据集，能否用于训练基于事件的模型？
是的，您可以使用我们的“视频到事件模拟器”。这是一个 Python 脚本，允许您将基于帧的图像或视频转换为基于事件的对应图像或视频。然后，可以使用这些基于事件的文件来训练基于事件的模型。
联系我们获取更先进的模拟器工具
了解 PROPHESEE METAVISION® 技术能为您的XR项目带来什么
荣誉
