清华大学最新Nature：视觉芯片“天眸”，助力无人驾驶

图像传感器对自动化机器在内的各种应用至为重要，需要兼具良好的整体视觉质量（对场景的准确解读）以及快速运动探测（实现快速反应）。但是，整合各种理想功能可能会影响效率或是需要在图像质量和延迟上做出取舍。如何同时满足这两方面的需求，是个亟待解决的难题。
2024年5月29日，清华大学类脑计算研究中心施路平团队、赵蓉团队在 Nature 期刊发表了题为：A vision chip with complementary pathways for open-world sensing 的研究论文。
该研究开发了一种视觉芯片——“天眸”（Tianmouc），或能用于自动驾驶汽车，在开放道路测试中展示了处理复杂情况时的准确性、快速性和稳健性。

施路平团队以人类视觉系统的运作方式为灵感，开发了一款传感芯片，能将快速但不精确的感觉与慢速但更精确的知觉相结合。这个视觉芯片名为“天眸”（Tianmouc），它有一个混合像素阵列，能将低准确度但快速的事件探测（无需太多细节便可对变化做出快速反应）与慢速处理相结合，实现对场景的准确可视化。
研究团队用一个自动驾驶感知系统证明了该芯片能快速稳健处理图像的能力。该芯片在多个情景进行了测试，包括开车经过一个黑暗隧道，应对相机闪光灯的干扰，以及探测汽车前方有人走过。
值得一提的事，Nature 同期发表了一篇来自的苏黎世大学的研究论文，论文题为：Low-latency automotive vision with event cameras。


该团队利用视觉感知专用相机克服了这些困难。全彩相机分辨率很高但需要大量数据处理（带宽）来探测快速变化；降低带宽会导致延迟增加，从而会影响安全性。而事件相机虽然能探测快速的移动，但会牺牲准确度。这项研究研究表明，有一种混合系统能让自动驾驶汽车实现稳健的低延迟目标探测。通过结合这两种相机，彩色相机的帧率会降低，从而在确保准确性的同时降低带宽、提升效率，而事件相机也能弥补彩色相机造成的高延迟，确保能探测到快速移动的目标，如行人和汽车。


总的来说，这两项发表于 Nature 的最新研究或能让自动驾驶汽车及其他应用实现更快、更高效和稳健的图像处理。
论文链接：1. Yang, Z., Wang, T., Lin, Y. et al. A vision chip with complementary pathways for open-world sensing. Nature 629, 1027–1033 (2024). https://doi.org/10.1038/s41586-024-07358-4https://www.nature.com/articles/s41586-024-07358-42. Gehrig, D., Scaramuzza, D. Low-latency automotive vision with event cameras. Nature 629, 1034–1040 (2024). https://doi.org/10.1038/s41586-024-07409-w

https://www.nature.com/articles/s41586-024-07409-w