上周,刚刚收购深鉴科技的FPGA巨头:赛灵思面向媒体记者在深举行了“汽车产业最新技术与产品说明会”。会议期间,赛灵思的大中华区销售副总裁唐晓蕾、汽车产品营销经理孙蕾蕾和机器学习高级产品营销经理罗霖纷纷出席发表精彩演讲,面向日益蓬勃发展的自动驾驶市场分享了赛灵思最新的车用技术解决方案、与合作伙伴的合作状态以及对未来市场的布局。
赛灵思大中华区销售副总裁:唐晓蕾
会议开始,赛灵思大中华区销售副总裁唐晓蕾向记者介绍了赛灵思的发展历程和最新产品消息,以及公司在中国自动驾驶汽车领域的布局与展望。
作为FPGA的发明者,赛灵思发展至今取得了不少傲人的成就,是全球首个无线晶圆发明者,现在全球拥有4300多项专利。2017年,赛灵思的销售额达到23.5亿美元,所占全球市场份额超过60%,在各个细分行业拥有2万多位客户。为进一步开拓中国市场,赛灵思于今年4月正式宣布成立Greater China,开启了大中华地区的新篇章。
同年3月,赛灵思推出了新一代技术:自适应计算加速平台(简称ACPA)。“不同于传统的GPU和CPU,ACPA的性能甚至超越了FPGA。我们将ACPA定义为一个全新的产品类别,希望未来能够广泛使用在从云到端的工业、数据中心的边缘计算等应用领域。”赛灵思大中华区销售副总裁唐晓蕾表示,“这是一个智慧的时代,孕育了车联网、5G、云计算、工业自动化等新兴行业。而在大数据的驱动下,我认为异构计算已成大势所趋。”
随着汽车的转型和升级换代,赛灵思也将扮演愈加重要的角色。从2004年发展至今,赛灵思在汽车行业的市场份额一直保持稳定增长。截止今年,赛灵思的产品已经覆盖29个OEM品牌和多达111种车型,其中不乏多家欧美一级供应商例如:BOSCH、Continental等。“未来会有越来越多的互联网公司进入汽车领域,类似于百度先前发布‘阿波罗’,菜鸟研发自动驾驶,京东打造送货机器人等。而在这个急需创新的市场,赛灵思的一系列新产品已经在很多新兴汽车领域广受好评,产品包括双核的Zynq 7000和七核的Zynq MPSoC,主要用于全屏视像及驾驶员状态监控,以及拖车影像、摄像头、环视系统和雷达领域。特别是在汽车雷达领域,赛灵思几乎占据了100%的市场份额。”
如今在中国市场,赛灵思的FPGA自动驾驶解决方案已经被多家ADAS公司采用,其中包括百度、海康、奇美等自动驾驶公司。“另外一个好消息就是,赛灵思近期已经完成了对中国深鉴科技的收购,未来将在人工智能、大数据、边缘计算等领域带来更多的创新应用和技术突破!”
赛灵思汽车产品营销经理:孙蕾蕾
针对新兴汽车市场,赛灵思汽车产品营销经理孙蕾蕾在会上总体介绍了赛灵思技术在汽车领域的应用情况,包括赛灵思汽车方案介绍,商业部署及市场竞争优势,未来发展等。作为现场可编程门阵列(FPGA)与可编程片上系统(SoC)器件的领导者,赛灵思拥有显著优势的高性能、高度灵活应变的可编程芯片,致力于航空航天与国防、ASIC 原型设计、音频、汽车、广播和 AV、消费类电子产品、数据中心、医疗、有线与无线通信等众多行业的创新发展。
“我们的FPGA和SOC产品的优势在于能够帮助客户处理极为复杂的计算任务,允许创建自定义应用,并能够随设计的演进发展进行重新编程;且可编程 SoC 系列芯片还集成了功能强大的 ARM 处理器,在单芯片上就能实现软件、硬件和 I/O,且全部都支持编程。”赛灵思汽车产品营销经理孙蕾蕾向记者介绍到,“例如在汽车前端雷达应用中,FPGA就凭借并行处理的优势,相比GPU和其他CPU,实现了更低的延迟,更加符合汽车行业的技术标准。”
近两年,越来越多的中国品牌也开始使用赛灵思的产品。对此,赛灵思汽车产品营销经理孙蕾蕾表示,“我们也发现很多中国汽车厂商对FPGA产品表现出浓厚的兴趣,特别是在自动驾驶方面,相信未来5年会是赛灵思在中国市场上非常重要的一个发展环节。”
正如上图所示,赛灵思的产品线其实几乎可以覆盖整部汽车,不论是前后左右的摄像头、雷达,还是车上的大小处理器。此外,日益复杂的ADAS和AD系统也促进了赛灵思解决方案的普及。据2017年HIS Markit最新报告显示,赛灵思在全球前装摄像头市场上占据了高达38%的份额,而且在未来5年内,这个数据还有望继续增长。因为现在欧美NCAP法规还规定:每辆新的五星级车必须配备一个环视摄像头和一个前端摄像头,才算达到安全性能标准。
另一方面,赛灵思还站在新兴的激光雷达传感器技术前沿。其雷达产品所占市场份额预计高达90%以上,且适用于所有激光雷达技术。赛灵思汽车产品营销经理孙蕾蕾表示,“激光雷达还是一款很新的应用,整个行业标准尚未固定下来,工程设计一直在变化。在这样的环境下,具备可编程特性的FPGA也就成了工程师的不二之选!当整体设计有所改变时,您只需做简单的软硬件更新迭代即可,无需重新制作一个新硬件,这样就能节省很多研发时间,还有助于快速优化用户体验。”
针对当今大部分汽车雷达仅能确定目的距离和方位的局限性,赛灵思也在努力研发4D成像雷达。所谓的4D雷达指 RF传感器根据距离、方位、立面和目标的相对变距速率来确定目标的位置,还通过增加高程位置测量显著增加接收通道的数量并提升相应的处理性能。因此,4D 雷达需要大量使用同步处理流水线,而这正是在赛灵思可编程架构中可实现的。对于需要充分感知周围环境数据的无人驾驶汽车,4D雷达在安全驾驶方面的作用就显得尤为重要。
而且OEM厂商若想开发出差异化产品,赛灵思也能提供帮助。FPGA的优势就在于IP支持用户自行更新,且具有拓展性。赛灵思产品用户只需基于同一个平台使用同一类程序语言即可进行软件更新,从而节省下大量研发时间,加快产品出货速度。赛灵思的产品支持动态功能交换,即在同一个硬件上做到不同的功能,例如在高速和低速公路环境下,同一个FPGA可以根据驾驶需求为汽车提供不同的功能支撑,达到缩小系统尺寸的效果。“值得一提的是,赛灵思是业界首个实现无线更新软硬件系统的供应商,同时加强了FPGA的散热能力。”赛灵思汽车产品营销经理孙蕾蕾表示,“最近,赛灵思还与戴姆勒达成了合作。在基于人工智能的汽车应用方面,我们将为戴姆勒的汽车系统提供延时极低且功率高效的解决方案,以确保相关系统在高温工作环境下也能正常运行。”
今年3月份,赛灵思还推出了全新器件:ACAP,可以实现针对工作负载的加速,具有软硬件可编程引擎、IP子系统和片上网络、高集成的可编程I/O;且支持最高800万像素的摄像头以及3级自动驾驶水平,能够胜任在高速公路和城市路况。ACAP的整体优势在于:增加了通道带宽,搭载了高性能、低功耗的用于环境认知的卷积神经网络处理功能,有望提升功能安全性。
赛灵思机器学习高级产品营销经理:罗霖
在更深入的ADAS及自动驾驶的嵌入式视觉(包括深度学习)解决方案上,赛灵思机器学习高级产品营销经理罗霖也在现场通过大量的客户案例,介绍了赛灵思是如何帮助软件和算法工程师在自家平台上进行ADAS和自动驾驶应用的创新。
目前,赛灵思的嵌入视觉解决方案主要包括计算机视觉和机器学习。而在实际应用中,ADAS在嵌入视觉方面一般有低时延、低功耗和低成本三大要求。“很多工程师可能会立马想到看上去完美符合这三项要求的ASIC。但我想提醒一下,人工智能的发展速度非常快,每天都会产生大量新的神经网络,这就意味着ASIC得具有高度灵活性才能跟上快速的上市进程,很显然ASIC目前还很难做到,而FPGA就不同了。”赛灵思机器学习高级产品营销经理罗霖指出,“另外值得注意的是,在时延方面,并不是哪个系统的CPU跑得快或者主频高,就能实现更低的延时。赛灵思的SOC通过片内缓存数据的方式,搭载上大量的线上内存,最终有效降低了系统时延。不过,虽然FPGA有这么多好处,但仍有很多工程师因开发难度高而尚未尝试使用它。对此,赛灵思也给出了一套解决方案。”
针对嵌视视觉开发,赛灵思专门推出一款名为人性的堆栈。它是一套包含最底层平台和中间系统型开发工具,以及最上层框架与库的完整解决方案。在底层平台,赛灵思已经为客户定义好了一些标准且通过验证的硬件平台,包含很多传感器、USB接口、MIPI接口。用户可以直接在这个开发环境中选择某个硬件平台创建工程,即使是使用C、C++或OpenCL等高级语言,也能利用赛灵思优化过的OPEN CV和机器学习库快速部署自己的应用。
对此,赛灵思机器学习高级产品营销经理罗霖还通过讲解几位客户的真实案例,来展示赛灵思是如何帮助客户实现快速开发的。案例一是来自美国客户关于车厂盲区检测摄像头的大项目:基于赛灵思ZCE02的硬件开发平台,并利用了OpenCV的快速角点和密集光流算法两个库函数。“原本该项目使用的是赛灵思上一代SOC:ZC702,但在片内每秒只能跑0.5帧,这是一个非常慢的速度。而在换成新一代MC SOC后,我们通过使用赛灵思的一系列系统级开发工具和库并在无需客户写任何代码的情况下,直接将帧率提升到了12帧,且超出了客户最初希望达到每秒10帧的预期。”
而在先进的机器学习和深度学习领域,刚加入赛灵思的深鉴科技则带来了CNN解决方案。此方案具有先进架构包括专为CNN设计的ISA,以及功能强大的PE阵列和灵活的数据控制流,通用于各类神经网络且具有扩展性,支持不同尺寸的赛灵思器件。它还提供了一个类似于工具链的全栈SDK,能够大幅提高客户将深度学习移植到ABJ的效率。
得益于深鉴科技的CNN方案,赛灵思曾为美国汽车行业的一位大客户优化了基于神经网络的物体(包括车、行人、自动车等)检测功能,最终达到八通道每秒30帧的性能。另外一个成功案例是,赛灵思分别用SPN和SSD帮助某欧洲客户通过神经网络实现像素级分割和物体实时检测两大功能,并达到了每个通道(共4个通道)每秒15帧的效果。
“后续,我们将通过赛灵思的系统级开发工具SOC,进一步深度优化深鉴科技的 DPU IP和工具链。”赛灵思机器学习高级产品营销经理罗霖还补充道,“我们希望将深度学习、计算机视觉和传感器融合起来构建真实的嵌入式视觉系统,同时在一个芯片上运行多个不同的神经网络,以便客户实现差异化功能。”
在汽车雷达领域,赛灵思也有很多合作客户在做全高清环视系统、单双目的前视摄像头、疲劳驾驶监测系统等应用,甚至包括目前在国内非常热门的自动泊车系统,也有的已经开始规划自主泊车。具体的客户案例有如MINIEYE的3D BOX,可以检测汽车颜色,识别车牌、车道线、行人、红绿灯、交通标志、可行驶区域等信息。还有基于赛灵思深度学习的停车应用APA:采用4个鱼眼摄像头,可以检测车身周围的汽车和车位线等信息,从而帮助客户找到合适的车位并顺利泊车。