原标题:智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能

近期,一部罪案题材的国产网剧《白夜追凶》广受欢迎,丰富细腻的人物刻画、电影质感的画面、紧凑却恰到好处的故事节奏为整个剧集加分不少,已在大家的惊喜中迎来了完结,故事暂告一段落,而观众们也在大结局留下的悬念中期待着第二季。

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

这部口碑爆棚的国产网剧是鲜有之作,它能获得如此的口碑和成就,其中一个原因在于其反常的剧情设定,为观众带来了不少惊喜。一个演员同时扮演双胞胎并不新奇,而这双胞胎兄弟之间互相扮演的剧情很有看点。他们由于其中一人身陷囹吾,不得不冒着风险共用同一身份,穿梭于警局与罪案现场,试图洗清冤情。

紧张刺激的节奏与悬念恰到好处的剧情设置吊足了观众胃口,在剧中神探“关宏峰”屡破奇案时,有一个不起眼的角色为案件侦破提供了重要线索——交通监控。

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

正是由于这张命案现场附近的交通监控画面,警方才能查到犯罪嫌疑人“安腾”的线索,进而推进整个案件的侦破。由于刑侦手段的局限,剧中警方从获得此交通监控画面直至找出“安腾”这个人花费了近一年的时间,但如果警方的交通监控中运用人脸抓拍摄像机,利用人脸检测、跟踪、属性识别等技术将抓拍人脸图片并提取人脸属性及特征数据,通过人脸识别技术在人脸库中比对识别出嫌犯身份,那么《白夜追凶》的结局会怎样?

随着嵌入式系统处理能力的增强,AI算法逐渐从大规模服务器转向前端部署。商科技依托计算机视觉原创技术积累、大规模数据积累和独创的深度神经网络加速算法,实现了在摄像机上进行人脸检测跟踪、属性识别、特征提取及比对。基于深度学习的算法,能够妥善应对安防场景下复杂的人脸的角度、光照、表情、年龄、遮挡、妆容等变化。

SenseDLC是商汤科技自主研发的嵌入式人脸识别软件,主要在业界主流的嵌入式平台(如Hi3519、Hi3531、Hi3536)上实现人脸检测、跟踪、属性识别,并可在VPU上实现人脸特征提取及比对功能。摄像机厂家无需更换现有的硬件平台即可完成人脸抓拍摄像机的开发;同时,增加成本较低的VPU平台,就可升级为人脸识别摄像机。

众所周知,在安防领域,众多摄像机厂家拥有优秀的硬件设计能力和成像控制技术,但智能算法的研发能力则落后于专业的人工智能公司。SenseDLC产品的推出,依托于商汤科技业界顶尖的人工智能算法研发能力,为摄像机厂家量身定做优秀的人脸识别算法,结合双方优势,打造成像效果、智能应用、产品成本均有巨大市场优势的产品。因此,SenseDLC不仅仅是一个人脸识别软件,而是整个安防摄像机市场的“赋能者”,可全面提升整个行业产品的智能化水平。

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

随着人工智能的快速发展,各项智能算法也在安防行业有了更多的应用。其中,人脸识别技术无疑是应用最广泛的人工智能算法。

但是,受制于前端摄像机硬件平台的计算能力,视频数据需要传输到数据中心的大规模计算服务器上进行处理。为降低数据传输、存储、处理的成本,部分厂家选择将TX1 等GPU硬件平台部署到摄像机上进行协处理。GPU平台虽然拥有强大的计算能力,但是存在体积、功耗、散热等问题,且产品价格较高。基于FPGA的解决方案,则开发周期长、算法灵活性相对较差。

另外,这种方案在产品设计时要完全推翻已有的硬件架构,因此,对于摄像机厂家来说,这种方案落地难度大、时间久,需要在算法指标和成像质量之间找到平衡,单一算法厂家或摄像机厂家很难单独完成产品开发。

而商汤科技推出的SenseDLC产品,是针对现在主流的硬件平台进行针对性算法优化,凭借出色的计算机视觉算法性能和独有的深度神经网络压缩技术,将深度学习部署到相机硬件上,能完全发挥相机自有硬件平台的能力,从而在性能方面完全满足在监控场景下的需求。由各摄像机厂商完成自己擅长的硬件设计、成像控制,由SenseDLC实现智能算法部署,分工明确,各展所长。在最终的摄像机产品上,兼有商汤科技的算法优势,又有摄像机厂家的成像优势,从而更能适应市场需求。此外,在产品成本方面,也具有更强的竞争力。

简而言之,专业的人做专业的事,SenseDLC只为摄像机“赋能”,与摄像机厂家合作共赢,一起推动整个行业的发展。

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

SenseDLC软件架构

对于人脸抓拍摄像机来说,最重要的莫过于能否准确抓拍到人脸。而在这一点上,SenseDLC的表现非常优秀,在各种场景下的综合抓拍率超过98.6%,误检率低于0.5%,在多个合作伙伴的评测和项目落地中均取得了很好的效果,在硬件平台性能较低的情况下,抓拍率、误检率、重复抓拍率三个核心指标的表现超过了使用FPGA或TX1 GPU平台的产品。这样的表现是怎样实现的呢?我们通过技术层面来为大家剖析:

1 视频人脸检测跟踪核心技术积累

SenseDLC产品的检测跟踪算法依托于商汤科技深厚的计算机视觉原创技术积累,在人脸检测、跟踪技术上保持全球领先。不同于业内常见的只比速度不比性能,或者只比性能不比速度的评测方法,商汤科技研发团队采用产品端直接评测的方式,在实际使用中的速度、准确率限制下,来评测算法能力。SenseDLC部署在相机上的人脸检测算法,在FDDB人脸检测标准测试集上,FPPI(平均每张图误报个数)在1%的时候,召回率超过2017年CVPR(计算机视觉和模式识别国际会议)上的最好结果(HR) 3个百分点的同时,实现数千倍的加速。此外,针对视频流,商汤科技还依托强大的视频分析技术,利用视频所提供的序列息,进一步提升人脸检测跟踪效果,算法能够随着视频内容的变化迅速定位人脸位置,同时应对遮挡、交叉、快跑、轨迹突变等。SenseDLC在产品端可实现对于1080P全高清视频流实时人脸抓拍,可经受单帧32人的压力测试。在实际应用场景下,算法可以实现98.6%的综合抓拍率。

2 对于极端情形(Corner cases)的优化能力

在人脸识别领域,复杂环境的算法鲁棒性一直是难点,而SenseDLC的研发过程中,快速响应客户需求,不断解决客户落地痛点。依托研发团队的快速迭代能力,SenseDLC在暗光、背光、拥挤、遮挡、大角度、低头、小脸等场景下均可以抓拍到人脸,确保过人留图。其中,人脸检测跟踪可支持偏航角yaw [-90°, 90°]、俯仰角pitch [-45°,45°]、翻滚角roll [-45°,45°]的人脸角度,同时可支持最小30*30像素人脸大小。

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

背光条件下的人脸检测

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

大场景小人脸检测

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

侧脸、低头、遮挡人脸检测

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

墨镜、口罩等人脸遮挡

对人脸抓拍摄像机来说,抓拍率高只是基础,而要真正达到良好的使用,则必须降低重复抓拍率,保证同一个人当次经过时只抓拍一张质量最好的图片。一方面减少传输图片的数量,降低网络传输和后端计算压力;另一方面减少低质量人脸图片,保障人脸识别的精度。

而SenseDLC在重复抓拍率方面的表现同样十分优异,综合重复抓拍率实测低于5%。这一点得益于商汤科技独创的人脸轨迹跟踪算法及质量判断机制,从人脸运动轨迹中根据人脸图片质量,自动选取最佳的人脸图片进行抓拍。

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

人脸跟踪展示

此外,SenseDLC在Hisilicon主控平台上使用时,无需对视频进行二次编解码处理,保证抓拍图片的质量。

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

抓拍图片质量高

人脸抓拍率、重复抓拍率和质量判断的优化使得SenseDLC在性能方面保持领先,而如何提高产品的可用性,以便适用更多的应用场景,这也是人脸识别算法需要解决的问题。

在这方面,SenseDLC也是做足了功夫,从属性识别入手,针对不同的应用场景,提供了包括年龄、性别、种族、表情、饰物等多达21种的属性类型,可以让摄像机更好地实现人脸解析。在安防应用中,可以用这些属性标签来查找嫌疑人,而不用人工查阅海量的视频录像,提高破案的效率;而在商业应用中,可以根据这些属性标签来实现客流统计、顾客满意度分析、服务态度分析等可以帮助销售的工作。

而对于属性识别的性能方面,SenseDLC的表现非常惊艳,各属性精度可达:性别98%,年龄95%,种族90%,表情90%,其它95%以上。同时,识别速度方面,在arm上可实现140ms/张,在VPU上,更是可达70ms/张,大大高于监控场景峰值5张/秒的实际识别需求。

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

属性识别

人脸抓拍的问题搞定了,那能不能直接在前端做识别呢?SenseDLC给出的答案是肯定的。在ARM平台的基础上增加一块专业的图形处理芯片VPU就可以把人脸抓拍摄像机升级为人脸识别摄像机了。而摄像机的整体硬件架构基本无需改动,且成本远低于FPGA方案和GPU方案。最重要的是,在识别精度这一最重要指标上——受益于商汤科技优秀的人脸识别算法,可保证业界领先的水平。

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

SenseDLC的人脸识别模块支持万人库,最大30000人,在1万人规模的底库下,识别率能达到94%。同时,因为针对硬件平台做的大量底层库优化工作,在计算效率上远远优于硬件平台厂商提供的加速库库,加速效果提升了3倍以上;且算法也进行了针对硬件做了优化,特征提取速度可达75ms/张,特征比对速度更是只需要10ms以下,除了可以处理从视频中抓拍的人脸图片外,还可以同时支持其它来源图片的检测识别。一台摄像机即可作为一个人脸识别系统来使用。

SenseDLC采用前端嵌入式人脸识别算法,在在前端实现人脸检测跟踪、属性识别、人脸识别功能,满足人脸识别的全部功能需求,免去了服务器的视频解码和人脸检测工作的同时,大大节省了服务器的计算量,使得服务器可以同时处理更多路的摄像机,真正实现前端智能化。

而小体量、多功能就意味着部署更加灵活,可以应用在更多的场景,如公安人脸布控、小区门禁、公共交通监控、零售行业客流分析云服务以及移动查控系统等。

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

公安人脸布控架构图

智能监控破奇案?SenseDLC出将入相 为人脸抓拍摄像机赋能-汇美优普

客流分析云服务架构图

安全防范方面,除了摄像机本身的监控功能之外,SenseDLC为摄像机提供的人脸识别功能大大的提升了智能化水平,通过从数据量较大的视频中提取人脸图片、特征数据、属性数据等真正有效的数据之后再去检索、比对,可大大节约时间和资源,提升安防效率,成为案件侦破、嫌疑人抓捕时的先锋大将。

而在大数据分析方面,SenseDLC采集的人脸图片、属性数据、特征数据及报警数据等可为各行业应用的大数据分析平台提供数据支撑,让机器代替人类思考,为用户出谋划策,成为决策者的谋士贤相。

在未来,研发人员将不断地对SenseDLC的算法进行优化,并将会支持更多硬件平台,敬请期待。10月29日至11月1日,深圳会展中心将会举办2017第十六届中国国际社会公共安全博览会(简称“安博会”),届时商汤科技的SenseDLC将会与其他安防产品一起在1号馆C41展位展出,感兴趣的朋友欢迎到现场体验、咨询,我们期待您的参与!

注:以上性能测试数据均为Hi3519平台上的实测数据。