赛灵思在去年底推出了新的开发者计划(Xilinx Developer Program),提供了一个全新的开发者网站,开发者可以在这里找到包括Vivado、Vitis、Vitis AI等开发资源。还提供给开发者40多个免费训练模块,根据赛灵思平台创建了很多点播培训课程。此外,该公司还将推出开发者认证计划,针对不同的开发者有不同的培训课程,这个计划对于所有开发者都是免费的。
今年初,赛灵思的应用商店 (Xilinx App Store)上线了,目前有200多个面向Alveo加速卡和云相关的应用。6月,赛灵思还推出了Kria SoM 自适应系统模块产品组合,在应用商店里已经拥有7个面向Kria SoM的应用。
在工具采用方面,Vitis下载量已经超过15万次,Vitis AI下载量超过10万次。开发者计划推出8个月以来,目前有超过10000的注册人数。
新工具也在不断问世,今年6月底推出了基于机器学习的 VivadoML版本,在 Vivado 环境里使用了很多机器学习技术来进一步提升布线时延的优化,并进行一些模块化设计,从而将结果质量 (QoR)平均提升10% (在不同的测试的用例中甚至会提高50%)。此外,还推出了一个基于可重配置模块的层级化编译,用户可以定义自己的模块,可以进行增量编译和并行编译,编译时间会大大缩短。
用于视频分析的AI推理市场前景广阔
赛灵思于9月初推出了一个新的工具叫 Vitis Video Analytics SDK,,主要用于构建和部署基于AI的智能视频分析。目前,AI推理市场有很大发展空间,从2020到2027年,该市场以年均35%的复合增长率增长。AI推理可分为两大类应用:一是与视频图像相关的,另外一类是语音,包括自然文本的处理,推荐类的应用。据公开的市场分析报告和赛灵思预测,大概有55% 的AI推理是基于图像视频应用,所以,视频分析是这里面增长速度最快的细分市场。很多客户有这方面的需求。
视频分析的具体应用案例很多:如智能泊车,对停车厂的智能管理、空位分析、数据提取等;在智慧城市里面,对行人和车辆的流量分析,交通路口的壅塞分析,可以关联到智能交通灯系统;还有一些重要的基础设施建设,如电力自动巡检。
罗霖表示:“我们看到一个趋势:过去,在这些领域里有不少用户采用传统的计算机视觉,目前,AI分析正在迅速取代这些传统的计算机视觉,因为它可以提取更多特征,而且在很多场合下,它的精度更高。”
Vitis Video SDK就是为了满足这方面的市场需求。如下图所示,底层是基于赛灵思的嵌入式平台,如Alveo,上面是基于赛灵思的Vitis、Vitis AI,中间提供了基于主流的Gstreamer这样一个开放的多媒体协议,它提供了各种各样的插件,如视频编解码插件,图像预处理插件,还有DPU插件,这是专门用来运行这些AI模型的。Vitis Video SDK提供了C++和python编程接口,无需用RTL进行编程,可以实现很高的开发效率,开发者可以基于它来构建很多应用,如智慧城市、智慧零售、智慧医疗、智慧建筑等。
据罗霖介绍,在性能方面,赛灵思做了一些评测,包括两部分:一是针对嵌入式平台,比如赛灵思最新的Kria SoM,根据视频解码预处理加上车牌识别这样一个案例场景,在一个Kria SoM里面可以运行三路,而英伟达的Jetson Nano和TX2只能运行1-2路,所以,赛灵思可以提供比他们高1.5到3倍的性能;二是基于Alveo加速卡,如Versal VCK5000,运行视频解码预处理加上目标检测和目标分类这样一个案例场景,一个VCK5000可以做到32路,而一个主流的T4大概是16路,所以,赛灵思可以提供2倍的吞吐率。