返回

极视角联合英伟达亮相CNCC大会,分享极星平台的进阶之路

来源:极视角科技 2021-12-22

12月16日-18日,以“计算赋能加速数字化转型”为主题的第十八届中国计算机大会(CNCC2021)在深圳成功举办。在为期三天的大会中,超过600位国内外计算机领域知名专家、企业家到会演讲,大会设17个特邀报告、3场大会论坛、113场技术论坛,涵盖学术、技术、产业、教育、科普等多个方面,涉及超算、人工智能、大数据、量子计算、芯片、信息安全等32个方向。另外,大会还主办多个交流活动,力促产业界和学术界的沟通结合。


12月17日,极视角高级副总裁成望先生受英伟达邀请出席并进行主题分享,介绍了极视角是如何打造“极星”AI推理平台,并利用英伟达 TensorRT 加速AI推理效率的进阶之路。

极星:AI推理平台的诞生与搭建

在智能化转型的趋势下,人工智能产业及其带动规模始终维持较高增速。各行业在改善价值链、降本增效的内在需求驱动,和人工智能被列入“新基建” 的外在因素影响下,产生了多样化的转型升级需求。

“在AI落地的过程中,我们面临着场景、技术、厂商等带来的碎片化的挑战。算法部署复杂、多算法平台管理不统一、平台间数据没法打通,让AI算法或应用落地成为一件很痛苦的事情。”——极视角高级副总裁 成望

为了解决这些问题,极视角打造了一个能够实现开放、连接和解耦功能的平台——极星平台。

极星平台是基于极视角强大技术能力打造的AI应用开发及服务平台,致力于帮助企业客户快速完成AI能力的构建,依托极视角大量计算机视觉算法,建立统一多元的数据入口,提供边-云模型按需部署能力,实现AI自闭环,并通过可视化交互、应用服务以及标准API接口,低成本实现AI与业务的结合,快速构建智能应用。

△ 极星平台

极星平台 6 大功能模块

DashBoard

通过可视化分析,对核心指标进行监测,全面展示AI管理现状,辅助管理者掌握综合运行态势,提升监管力度和行政效率。

应用中心

作为窗口向终端用户提供可直接使用的AI应用及AI工具,同时也向应用开发者提供基于算法服务的API接口。

预警中心

通过实时视频分析以及实时报警信息,利用AI智能发现手段,高效完成预警监控事件的处理闭环。

接入中心

支持设备数据、业务数据以及其他平台数据的统一接入,为需求方提供所需数据及数据集的管理工作。同时,接入中心对内承担屏蔽不同接入协议适配的问题。

算法中心

为应用开发者提供大量业界领先的计算机视觉算法,同时配备了定制化算法及第三方算法离线部署模式,实现对算法的集约式管理。

管理中心

贯穿AI应用开发过程中涉及到各个环节的配置,包括:算法、策略、集群、视图库以及账户权限等。


极星平台 6 大产品优势

「快」一键部署

极星平台依托极视角算法商城,内置上千种成熟算法,覆盖100+行业,快速匹配场景需求;支持分钟级端到端部署,节约80%的基础环境搭建时间。

「览」实时分析

极星平台基于不同维度的数据对系统进行格栅化管理,通过可视化分析界面全面展示AI管理现状;毫秒级的事件报警,回溯完整事件,支持远程核查与处置,辅助管理者全面掌握运行态势,提升监管力度和工作效率。

「集」数据接入

极星平台满足市面常用智能设备及多源数据接入,兼容适配不同协议,实现所需数据及数据集的管理工作。

「用」标准接口

极星平台内置应用中心,既有可直接使用的AI应用及AI工具,还有标准的算法服务接口,轻松获取多算法能力。

「管」综合调度

极星平台承接多算法与不同数据的关系处理,基于业务需求满足不同场景不同配置的需求;支持多参数动态配置,实现多算法统一管理并提升算法工程化效率和复用能力。

「护」服务自治

极星平台以容器镜像方式部署,有效解决环境差异问题,降低平台维护成本。兼容K8S,支持灵活集群托管以及负载均衡,实现服务故障自动修复。


TensorRT 加速极星平台推理效率

“其实,随着落地项目的推进,我们发现光有平台是不够的,在对接行业客户的时候还会出现很多新的问题。”成望提到。

“一张卡只能跑一种算法?”“每个算法都需要单独配置?”“这系统的报警反馈也太慢了吧!”来自一线客户质疑的声音一次次警醒,提升算法推理效率、提升管理运维效率、算法分析的及时性和准确性等都成为平台亟待解决的问题。

经过多次评估,极星平台最终选择采用 NVIDIA TensorRT 和 NVIDIA T4 GPU 来提供支持。使用后,TensorRT 高效赋能极星推理平台,算法模型推理速度和推理效率较原来提升了近30倍,满足了客户对于算法实时效用的高要求。在应用过程中,不但可以与原生推理框架间实现兼容,而且可以与原始算法高效整合,因此在整体的技术结合和应用的过程中,算法兼容、整合和应用效率较原来提升了10倍。

在NVIDIA TensorRT + T4 GPU 双重赋能下,极星推理平台的算法推理效率得到了进一步的提升,更好地支持速接入各类算法、数据及智能设备,实现AI自闭环能力,并通过应用服务和标准化接口,帮助终端客户低成本实现AI与业务的结合,快速构建智能应用。

繁星算法,智能引擎。目前,极星平台联动视觉算法商城,拥有上千种成熟算法,覆盖 100+ 行业应用场景,算法全、行业广、零门槛、高精度、定制快、可集成,极星平台实现了多维度的全面升级。成为政企通往数字化、智能化世界的 AI “基建”。“未来,我们将会持续努力,打造更好用的底层平台,丰富多快好省的算法商城,让AI应用落地成为一件简单、高效的事情。”


- END -