极视角联合英伟达亮相CNCC大会，分享极星平台的进阶之路

12月16日-18日，以“计算赋能加速数字化转型”为主题的第十八届中国计算机大会（CNCC2021）在深圳成功举办。在为期三天的大会中，超过600位国内外计算机领域知名专家、企业家到会演讲，大会设17个特邀报告、3场大会论坛、113场技术论坛，涵盖学术、技术、产业、教育、科普等多个方面，涉及超算、人工智能、大数据、量子计算、芯片、信息安全等32个方向。另外，大会还主办多个交流活动，力促产业界和学术界的沟通结合。

12月17日，极视角高级副总裁成望先生受英伟达邀请出席并进行主题分享，介绍了极视角是如何打造“极星”AI推理平台，并利用英伟达 TensorRT 加速AI推理效率的进阶之路。

极星：AI推理平台的诞生与搭建

在智能化转型的趋势下，人工智能产业及其带动规模始终维持较高增速。各行业在改善价值链、降本增效的内在需求驱动，和人工智能被列入“新基建” 的外在因素影响下，产生了多样化的转型升级需求。

“在AI落地的过程中，我们面临着场景、技术、厂商等带来的碎片化的挑战。算法部署复杂、多算法平台管理不统一、平台间数据没法打通，让AI算法或应用落地成为一件很痛苦的事情。”——极视角高级副总裁 成望

为了解决这些问题，极视角打造了一个能够实现开放、连接和解耦功能的平台——极星平台。

极星平台是基于极视角强大技术能力打造的AI应用开发及服务平台，致力于帮助企业客户快速完成AI能力的构建，依托极视角大量计算机视觉算法，建立统一多元的数据入口，提供边-云模型按需部署能力，实现AI自闭环，并通过可视化交互、应用服务以及标准API接口，低成本实现AI与业务的结合，快速构建智能应用。

△ 极星平台

极星平台 6 大功能模块

DashBoard

通过可视化分析，对核心指标进行监测，全面展示AI管理现状，辅助管理者掌握综合运行态势，提升监管力度和行政效率。

应用中心

作为窗口向终端用户提供可直接使用的AI应用及AI工具，同时也向应用开发者提供基于算法服务的API接口。

预警中心

通过实时视频分析以及实时报警信息，利用AI智能发现手段，高效完成预警监控事件的处理闭环。

接入中心

支持设备数据、业务数据以及其他平台数据的统一接入，为需求方提供所需数据及数据集的管理工作。同时，接入中心对内承担屏蔽不同接入协议适配的问题。

算法中心

为应用开发者提供大量业界领先的计算机视觉算法，同时配备了定制化算法及第三方算法离线部署模式，实现对算法的集约式管理。

管理中心

贯穿AI应用开发过程中涉及到各个环节的配置，包括：算法、策略、集群、视图库以及账户权限等。

极星平台 6 大产品优势

「快」一键部署

极星平台依托极视角算法商城，内置上千种成熟算法，覆盖100+行业，快速匹配场景需求；支持分钟级端到端部署，节约80%的基础环境搭建时间。

「览」实时分析

极星平台基于不同维度的数据对系统进行格栅化管理，通过可视化分析界面全面展示AI管理现状；毫秒级的事件报警，回溯完整事件，支持远程核查与处置，辅助管理者全面掌握运行态势，提升监管力度和工作效率。

「集」数据接入

极星平台满足市面常用智能设备及多源数据接入，兼容适配不同协议，实现所需数据及数据集的管理工作。

「用」标准接口

极星平台内置应用中心，既有可直接使用的AI应用及AI工具，还有标准的算法服务接口，轻松获取多算法能力。

「管」综合调度

极星平台承接多算法与不同数据的关系处理，基于业务需求满足不同场景不同配置的需求；支持多参数动态配置，实现多算法统一管理并提升算法工程化效率和复用能力。

「护」服务自治

极星平台以容器镜像方式部署，有效解决环境差异问题，降低平台维护成本。兼容K8S，支持灵活集群托管以及负载均衡，实现服务故障自动修复。

TensorRT 加速极星平台推理效率

“其实，随着落地项目的推进，我们发现光有平台是不够的，在对接行业客户的时候还会出现很多新的问题。”成望提到。

“一张卡只能跑一种算法？”“每个算法都需要单独配置？”“这系统的报警反馈也太慢了吧！”来自一线客户质疑的声音一次次警醒，提升算法推理效率、提升管理运维效率、算法分析的及时性和准确性等都成为平台亟待解决的问题。

经过多次评估，极星平台最终选择采用 NVIDIA TensorRT 和 NVIDIA T4 GPU 来提供支持。使用后，TensorRT 高效赋能极星推理平台，算法模型推理速度和推理效率较原来提升了近30倍，满足了客户对于算法实时效用的高要求。在应用过程中，不但可以与原生推理框架间实现兼容，而且可以与原始算法高效整合，因此在整体的技术结合和应用的过程中，算法兼容、整合和应用效率较原来提升了10倍。

在NVIDIA TensorRT + T4 GPU 双重赋能下，极星推理平台的算法推理效率得到了进一步的提升，更好地支持速接入各类算法、数据及智能设备，实现AI自闭环能力，并通过应用服务和标准化接口，帮助终端客户低成本实现AI与业务的结合，快速构建智能应用。

繁星算法，智能引擎。目前，极星平台联动视觉算法商城，拥有上千种成熟算法，覆盖 100+ 行业应用场景，算法全、行业广、零门槛、高精度、定制快、可集成，极星平台实现了多维度的全面升级。成为政企通往数字化、智能化世界的 AI “基建”。“未来，我们将会持续努力，打造更好用的底层平台，丰富多快好省的算法商城，让AI应用落地成为一件简单、高效的事情。”