为了打破当前人工智能在计算机视觉领域发展面临的数据困境,极视角联手微众银行推出的联邦学习功能正式上线。这是联邦学习在计算机视觉领域首次应用,将为人工智能技术的进一步发展带来全新的强劲动力。
人工智能与数据孤岛
某地铁部门向一家AI公司寻求帮助:
[地铁部门] :您好,我们需要一个智慧方案进行地铁站内的管理,能够及时对拥堵情况发出预警,尽快排除可能的安全隐患。
[ AI公司]:没问题,我们需要一定量的用户数据进行识别模型的训练~
[ 地铁部门 ]:好嘞,我们的数据多得很,有图像也有数字。
[ AI公司 ]:好的,请将用户数据上传到我们的服务器。
[ 地铁部门 ]:这不行,我们的数据很宝贵的,不能离开本地服务器!
[ AI公司 ]:我们可以派遣工程师驻场作业,这是额外的费用表~
[ 地铁部门 ]:这也不行,太贵了!
借助大数据驱动人工智能发展,推动各行各业的产业升级变革,是一个关于未来的美丽蓝图。
然而,理想很丰满,现实很骨感。由于行业竞争、隐私安全、政策条例等原因,数据之间的流通壁垒横生,将不同企业、行业隔绝为无法联通的“孤岛”。“孤岛”之间音信断绝,想要实现数据整合不过痴人说梦,传统的机器学习之路似乎就这样断开了。
这时候,肩负着连接“孤岛”的使命,名为【联邦学习】的船只出现了。 自年初消息发布以来(详见《微众银行&极视角AAAI2019会议正式发布联邦学习应用合作》),经过将近6个月的努力,极视角和微众银行两位“领航员”一起,将【联邦学习】船驶入计算机图像识别的“海洋”。来看看我们的“航行结果”吧!
1、什么是联邦学习?
传统的机器学习要求在单机或者集群上集中处理、训练模型,即要求将所有数据都上传至同一个服务器,这无疑存在着极大的安全隐患。
△传统机器学习
而联邦学习则是一种不同于传统机器学习、无需用户上传数据、安全性极高的全新的机器学习方式。基于联邦学习的机器学习,以联合模型为共享节点,用户只用在需要时将算法下载到本地,利用本地数据进行训练,训练完成后上传模型的变更部分,即可完成对联合模型的优化更新。同时,极市算法平台系统还会根据企业上传的模型差异进行平均化更新,进一步改善联合模型。
△基于联邦学习的机器学习
整个过程中,算法的训练和数据的运用都实现了本地化,既保护了用户的数据私隐,还极大加快了训练过程。
2、为什么需要联邦学习?
人工智能的发展依托两个基石:海量数据和高计算量。“云计算”的出现解决了高计算量的需求,而“大数据”则看似满足了人工智能发展的数据要求。
●杨强教授讲述微众银行与极视角的合作意义
但实际上,虽然企业的总数据量十分可观,但是数据之间并不共通,数据整合极其艰难;而另一方面,随着机器学习应用的进一步发展,数据的安全和隐私问题受到社会的广泛关注,各个国家和地区陆续出台了各式各样的数据保护措施,客观上对数据的获取和使用提出了更高的要求。
欧盟在2018年5月25日正式实施了史上最严的个人数据保护条例GDPR(通用数据保护条例),该条例强调机器学习模型必须具有可解释性,并且收集用户数据时必须是公开、透明的,用户可以要求经营者删除其个人数据并且停止利用其数据进行建模。
●Google在2019年1月21日成为根据该条例遭高额处罚的首家美国科技公司,罚款额高达5000万欧元
在这种数据获取愈发困难的前提下,传统机器学习已不能适应社会需求。于是,能够实现保安全、高效率、低成本等要求的联邦学习成为人工智能发展的新出路。
3、联邦学习的优势
保安全
相较传统机器学习,联邦学习的突破点在于它将模型训练和云端储存进行了切割。整个训练过程都在客户端本地进行,在不泄露用户个人数据的情况下更新算法模型,从根本上消除了用户对数据隐私和安全问题的担忧。
高效率
由于模型训练本地化进行,用户无需将数据上传至云端服务器,项目完成所需要的时间自然大大缩短。
低成本
在极市联邦学习系统中,联合模型根据各种不同用户的反馈进行优化和升级,用户只需花费极低的成本就能得到以前需要大量数据支持才能获取的结果。
联邦学习的首例计算机视觉领域应用
作为专业的计算机视觉与云端服务提供商,在与零售、地产、安防、医疗等30多个行业的300多家企业的长期合作过程中,极视角因为企业场景数据缺失、低质、获取困难等问题不断面临大大小小的开发和优化困难。
如今,极视角联手微众银行,首次将【联邦学习】引入计算机视觉领域,在极市算法平台上推出联邦学习系统。通过极市联邦学习系统,企业能够轻松拓宽数据应用范围,共享数据模型成果的同时免除对数据安全问题的忧虑,进一步降低AI技术的使用成本和数据门槛。
●联邦学习实际应用场景
我们相信,在计算机图像识别的“海洋”上,联邦学习这艘“大船”能够成功连接一个个数据的“孤岛”,使AI技术能够帮助更多企业更快、更好、更安全地冲破前方巨浪,真正实现人们心中美好的智慧生活愿景。
合作伙伴简介:微众银行
作为国内联邦学习的首倡者,微众银行AI团队在国际人工智能学会理事长,微众银行首席人工智能官(CAIO)杨强教授的带领下,推动着联邦学习技术的进一步拓展及应用。
从微众银行将联邦学习开源框架 FATE贡献给 Linux 基金会,到AIOSS发布了微众银行牵头制定的我国第一个联邦学习团体标准,都彰显着微众AI团队对推动联邦学习框架稳定、延续及发展的愿景。