大规模语言模型、类脑芯片、量子AI，这就是后深度学习时代的AI未来吗？

大规模语言智能如何为商业搭建桥梁?AI计算的未来突破在于类脑芯片吗?当人工智能遇上量子计算,又会展现出怎样的场景?作为WAIC期间内容最硬核、最受AI开发者关注的技术活动,今年的WAIC·AI开发者论坛以「后深度学习的AI时代」为主题,邀请到了全球最具影响力的学术泰斗、企业高管、技术专家为开发者们带来了最前沿的分享。

2021 WAIC世界人工智能大会已于近日在上海落幕。

7 月 10 日,在机器之心承办的WAIC·AI开发者论坛上,阿里巴巴副总裁 & 达摩院语言技术实验室负责人司罗、类脑芯片研究领军人物及SynSense时识科技联合创始人和首席科学家 Giacomo Indiveri、中国惠普有限公司副总裁暨大中华区个人信息产品事业部总经理周信宏、登临科技创始人兼 CEO 李建文、RISC-V 国际开源 (RIOS) 实验室执行主任谭章熹、上海交通大学特聘教授陈海波、百度研究院量子计算研究所所长段润尧、好未来集团技术副总裁吴中勤、九章云极 DataCanvas 董事长方磊、云天励飞副总裁 & AI 产品中心负责人肖嵘、知乎合伙人兼 CTO 李大海、思谋科技联合创始人兼技术负责人刘枢博士以及 MindSpore 开源社区运营负责人黄之鹏等多位 AI 产业界代表进行主题演讲。

此外,机器之心于2021WAIC·AI开发者论坛期间启动 ‘AI开发者十问’ 特别策划,该策划将在接下来的一年内滚动邀请中外人工智能顶级专家向全球AI开发者分享专业研究洞见,解读最新的AI技术突破,解答AI开发者关心的趋势性问题。通过‘开发者十问’特别策划,机器之心将持续为全球AI开发者打造高质量的专业内容,为全球人工智能开发者提供最前沿的学术趋势,促进中外AI技术社区间的交流互动。特别策划内容将在机器之心旗下多渠道华语内容平台及英文AI科技媒体品牌Synced Review滚动首发。

除了这些精彩的主题演讲,WAIC·AI开发者论坛还揭晓了今年的WAIC·云帆奖得主,现场颁发了WAIC·黑客松奖杯。欢迎大家关注机器之心公众号了解云帆奖与黑客松获奖详情。

阿里巴巴副总裁司罗大规模语言智能为商业搭建桥梁

自2018年以来,谷歌BERT、OpenAI GPT-3等大规模预训练语言模型逐渐成为NLP界的主流,不仅可以完成问答、翻译、小说创作等一系列NLP任务,更开始了语言模型的商业化探索,催生一系列落地应用。「炼大模型」,为什么成为了NLP领域的大势所趋?

2021 WAIC•AI开发者论坛,阿里巴巴副总裁、达摩院语言技术实验室负责人司罗分享了「大规模语言智能如何为商业搭建桥梁」的主题内容。

说到自然语言智能领域的发展现状,司罗总结了三个关键点:

1.深度语言模型突破式发展, 引领重要自然语言技术取得进展;

2.公有云NLP技术服务从通用功能走向定制化服务;

3.自然语言技术逐步与行业/场景紧密结合, 产生更大价值。

第三个方向是各大科技巨头奋起争先的重点方向。阿里巴巴达摩院是最早投入预训练语言模型研究的团队之一,2017年10月,阿里巴巴成立了专注于自然语言智能的达摩院语言技术实验室,成立3年多来,达摩院语言技术实验室在国内外各类技术评测中取得了多项优异的成绩,并把完善后的技术沉淀到自身打造的自然语言技术平台中。

平台技术背后,是Alicemind自然语言预训练体系。AliceMind包括通用语言模型 StructBERT、多语言VECO、生成式PALM、多模态StructVBERT、结构化StructuralLM、知识驱动LatticeBERT、机器阅读理解UED、超大模型PLUG 等,目前大部分已经开源。

AliceMind具有阅读、写作、翻译、问答、搜索、摘要生成、对话等多种能力,目前已成为阿里的语言技术底座,日均调用量超过50亿次,活跃场景超过200个,已在跨境电商、客服、广告等数十个核心业务应用落地。未来,AliceMind将持续完善,向着更加智慧的方向发展,并持续进行生态技术开源。

类脑芯片研究领军人物、SynSense时识科技联合创始人Giacomo Indiveri

AI计算的未来突破在哪里

作为类脑芯片设计领域的绝对权威,Giacomo Indiveri教授具有20多年的模拟与混合信号硬件设计经验,并曾三次获得ERC欧洲研究理事会经费支持,这在类脑芯片领域前无古人。Giacomo Indiveri也是「类脑计算概念提出者」、加州理工学院传奇人物Carver Mead的学生之一。

2021 WAIC•AI开发者论坛,Giacomo Indiveri通过视频连线的方式进行了主题为《仿生的低功耗人工智能计算系统》的演讲。

Giacomo Indiveri先是回顾了近年来人工智能领域的突飞猛进。2011年,第一个使用反向传播方法训练的卷积神经网络大获成功。反向传播和卷积神经网络均早已被提出,但那一次获得真正令人印象深刻的性能,要归功于算力的提升和数据量的增长。

但我们仍注意到,现有计算模式仍需消耗大量资源在存储及功耗上。如何改善这些问题?最有希望的方法之一就是类脑计算,这恰好是SynSense时识科技聚焦的领域。

2017年3月,Giacomo Indiveri教授与其学生乔宁博士(现任SynSense时识科技CEO兼董事长)在瑞士苏黎世成立aiCTX公司,并在中国和瑞士两地积极推动可商用的类脑芯片研发。2020年4月母公司落地中国,之后又将aiCTX更名为SynSense时识科技。

仿真的人工神经网络真正的特征在于大规模的权重乘法或矩阵乘法,人工神经网络也会有类似加权的输入,但物理学在此类计算过程中发挥着更重要的作用,而突触不只是在做乘法。因此前者实际上是一种运行在计算机和GPU上的算法,生物神经网络真正使用的是时间-空间域运算和物理学。因此,人工智能领域需要一场计算范式方面的彻底转变。标准的计算基本基于冯诺依曼架构,CPU与内存的数据往复消耗了很多能量,而CPU内部的计算是很高效的,比大脑内部传输数据的成本更低。

一直以来,SynSense时识科技都在从事类脑芯片的设计,推出了DYNAP-SE2、DYNAP-CNN、SPECK、XYLO等系列类脑芯片。在当前的类脑芯片领域,市场上依然没有出现量产的可商用的类脑芯片。Giacomo Indiveri教授曾表示:「我们研发类脑芯片并不是要取代CPU和GPU,而是要提供可以放在机器人和物联网终端设备的实时传感,是一个非常低功率,紧凑而小型的计算单元。」

中国惠普有限公司副总裁周信宏

AI 基础设施——边缘计算演进及趋势

近年来,AI从实验室走向大规模的商业应用,在金融、农业、医疗、文娱、交通等众多领域加速落地,深刻改变着人们的生产、生活和学习方式。与此同时,人工智能的加速落地带来了爆发式的数据增长,对未来的计算力提出了新的挑战。面向高速发展的智能时代,边缘计算凭借着其独有的先天优势,可以有助于满足未来更多样化的应用场景需求。

2021 WAIC•AI开发者论坛,中国惠普有限公司副总裁周信宏从边缘计算的角度,分享了惠普的经验与思考。

边缘计算的诞生可以追溯到1998年,但「边缘计算」这一概念正式被提出的时间是2013年,边缘计算的发展经历了一系列的探索和架构的演变。到了2020年,5G技术落地开始加速边缘计算的成熟和应用,同时惠普以突破性的技术推出了Z系列数据科学工作站,助推边缘计算的发展。

周信宏介绍说,随着边缘计算的发展,广泛的应用场景正在带来更加多元化的市场需求,可以总结为四个关键词:算力强劲、灵活敏捷、稳定可靠、经济实用。

正是基于对前沿趋势、用户需求的洞察,惠普打造了包含数据采集工作站、微型工作站、Z8 Multi-GPU工作站、VR可穿戴设备以及Data Science Stack在内的Z系列革命性产品,以多形态产品满足不同应用场景的计算需求,以一体化的解决方案助力行业实现创新突破。

惠普数据科学工作站的强劲性能可以满足对计算性能要求最为严苛的行业需求,尤其是在 AI已经广泛应用的安防、文娱、医疗、零售、汽车等领域,都有惠普数据科学工作站的身影。

面向未来, 5G、物联网的不断发展将带动边缘计算向更广泛的领域渗透,周信宏表示,惠普将继续携手软件、硬件以及行业伙伴,通过整合硬件技术与合作伙伴的软件开发成果,拓展技术应用的使用场景,搭建多方共赢的生态系统,共同借助创新技术引领行业生产力变革,合力缔造一个更加美好的智慧未来。

登临科技创始人兼CEO李建文

AI新时代下的软硬件协同异构计算平台GPU+

2019 年,OpenAI发布的AI算力报告显示:AI计算量每年增长10倍。从AlexNet到AlphaGo Zero,AI模型对计算量的需求增长了30万倍。激增的 AI 算力需求远远超出了摩尔定律的客观发展规律,加之传统GPU在AI加速方面存在局限,因此业界亟需出现满足新时代下AI算力巨大需求的全新GPU产品。

2021 WAIC•AI开发者论坛,登临科技创始人兼CEO李建文就该主题与现场观众展开交流分享,并介绍了其公司在该领域的探索GPU+架构以及在商业化落地方面的进展。

李建文指出,算力是由计算机提供,计算机的核心技术是半导体和芯片,但过去几十年,它们的更新和计算性能的提升大大放缓。功耗、散热也是造成计算机性能提升放缓的重要原因。

GPU是解决AI问题的三大核心动力之一,但对于AI应用来讲,GPU整体架构的计算密度提升不快,效率不高。片上内存子系统对于AI计算来讲效率非常低。所有这些都呼吁业界推出全新的GPU产品。登临科技推出了片内异构架构GPU+以及Goldwasser系列产品。

作为国内目前唯一规模量产的 GPGPU高性能通用AI加速器,Goldwasser在现有市场主流的GPU架构上,创新性地采用软硬件协同的异构设计,解决了通用性和高效率的双重难题,在国内外申请了多个核心专利,部分已获得授权。

Goldwasser具有多个亮点,包括完全自主创新架构GPU+、同时支持推理和训练、无缝接入现有软件生态、在12nm/14nm工艺上取得与国际主流同类产品3倍以上效能优势等。

此外,Goldwasser覆盖主流系统生态,支持主流国内外AI计算框架和适配国内外主流CPU厂家,应用场景覆盖视频审核、AI创作、智能安防等。

RISC-V国际开源(RIOS)实验室执行主任谭章熹

RISC-V——从开源芯片制造、EDA到处理器

在CPU架构领域,Arm和x86占据了绝大部分市场份额。但是,Arm收费授权模式和x86不对外授权使得芯片研发企业纷纷转向开源架构RISC-V。

2021 WAIC•AI开发者论坛,RIOS实验室执行主任谭章熹、睿思芯科创始人兼董事长谭章熹从开源芯片、EDA和处理器全方位分享了RISC-V在芯片领域的重要作用。

谭章熹首先介绍了 RIOS实验室,它是一个致力于RISC-V开源指令架构生态建设的非盈利组织。接着他从transistor架构、单线程性能、频率、典型功耗和多核等方面解读了微处理器的发展,并分析了芯片性能与成本之间的变化。

计算机的发展基于指令集架构(ISA),但Arm、x86的私有性造成了封闭,RISC-V应运而生。RISC-V在全球50个国家有2000多个成员。到2025年,市场将消耗624亿个RISC-V CPU核心,工业领域167亿个。2010年至今,RISC-V经历了四个阶段的发展。

处理器的发展依赖生态系统的建设和开源。RIOS实验室发布了全球首个可运行Linux的全开源RISC-V微型电脑系统PicoRio项目,构建更透明、低功耗、定制能力强的高效能边缘计算平台。未来PicoRio的软硬件发展将分为3个阶段,通过整个开源平台,探索RISC-V软硬件生态。

最后,谭章熹呼吁大家积极参与开源项目的贡献,不断促进开源社区的发展。

上海交通大学特聘教授陈海波

AI原生计算机系统——机遇与挑战

人工智能发展的三大要素包括算力、算法、数据,其驱动力可总结为算法引领+系统支撑。在未来时代,计算机系统将带来哪些机遇与挑战?

2021 WAIC•AI开发者论坛,上海交通大学特聘教授陈海波分享了「AI原生计算机系统:机遇与挑战」的主题演讲。

陈海波教授认为,首先对于整个系统而言,如果把系统分成三层来看,有硬件抽象、操作系统、系统框架。在AI时代,计算机系统面临一些新的机遇,包括BY AI(发挥AI算力)、USE AI(运用AI方法)、FOR AI(支撑AI应用)。

AI原生计算机系统目前面临三大挑战,挑战一:如何实现新型异构智能硬件的高效抽象?挑战二:如何实现智能算法与传统设计互补协作?挑战三:如何兼顾智能应用(各任务)的多样需求?

接着,陈海波教授从三个层面进行了介绍。

•首先,如何发挥AI算力,即BY AI。系统软件如何发挥智能硬件价值?陈海波教授认为有两种尝试:第一种是智能网卡的高效抽象方式;第二种是面向AI芯片的实时支撑,从而更大的发挥智能硬件效率。

•第二,运用AI方法,即USE AI。人工智能为系统软件带来新方法:人工智能赋能系统软件。可尝试将智能方法应用于分布式存储(Learned Cache)。

•第三,如何去支持AI的应用,即FOR AI。陈海波教授以图神经网络框架为例进行了讲解。FOR AI在系统方面可以做优化,可以让系统软件更好支撑智能应用,通过面向图神经网络的通用计算框架,结合下面底层框架可以对系统效率有非常显著提升。

陈海波教授认为,现在计算机系统软件研究迎来黄金时期:第一,AI对于计算机系统研究进入新维度,从人工智能赋能系统软件设计的维度,提供新思想、新方法,使传统方法和智能方法进行更好融合;第二,可以用系统软件更好支撑人工智能的应用,带来一些新需求,提出新动力。使得能够有机会去重新思考经典技术在新兴场景下的重生。

百度研究院量子计算研究所所长段润尧

量子人工智能——从理论到实践

当前,人工智能和量子计算早已经是各自领域炙手可热的研究话题。现如今,人工智能在智慧医疗、智能驾驶等领域开始被广泛应用,其产业化获得了令人瞩目的效果。量子计算也是推动数字社会进步的一把利器。当人工智能遇上量子计算,将展现出怎样的场景?

2021 WAIC•AI开发者论坛,百度研究院量子计算研究所所长段润尧分享了「量子人工智能:从理论到实践」的主题演讲。

为什么我们需要量子计算?段润尧认为主要原因有三。一是逻辑上的必然性:经典逻辑存在困局,必须推广经典比特和逻辑门到量子情形。二是技术上的必然性:理论预估的极限实际上已经达到,芯片设计必须考虑量子效应。三是应用上的必然性:经典计算机模拟量子系统通常需要指数多的时间效率低下,而量子计算机几乎可以高效模拟自然界中所有量子系统。同时,段润尧表示量子计算已上升为国家战略,其市场趋势未来可期。

目前,量子计算的应用领域包括密码安全、人工智能、量子化学、材料模拟等。量子计算与人工智能正在深度融合。量子人工智能在算法、框架、硬件三个层面进行AI基础能力的创新突破,预计在准确率提升的同时大幅降低时间和能源成本。

百度量子计算研究所成立于2018年3月8日,以实现「百度量子,量子百度」为使命,制订了QAAA战略规划:聚焦量子算法(Quantum Algorithm)、量子人工智能(Quantum AI)和量子架构(Quantum Architecture)的研发,并初步建成了以量脉、量桨、量易伏三大项目为主体的百度量子平台。百度量子平台旨在扮演量子时代操作系统的角色,降低普通用户学习量子软硬件专业知识的成本,使非量子专业用户也能实现量子编程、量子机器学习等相关内容。

其中量易伏重磅升级至2.0版本,成为国内首个接入量子计算真机的云原生量子计算平台,提供从应用到真机的一站式量子计算服务。量易伏通过接入中科院物理研究所的超导量子比特芯片,以及诸如混合语言支持、QCompute SDK、云上量子IDE、自动化模块工作流等技术,打造企业级量子计算开发环境。

百度的量子生态是一个开放、可持续的生态,通过为用户与开发者提供量子服务、和研究机构与高校开展项目合作、主办或赞助领域顶级会议等多种途径持续为量子计算的发展和繁荣作出贡献,力争实现「人人皆可量子」的美好愿景。

好未来集团技术副总裁吴中勤

多模态机器学习及大规模自动生成技术

多模态机器学习(MultiModal Machine Learning,MMML)旨在从多种模态建立一种模型,能够处理和关联多种模态的信息,解决单一模态模型无法解决的问题。

2021 WAIC•AI开发者论坛,好未来集团技术副总裁吴中勤为我们解读了多模态机器学习及大规模自动生成技术,并介绍了好未来AI 研究院的最新研究成果及成功案例。

基于数据的异构性,MMML领域总体有五种研究方向:表征、转换、对齐、协同和融合。在教育领域存在很典型的多模态场景,好未来是国内顶尖的教育科技企业,课堂中师生互动、授课质量评价等问题都需要该领域的技术支撑分析和解决。

好未来AI研究院研发的Godeye授课质量分析系统,是针对授课过程中老师/学生之间发生的讲解、互动、鼓励等各类学情进行智能识别,此系统可以帮助教师准确定位自身授课过程中有待提升的部分,给出专业建议配合教学方案,最终达到提升教师族群整体教学质量的目标。

Godeye授课质量分析系统已经在好未来集团内部广泛应用,并且获得了CSDN 2019全国优秀AI应用案例。

想要真正实现授课质量分析需要多个模态算法的协同和融合,语音分析方向大多数教室中,教师和学生的声音数据是混杂在一起收录的,很难把教师和学生的说话内容分离开,并作单独分析。但准确分析一堂课中的学习过程,分别分析教师授课情况和学生的吸收情况非常重要。他们提出一个不需任何提前录制声纹,同时结合发声特征、说话内容的1on1课堂中师生说话分离的多模态算法框架,并已经发表在语音顶会ICASSP 2020会议上。

除了将师生对话内容分离外,课堂中老师情感的表达对学生的参与感、学习体验有重要影响。除了面部表情,情感表达更重要的途径是声音以及说话内容。语音情感识别领域是挑战很高的,因为情感的表达是复杂的、多模态的以及细粒度的。针对问题,好未来AI研究院也提出了一个新型的多模态深度学习方法来对现实生活中的语音进行细粒度情感识别。相关论文发表在InterSpeech 2021会议中。

同时当前音频-语言双模态预训练模型应用还比较少,好未来提出了一个针对音频-文本双模态的交叉模态的预训练Transformer,简称CTAL。这套预训练框架目标在于学习音频和语言间的模态内和跨模态的联系。

外在文本生成方面,好未来借助大规模自动生成技术架构,在1个小时内就能生成10万级数量的练习,速度是人工的数千倍,而且多样性高、来源广泛,更好地解决了人工思考和效率的问题。

好未来作为智慧教育国家新一代人工智能开放创新平台承建单位,AI研究院2021年以来取得多个AI领域重要前沿技术成果,5篇论文入围人工智能教育国际顶级会议 AIED 2021,在CVPR 2021挑战赛中获得四项冠军,斩获INTERSPEECH 2021「非母语儿童识别」双料冠军,此外今年已经发表超过17篇业界一流论文。

九章云极DataCanvas董事长方磊

Hypernets——自动化机器学习的基础框架

当AI进入落地期,从业者越来越多地关注如何降低构建模型的门槛,一款优秀的AutoML框架应该是什么样的?

九章云极DataCanvas董事长方磊的分享主题是「Hypernets:自动化机器学习的基础框架」。他认为,好的AutoML框架一定要具备富有表现力的搜索空间描述语言、支持高维空间的高效搜索算法和高性能的评估策略。

作为基础的AutoML框架,九章云极 DataCanvas开源了Hypernets可解决自动建模领域的三个关键技术,率先突破了机器学习建模过程中不均衡数据、概念漂移、模型泛化能力和大规模数据等诸多挑战,支持最新的神经网络架构搜索(NAS)算法,提供开放的训练服务框架,满足单节点及分布式高性能的模型训练需求,可以在不同的空间进行搜索与训练,并且作为帮助用户快速开发专用领域的AutoML工具,降低了AutoML工具的开发门槛,实现深度学习的网络架构设计自动化。

方磊介绍了Hypernets的两个具体示例:HyperGBM与HyperKeras。HyperGBM融合了先进的GBM模型,包括XGBoost、LightGBM、CatBoost自动建模工具,实现建模全过程的全自动机器学习,效果出众,在多个公开数据集和客户实际业务场景上的表现接近或超出人类专家水平;HyperKeras建立在Tensorflow和Keras上,支持神经网络架构搜索(NAS)和超参数优化(Hyperparameter tuning)方便复现各种经典NAS中的搜索空间,专注非共性问题,灵活高效地扩展。

对于Hypernets用户来说,5到10行代码即可完成Full-Pipeline AutoML,简单易用。Hypernets的未来愿景是融合更多的深度学习框架,推动神经网络架构搜索的前沿发展,助力实际应用场景中的深度学习模型落地。

云天励飞副总裁 & AI产品中心负责人肖嵘

创「芯」时代 ,打造自进化城市智能体

当前,全球智慧城市建设都处在初期阶段,但智慧城市最终将会发展成为一个自进化的城市智能体。自进化城市智能体需要具备哪些要素?端侧智能又在其中发挥怎样的作用?

2021 WAIC•AI开发者论坛,云天励飞副总裁 & AI产品中心负责人肖嵘阐述了这些问题,并介绍了他们在硬件和算法平台的布局和最新进展。

回顾过去,「智慧城市」这一概念可以追溯到2008年,经过了2012年的探索期。2016年,「十三五」规划纲要提出「新型智慧城市」,紧接着,阿里云城市大脑项目诞生,腾讯推出WeCity未来城市解决方案,百度大脑正式发布,华为在多地建立智慧城市 IOC。

随着5G、物联网的建设,每天都会有海量的数据实时产生,对边缘设备及其算力的需求呈爆炸式增长。目前,智慧城市主要面临多样化场景带来的复杂需求、智能端侧应用不足、网络可靠性和系统可靠性差、个人隐私数据与信息安全难以保障等问题。

肖嵘认为,自进化城市智能体需要具备两个要素:AI的普适性和自学习、自进化。

针对「云侧」可靠性低、延时高等问题,云天励飞着重强调了自进化城市智能体体系的底层基础——「算法芯片化」。自成立之初,云天励飞就一直专注于芯片的研发,早在 2016年,云天励飞研发了其第一代深度学习神经网络处理器NNP100 ,目前正在进行第三代处理器架构的迭代开发。

同时,城市治理的应用场景多样、需求复杂,对算法的场景适用性要求高,云天励飞结合主动学习、半/弱监督学习和超大规模预训练模型正在打造城市边缘智能平台。

肖嵘展示了云天励飞算法平台助力龙岗区12345政府便民热线、赋能龙华区城市治理两个实际案例。在真实的场景下打磨和训练出来的算法,才会在实战中有突出的表现。基于这些成熟的算法,云天励飞打造出来的芯片,才会更贴合场景的需求。

知乎合伙人兼CTO李大海

基于AI的智能社区多模态数据融合研究与实践

作为中文互联网最大的知识分享平台,知乎以问答业务为基础,以高质量内容和良好的社区氛围受到广泛赞誉。从2019年开始,视频化成为大趋势,知乎也投入了大量资源在富媒体化的工作中。

2021 WAIC•AI开发者论坛,知乎合伙人兼CTO李大海带来了知乎在智能社区时代多模态数据融合中的研究以及实践进展。

李大海表示,AI技术已经广泛应用于知乎的每个核心环节,构建智能社区实现知识普惠。随着越来越多的用户在知乎上通过视频分享自己的知识、经验、见解,知乎确定了以多模态为核心的视频智能化技术战略。

去年10月,知乎发布了PPT创作工具,图文创作者可以利用这个工具快速把自己的文字回答或者文章生成为一个视频。转化过程的主要思路是把文章里每一段话或者每一个句子,通过模型找到对应的图片、动图或者短视频,然后通过预训练模型把每一段文字与素材库里图片的相关性进行计算。此外还有其他应用,创作者可以主动输入关键词,在素材库里面找到和关键词匹配度最高图片,让它自己主动构建视频素材流。

未来,知乎将基于积累的海量图文视频数据,致力构建综合图文、视频、音频等媒介于一体的大规模预训练模型,并将成果完全开放出来,让学界、业界的更多开发者使用。