人工智能 · 2024年1月29日

百度AI助推产业智能化:密集发布语言与知识十年成果的完整范式

当AI发展借新基建东风进一步加速后,每个垂直门类都开始表现出一边深化技术、一边广拓生态的两大特征。

最近的百度大脑语言与知识技术峰会直接表现了这一点。

一次性推出11项发布,AI技术的大规模应用进程被行业巨头加快,而正如百度CTO王海峰所言,“在百度语言与知识技术的布局和发展中,我们始终在注意把握两个趋势,即技术发展趋势和产业发展趋势,并力争引领趋势。” 作为AI皇冠上的明珠,NLP在一边继续进行技术深化的同时,产业落地也开始齐头并进。

如果从2010年百度成立自然语言处理部算起,NLP从技术和产业上全面布局已经走过整整十个年头。

作为AI领域发展时间最久、积累最丰厚的垂直领域,NLP正在尝试塑造出一个产业智能化从技术到应用的完整范式,对百度而言,这张AI王牌中的王牌也是时候打出手了。

一、密集发布技术成果后,NLP巨头的产业落地呈现三大特征

巨头的密集动作,直接表现出NLP这个AI排头兵在产业落地上的三大特征。

1、技术“称王”后,领头羊正在担起行业责任

过去十年,百度大脑在NLP领域积累了大量的技术成果,例如包括国家科技进步奖在内的20多个奖项,30多项国际竞赛冠军,发表学术论文超过300篇,申请专利2000多项。

长期的数据和技术沉淀让百度NLP在国内处在了领先的位置,成为中国NLP发展的一面旗帜。而这种沉淀即便放到国际视野下,仍然可以支撑百度进入NLP头部梯队,代表中国AI在关键的语言和知识垂直领域占据重要的席位,获得行业话语权。

密集发布语言与知识十年成果:从NLP看百度AI助推产业智能化的完整范式

根据公开资料整理

在以绝对的技术“称王”后,百度同时承担起推动技术产业化落地的责任。这次推出的中文自然语言处理数据共建计划『千言』和语言与知识技术算力共享计划,是领头羊承担行业责任、推动包括友商在内的行业共同进步的体现,已经脱离竞争范畴。

以算力共享计划为例,百度准备在该计划中,面向广大开发者和研究人员开放共享百度的算力,初步投入约1亿元的资源,邀请不仅限于百度语言与知识开源开放技术用户还包括更多的中文语言与知识技术开发者、研究人员免费使用这些算力。

千言数据共建计划也有类似的资源共享属性,在这两大计划加持下,百度NLP将以整个行业的姿态共同解决发展中的技术挑战。

2、矩阵式产品推进,已成为NLP产业落地的“新常态”

细数此次百度大脑新发布或升级的几个主要产品,包括:

文心ERNIE语义理解技术与平台,面向开发者提供各种NLP开发资源和能力;

TextMind智能文档分析平台,面向企业文档的规范化;

智能创作平台,面向创作者提供的一个高集成度的内容创作平台,功能方面进行了升级;

UNIT智能对话与定制服务平台,各大厂AI都在搞的服务,百度做得最早,现在重新整合进行了一次升级;

AI同传会议解决方案,利用前沿NLP技术构建的企业翻译解决方案。

一股脑推出这些产品,表明NLP巨头在产业落地时典型的矩阵化特征。这其中既有百度原本就占据优势的业务(例如UNIT、智能创作平台)的再升级,也有根据市场需要新开发的能力,例如文心ERNIE、TextMind;

换一个角度看,这个矩阵也显示出百度NLP既能实现最底层的赋能,也能走向台前完成一线解决方案的塑造。

以AI同传会议解决方案为例,随着技术不断突破,结合产品设计,同传这个被认为是难度颇高的NLP领域已经可以实用。百度新发布AI同传会议解决方案,让企业可以在只用一台电脑,一部手机的情况下就能快速搭建一套同传服务,参会人员可以选择属于自己的语种,同传服务成为语言转换的高效率“枢纽”。

密集发布语言与知识十年成果:从NLP看百度AI助推产业智能化的完整范式

回过头来看,也只有NLP方面有深度积累的巨头才能完成这样的产业落地矩阵构建。

3、“降落伞”规则,支撑AI技术落地走得更稳

合格率99.9%的降落伞会导致每千名士兵有一人因为产品不合格而失去生命,当军方要求生产厂家负责人自己亲身检测产品后,“难以突破的”合格率马上被提到了100%。

这个二战典故带来的“降落伞”规则在很多当代产业合作中被实践,百度NLP也是如此,很多产品或解决方案都有应用在百度庞大的互联网、科技生态中的“经历”。

例如,在百度移动生态的内容推荐及内容审核中,已经广泛存在NLP的身影,即便到了视听内容时代,百度在视频推荐方面超越行业的内容理解能力,同样有NLP的功劳。

而不止于移动生态,百度多样化业务布局中也存在NLP的印记,例如领先行业的金融信贷风控能力,或者百度最近大力推进的智慧医疗,其中涉及语义和知识也需要NLP加持。

二、破解“既要-又要”难题,语言与知识领域的AI已经完成三大挑战

NLP产业应用往往面临“既要-又要”的表面矛盾,而所谓的产业落地,某种程度上就是破解这些“无法兼得”矛盾的过程。

这从百度NLP的产品或解决方案中可见一斑。

1、既要通用性的便利,又要定制化的深度

一方面,由于通用性,产业开发者可以基于共有的方案快速实现产品或解决方案的部署及上线;另一方面,随着产业智能化走向深度,不同产业客户往往都开始追求属于自己独特的定制化能力。

这种通用性和定制化的矛盾,随着产业对AI追求深化将越来越明显。

可以看到,百度NLP此次的动作,越来越贴合“鱼和熊掌兼得”的现实需要。以语义理解技术与平台文心ERNIE为例,一站式能力即能够实现解决方案的快速部署适配,也能够满足开发者的个性化需求。

密集发布语言与知识十年成果:从NLP看百度AI助推产业智能化的完整范式

这是因为,深度学习平台飞桨上打造的文心,除了享受到飞桨赋予的能力,还依托于百度领先的NLP技术,集成了预训练模型、算法集、开发套件、平台化服务,这些使得开发者既能够更简单地制作自己的NLP模型,也能够便捷地融入企业的特殊需要。

通俗地说,这是一片已经耕好的黑土地,只要撒入不同作物的种子,就能快速长出自己想要的庄稼。

2、既要成本低,又要效率高,还要“体验”好

NLP产业落地还有牵扯要素更多的“我全都要”现象——在应用开发过程中,因为降本增效的主旋律,希望成本能够更低、效率可以更高,而开发者在庞杂的开发工作面前又往往还希望体验能够更好。

如果在过去,这种需求大概会被技术服务方怼回来,但随着平台化能力的提升,NLP已经完全具备了满足这种矛盾需求的能力。

仍然以文心为例,它全面降低了NLP的定制开发成本,在强大语义理解能力下对数据标注广度和深度要求降低——90%准确度的模型,过去需要5100条数据,现在可能只要220条数据;在算力上也类似,由于集成了ERNIE预训练模型,企业只需要单机微调即可取得世界领先效果的NLP模型,极大降低算力成本。

密集发布语言与知识十年成果:从NLP看百度AI助推产业智能化的完整范式

可以看出,这种成本的降低伴随着效率的提升,二者是一体两面的关系。而更进一步看,对实际参与开发工作的开发者而言,仅需要配置或编写少量代码便可完成从模型训练到模型评估,1周的工作1天完成,这本身也是一种体验上的优化。

类似的还有UNIT智能对话与定制服务平台,在本次升级后数据标注成本的进一步降低30%以上。重点场景预置的场景化解决方案,能够帮助开发者以更低的成本、更高的效率完成智能对话系统的构建,而这种构建也不需要长篇大论、逻辑复杂的编程,只需要调用对应的模块即可。

密集发布语言与知识十年成果:从NLP看百度AI助推产业智能化的完整范式

3、既要单环节强化,也要全链条深入

“既全且深”在过去是NLP开发者对平台服务的美好理想,既能够提供全面的服务,每个细分服务还能够做到足够得深。

现在,这种理想已经变成现实,它同样得益于技术和服务的长期积累。

以百度NLP智能创作平台为例,该平台一年多以来的自动创作文章累计200万+,相当一个10人团队至少工作45年;“图文转视频能力”上线4个月,

OpenMagic API

Need more than content? Move into the product flow.

If you are here for model access, pricing, developer docs, or the future API console, the dedicated product path now lives on api.openmagic.ai.

登录免费注册