人工智能 · 2024年4月3日 0

AI智能助手融入移动终端,开启跨端跨应用业务连接新时代

AI Agent涌向移动终端,手机智能体势不可挡还没搞清楚什么是AI Agent,手机Agent就已经横空出世AIGC为何涌向移动端?背后有哪些逻辑?什么是手机智能体?一文看明白科技大厂、手机厂商、企服领域都在发力,手机智能体成AI Agent新趋势AI Agent迎来移动端大爆发,手机智能体将成企业AIGC新标配AI Agent移动应用大升级,手机智能体开启跨端跨应用业务连接新场景文/王吉伟春节期间OpenAI推出的AI视频模型Sora火出天际,到处都是文生视频模型如何厉害如何改变真实世界的信息,以至于OpenAI在AI Agent方面的最新动向都被掩盖了春节前的2月8日,科技媒体The information报道OpenAI正开发两款革命性的Agent软件,其中一款能够有效接管客户的设备来自动执行复杂的任务据说,这个Agent能够自动执行点击、光标移动、文本输入等操作,与人类操作软件无异例如,把文档中的数据传输到电子表格中进行分析,或者自动填写费用报告并将其输入会计软件,或者根据一定的预算制定行程或预订机票这个能够直接操纵个人电脑自动完成各种任务的智能体,现在被更多媒体称作AI Agent 2.0这些报道没有具体说明这款Agent所接管的设备是PC还是手机,不过ChatGPT有移动端,能够在手机或者平板上调用这个Agent是迟早的事想要在移动端构建AI Agent的大语言模型厂商,远不止OpenAI这一家去年12月,腾讯与德州大学达拉斯分校合作推出了一个名为appAgent的项目。该项目可以通过自主学习和模仿人类的点击和滑动手势,在手机上执行各种任务。包括在社交媒体上发帖、帮助用户撰写和发送邮件、使用地图、在线购物,甚至进行复杂的图像编辑。appAgent在50个任务上进行了广泛测试,涵盖了10种不同的应用程序2月初,阿里巴巴与北京交通大学联合推出了一款全新的手机操作智能体框架MoBIle-Agent。该框架的核心优势在于其纯视觉解决方案。传统的手机操作方式往往需要依赖XML等标记语言以及系统元数据,而MoBIle-Agent则完全摒弃了这些需求除了科技大厂,LLM创业团队也推出了相应的Agent项目。比如在去年12月,清华智谱AI团队推出的CogAgent-Chat。CogAgent是一个基于180亿参数规模的视觉语言模型的图形用户界面智能体,专注于GUI图形交互界面的理解和导航CogAgent使用屏幕截图作为输入,在PC和AndRoid GUI导航任务上超越了基于语言模型的方法,如Mind2Web和AITW,引领了GUI理解领域的最新技术发展如今的大语言模型在具体应用方面都是多端通用,MAS和SaaS模式使得LLM厂商推出的AI Agent构建平台及个体能够应用于手机端也是必然AI智能体涌向移动端,已经成为AIGC行业发展的必然趋势AI Agent趋势:涌向移动端系统厂商与终端厂商的步子,甚至比大模型厂商迈得还要大。毕竟他们更贴近用户,了解市场需要什么,也知道自己在哪里突破这些厂商对于AI Agent的探索比我们预想得要早很多,且已经拿出初步成果也是在春节前夕,微软推出了名为UFO的Windows Agent。这是一款用于构建用户界面交互智能体的 Agent 框架,能够快速理解和执行用户的自然语言请求如果你想从一份WoRd文档中提取文本、对照片应用程序中的图像进行观察、以及总结 PoweRPoint中的内容,利用所有这些信息撰写一封深度的电子邮件内容并完全自主发送时,你只需要借助一个UFO框架就可以完成这意味着,以前需要大量手动工作的跨应用程序工作流程,现在可以直接简化为针对 UFO 的简单自然语言指令UFO,或许会成为下一代Windows系统的核心。以后搭载Windows系统的笔记本电脑等移动终端,将会因UFO而开启全新用户体验重点在于,其他系统也会效仿Windows,AI Agent将会成为各个系统的标配把LLM以及AI Agent装入PC或者移动终端,硬件厂商将其称作AI PC或者AI 手机自从LLM能够在端侧部署之后,硬件厂商们就开启了狂飙模式,而LLM的落地应用主要途径的AI Agent模式也首先进入其法眼在2024 CES上,联想首次提出智能终端AI OS,即在AI技术驱动下,智能终端将内嵌个人Agent、个人大模型、本地知识库、应用接口,形成下一代AI OS。并认为,AI技术的突破将在PC、手机、AIoT等所有智能终端产品领域掀起第三次技术革命浪潮,重塑终端体验及产业生态据悉,联想个人Agent或将在4月份与用户见面面对新生代AI硬件设备AI pin和RabbIT R1 所展现的准AI Agent属性,手机厂商们早已经坐不住,强势展开了对AI智能体的角逐月份,小米、华为、vivo、理想等几家公司联合清华大学智能产业研究院共同发布了一篇个人LLM智能体综述论文。该论文梳理了个人LLM智能体所需的能力、效率和安全问题,收集并整理了领域专家的见解,还开创性地提出了个人LLM智能体的5级智能水平分级法今后各家的智能体处于什么水平,参照这个标准便会一目了然,也为移动终端的Agent构建提供了更多参考方向。当然,这个标准的推出也意味着厂商们对于移动终端智能体的积极探索与更大的市场需求OPPO等推出的AI手机,用户实测后的感触是越来越像Agent,至少已经能够达到上述标准的L2级OPPO与IDC在联合发布的AI手机白皮书中,还给AI手机下了一个明确的定义OPPO还公布1+N智能体生态战略,核心包括OPPO AI超级智能体和AI Pro智能体开发平台其中1指的是AI手机的智能OS,扮演AI时代操作系统的角色,具备传统智能手机不支持的自学习感知能力、长期记忆能力和工具调用能力。它可以与用户专属的智能体、第三方智能体的交互和信息统筹。N指的就是前面所述的用户智能体和第三方智能体等构成的全新智能体生态理想汽车参与这份标准的研究,则映射的是AI Agent适配人车交互场景的广阔市场。国盛证券在一篇报告中指出,AI Agent面向复杂任务处理,充分适合人车交互场景,是数字人的核心演进方向座舱智能化时代,用户在驾乘中会有各种个性化需求,数字人被赋予更多的施展能力的空间,其使命是通过AI Agent实现AGI向汽车座舱渗透,实现三屏互动。Meta与雷朋合作推出的第二代智能眼镜,接入多模态AI后,也开始向AI Agent靠拢。不必再为不同任务选用不同应用程序,只需用日常用语告诉设备需求,眼镜就能基于软件获取的信息,为用户作出量身回应科技巨头公司及企业服务厂商,也早在AI Agent移动终端的应用方面下足了功夫字节跳动在2月初正式推出了「Coze 扣子」AI Bot 开发平台。任何用户都可以快速、低门槛地搭建自己的 Chatbot,且平台支持用户将其一键发布到飞书、微信公众号、豆包等渠道除了可以创建自己的Chatbot,Coze官方还提供了Bots 商店和插件。插件的使用,可以让用户构建的机器人更加强大通过Coze构建的机器人,与OpenAI的GPTs类似,主要用于交互并能够实现一定的业务流程操作,可以算是初级智能体其更早推出的豆包,也是一个构建智能体的平台钉钉在1月发布的钉钉7.5版本,也是全量上线AI Agent产品AI助理。钉钉平台上的Agent,能够通过钉钉内的企业协同场景,迅速将AI Agent用起来,积累数据。这个助理拥有真正的执行能力,并非停留在和用户的交互层面,可以进行信息摘要、写工作总结、写文档等通用的办公工作用友发布的YonGPT,也能通过上下文记忆、知识/库表索引、PRoMpt工程、Agent执行、通用工具集等扩充大模型的存储记忆、适配应用和调度执行能力,再结合财税、人力、供应链、研发等领域的知识和最佳实践扩充大模型专业能力,从而形成体系化的企业服务大模型以上这些平台的Agent,凭借SaaS属性,都可以在手机端丝滑使用除了以上公司,一些创业公司以及专注超自动化的厂商,也陆续推出了能够应用于移动端的Agent产品。比如实在智能也推出了手机Agent智能体,只需一句话直接传达自己的意图,就可以帮你操作所有电脑、手机的软件完成各类工作和生活的目标任务,通过自主学习和模仿人类的点击和滑动手势,可以在手机上操作app执行各种任务背后的逻辑:发展趋势使然在很多人还没有弄懂什么是AI Agent的时候,大部分人以为Agent更适合在PC端执行各种任务的时候,厂商们已经在悄然布局AI Agent在移动端的应用王吉伟频道认为,厂商们之所以急于将AI Agent拓展至移动端,大概有以下几点原因用户需求:随着技术的发展,用户对智能手机和设备的期望越来越高,他们希望设备不仅仅是工具,还能成为日常生活的助手。Agent能够理解用户的需要,并为他们提供个性化服务,改善用户体验增强粘性:通过提供Agent服务,可以让用户更频繁地与设备互动,增加用户对品牌的忠诚度和设备的使用频率竞争优势:随着市场竞争的加剧,厂商需要不断创新以保持竞争力,集成先进的Agent技术可以作为卖点,吸引消费者购买商业模式创新:AI Agent可以开辟新的收入渠道和商业模式,比如通过智能推荐系统促进销售,或者通过订阅服务提供高级功能开拓新的收入流:智能Agent往往能够与其他服务或产品相结合,为厂商创造新的收入渠道,如智能家居控制、电子商务购物、内容订阅等提高工作效率:在企业服务领域,AI Agent可以帮助员工处理日常任务,提高工作效率,减少重复劳动,让员工有更多时间专注于更有价值的工作客户服务改善:AI Agent可以提供24/7的客户服务,不仅提高了响应速度,还能够处理大量的客户咨询,提升客户满意度除了以上几点原因,还有重要的一点便在于AI Agent行业发展趋势毕竟,按照比尔盖茨的观点,AI Agent将彻底改变人们线下和线上的生活方式,改变每个人与计算机的互动方式,还将颠覆软件行业就智能手机而言,GaRtneR在相关报告中的观点认为,生成式AI智能手机配备了硬件和软件功能,能够无缝集成和高效执行智能手机上的Gen AI驱动功能和应用程序。它们能够在本地运行基础或微调的人工智能模型,产生新的衍生版本的内容、策略、设计和方法无疑,这对于提升用户体验以及使用手机提升生产力有着莫大的帮助FoRResteR在相关报告中给出的两组预测数据,也很好地说明了这个趋势到2027年,超过60%的个人电脑微处理器将集