点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:阿里云发布多模态交互开发套件,让硬件能听、会看、会交互
首页> 地方频道> 地方频道-深圳> 当地新闻 > 正文

阿里云发布多模态交互开发套件,让硬件能听、会看、会交互

来源:深圳特区报2026-01-09 14:49

  深圳新闻网2026年1月9日讯(深圳特区报&读特记者 闻坤/文毕晗/图)1月8日,在阿里云通义智能硬件展上,阿里云发布多模态交互开发套件,该套件集成了千问、万相、百聆三款通义基础大模型,并预置十多款生活休闲、工作效率等领域的Agent和MCP工具,不仅能听、会看,还能思考并且与物理世界交互,可应用于AI眼镜、学习机、陪伴玩具、智能机器人等硬件设备。

  随着多模态大模型的发展,大模型已开始具备理解、感知以及和物理世界交互的能力,越来越多的硬件和终端设备厂商开始通过接入大模型来提升交互体验。然而,仅靠基础大模型仍无法同时满足硬件设备对低成本、低时延、功能丰富和高质量效果的需求。

  阿里云多模态交互开发套件为硬件企业和解决方案商提供了低开发门槛、响应速度快、场景丰富的平台。在芯片层面,该套件适配了30多款主流ARM、RISC-V和MIPS架构终端芯片平台,满足市面上绝大多数硬件设备的快速接入需求。未来,通义大模型还将与玄铁RISC-V实现软硬全链路的协同优化,实现通义大模型家族在RISC-V架构上的极致高效部署和推理性能。

  在模型优化层面,除通义模型家族外,阿里云还针对大量多模态交互场景进行分析,推出适合AI硬件交互的专有模型,全面支持全双工语音、视频、图文等交互方式,端到端语音交互时延低至1秒,视频交互时延低至1.5秒。

  此外,该套件预置十多款MCP工具和Agent,覆盖生活、工作、娱乐、教育等多个场景,例如,基于预置的出行规划Agent,用户可直接调用路线规划、旅行攻略、吃喝玩乐探索等能力。该套件还接入了阿里云百炼平台生态,用户不仅可以添加其他开发者提供的MCP和Agent模板,还能通过 A2A协议兼容三方Agent,极大程度地扩展了应用的能力边界,帮助企业灵活搭建业务场景。

  现场,阿里云还展示了面向智能穿戴设备、陪伴机器人、具身智能等领域的解决方案。例如,在AI眼镜领域,基于千问VL、百聆CosyVoice等模型,阿里云打造了感知层、规划层、执行层以及长期记忆的完整交互链路,可一站式实现同声传译、拍照翻译、多模态备忘录、录音转写功能,有效解决交互不自然、回答准确率低的难题。面向家庭陪伴机器人场景,基于千问模型和多模态交互套件,阿里云推出的解决方案不仅可实时监测异常状况,并及时告警信息推送,用户还能基于关键词查找、定位视频,与机器人进行对话交互和控制设备等。

  根据国际权威市场研究机构Gartner发布的GenAI(生成式AI)技术创新指南系列报告,阿里云在GenAI云基础设施、GenAI工程、GenAI模型以及AI知识管理应用四大维度均位于新兴领导者象限,为入选全部四项新兴领导者象限的唯一亚太厂商,并比肩谷歌、OpenAI。编辑:陈占友

[ 责编:茹行止 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 山东青岛:夯实春季田管 确保小麦丰收

  • 四川荣县:乐德红土地 春日调色板

独家策划

推荐阅读
粮食安全,是“国之大者”。3月5日提请十四届全国人大四次会议审查的“十五五”规划纲要草案提出“十五五”时期主要目标和重大任务,明确粮食综合生产能力达到1.45万亿斤左右。
2026-03-06 09:35
我国科技成果大量涌现,人形机器人大放异彩,开源大模型领跑全球,芯片攻关取得新突破,创新药迅猛发展。
2026-03-06 09:31
生态环境法典草案规定,国家根据需要在长江、黄河、青藏高原等重要流域、区域建立协调机制,统筹指导、综合协调长江、黄河、青藏高原等重要流域、区域的生态环境保护等工作。
2026-03-06 09:29
“十五五”时期,开展生态保护修复成效评估、科学开展大规模国土绿化,将确保生态保护修复走得更稳、更实、更远。
2026-03-06 09:27
当前,新一轮科技革命和产业变革加速突破,我国经济基础稳、优势多、韧性强、潜能大,中国特色社会主义制度优势、超大规模市场优势、完整产业体系优势、丰富人才资源优势更加彰显。
2026-03-06 09:25
(记者冯丽妃)3月4日,全国政协十四届四次会议首场“委员通道”集体采访活动在北京人民大会堂举行。”  令人欣慰的是,潘建伟表示,通过国家重大科研任务的锤炼,我国量子科技研究队伍呈现年轻化、跨学科交叉的特点,并且兼具前沿探索和工程攻关的能力。
2026-03-05 09:56
全国人大代表、广东茂名化州市培林橘红种植专业合作社社长廖志略带来的化橘红树苗。这是全国人大代表、广东茂名化州市培林橘红种植专业合作社社长廖志略制作的集纳了乡亲们笑脸的3D照片。
2026-03-05 09:56
在天津市滨海新区,海上油气平台建设工人操作打磨机器人。不仅是我们团队,金凤实验室已为入驻科学家搭建病理表型组平台、纳米合成平台等8个国际领先的科研平台,提供科研设施设备超过6000台套。
2026-03-05 09:56
中国科学院广州地球化学研究所王强研究员团队联合国际合作者的一项最新研究给出了答案:高原并非一直向上生长,而是经历了两次“抬升—沉降”的起伏旋回。“青藏高原的生长不是简单的‘长高’,而是多阶段‘抬升—沉降’交替的结果。
2026-03-05 09:56
全国政协委员、宁德时代新能源科技股份公司董事长曾毓群从产业实战经历出发,分享了独属我国新能源事业的攀登故事。他坚信,秉持攀登精神、锚定目标,脚踏实地、勇毅笃行,就没有越不过去的险峰,就没有实现不了的梦想!
2026-03-05 09:56
在从事概率地震危险性分析、地震灾害风险评估工作中,我深刻感受到新兴技术发展日新月异,大大提升了我国的防灾减灾能力。
2026-03-04 09:42
从火星之上的精细探测,到地球深处探测的装备突破,我们用持续的创新创造,把关键核心技术牢牢掌握在中国人自己手中,为培育新质生产力、促进高质量发展贡献力量。
2026-03-04 09:41
我们始终坚持教育、科技、人才一体发展,推行“本硕博一体贯通+产业+专家+基地”模式,通过“博士村长”计划,培养了一大批知农爱农的复合型人才。
2026-03-04 09:40
回望“十四五”,中国经济在世界百年未有之大变局中彰显强大韧性,让我对高质量发展路径有了更深刻的认知。
2026-03-04 09:39
中国科学院国家天文台,年过八旬的中国科学院院士汪景琇春节假期一直在办公室忙碌,“有篇科普文章刚开了头,得抓紧写出来。”
2026-03-04 09:38
从实验室到产业化应用并不容易。王鹤说:“企业要想迅速响应市场需求,需要强化企业创新主体地位,让创新链和产业链无缝对接。”
2026-03-04 09:37
创新驱动是产业从“量大”走向“质强”的关键一跃,更是培育新质生产力的主引擎。
2026-03-04 09:36
我国生成式人工智能用户规模和普及率快速提升。
2026-03-03 09:37
本报讯(记者陶稳 通讯员张莹)突然出现头晕、头痛、视力障碍、肢体麻木无力,持续几分钟到几小时,无法缓解……遇到这些情况别大意,可能是“沉默的杀手”脑梗死在作祟。
2026-03-03 09:35
近日,中国科学院青岛生物能源与过程研究所太阳能光电转化与利用全国重点实验室联合香港科技大学研究团队,在钙钛矿太阳能电池埋底界面工程领域取得重要突破。
2026-03-03 09:34
加载更多