支持语音、图像和视频,全球首个“全模态”大模型来了|今日热搜


(资料图片仅供参考)

6月16日上午,人工智能框架生态峰会在上海举办。在峰会现场,包含18家AI头部企业、高校、科研机构、开源社区等共同发布了“共建人工智能框架生态,繁荣中国人工智能产业”联合倡议,倡议通过政产学研用的共同努力,支撑中国人工智能框架生态走向新高度,推进中国人工智能产业新发展。

本次峰会上,中国科学院自动化研究所正式发布了全球首个全模态大模型“紫东.太初2.0”,该大模型在语音、图像和文本之外,加入了视频、传感信号、3D点云(3D Point Cloud)等更多模态,支持多轮问答、文本创作、图像生成、3D理解、信号分析等跨模态任务。

在会后的媒体沟通会上,中科院自动化所“紫东太初”大模型研究中心常务副主任、武汉人工智能研究院院长王金桥介绍称,目前业内ChatGPT为代表的大模型虽然也号称是多模态,但实际对外开放的主要还是语言模态,其他模态普通用户并不能体验,而紫东太初2.0是基于国产化的全栈基础软硬件打造的多模态大模型,属于多模态产业联合体,形成了一个大模型开放服务平台。

本次峰会上,国内人工智能框架社区昇思MindSpore还宣布,正式成立昇思社区理事会,首批成员单位包括AI芯片企业、AI应用企业、高校与学术机构共计18家单位。资料显示,作为国内头部的AI生态平台,截至2023年5月底,昇思开源社区下载量已突破474万,社区贡献者1.3万,服务企业数量5500家,与240家科研院所展开合作,开源模型达400多个,发表顶会论文超过900篇。

为了进一步促进国内AI产业发展,本次峰会上海人工智能研究院、上海市闵行区政府、临港集团、昇思开源社区联合启动了上海昇思AI框架&大模型创新中心(简称创新中心)。据市界了解,目前上海人工智能实验室、上海交通大学、中国商飞上海飞机设计研究院、中国科学院上海药物研究所、云从科技等首批22家单位已经正式入驻创新中心。

(撰文 | 曾广 编辑 | 李原)

关键词: