经济导报    原创    山东    公司    金融    山东国资    智库    鹰眼IPO    热点    好品山东    证券    消费    楼市
山东财经网 >> 山东
全面开源 浪潮信息发布千亿参数基础大模型“源2.0”
来源:新华社   加入时间:2023-11-28 11:11:50  

  11月27日,浪潮电子信息产业股份有限公司在京发布“源2.0”基础大模型,并宣布全面开源。“源2.0”包括102B(1026亿)、51B(518亿)、2B(21亿)三种参数规模的模型,在编程、推理、逻辑等方面展示出了先进的能力。

  基础大模型的关键能力是大模型行业和应用落地能力表现的核心支撑。在算法、数据和算力等方面,“源2.0”提出了新的改进方法并获得了能力的提升。

  如在算法方面,“源2.0”提出并采用了一种新型的注意力算法结构“局部注意力过滤增强机制”,让大模型在使用更少的训练算力、更小的模型参数的情况下,同样可以获得更高的模型精度和涌现能力;数据方面,降低了互联网语料内容占比,通过使用中英文书籍、百科、论文等资料,结合高效的数据清洗流程,为大模型训练提供了高质量的学科专业数据集和逻辑推理数据集。

  作为千亿级基础大模型,“源2.0”在业界公开的评测上进行了代码生成、数学问题求解、事实问答方面的能力测试,测试结果显示,“源2.0”在多项模型评测中展示出了较为先进的能力表现。

  “源2.0”采用全面开源策略,全系列模型参数和代码均可免费下载使用。“大模型的开源开放可以使不同模型之间共享底层数据、算法和代码,有利于打破大模型孤岛,促进模型之间协作和更新迭代;同时,有利于以更丰富的高质量行业数据反哺模型,打造更强的技术产品,加速商业化进程。目前,业内仍没有完全开源可商用的千亿大模型,我们希望‘源2.0’能够为国内外开发者、研究机构、科技企业提供坚实的底座和成长的土壤。”浪潮信息高级副总裁刘军说。

  浪潮信息长期致力于人工智能算力基础设施产品的研发,2021年在业界率先推出了中文AI巨量模型“源1.0”,参数规模达2457亿,落地南京智算中心。此次发布的“源2.0”较前一版本实现了能力的全面提升。(温竞华)




编辑:付建

[山东财经网声明]:凡本网注明“来源:经济导报·山东财经网”的所有作品,版权均属于经济导报·山东财经网。经济导报·山东财经网与作品作者联合声明,任何组织转载、摘编或利用其它方式使用上述作品,敬请注明出处和作者,违者必究!。凡本网注明来源非经济导报·山东财经网的作品,均转载自其它媒体,转载目的在于传递信息,更好地服务读者,并不代表本网赞同其观点,本网亦不对其真实性负责,持异议者应与原出处单位主张权利。如稿件版权单位或个人不想在本网发布,可与本网联系,本网视情况可立即将其撤除。如因作品内容、版权和其它问题需要同本网联系的,请30日内进行。

 

 

 

新闻推荐
 
·> 这些地区间铁路旅行时间大幅压缩!回家更快了!
·> 世界首个!我国国内有效发明专利数量突破400万件
·> 91家公司排队备案境外上市 港交所和纳斯达克成热门选择
·> 1月16日A股收盘:大金融股异动,带动指数飘红!
·> MLF超额续作,一季度降准降息仍有可能
·> 深股通新增2只宽基ETF,便利境外投资者投资创业板优质企业
·> 首部“银发经济”政策文件出台!这些板块有望受益
·> 沪深交易所发出38份纪律处分,释放“严监管”信号
Copyright @ 山东财经网   地址:济南市泺源大街2号 大众传媒大厦F24

邮编:250014    电子邮箱:sdenews@126.com

备案号:鲁ICP备09023866-44号 鲁新网备案号:201000112

违法不良信息举报电话:0531-85196503 邮箱:sdenews@126.com