金融界2025年5月28日消息，国家知识产权局信息显示，北京中科闻歌科技股份有限公司申请一项名为“大语言模型训练、信息处理方法、装置、设备及介质”的专利，公开号CN120046687A，申请日期为2025年01月。
专利摘要显示，本公开涉及一种大语言模型训练、信息处理方法、装置、设备及介质。其中，大语言模型训练方法包括：获取第一训练文本，基于待训练大语言模型计算第一训练文本中各个token分别对应的期望梯度值；对各个token分别对应的期望梯度值进行融合处理，得到正则化项；基于正则化项对待训练大语言模型进行无监督预训练，得到第一大语言模型；获取第二训练文本，基于第二训练文本对应的目标正则化项对第一大语言模型进行有监督指令微调，得到第二大语言模型，将第二大语言模型确定为训练完成的大语言模型，由此，能够将大语言模型的解释结果融入大语言模型的训练过程中，提高了训练完成的大语言模型的性能。
天眼查资料显示，北京中科闻歌科技股份有限公司，成立于2017年，位于北京市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本15642.8571万人民币。通过天眼查大数据分析，北京中科闻歌科技股份有限公司共对外投资了16家企业，参与招投标项目402次，财产线索方面有商标信息139条，专利信息217条，此外企业还拥有行政许可5个。