麒麟软件申请提升大模型推理长度与性能方法等专利，降低注意力机制计算复杂度

金融界2025年6月25日消息，国家知识产权局信息显示，麒麟软件有限公司申请一项名为“一种提升大模型推理长度与性能的方法、系统及介质”的专利，公开号CN120197699A，申请日期为2025年03月。

专利摘要显示，本发明公开了一种提升大模型推理长度与性能的方法、系统及介质，本发明提升大模型推理长度与性能的的方法，在Attention层中加入门控信号，门控信号可对键状态张量key_states和值状态张量value_states中的数据进行筛选，利用筛选赋值后的key_states和value_states进行注意力机制计算。由于筛选后的key_states和value_states的长度固定，降低了注意力机制计算的复杂度和KV cache占用显存，提升了推理性能，key_states中保留下来的键矩阵对应token为关键信息，有利于提高生成内容的准确性。

天眼查资料显示，麒麟软件有限公司，成立于2014年，位于天津市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本22217.7392万人民币。通过天眼查大数据分析，麒麟软件有限公司共对外投资了23家企业，参与招投标项目1185次，财产线索方面有商标信息464条，专利信息798条，此外企业还拥有行政许可1个。