端到端语音语言大模型全新发布，超逼真、超低时延、超低成本

百度发布业界首个基于Cross-Attention的端到端语音语言大模型，开启语音交互新纪元

在语音交互技术不断革新的今天，百度再次引领行业潮流，于近日正式发布了业界首个基于全新Cross-Attention的端到端语音语言大模型；这一创新成果不仅标志着语音交互技术迈入了一个全新的发展阶段，也为未来智能助手的应用场景开辟了更为广阔的空间。

端到端语音语言大模型：定义语音交互新标准

百度此次发布的端到端语音语言大模型，以其超逼真的语音交互体验、超低的响应时延以及超低的调用成本，重新定义了语音交互的标准。该模型不仅能够精准识别包括重庆、广西、河南、广东、山东等在内的多地方言，还能实现情感饱满、自然流畅的对话交流，让用户仿佛在与真人对话。

技术亮点解析

超逼真交互体验：通过集成38个垂类助手功能，能够高效处理天气查询、日历查询、单位换算、股票股价查询等多样化信息需求；同时，对于时效性和非时效性问题，均能给出精准且实时的回答，展现出强大的信息检索和指令跟随能力。超低响应时延：在对话过程中，融合RTC低延迟AEC处理以及对齐技术，结合流式逐字合成，显著提升了多模态交互时的响应速度。超低调用成本：低成本高速推理，在满足语音交互硬延迟要求的同时，极大降低了使用成本。

五大核心创新点

1.业界首个基于Cross-Attention的语音语言大模型：百度首次将Cross-Attention机制应用于语音语言大模型中，实现了语音与文本之间的深度跨模态融合。

2.高效的全查询注意力EALLQA技术：采用隐式RNN两级位置编码，训练时在128空间上的MHA，推理在模型各层共享的512空间上的MQA，将KV cache降低到几十分之一，进一步提升模型的推理效率。

3.Encoder与语音识别结合：实现对用户question的极速理解，计算量显著降低10倍。

Decoder与语音合成结合：依赖大模型强Context理解能力，直接生成语音合成所需的文本、情感、风格以及TN、多音字、韵律等信息。流式逐字的情感语音合成：业内领先的流式逐字语音合成，结合大模型实现多情感、超自然合成效果，同时语音语言大模型与合成系统一体化输出，打造极致性价比。

推动语音交互技术普及

成本降低是技术进步的必然结果，也是推动语音交互技术大规模应用的关键。此次百度发布的端到端语音语言大模型不仅在技术上实现了重大突破，更通过开放平台的方式，加速了该技术在智能硬件、社交娱乐APP等业务场景中的应用与普及。

随着百度端到端语音语言大模型的正式发布，语音交互技术正式迈入了一个全新的发展阶段。该模型以其超逼真的交互体验、超低的响应时延以及超低的调用成本，为未来智能助手的应用场景提供了无限可能。

端到端语言语音大模型现已入驻千帆ModelBuilder模型广场，点击详情页立即体验