在人工智能领域，谷歌DeepMind再次引领创新潮流，发布了全新的Mixture-of-Depths（MoD）架构。这一突破性技术改变了传统的Transformer计算模式，通过动态分配大模型中的计算资源，显著提高了AI模型的训练效率和推理速度。
据了解，MoD架构通过优化不同层次模型深度中的计算资源分配，实现了对输入序列中特定位置token的精准关注。它限制给定层的自注意力和MLP计算的token数量，从而避免不必要的计算，使神经网络能够更有效地聚焦于真正重要的信息。这种动态分配计算资源的方式，不仅提高了计算效率，还使得模型在训练过程中能够更快速地收敛。
在等效计算量和训练时间下，MoD架构展示出了显著的优势。谷歌方面的测试结果显示，相比传统方法，MoD每次向前传播所需的计算量更小，而且在训练后的采样过程中，步进速度提高了50%。这一性能提升对于大型AI模型的训练和推理具有重要意义，将有助于加速AI技术的研发和应用。
此外，谷歌研究团队还探讨了MoD与MoE（Mixture-of-Experts）结合的可能性。MoDE结合了MoD的动态计算分配和MoE的专家模型优势，有望进一步提升AI模型的性能和推理速度。这一结合为AI技术的发展开辟了新的道路，有望为未来的AI应用带来更高效、更准确的解决方案。
除了MoD架构的发布，谷歌DeepMind还联合斯坦福大学开发了一款名为SAFE的AI事实核查工具。SAFE通过对AI聊天机器人生成的回复进行分析、处理和评估，以验证其准确性和真实性。这一工具对于解决AI幻觉问题具有重要意义，有助于提升AI模型的可靠性和可信度。
谷歌方面的研究人员通过创建包含大量事实的数据集并在多个大语言模型上进行测试，验证了SAFE的性能。结果显示，SAFE在对争议事实的分析中表现出色，其判定在进一步审查下的正确率达到了76%。同时，SAFE还具备显著的经济性优势，其成本比人工注释便宜20多倍，为AI技术的广泛应用提供了有力支持。
MoD架构和SAFE工具的发布，再次展示了谷歌DeepMind在人工智能领域的创新实力。这些技术成果不仅提高了AI模型的训练和推理效率，还解决了AI应用中的一些关键问题，为AI技术的进一步发展奠定了坚实基础。未来，随着这些技术的不断优化和完善，相信AI将在更多领域展现出其巨大的潜力和价值。
原创文章，作者：李森，如若转载，请注明出处：https://www.kejixun.com/article/643913.html
