Yandex开源LLM训练工具节省高达20%的GPU资源

2024年6 月11 日，莫斯科——跨国科技公司Yandex 最近推出了YaFSDP，这是一种用于训练大型语言模型(LLM)的开源方法。YaFSDP是目前最有效的公开可用工具，用于增强GPU 通信并减少LLM 训练中的内存使用量，与FSDP相比，其训练速度提升最高可达26%，具体取决于架构和参数数量。通过使用YaFSDP 减少LLM 的训练时间可以节省高达20% 的GPU 资源。

Yandex承诺为全球人工智能社区的发展做出贡献，将YaFSDP开源提供给全球的LLM开发人员和人工智能爱好者即是履行此承诺的其中一步。

“目前，我们正在积极尝试各种模型架构和参数大小，以扩展YaFSDP的多功能性，”Yandex高级开发专家、YaFSDP团队成员Mikhail Khruschev指出，“我们很高兴与全球ML 社区分享我们在LLM训练方面的研发成果，希望能为全球研究人员和开发者获得更多的开源工具和更高的效率做出贡献。”

YaFSDP案例

LLM训练是一个耗时且资源密集的过程。机器学习工程师和自主开发LLM 的公司投入了大量的时间和GPU资源（相当于金钱）来训练这些模型。模型越大，其训练所需的时间和费用就越高。

Yandex的YaFSDP优化了学习速度和性能，使全球的AI开发人员在训练模型时可以使用更少的计算能力和GPU 资源。例如，在涉及具有700亿个参数之模型的预训练场景中，使用YaFSDP 可以节省大约150 个GPU的资源，这意味着每月可以节省大约50 万美元到150万美元（取决于虚拟GPU 提供商或平台）。

YaFSDP通过消除GPU通信效率低下来提升效能，确保训练时只需必要的处理器内存，并使GPU 交互不间断。

YaFSDP的训练效率

YaFSDP是FSDP 的增强版，在LLM训练中最耗通信的阶段（如预训练、对齐和微调）中，其表现优于FSDP 方法。YaFSDP在Llama 2 和Llama 3上展示的最终提速表明训练速度显著提高，在Llama 2 70B 和Llama 3 70B 上分别达到21% 和26%。

MikhailKhruschev 表示：“YaFSDP在130 亿至700亿个参数的模型上表现出色，在300 亿至700亿个参数范围内表现尤为惊人。目前，YaFSDP最适合基于LLaMA架构的广泛使用之开源模型。”

YaFSDP并不是Yandex的第一个开源工具。该公司之前曾分享过其他几款在ML 社区中很受欢迎的工具，包括：

CatBoost：一种高性能的基于决策树之梯度提升库。

YTsaurus：分布式存储和处理的大数据平台。

AQLM：最先进的量化算法之一，用于大型语言模型的极限压缩。由 Yandex Research、HSE 大学、 IST Austria 及 NeuralMagic 共同开发。

Petals：是一个旨在简化 LLM 训练和微调过程的库，由 Yandex Research、HSE 大学、华盛顿大学、Hugging Face、巴黎-萨克雷高等经济学院和 Yandex 数据分析学院合作开发。