博客

Nanotron 项目详解：Hugging Face 的大模型预训练框架怎么做分布式训练

这篇文章选一个真正和“大模型训练”强相关的开源项目来讲：Hugging Face 的 Nanotron。 项目地址：https://github.com/huggingface/nanotron Nanotron 是 Hugging Fac...