Accelerate

Accelerate 是一个库，只需添加四行代码，即可让相同的 PyTorch 代码在任何分布式配置上运行！简而言之，它让大规模训练和推理变得简单、高效且易于适配。

+ from accelerate import Accelerator
+ accelerator = Accelerator()

+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+     model, optimizer, training_dataloader, scheduler
+ )

  for batch in training_dataloader:
      optimizer.zero_grad()
      inputs, targets = batch
      inputs = inputs.to(device)
      targets = targets.to(device)
      outputs = model(inputs)
      loss = loss_function(outputs, targets)
+     accelerator.backward(loss)
      optimizer.step()
      scheduler.step()

Accelerate 基于 torch_xla 和 torch.distributed 构建，负责处理繁重的工作，因此您无需编写任何自定义代码来适配这些平台。将现有代码库转换为使用 DeepSpeed，执行 fully sharded data parallelism，并自动支持混合精度训练！

为了更好地了解这一过程，请务必查看教程！

然后，可以通过 Accelerate 的 CLI 接口在任意系统上启动此代码：

accelerate launch {my_script.py}

教程

学习基础知识并熟悉 Accelerate 的使用方法。如果您是首次使用 Accelerate，请从这里开始！

操作指南

实用指南，帮助你实现特定目标。查看这些指南，了解如何使用 Accelerate 解决实际问题。

概念指南

提供高层次的说明，帮助深入理解重要主题，例如分布式训练和 DeepSpeed 中容易忽略的细微差别和常见陷阱。

参考

关于 Accelerate 各类和方法工作原理的技术说明。

Update on GitHub