Accelerate documentation
日志记录
入门指南
教程
操作指南
Accelerate
训练
梯度累积本地 SGD低精度(FP8)训练DeepSpeed使用 DeepSpeed 搭配多个模型DDP 通信钩子完全分片数据并行Megatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudi编译
推理
概念与基础
Accelerate 的内部机制将大型模型加载到内存中比较不同分布式配置下的性能执行和延迟任务梯度同步FSDP 与 DeepSpeedFSDP1 与 FSDP2上下文并行序列并行低精度训练方法在 TPU 上进行训练
参考
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
日志记录
请参阅故障排除指南或以下示例,了解如何使用 Accelerate 的 logger。
accelerate.logging.get_logger
< source >( name: strlog_level: str | None = None )
返回一个可处理多进程的 logging.Logger,用于 name。
如果日志应在所有进程上调用,请传入 main_process_only=False。如果日志应在所有进程上按顺序调用,请同时传入 in_order=True。
示例:
>>> from accelerate.logging import get_logger
>>> from accelerate import Accelerator
>>> logger = get_logger(__name__)
>>> accelerator = Accelerator()
>>> logger.info("My log", main_process_only=False)
>>> logger.debug("My log", main_process_only=True)
>>> logger = get_logger(__name__, log_level="DEBUG")
>>> logger.info("My log")
>>> logger.debug("My second log")
>>> array = ["a", "b", "c", "d"]
>>> letter_at_rank = array[accelerator.process_index]
>>> logger.info(letter_at_rank, in_order=True)库的冗长程度
使用 logging.set_verbosity() 来设置 Accelerate 内部日志记录器的默认级别:
from accelerate.logging import set_verbosity
set_verbosity("warning")通过 log_level 或 ACCELERATE_LOG_LEVEL 设置的每个日志记录器级别具有优先权。
以整数形式返回 Accelerate 库记录器的有效日志级别。
accelerate.logging.set_verbosity
< source >( verbosity: int | str )
设置 Accelerate 库日志记录器的日志级别。
这会影响 accelerate 命名空间中继承其级别的所有现有和未来的 logger。显式设置了级别的 logger(包括通过 get_logger 的 log_level 参数或 ACCELERATE_LOG_LEVEL 设置的)将保留该级别。Python 根 logger 以及 accelerate 命名空间之外的 logger 不会受到影响。
将 Accelerate 库的日志详细程度设置为 DEBUG。
将 Accelerate 库的日志详细程度设置为 INFO。
将 Accelerate 库的日志级别设置为 WARNING。
将 Accelerate 库的日志级别设置为 ERROR。