Accelerate documentation

분산 추론

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

분산 추론

분산 추론은 두 가지 범주로 나눌 수 있습니다:

  1. GPU 각각에 전체 모델을 로드하고, 배치의 청크를 한 번에 GPU별 모델 복사본을 통해 전달하는 방식
  2. 모델의 각 부분을 GPU별로 로드하고 한 번에 하나의 입력만 처리하는 방식

이 가이드는 첫 번째 괄호에 대해 다룹니다. 두 번째에 대해서는 Big Model Inference를 참조하세요.

…

이 솔루션은 특정 시점에 각 GPU가 메모리에 모델의 전체 복사본을 유지해야 하므로 메모리 사용량이 가장 높은 솔루션입니다.

일반적으로 이 작업을 수행할 때, 사용자는 모델을 CPU에서 로드하기 위해 특정 장치로 보내고, 각 프롬프트를 다른 장치로 이동합니다.

diffusers 라이브러리를 사용한 기본적인 파이프라인은 다음과 같은 형태일 수 있습니다:

import torch
import torch.distributed as dist
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)

이후 특정 프롬프트를 기반으로 추론을 수행합니다:

def run_inference(rank, world_size):
    dist.init_process_group("nccl", rank=rank, world_size=world_size)
    pipe.to(rank)

    if torch.distributed.get_rank() == 0:
        prompt = "a dog"
    elif torch.distributed.get_rank() == 1:
        prompt = "a cat"

    result = pipe(prompt).images[0]
    result.save(f"result_{rank}.png")

rank를 확인해야 어떤 프롬프트를 보내야 하는지 알 수 있다는 점을 알아차릴 수 있는데, 이는 다소 번거로울 수 있습니다.

사용자는 Accelerate를 사용하면 Accelerator로 데이터 로더를 준비하여 이러한 작업을 관리하는 것이 간단할 수도 있다고 생각할 수 있습니다. (자세한 내용은 Quick Tour의 관련 섹션을 참고하세요.)

관리할 수 있을까요? 네. 하지만 불필요한 추가 코드를 포함하는가? 이것도 네.

Accelerate를 사용하면 Accelerator.split_between_processes() 컨텍스트 매니저(이것은 PartialState와 AcceleratorState에도 존재합니다)를 활용하여 이 과정을 단순화할 수 있습니다. 이 함수는 전달하는 데이터(프롬프트, 텐서 집합, 이전 데이터의 사전 등)를 자동으로 모든 프로세스에 분할하여(패딩이 적용될 수 있음) 바로 사용할 수 있게 해줍니다.

이 컨텍스트 매니저를 사용하여 위의 예제를 다시 작성해 보겠습니다:

import torch
from accelerate import PartialState  # Can also be Accelerator or AcceleratorState
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)
distributed_state = PartialState()
pipe.to(distributed_state.device)

# Assume two processes
with distributed_state.split_between_processes(["a dog", "a cat"]) as prompt:
    result = pipe(prompt).images[0]
    result.save(f"result_{distributed_state.process_index}.png")

그리고 코드를 실행하려면 Accelerate를 사용할 수 있습니다:

accelerate config를 사용하여 설정 파일을 생성한 경우:

accelerate launch distributed_inference.py

사용하려는 특정 config 파일이 있는 경우:

accelerate launch --config_file my_config.json distributed_inference.py

config 파일을 만들고 싶지 않고 두 개의 GPU에서 실행하려면:

Note: 시스템에 기반하여 값이 추측된다는 경고가 표시됩니다. 이를 제거하려면 accelerate config default를 실행하거나 accelerate config를 통해 설정 파일을 생성할 수 있습니다.

accelerate launch --num_processes 2 distributed_inference.py

이제 이 데이터를 분할하는 데 필요한 불필요한 코드를 몇 줄의 코드로 쉽게 줄일 수 있습니다.

그렇다면 프롬프트가 GPU에 홀수로 분배되는 경우는 어떻게 될까요? 예를 들어, 프롬프트가 3개인데 GPU는 2개뿐인 경우를 생각해 보겠습니다.

컨텍스트 매니저 아래에서 첫 번째 GPU는 첫 번째와 두 번째 프롬프트를, 두 번째 GPU는 세 번째 프롬프트를 수신하여 모든 프롬프트가 분할되고 오버헤드가 필요 없도록 보장합니다.

그러나, 모든 GPU의 결과를 활용하고 싶다면 어떻게 해야 할까요? (예: 모든 결과를 수집한 후 후처리 수행) apply_padding=True를 전달하여 프롬프트 목록이 동일한 길이가 되도록 패딩을 적용할 수 있습니다. 이 경우 추가 데이터는 마지막 샘플에서 가져옵니다. 이렇게 하면 모든 GPU가 동일한 수의 프롬프트를 가지게 되어 결과를 수집할 수 있습니다.

결과 수집과 같이 각 디바이스의 데이터 길이가 동일해야 하는 작업을 수행할 때만 필요합니다. 기본적인 추론에는 이 과정이 필요하지 않습니다.

예를 들어:

import torch
from accelerate import PartialState  # Can also be Accelerator or AcceleratorState
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)
distributed_state = PartialState()
pipe.to(distributed_state.device)

# Assume two processes
with distributed_state.split_between_processes(["a dog", "a cat", "a chicken"], apply_padding=True) as prompt:
    result = pipe(prompt).images

첫 번째 GPU에서는 프롬프트가 ["a dog", "a cat"]이고, 두 번째 GPU에서는 ["a chicken", "a chicken"]입니다. 마지막 샘플은 이전 샘플과 중복되므로 제거해야 합니다.

LLM과 함께 사용하는 방법과 같은 더 복잡한 예제는 여기에서 확인할 수 있습니다.

Update on GitHub