Accelerate documentation
분산 추론
분산 추론
분산 추론은 두 가지 범주로 나눌 수 있습니다:
- GPU 각각에 전체 모델을 로드하고, 배치의 청크를 한 번에 GPU별 모델 복사본을 통해 전달하는 방식
- 모델의 각 부분을 GPU별로 로드하고 한 번에 하나의 입력만 처리하는 방식
이 가이드는 첫 번째 괄호에 대해 다룹니다. 두 번째에 대해서는 Big Model Inference를 참조하세요.
…
이 솔루션은 특정 시점에 각 GPU가 메모리에 모델의 전체 복사본을 유지해야 하므로 메모리 사용량이 가장 높은 솔루션입니다.
일반적으로 이 작업을 수행할 때, 사용자는 모델을 CPU에서 로드하기 위해 특정 장치로 보내고, 각 프롬프트를 다른 장치로 이동합니다.
diffusers 라이브러리를 사용한 기본적인 파이프라인은 다음과 같은 형태일 수 있습니다:
import torch
import torch.distributed as dist
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)이후 특정 프롬프트를 기반으로 추론을 수행합니다:
def run_inference(rank, world_size):
dist.init_process_group("nccl", rank=rank, world_size=world_size)
pipe.to(rank)
if torch.distributed.get_rank() == 0:
prompt = "a dog"
elif torch.distributed.get_rank() == 1:
prompt = "a cat"
result = pipe(prompt).images[0]
result.save(f"result_{rank}.png")rank를 확인해야 어떤 프롬프트를 보내야 하는지 알 수 있다는 점을 알아차릴 수 있는데, 이는 다소 번거로울 수 있습니다.
사용자는 Accelerate를 사용하면 Accelerator로 데이터 로더를 준비하여 이러한 작업을 관리하는 것이 간단할 수도 있다고 생각할 수 있습니다. (자세한 내용은 Quick Tour의 관련 섹션을 참고하세요.)
관리할 수 있을까요? 네. 하지만 불필요한 추가 코드를 포함하는가? 이것도 네.
Accelerate를 사용하면 Accelerator.split_between_processes() 컨텍스트 매니저(이것은 PartialState와 AcceleratorState에도 존재합니다)를 활용하여 이 과정을 단순화할 수 있습니다.
이 함수는 전달하는 데이터(프롬프트, 텐서 집합, 이전 데이터의 사전 등)를 자동으로 모든 프로세스에 분할하여(패딩이 적용될 수 있음) 바로 사용할 수 있게 해줍니다.
이 컨텍스트 매니저를 사용하여 위의 예제를 다시 작성해 보겠습니다:
import torch
from accelerate import PartialState # Can also be Accelerator or AcceleratorState
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)
distributed_state = PartialState()
pipe.to(distributed_state.device)
# Assume two processes
with distributed_state.split_between_processes(["a dog", "a cat"]) as prompt:
result = pipe(prompt).images[0]
result.save(f"result_{distributed_state.process_index}.png")그리고 코드를 실행하려면 Accelerate를 사용할 수 있습니다:
accelerate config를 사용하여 설정 파일을 생성한 경우:
accelerate launch distributed_inference.py
사용하려는 특정 config 파일이 있는 경우:
accelerate launch --config_file my_config.json distributed_inference.py
config 파일을 만들고 싶지 않고 두 개의 GPU에서 실행하려면:
Note: 시스템에 기반하여 값이 추측된다는 경고가 표시됩니다. 이를 제거하려면
accelerate config default를 실행하거나accelerate config를 통해 설정 파일을 생성할 수 있습니다.
accelerate launch --num_processes 2 distributed_inference.py
이제 이 데이터를 분할하는 데 필요한 불필요한 코드를 몇 줄의 코드로 쉽게 줄일 수 있습니다.
그렇다면 프롬프트가 GPU에 홀수로 분배되는 경우는 어떻게 될까요? 예를 들어, 프롬프트가 3개인데 GPU는 2개뿐인 경우를 생각해 보겠습니다.
컨텍스트 매니저 아래에서 첫 번째 GPU는 첫 번째와 두 번째 프롬프트를, 두 번째 GPU는 세 번째 프롬프트를 수신하여 모든 프롬프트가 분할되고 오버헤드가 필요 없도록 보장합니다.
그러나, 모든 GPU의 결과를 활용하고 싶다면 어떻게 해야 할까요? (예: 모든 결과를 수집한 후 후처리 수행)
apply_padding=True를 전달하여 프롬프트 목록이 동일한 길이가 되도록 패딩을 적용할 수 있습니다. 이 경우 추가 데이터는 마지막 샘플에서 가져옵니다. 이렇게 하면 모든 GPU가 동일한 수의 프롬프트를 가지게 되어 결과를 수집할 수 있습니다.
결과 수집과 같이 각 디바이스의 데이터 길이가 동일해야 하는 작업을 수행할 때만 필요합니다. 기본적인 추론에는 이 과정이 필요하지 않습니다.
예를 들어:
import torch
from accelerate import PartialState # Can also be Accelerator or AcceleratorState
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)
distributed_state = PartialState()
pipe.to(distributed_state.device)
# Assume two processes
with distributed_state.split_between_processes(["a dog", "a cat", "a chicken"], apply_padding=True) as prompt:
result = pipe(prompt).images첫 번째 GPU에서는 프롬프트가 ["a dog", "a cat"]이고, 두 번째 GPU에서는 ["a chicken", "a chicken"]입니다.
마지막 샘플은 이전 샘플과 중복되므로 제거해야 합니다.
LLM과 함께 사용하는 방법과 같은 더 복잡한 예제는 여기에서 확인할 수 있습니다.
Update on GitHub