분산 트레이닝과 같은 멀티프로세싱 환경에서 wandb를 어떻게 사용할 수 있나요?

트레이닝 프로그램이 여러 프로세스를 사용하는 경우, wandb.init()이 호출되지 않은 프로세스에서 wandb 메소드를 호출하지 않도록 프로그램을 구성하세요.

다음 방법들을 사용하여 멀티프로세스 트레이닝을 관리할 수 있습니다:

1. 모든 프로세스에서 wandb.init을 호출하고 group 키워 인수를 사용하여 공유 그룹을 생성합니다. 각 프로세스는 고유한 wandb run을 가지게 되며, UI에서는 트레이닝 프로세스들이 함께 그룹화되어 표시됩니다.
2. 하나의 프로세스에서만 wandb.init을 호출하고, 멀티프로세싱 큐(multiprocessing queues)를 통해 로그할 데이터를 전달합니다.

Torch DDP를 사용한 코드 예제를 포함하여 이러한 접근 방식에 대한 자세한 설명은 분산 트레이닝 가이드를 참조하세요.