AI in Multiple GPUs: Point-to-Point and Collective Operations

Artykuł omawia operacje komunikacyjne typu punkt-punkt (point-to-point) i zbiorcze (collective) w bibliotece PyTorch dla rozproszonych obciążeń sztucznej inteligencji na wielu GPU. Skupia się na wykorzystaniu backendu NCCL (NVIDIA Collective Communications Library) i wyjaśnia różnice między komunikacją synchroniczną (blokującą) a asynchroniczną (nieblokującą), w tym kluczowe metody takie jak send/recv, broadcast, scatter, reduce, gather, all_reduce, all_gather, reduce_scatter.