mscclpp.default_algos.allgather_multi_nodes

mscclpp.default_algos.allgather_multi_nodes(spec)

Build a hierarchical AllGather across nodes and local GPUs.

Return type:

CollectiveProgram

Parameters:

spec (AlgoSpec)