OCP 大会网络会议的重点。
Meta 和 ByteDance 提出了 “分解调度 F#”（Disaggregated Scheduled Fabric，DSF）这一万能解决方案。
调度结构并不新鲜，所有高端模块交换机都采用了这种结构。它是叶状拓扑中叶交换机之间基于接收器的调度。发送方请求传输点数。一旦获得批准，数据就会被分割成更小的单元，在 Fabric 链路上传播，并由目的地叶交换机重新组装，然后传送到目标 GPU。
DSF 为超级计算机提供了多项优势： 它使超级计算机能够将分布式机箱视为一个大型披萨盒/单路由器，将网络利用率/性能的负担转移给交换机供应商。弹性通常内置于硬件中，无需软件干预即可实现链路切换。DSF 消除了 ECN 和其他方案所需的大量调整工作。
使用 DSF 时，数据包在等待授权时会在入口叶子交换机中缓冲，数据包缓冲要求随规模线性增加。出口叶子交换机必须有足够的输出缓冲来隐藏 RTT（取决于电缆长度），以避免链路订阅不足。由于入口交换机的片上 SRAM 缓冲器有限，流量可能会溢出到外部存储器，从而增加尾部延迟，尽管可以防止数据包丢失。ByteDance 声称，在他们的 128 GPU DSF 结果中，所有流量都可以保持在片上，但这对更大的系统可能不适用。
Meta 在 OCP 上使用 144 GPU 集群的 DSF 结果显示，带宽密集型集合（如 all-to-all）的性能提高了 10%。对于包括全还原在内的其他集群，结果与 Meta 其他以太网 Fabric 中使用的现有自适应路由（带 DLB）配置相当。ByteDance 在其集群中也看到了类似的结果。
DSF 增加了控制平面的复杂性。所有 DSF 实施都是针对特定供应商的，要求客户了解特定实施。从某种意义上说，DSF 和 Infiniband 一样，是一种封闭的供应商解决方案。
UEC 还能通过不需要严格排序的传输协议实现数据包喷射。它规定了网卡基于发送方和接收方的组合调度（类似于 DSF 中的 VOQ）。随着 AMD 的发布，符合 UEC 标准的网卡（具有可编程管道）即将问世。
当更经济的 UEC 兼容交换机/网卡充斥市场时，DSF 是否会在人工智能集群中销声匿迹（一厢情愿?），还是继续与希望获得交钥匙解决方案的超大规模用户共存，时间将证明一切。
#AI #DevOps #云计算 #app开发
Meta 和 ByteDance 提出了 “分解调度 F#”（Disaggregated Scheduled Fabric，DSF）这一万能解决方案。
调度结构并不新鲜，所有高端模块交换机都采用了这种结构。它是叶状拓扑中叶交换机之间基于接收器的调度。发送方请求传输点数。一旦获得批准，数据就会被分割成更小的单元，在 Fabric 链路上传播，并由目的地叶交换机重新组装，然后传送到目标 GPU。
DSF 为超级计算机提供了多项优势： 它使超级计算机能够将分布式机箱视为一个大型披萨盒/单路由器，将网络利用率/性能的负担转移给交换机供应商。弹性通常内置于硬件中，无需软件干预即可实现链路切换。DSF 消除了 ECN 和其他方案所需的大量调整工作。
使用 DSF 时，数据包在等待授权时会在入口叶子交换机中缓冲，数据包缓冲要求随规模线性增加。出口叶子交换机必须有足够的输出缓冲来隐藏 RTT（取决于电缆长度），以避免链路订阅不足。由于入口交换机的片上 SRAM 缓冲器有限，流量可能会溢出到外部存储器，从而增加尾部延迟，尽管可以防止数据包丢失。ByteDance 声称，在他们的 128 GPU DSF 结果中，所有流量都可以保持在片上，但这对更大的系统可能不适用。
Meta 在 OCP 上使用 144 GPU 集群的 DSF 结果显示，带宽密集型集合（如 all-to-all）的性能提高了 10%。对于包括全还原在内的其他集群，结果与 Meta 其他以太网 Fabric 中使用的现有自适应路由（带 DLB）配置相当。ByteDance 在其集群中也看到了类似的结果。
DSF 增加了控制平面的复杂性。所有 DSF 实施都是针对特定供应商的，要求客户了解特定实施。从某种意义上说，DSF 和 Infiniband 一样，是一种封闭的供应商解决方案。
UEC 还能通过不需要严格排序的传输协议实现数据包喷射。它规定了网卡基于发送方和接收方的组合调度（类似于 DSF 中的 VOQ）。随着 AMD 的发布，符合 UEC 标准的网卡（具有可编程管道）即将问世。
当更经济的 UEC 兼容交换机/网卡充斥市场时，DSF 是否会在人工智能集群中销声匿迹（一厢情愿?），还是继续与希望获得交钥匙解决方案的超大规模用户共存，时间将证明一切。
#AI #DevOps #云计算 #app开发
