10万块芯片，马斯克用最大超算挑战GPT

RDMA（Remote Direct Memory Access）即远程直接内存访问，它可以把数据直接从一台计算机传输到另一台计算机，无需双方操作系统的介入。单一RDMA打造了高吞吐、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。

单从规模来看，xAI孟菲斯超算中心已经在算力上跻身世界第一，不仅远远超过了OpenAI用来训练GPT-4的2.5万块A100 GPU，也超越了Aurora（60，000个Intel GPU）和Microsoft Eagle（14，400个Nvidia H100 GPU），甚至超过了此前的世界第一超算Frontier（37，888个AMD GPU）。

H100是英伟达专为处理大型语言模型数据而开发的芯片，每块芯片价格大概在3万美元左右，也就是说xAI这次建的超算中心仅是芯片的价值就高达30亿美元。