首页 头条
首页 / 马斯克19天建成世界最强AI集群！10万块H100「液冷怪兽」即将觉醒
更多
体育 数码

马斯克19天建成世界最强AI集群！10万块H100「液冷怪兽」即将觉醒

元宇宙头条中国站 2024-07-25 14:00:00 热度 4701
元宇宙头条
11-14 14:28 494288

据新智元７月２３日消息，凌晨4:20，大洋彼岸的最大超算训练集群开始轰鸣。

【新智元导读】10万块液冷H100正式开工，马斯克19天建成世界最强AI训练集群。

「420」也是马斯克最喜欢玩的梗，象征着自由、不受约束和反传统。
马斯克频繁把「420」用在他的产品定价，公司开会时间和星舰一发射时间上等等。
网友也在评论区打趣马斯克超绝仪式感，不到4:20不开工。
在最新采访中，马斯克透露了更多关于新建超算和xAI模型进展：
- Grok 2上个月完成了训练，大约用了15K H100
- Grok 2将于下个月发布，与GPT-4相当- Grok 3正在新建10万块液冷H100超算上，开始训练- 预计Grok 3将在12月发布，「届时将成为世界上最强大的人工智能」

10万块液冷H100，19天完成搭建


值得注意的是，这个全球最大的超算集群，大就大在拥有10万块H100，还是液冷的那种。
10万块H100是什么概念呢?
价格上来看，H100 GPU作为AI的关键组件、硅谷的热门商品，据估计每块成本在3万到4万美元之间，10万块H100就是一笔40亿的大单。
而在全美TOP 5的高校机器学习博士曾发帖说，实验室H100数量为0，要用GPU得靠抢。
李飞飞也在采访里表示，斯坦福的自然语言处理小组只有64块A100 GPU。
而马斯克一出手就是10万块，这个数字令评论区垂涎欲滴。
算力上来看，算力大约是OpenAI用于训练GPT4的25000块A100的20倍左右。
耗电上来看，仅仅是让这个超级计算中心维持运转，所需要的电力总功率就达到70MW，相当于这是一座普通电厂的装机容量，可满足20万人的能源需求。
今年5月，马斯克就曾表示，希望在2025年秋季前建成「超算工厂」。
现在看来，为了加速超级集群的建设，他选择了购买当前一代的H100 GPU，而不是等待新一代的H200或其他即将推出的基于Blackwell的B100和B200 GPU。
尽管市场预期Nvidia的新Blackwell数据中心GPU将在2024年底前上市，马斯克显然没有耐心等待。
当前AI军备竞赛越发火热，唯快不破，谁能最快地推出产品就能迅速占领市场。
xAI作为一家初创公司，更是要是与其他巨头之战中先声夺人。
在之前，马斯克与甲骨文的百亿大单就谈崩了，马斯克嫌弃甲骨文速度太慢，认为对方没有以可行的速度构建计算集群。
而甲骨文则觉得xAI建超算选址承担不了电力的需求，随着百亿订单的谈判破裂， xAI和甲骨文停止了讨论扩大现有合作的可能性。
xAI只得田纳西州孟菲斯市建设自己的人工智能数据中心，与甲骨文的合作破裂意味着xAI要自己动手单干，通过10万块H100构建独立的数据中心，以摆脱甲骨文等云提供商能力的限制。
马斯克自己也表示，xAI拥有世界最强的AI训练集群，可谓遥遥领先。

世界最强Grok-3开训，年底发


在马斯克最新一则采访中，披露了建立超算的一些细节。

据大孟菲斯商会（Greater Memphis Chamber）主席Ted Townsend透露，马斯克只花了大约一周的时间就决定将xAI的新超级计算机建造在孟菲斯。

Townsend说，经过3月份的几天旋风式谈判之后，马斯克和他的团队选择了田纳西州的这座城市，因为这里有充足的电力和快速建设的能力。

并且，仅仅花费了19天超算中心就建造完成，马斯克也在推文中赞扬了团队优秀的工作。

Supermicro公司也为xAI提供了大部分硬件支持，其CEO Charles Liang也在马斯克的推文下发表了评论，赞扬了团队的执行能力。
如此之大的训练集群，目的就是为了训练Grok 3。
本月初，马斯克就宣布8月底推出Grok 2，在Grok-2尚未发布的情况下，马斯克也透露了Grok-3的部分细节，为最强模型Grok 3造势。
马斯克在今年4月接受挪威主权基金负责人Nicolai Tangen采访时说，Grok 2需要大约2万张H100来进行训练。
Grok 3将于年底发布，可以预见，基于10万个GPU训练的Grok 3性能方面将比Grok 2更上一层楼。
如此巨大的超算中心，自然需要大量人才和技术的支持，马斯克也继续在推特上招兵买马，让数据优势、人才优势和算力优势全部扩张到极致。

来源：新智元

编辑：Luke

（声明：请读者严格遵守所在地法律法规，本文不代表任何投资建议）

元宇宙 电商 虚拟购物
本文来源：元宇宙头条 文章作者：元宇宙头条中国站
收藏
举报
元宇宙头条中国站
累计发布内容523篇 累计总热度10万+
523篇 10万+
更多文章
FTX 后院起火，Binance 釜底抽薪
FTX 后院起火，Binance 釜底抽薪
FTX 后院起火，Binance 釜底抽薪

元宇宙头条现已开放专栏入驻，详情请见入驻指南： #

免责声明：
1、本文版权归原作者所有，仅代表作者本人观点，不代表元宇宙头条观点或立场。
2、如发现文章、图片等侵权行为，侵权责任将由作者本人承担。

上一篇：超越ChatGPT5！10万H100 GPU，马斯克的登顶之战

下一篇：如何比较扩展现实中的人工智能解决方案？

评论 共0条
默认
|
点赞
说点什么吧
相关文章

人工智能对国家发展的深远影响

速途元宇宙研究院 11-18 19:25

特朗普：计划让美国成为全球加密之都

速途元宇宙研究院 11-18 19:25

【人工智能|综述篇】远程工作趋势的革命：视频会议中的 AR 和 AI

速途元宇宙研究院 11-18 19:25

Magic 公司筹集了 3.2 亿美元，开发 AI 编程助手

速途元宇宙研究院 11-18 19:25

加州州长有机会在人工智能领域创造历史

速途元宇宙研究院 11-18 19:25

AI如何揭示宇宙的原始“设定”

速途元宇宙研究院 11-18 19:25

您需要登录后才可以回帖 立即登录

元宇宙头条中国站
个人认证
微信公众号
热门文章
本日
本周
本月

下载APP

微信公众号

关于我们 投稿须知 联系我们 意见反馈 隐私政策 APP下载

info@meta-time.org

元宇宙头条科技有限公司

粤ICP备13090461号

关于我们

由元宇宙联邦、元宇宙联邦大学、元宇宙时代和元宇宙头条联合打造的、面对全世界的融媒体“元宇宙头条”APP正式创版上线。

关于我们| 联系我们| 加入我们| 意见反馈

网站地图

资讯
视频
活动

关注公众号

微信客服

Copyright @ 2021 MetaTopNewInc. Powered by 元宇宙头条