5月 AGI技术月报 上篇
输入“/”快速插入内容
5月 AGI技术月报 上篇
5月 AGI技术月报 上篇
用户8190用户81902024年9月10日修改
播客｜科技巨头们开始抢电？聊聊AI用电荒和核聚变创业热
太长不看版
「AI用电荒」
1.
AI耗电现状：美国的AI数据中心耗电量已经达到了纽约市的用电量，占美国总电量的2.5%。
2.
未来电力需求预测：预测显示，AI的用电量在未来几年内可能会翻倍，从目前占美国总电量的2.5%增长到7.5%或更高。
3.
AI用电的特殊性和波动性：AI的用电特征与传统负载不同，会出现短时间内的剧烈波动，这对电网稳定性构成挑战。
4.
美国电力行业面临的挑战：未来三五年内，AI的增长可能会与居民用电需求产生冲突，导致电力短缺。
5.
AI与能源转型的负担：AI的增长意外地加重了能源转型的负担，电力供应可能成为AI发展的瓶颈。
6.
硅谷公司数据中心布局：硅谷公司在短期内通过抢占现有电网容量来满足数据中心的电力需求，长期则考虑与电力公司合作，提前规划基础设施。
7.
中国电力供应结构：中国拥有多样化的发电方式和较好的基础设施建设能力，这为数据中心的建设和电力供应提供了优势。
「能源现状与解决办法」
1.
中国核能规划：中国的核能发展采取“三步走”策略，包括热堆、快堆和核聚变堆的发展。
2.
科技巨头的新难题：在发展AI的同时，科技巨头需要考虑气候变化问题，这增加了成本和复杂性。
3.
AI能源消耗减少的可能性：随着AI训练数据的耗尽或GPU效率的提高，AI的能源消耗有可能减少。
4.
核能的潜力：核能，包括核裂变和核聚变，作为未来能源解决方案的潜力被对比分析。
5.
核裂变与核聚变的选择：核裂变技术相对成熟，但存在原材料和核废料处理问题；核聚变则被视为更清洁、更可持续的能源解决方案。
6.
核聚变发电的时间表：尽管科学问题已接近解决，但核聚变发电的商业化仍面临巨大的成本挑战。
7.
Helion Energy与微软的对赌协议：Helion Energy承诺在2028年为微软提供50MW的电站，价格为每度电一美分。
8.
核聚变公司的流派：核聚变公司采取不同的技术路线，如托克马克和磁惯约束性聚变（MIF）。
「未来对策」
1.
数据中心选址问题：美国、中国和欧洲在数据中心选址时考虑数据资产和算力需求，如中国的“东数西算”工程。
2.
电网负担解决方案：能源转型和分布式储能是减轻电网负担的潜在解决方案。
3.
AI与能源行业的互补：AI技术可以赋能核聚变和其他能源行业，帮助解决复杂的设计和调度问题。
飞腾、鲲鹏、海光、龙芯、兆芯、申威国产CPU处理器
国产CPU处理器领域中，飞腾、鲲鹏、海光、龙芯、兆芯、申威等厂商正推动“中国芯”的发展。飞腾基于ARM架构，提供高性能服务器和桌面CPU，支持PK生态；鲲鹏为华为旗下，以ARM V8架构实现端边云算力同构；海光与AMD合作，开发X86架构CPU，性能领先；龙芯完全自主研发，基于MIPS架构；兆芯是X86架构下的合资企业，产品性能较好；申威基于Alpha架构，专注于超级计算。各厂商正通过技术创新和生态建设，提升产品性能，增强信息安全，逐步减少对外部技术的依赖。
优化微调语言模型的GPU利用率
该文章详细介绍了如何优化大型语言模型（LLMs）的GPU利用率，特别是通过适配器模块和低秩适配器（LoRA）技术，以减少计算成本并提高模型性能。LoRA技术通过对模型权重进行小规模且易于管理的矩阵修改来实现这一目标，有效减少了计算开销，同时保持了模型性能。通过在单一基础模型中集成多个适配器，可以在共享GPU资源上实现高效的多租户部署，智能地将请求路由到适当的适配器，从而优化资源使用，减少成本，并保持灵活性和可扩展性。此外，文章还强调了动态资源分配和适配器的监控调整在维持运营效率和高客户满意度中的重要性。
单节点8xA800跑起来HuggingFace DeepSeek V2踩坑
该文章是关于在单节点8xA800上运行HuggingFace DeepSeek V2时遇到的一些问题和解决方法的总结。作者首先介绍了在运行DeepSeek V2时遇到的两个报错情况，以及对应的解决方法。其次，作者分享了在使用transformers库进行模型推理时遇到的程序卡死问题，并给出了优化代码的解决方案。文章还提到了在单节点A800推理时需要限制输出长度以避免内存不足的问题，并给出了相应的调试建议和实测结果。最后，作者提到了如果想在单节点8卡A100/A800上加速推理并且输出更长长度的文本，可以使用vllm的实现。文章突出了技术细节和解决问题的方法，对于在实际应用中遇到类似问题的读者具有一定的参考价值。