微软推出ZeRO技术，助力AI大模型训练时间和成本降低
更新时间：2023-06-27 17:47:07作者：yidaimei
品玩6月27日讯，据微软官方消息。微软研究人员日前推出了名为 ZeRO++ 的新技术，可显著减少大模型训练时间和成本。
ZeRO++ 建立在 ZeRO 传输技术基础上，提供增强的通信策略。可提高训练效率，同时减少训练时间和成本。ZeRO++ 可对权重进行量化，其利用基于块的量化方法来保持训练精度。这种优化的量化过程相对原始 Zero 传输技术更快更准确。
微软研究人员表示，与 ZeRO 相比，ZeRO++ 减少了高达 4 倍的通信量，提高了训练吞吐量和效率。
微软推出ZeRO技术，助力AI大模型训练时间和成本降低相关教程
- AMD发布10亿开源AI模型OLMo，用Instinct MI250 GPU集群训练，助力AI技术发展
- 微软推出DirectX的CASO技术，助力笔记本电脑游戏性能大幅提升
- AI音乐时代降临 微软、谷歌和Meta押注合成数据构建AI模型
- 微软联合新加坡国立大学，发布多模态AI助手 AssistGPT，助力人工智能技术发展
- 微软Github推出Spark AI工具：降低开发门槛，助力开发者快速构建人工智能应用
- 微软启动全球AI培训项目，助力人民掌握生成式AI技能，提升全球AI应用水平
- 微软将向日本政府提供ChatGPT技术，助力文书处理和统计数据
- 微软亚洲研究院邱锂力：无线通信和感知AI大模型赋能
- 英伟达推出最强AI芯片：首发HBM3e，大模型运行能力提升3.5倍
- 微软新专利：AI大模型助理随时随地与用户语音对话
- Windows系统编年史：从XP到Win12，谁是你的心中痛点？
- 首张RDNA 4“巨齿鲨”，华硕推出ATS RX 9070 GRE O12G显卡，性能强劲游戏体验升级
- 英伟达CEO黄仁勋2025财年薪酬达4990万美元，创历史新高
- GMKtec EVO-X2发布！搭载AMD处理器，128GB内存，迷你PC性能再次突破
- 30%的微软代码现在由人工智能编写 - 尤其是新代码，如何影响软件开发？
- Arm CPU已适配千问3：全面解读Arm处理器适配问题