登录社区云，与社区用户共同成长
邀请您加入社区
在这个过程中，零一万物基于 NVIDIA 软硬结合的技术栈，在功能开发、调试和性能层面，与 NVIDIA 团队合作优化，完成了在大模型的 FP8 训练和验证。在此基础上，零一万物团队进一步的设计了训练容错方案：由于没有 BF16 的 baseline 来检查千亿模型 FP8 训练的 loss 下降是否正常，于是，每间隔一定的步数，同时使用 FP8 和 BF16 进行训练，并根据 BF16 和 FP
NeMo Curator 是一款功能强大的工具，旨在帮助您从原始数据集中提取最大价值，并将其转换为高质量的可消耗数据，以确保下游模型的高准确性。随着数据量呈爆炸式增长，拥有可扩展且高效的数据流水线比以往任何时候都更加重要。NeMo Curator 支持文本、图像和视频模式的处理，并且可以快速高效地扩展高达 100+ PB 的数据，确保您的模型保持最新状态，而不会受到模型漂移的影响。
我们转向考虑 interleaved 1F1B，沿用上面调整 warmup step 的逻辑，惊喜地发现，通过将稳态的 1F1B stage 中第一个 micro batch 的 fprop 提前到 warmup stage，即 warmup step + 1，就可以在 interleaved 1F1B 实现 1F1B 稳态阶段不同 micro batch 前反向之间的 EP A2A 与计算的 o
随着机器人和自动驾驶汽车的发展，加速物理 AI的发展变得至关重要，而物理 AI 使自主机器能够感知、理解并在现实世界中执行复杂的操作。这些系统的核心是世界基础模型 (WFMs)，即通过物理感知视频模拟物理状态的 AI 模型，使机器能够做出准确决策并与周围环境无缝交互。 NVIDIA Cosmos平台可帮助开发者大规模为物理 AI 系统构建自定义世界模型。它为从数据管护、训练到定制的每个开发阶段提
AI代理为企业扩展和提升客户服务以及支持交互提供了重要机会。这些客服人员可自动处理日常查询并缩短响应时间，从而提高效率和客户满意度，帮助组织保持竞争力。 但是，除了这些优势之外，AI 智能体也存在风险。大语言模型（LLMs）容易生成不当内容或离题内容，并且容易受到“jailbreak”攻击。为了充分发挥生成式 AI 在客户服务中的潜力，实施可靠的 AI 安全措施至关重要。 本教程为 AI 构建者
介绍 通过封装 NVIDIA Merlin HugeCTR，Sparse Operation Kit（以下简称 SOK）使得 TensorFlow用户可以借助 HugeCTR 的一些相关特性和优化加速 GPU 上的分布式 Embedding训练。 在以往文章中（Merlin HugeCTR Sparse Operation Kit 系列之一 – NVIDIA 技术博客,Merlin HugeCT
目前，市场上许多公司都积极开展基于 FP8 的大模型训练，以提高计算效率和性能。 在此，我们整理并总结了客户及 NVIDIA 技术团队在 FP8 模型训练过程中的 debug 思路和方法，供大家参考。 在讨论之前，建议大家使用我们推荐的 FP8 训练的 Recipe，即使用 Delayed scaling，在History length为1024的窗口中选取最大的amax数值作为计算scalin
简介 推荐系统是互联网行业的核心系统，如何高效训练推荐系统是各公司关注的核心问题。目前，推荐系统基本上都是基于深度学习的大规模 ID 类模型，模型包含数十亿甚至数百亿级别的 ID 特征，典型结构如图 1 所示。 图1. 典型 DLRM 模型结构图 近年来，以NVIDIA Merlin HugeCTR和TorchRec为代表的 GPU 解决方案，通过将大规模 ID 类特征的 embedding 存放
本文主要介绍了FP8数据格式在大型模型训练中的应用、挑战及最佳实践，展示了FP8在提升训练速度和效率方面的潜力和实际效果。 一、FP8格式 在介绍 FP8 格式之前，我们需要回答一个问题：为什么需要讨论 FP8？从图中可以看出，近年来大模型所需的算力急剧增长，从 GPT-1 到 GPT-3，再到类似 GPT-4 的 GPT MOE 1.8T，算力需求增长了数万倍。这种增长速度的背后是硬件算力的
生成式推荐系统优势介绍 推荐系统的主要任务是根据用户的历史行为预测其兴趣点，并向其推荐相应的商品。传统的推荐系统在处理用户请求时，会触发多个召回模块（包括热门商品召回、个性化召回、深度召回等），以召回大量候选商品。随后，系统通过相对简单的粗排模型对候选集进行初步筛选，缩小候选范围，最后通过精排和重排模型，确定最终返回给用户的推荐结果。 随着大语言模型（LLM）在推荐系统中的应用，生成式推荐系统相
