使用 NVIDIA NeMo Curator 提高生成式 AI 模型的准确性

FP8 训练的挑战和最佳实践

本文主要介绍了FP8数据格式在大型模型训练中的应用、挑战及最佳实践，展示了FP8在提升训练速度和效率方面的潜力和实际效果。 一、FP8格式 在介绍 FP8 格式之前，我们需要回答一个问题：为什么需要讨论 FP8？从图中可以看出，近年来大模型所需的算力急剧增长，从 GPT-1 到 GPT-3，再到类似 GPT-4 的 GPT MOE 1.8T，算力需求增长了数万倍。这种增长速度的背后是硬件算力的

如何使用 NVIDIA NeMo Guardrails 为客户服务保护 AI 智能体

AI代理为企业扩展和提升客户服务以及支持交互提供了重要机会。这些客服人员可自动处理日常查询并缩短响应时间，从而提高效率和客户满意度，帮助组织保持竞争力。 但是，除了这些优势之外，AI 智能体也存在风险。大语言模型（LLMs）容易生成不当内容或离题内容，并且容易受到“jailbreak”攻击。为了充分发挥生成式 AI 在客户服务中的潜力，实施可靠的 AI 安全措施至关重要。 本教程为 AI 构建者