登录社区云，与社区用户共同成长
邀请您加入社区
暂无图片
请扫描如下二维码或点击文末“阅读原文”，立即注册参会。或复制粘贴：
仅仅通过几行代码，开发者即可通过包括 TensorRT-LLM 在内的流行推理框架来使用最新的 Qwen 系列模型。此外，对模型推理和部署框架的技术选型需要考虑到诸多关键因素，尤其是在把 AI 模型部署到生产环境中时，对性能、资源和成本的平衡。
要维护和优化生产环境中驱动 AI 智能体的模型，需要三类数据：用于获取洞察并适应数据模式演变的推理数据，提供智能的最新业务数据，以及验证模型与应用表现是否符合预期的用户反馈数据。已发布的 NeMo 微服务可与合作伙伴平台集成，作为创建 AI 智能体的构建模块，使用商业智能与强大的逻辑推理模型 (包括 NVIDIA Llama Nemotron) 处理更多任务。在多智能体系统中，数百个具有不同目标和
因此，我们特别推出 NVIDIA Agentic AI 实践月系列内容，带您了解代理式 AI 在 NVIDIA 内部的各个实践，分享 NVIDIA 内部团队的解决方案和重要经验，供您参考和借鉴。然而，微调较小的模型需要高质量的标记数据，而创建这些数据既耗时又昂贵。这表明 API 目录可用于生产部署。通过这些前沿实践，NVIDIA 不断突破技术创新的边界，积极加速代理式 AI 的落地应用，为开发者和
发布版本引入了一些关键的增强功能，可提升 DOCA 的功能，包括通过 DOCA Flow API 大幅提升连接追踪（CT）功能的性能。此长期支持（LTS）版本为用户提供了一种对传统使用 DPDK 或内核数据路径（kernel datapath）的 OVS 解决方案的替代方案，为现代网络环境提供更高的效率和扩展功能。IBCC 专门针对 InfiniBand 上的 AI 工作负载进行了优化，而 NVN
NVIDIA 网络安全 AI 平台与生态系统合作伙伴的专业知识相结合，提供了强大且可扩展的解决方案，以保护关键基础设施环境免受不断变化的威胁。并预约 AI 网络会议，此系列精选会议将探索最新发布的 AI 计算网解决方案和大规模 AI 数据中心网络用例，凸显 NVIDIA 网络在 AI 工厂和 AI 云基础设施构建中的核心价值。正在推动客户的数字化转型，借助 NVIDIA 网络安全 AI 平台，满足
越来越多的企业开始采用加速计算，从而满足生成式 AI、5G 电信和主权云的需求。NVIDIA 推出了，该框架提供了基础构建模块来释放的强大功能，并优化 GPU 加速计算平台。作为一种编排框架和实施蓝图，DPF 使开发者、服务提供商和企业能够无缝构建 BlueField 加速的云原生软件平台。通过简化 DPU 配置、生命周期管理和服务编排，DPF 使 BlueField DPU 可在 Kuberne
对于具有数十亿至数万亿参数的模型，这些 Checkpoint 的状态变得越来越大，现在最大型 LLM 模型会生成高达数 TB 的数据，保存数据或恢复数据会产生多条“大象流”，这些突发的大象流，可能会淹没交换机的缓冲和链路，所以网络必须保证为训练工作负载提供最佳利用率。是另一个存储网可以影响工作负载性能的例子，借助 RAG，LLM 与不断增长的知识库相结合，为模型添加特定领域的上下文，从而提供更快的
传统光模块出现故障时，可能需要花费数小时的人工干预来进行故障排除和维修。系统，采用先进的 200G SerDes 技术，与传统的可插拔光模块相比，这种创新的硅光一体封装技术具有显著的优势，例如 3.5 倍的能耗降低、延迟的降低、以及显著的网络可靠性提升等，这些都是加速大规模 AI 模型开发和推理的关键因素。集成光器件后，交换机 ASIC 和光收发器之间的连接将在 IC 封装层面进行设计、组装和测试
通过将我们的 Gemini 模型与 NVIDIA Blackwell 的突破性性能和机密计算能力引入本地部署环境，企业得以充分释放代理式 AI 的全部潜能，”谷歌云副总裁兼基础设施和解决方案总经理 Sachin Gupta 表示。该解决方案由搭载 Blackwell GPU 和采用 NVIDIA 机密计算的 NVIDIA HGX 平台提供支持，助力客户保护 AI 模型和数据，使用户能够在不损害数据
