登录社区云,与社区用户共同成长
邀请您加入社区
暂无图片
在延迟敏感型应用中突破 DeepSeek R1 的性能极限是一项非凡的工程。本文详细介绍的优化措施是整个 AI 技术栈各个领域的协作成果,涵盖了内核级优化、运行时增强、模型量化技术、算法改进以及系统性能分析与调优。希望本文介绍的技术和最佳实践,能够帮助开发者社区在任务关键型 LLM 推理应用中更充分地发挥 NVIDIA GPU 的性能。
未来,NVIDIA 技术专家团队将继续跟进混元模型的演进,探索更极致的推理加速技术(如新一代量化、更精细的算子融合、对 Blackwell 新特性的支持),不断刷新性能天花板。同时还将持续推动 TensorRT-LLM 与腾讯云 TI 平台、Hunyuan API 服务等生态的深度集成,提供更便捷的一站式混元模型部署与管理体验。
NVIDIA BioNeMo 提供了一个专门用于药物研发的 LLM 和生成式 AI 平台,通过云原生 NIM ,研究人员能够简化 AI 工作流程,提高模型的可扩展性和部署效率。AI 技术正在迅速改变医疗和健康领域,NVIDIA 深度学习培训中心(DLI)推出 3 门医疗和健康领域的在线自主培训,帮助医疗专业人士和研究人员掌握最新的 AI 工具和技术。通过使用云原生 NIM 和 Blueprint,
在上述已实现的各项优化特性之外,针对 Qwen3 系列模型,TensorRT-LLM 还在不断研发和探索新的优化方法,包括 kernel 层面的持续优化、算子融合、基于 sparse attention 的超长文本支持、基于 Eagle-3 的投机性采样、MoE 模型的 expert 负载均衡、新的量化精度(W4AFP8/NVFP4)等等,期待您紧密关注。Qwen 系列开源模型因其突出的模型能力、
以融合解决方案为切入口,图灵新讯美充分发挥自身作为独立软件供应商 (ISV) 在技术集成、场景适配和客户交付方面的专业优势,打通从智算基础设施到场景应用的全链路,推动视觉智能从“看得清”走向“想得通、答得快”,真正将多模态 AI 转化为生产力、决策力与增长引擎。基于 VSS Blueprint 开发的应用接口,将事件分析,证据留存,触发告警的工作流无缝的集成到现有的新讯美的视频管理及调度平台上,实
利用物理 AI,自主机器能够感知、理解并在现实 (物理) 世界中执行复杂的操作。物理 AI 是指使用运动技能理解现实世界并与之进行交互的模型,它们通常封装在机器人或等自主机器中。
利用由 DiffusionRenderer 驱动的应用,智能汽车开发者可以获取大部分是白天驾驶镜头的数据集,并随机对每个视频片段的光照进行调整,以创建更多具有阴天或雨天、具有刺眼照明和阴影的夜晚以及夜间场景的视频片段。这样一来,研究人员观察到一种扩展效应,其中应用 Cosmos Predict 更大、更强的视频扩散模型相应提高了 DiffusionRenderer 的去光照和重新打光质量,实现了更
辅助驾驶卡车领域的领军企业 Plus 正在利用 NVIDIA DRIVE AGX 平台构建其解决方案,该企业正在通过卡车运输数据对 Cosmos Predict 进行后训练,以生成高度逼真的合成驾驶场景,从而加速其辅助驾驶卡车解决方案的大规模商业化进程。为加速下一代辅助驾驶架构的开发,NVIDIA 发布了 NVIDIA Cosmos Predict-2,这是一种全新的世界基础模型,具有更强的未来世
加州大学圣地亚哥分校多个机器人和自动驾驶汽车实验室的负责人 Henrik Christensen 表示:“利用这个数据集,我们能做很多工作,比如训练预测性 AI 模型,这些模型可以帮助自动驾驶汽车更好地追踪行人等易受伤害的道路使用者的动向,从而提高安全性。NVIDIA 物理 AI 数据集可以帮助开发者在预训练期间扩展 AI 性能,海量数据能够支持构建更强大的 AI 模型,在预训练阶段利用更丰富的数
欢迎收听本期的 NVIDIA 人工智能开讲,本次节目邀请到了 NVIDIA 中国区高级技术市场经理施澄秋,为大家介绍 Physical AI(物理 AI)的新趋势,伴随 NVIDIA 推出的新的 Cosmos 平台,预计机器人行业将成为下一个 10 万亿美元市场。集顶尖的研究人员、技术专家及商业领袖,为您解读最具挑战性的 AI 难题,与您探讨由 GPU 技术推动的 AI 革命,帮您了解如何驾驭 A