登录社区云，与社区用户共同成长
邀请您加入社区
以 Llama3 为例，我们通过计算巢来创建、管理 LLM 推理服务：在阿里云容器服务 ACK （容器服务 Kubernetes 版）集群上，我们使用阿里云 ACK 的云原生 AI 套件，集成开源推理服务框架 KServe，来部署 NVIDIA NIM。本文介绍了通过阿里云计算巢快速部署 NVIDIA NIM 的方案收益和部署方式，该方案充分利用了 NIM 的安全与高性能的无缝 AI 推理功能，以
仅仅通过几行代码，开发者即可通过包括 TensorRT-LLM 在内的流行推理框架来使用最新的 Qwen 系列模型。此外，对模型推理和部署框架的技术选型需要考虑到诸多关键因素，尤其是在把 AI 模型部署到生产环境中时，对性能、资源和成本的平衡。
NVIDIA 网络安全 AI 平台与生态系统合作伙伴的专业知识相结合，提供了强大且可扩展的解决方案，以保护关键基础设施环境免受不断变化的威胁。并预约 AI 网络会议，此系列精选会议将探索最新发布的 AI 计算网解决方案和大规模 AI 数据中心网络用例，凸显 NVIDIA 网络在 AI 工厂和 AI 云基础设施构建中的核心价值。正在推动客户的数字化转型，借助 NVIDIA 网络安全 AI 平台，满足
对于具有数十亿至数万亿参数的模型，这些 Checkpoint 的状态变得越来越大，现在最大型 LLM 模型会生成高达数 TB 的数据，保存数据或恢复数据会产生多条“大象流”，这些突发的大象流，可能会淹没交换机的缓冲和链路，所以网络必须保证为训练工作负载提供最佳利用率。是另一个存储网可以影响工作负载性能的例子，借助 RAG，LLM 与不断增长的知识库相结合，为模型添加特定领域的上下文，从而提供更快的
通过将我们的 Gemini 模型与 NVIDIA Blackwell 的突破性性能和机密计算能力引入本地部署环境，企业得以充分释放代理式 AI 的全部潜能，”谷歌云副总裁兼基础设施和解决方案总经理 Sachin Gupta 表示。该解决方案由搭载 Blackwell GPU 和采用 NVIDIA 机密计算的 NVIDIA HGX 平台提供支持，助力客户保护 AI 模型和数据，使用户能够在不损害数据
经过双方共同努力，支持单机8卡的火山引擎 PCC 私密云计算平台，可实现对满血 DeepSeek 规格模型的全面支持，不仅能确保数据的安全性和隐私性，完整的远程证明功能，可实现毫秒级响应，据测试，AI 应用场景下，推理时延相比明文的损耗不超5%。手机快速记录：对于端侧用户来说，手机和电脑是极其私密的个人终端，快速记录功能需要确保用户输入的语音、视频的隐私安全，火山引擎 PCC 私密云计算平台，可在
DNNFluid-Car 正是基于 NVIDIA Modulus，其中核心模型基于几何信息神经算子（Geometry-informed neural operator, GINO）网络，通过纯数据驱动的方法实现对汽车表面压力和壁面剪切应力分布的预测，进而预测相应几何的汽车的风阻系数。在 DNNFluid-Car 模型开发过程中，NVIDIA 和百度一起，结合 DNNFluid-Car 模型特点，基
随着 ChatGPT 的一夜爆火，大模型如今越来越广泛的应用到各种业务领域中，阿里安全的业务领域对大模型技术的应用也已经 2 年有余。本文对阿里安全在大模型工程领域积累的实践经验做出总结和分享。在大模型实际应用实践的过程中，阿里安全采用NVIDIA NeMoTM 框架和大语言模型推理加速库，显著优化了模型训练与推理性能。
本文将介绍如何在阿里云 ACK 集群上，使用云原生 AI 套件集成开源推理服务框架KServe，快速部署 NVIDIA NIM。同时，结合阿里云的 Prometheus 和 Grafana 服务，快速搭建监控大盘，实时观测推理服务状态。利用 NVIDIA NIM 提供丰富的监控指标，如num_requests_waiting，配置推理服务弹性扩缩容策略。当有突发流量导致推理服务处理请求排队时，能自
