登录社区云，与社区用户共同成长
邀请您加入社区
DeepSeek-OCR是深度求索推出的多模态OCR模型，采用上下文光学压缩技术，通过端到端视觉语言架构实现高压缩率(10倍)和高信息保真度(97%)。模型包含DeepEncoder编码器和DeepSeek-3B-MoE解码器，支持多分辨率适配，处理速度快(8.2页/秒)，显存占用低(4.5GB)。在多种语言识别、文档解析、结构化数据提取等领域表现优异，适用于法律、金融、物流等场景，显著提升文档处
在之前的技术博客中，我们介绍了低延迟[1] 和高吞吐[2] 场景的优化方法。对于生产部署，用户还关心在满足特定延迟约束的情况下，每个 GPU 的吞吐表现。本文将围绕“吞吐量-延迟”性能场景，介绍 TensorRT-LLM 分离式服务的设计理念、使用方法，以及性能研究结果。LLM 推理通常分为上下文 (prefill) 和生成 (decode) 两个阶段。在上下文阶段，模型会根据提示词计算键值 (K
