来源：HsuDan[最新开源：阿里巴巴开源推理模型 Marco-o1！智子引擎开源多模态MoE大模型 Awaker2.5-VL!]

1. 阿里发布首个开源推理大模型 QwQ-32B-Preview！自我思考、数学能力媲美OpenAI o1

11月28日，阿里Qwen团队发布首个开源推理大模型 QwQ-32B-Preview！

QwQ（Qwenwith Questions）是通义千问Qwen系列的最新实验性研究模型，旨在提升 AI 的推理能力。QwQ-32B-Preview 在评测数据中表现出色，尤其在数学和编程领域的深度推理任务上，展现出研究生级别的能力。

• GPQA: 测试模型在常识问答和通用知识理解上的能力。

• AIME: 检验模型对高难度数学竞赛题目的解题能力。

• MATH-500: 测评模型在广泛数学领域中解决复杂问题的表现。

• LiveCodeBench: 测试模型生成、调试和实现代码的编程能力。

具体地，QwQ-32B-Preview 在各项基准测试中的表现如下：

• 在考察科学问题解决能力的 GPQA 评测集上，QwQ 获得 65.2% 的准确率，具备研究生水平的科学推理能力；

• 在涵盖综合数学主题的 AIME 评测中，QwQ 以 50% 的胜率证明其拥有解决数学问题的丰富技能；

• 在全面考察数学解题能力的 MATH-500 评测中，QwQ 斩获 90.6% 的高分，一举超越OpenAI o1-preview 和 o1-mini，体现了在各类数学主题上的全面理解；

• 在评估高难度代码生成的 LiveCodeBench 评测中，QwQ 答对一半的题，在编程竞赛题场景中也有出色表现。

值得注意的是，QwQ-32B-Preview 是一个模型参数仅有 32B 的小模型！更轻量化的模型意味着更高的计算资源效率、更快的推理速度，以及更低的硬件需求。

作为预览版本，该模型展示了出色的分析能力，但也存在一些重要的局限性，如语言混合、递归推理循环以及安全和伦理方面的考虑。该模型在数学和编程方面表现优异，但在常识推理和语言理解方面仍有改进空间。

目前，QwQ-32B-Preview 已在魔搭社区和 HuggingFace 等平台上开源。

• QwQ模型地址：https://huggingface.co/Qwen/QwQ-32B-Preview

• QwQ体验地址：https://huggingface.co/spaces/Qwen/QwQ-32B-preview

• QwQ模型链接：https://modelscope.cn/models/Qwen/QwQ-32B-Preview

• QwQ体验链接：https://modelscope.cn/studios/Qwen/QwQ-32B-preview

• QwQ中文博客：https://qwenlm.github.io/zh/blog/qwq-32b-preview/

2. 月之暗面Kimi联合清华大学等开源共建大模型推理架构 Mooncake

11月28日，月之暗面 Kimi 联合清华大学等机构，开源了大模型推理架构 Mooncake。

在这篇名为《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》的论文中，作者详细介绍了 Mooncake 这种系统架构。

• 论文链接：https://arxiv.org/pdf/2407.00079

• 项目地址：https://github.com/kvcache-ai/Mooncake

Mooncake 是由 Moonshot AI 提出的长文高效推理架构，它采用了 KVCache 为中心的分离架构，将预填充和解码集群分开，并利用 GPU 集群中未充分利用的 CPU、DRAM 和 SSD 资源实现分离的 KVCache。

此次更新，开源了 Mooncake 的核心组件 Transfer Engine，还提供了 Transfer Engine 的两个演示：P2P Store 和 vLLM 集成。

图：Mooncake 推理系统架构图

Mooncake 的核心是以 KVCache 为中心的调度程序，在最大化整体有效吞吐量和满足与延迟相关的服务级目标(SLO)之间取得平衡。

Mooncake 不仅提升了 Kimi 的用户体验和降低了成本，还为处理长文本和高并发需求提供了有效的解决方案，承载 Kimi 线上 80% 流量。

3. 阿里开源图像生成模型 Qwen2VL-Flux，支持图像融合和风格转移等

Qwen2VL-Flux 是一款先进的多模态图像生成模型，结合了 FLUX 框架和 Qwen2VL 的视觉语言理解能力。该模型能够根据文本提示和视觉参考生成高质量图像，提供卓越的多模态理解和控制能力。

Qwen2VL-Flux 不仅能够根据用户输入的图像生成多幅相似图像，还支持文本引导的图像混合和图像引导的图像融合。用户可以通过简单的操作实现角色合体、场景转换以及细致的风格迁移。

• 代码链接：https://github.com/erwold/qwen2vl-flux

• 模型链接：https://huggingface.co/Djrango/Qwen2vl-Flux

图：Qwen2vl-Flux 框架

Qwen2VL-Flux 有以下特征：

• 增强视觉语言理解：利用 Qwen2VL 实现卓越的多模式理解；

• 多种生成模式：支持变异、img2img、修复和控制网引导生成；

• 结构控制：集成深度估计和线路检测，实现精确的结构引导；

• 灵活的注意力机制：通过空间注意力控制支持焦点生成；

• 高分辨率输出：支持高达 1536x1024 的各种宽高比。

图：「图像变化」在保持原始图像本质的同时，创造出多样化的变化。

图：「图像混合」通过智能风格转换无缝融合多幅图像

图：「文本引导的图像混合」通过文本提示控制图像生成

图：「基于网格的风格迁移」应用网格注意力的细粒度样式控制

参考：
https://qwenlm.github.io/zh/blog/qwq-32b-preview/

欢迎各位关注我的个人微信公众号：HsuDan，我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。