葩米学术即日起开创[学者自荐专栏]，欢迎优秀成果自荐，免费推广宣传！葩米学术，为科研加速！

发表在期刊《Nature》文章《A vision–language foundation model for precision oncology》这一标题代表了一种新兴的人工智能技术，结合了视觉模型（主要处理医学影像）和语言模型（处理医学文本信息），旨在推动精准肿瘤学的发展。这种基础模型通过整合影像数据和语言数据，能够更全面地理解肿瘤患者的病情，从而为个体化治疗方案提供更加精准的支持。该模型的应用有助于提高癌症诊断的准确性，并能在治疗计划和预后预测中发挥重要作用，标志着医学人工智能在精准医疗领域的一次重要突破。

01

引言

在精准肿瘤学领域，临床决策过程涉及大量复杂的数据分析，通常需要整合来自不同模态的信息。传统上，医生依赖于病理图像和临床报告这两大核心信息来源，但这些数据往往各自独立分析，未能充分挖掘它们之间的潜在关联。为了解决这一挑战，最新研究推出了MUSK模型——一种基于多模态Transformer架构的视觉-语言基础模型。

MUSK模型的创新之处在于能够同时处理病理图像和临床文本数据，并通过大规模无标签、非配对数据的预训练，将视觉和语言表示映射到统一的潜在嵌入空间中。这样，不仅能够实现跨模态的信息检索和理解，还能提升癌症诊断的准确性，并优化治疗方案的选择。

这项技术的引入预示着精准肿瘤学将迈向新的发展阶段，MUSK模型能够整合病理图像与临床报告中的互补信息，极大地提升临床决策的精确性，为肿瘤患者提供更加个性化的治疗方案。这一突破有望为精准医学的发展提供新的视角和方法。

02

MUSK模型架构介绍

一、模型架构

MUSK模型是一个专为精准肿瘤学而设计的视觉-语言基础模型，它采用了多模态Transformer架构。该模型的核心在于能够同时处理和分析图像与文本数据，从而实现对肿瘤疾病的深入理解和精准预测。

二、模块功能

1. 视觉专家（Vision Expert）：

• 功能：负责处理和分析输入的病理图像数据。

• 实现方式：通过独立的Transformer结构对图像进行编码，提取图像中的关键特征和信息。

3. 语言专家（Language Expert）：

• 功能：负责处理和分析输入的病理相关文本数据。

• 实现方式：同样采用独立的Transformer结构对文本进行编码，提取文本中的关键语义和信息。

5. 共享自注意力模块（Shared Self-Attention Module）：

• 功能：实现视觉和语言信息的融合与交互。

• 实现方式：通过自注意力机制，让视觉和语言专家能够相互关注对方的信息，从而实现跨模态的信息融合。

7. 模态切换模块（Switch by Modality）：

• 功能：根据任务需求，灵活切换使用视觉或语言信息。

• 实现方式：通过特定的控制机制，模型可以在处理不同任务时，选择性地关注视觉或语言信息，或者同时利用两者。

9. 掩码数据建模模块（Masked Data Modeling Module）：

• 功能：用于模型的预训练阶段，通过掩码策略促进模型对图像和文本数据的深入理解。

• 实现方式：随机掩盖图像中的部分区域或文本中的部分词汇，然后让模型预测这些被掩盖的内容，从而训练模型对数据的全面理解和生成能力。

综上所述，MUSK模型通过其独特的架构和模块设计，实现了对图像和文本数据的深度整合与分析，为精准肿瘤学提供了强大的工具和支持。

MUSK模型预训练：数据管理、模型开发与评估示意图

03

研究结果

MUSK模型的研究结果在多个下游任务中展示了其优越的性能，以下是对其研究结果的详细介绍，包括详细的实验数据：

1. 多模态检索

• 数据集：PathMMU和BookSet

• 实验结果：

• 在PathMMU数据集上，MUSK在图像到文本和文本到图像的检索任务中均表现出色。与第二好的模型（CONCH）相比，MUSK在Recall@50指标上分别提高了34.4%（95% CI: 33.4–35.5%）和74.8%（95% CI: 73.6–75.9%）。

多模态检索结果示意图

2. 视觉问答（VQA）

• 数据集：PathVQA

• 实验结果：

• MUSK在PathVQA基准数据集上的表现显著优于其他基础模型。与专门为VQA训练的最佳模型（K-PathVQA）相比，MUSK的准确率提高了7%。

视觉问答（VQA）结果示意图

3. 图像分类

• 数据集：PatchCamelyon、SkinCancer、PanNuke和UniToPatho

• 实验结果：

• 在零样本学习（zero-shot learning）的情况下，MUSK在四个基准数据集上均取得了令人瞩目的性能。例如，在UniToPatho数据集上，MUSK的准确率比第二好的模型高出9.8%。

• 在使用极少量训练样本（一、二、四和八样本）的情况下，MUSK也获得了相似的结果，表明其具有很强的鲁棒性和标签效率。

• 在使用所有可用训练数据的监督图像分类任务中，MUSK的平均准确率达到了88.2%，显著优于其他基础模型。

图像分类结果示意图

4. 分子生物标志物预测

• 实验结果：

• 在预测5年复发率的任务中，MUSK的AUC达到了0.833（95% CI: 0.818–0.847），显著优于其他基础模型。

• 在预定灵敏度阈值（90%）下，MUSK的特异性比其他基础模型高出约12%（P = 0.0079）。

5. 泛癌预后预测

• 数据集：来自The Cancer Genome Atlas（TCGA）的7,927张全片图像（WSI），涵盖6,602名患者的16种主要癌症类型

• 实验结果：

• MUSK在预测疾病特异性生存方面一致优于临床模型。

• 使用Kaplan–Meier分析，MUSK能够显著区分低风险和高风险患者，具有不同的生存结局（log-rank test, P < 0.001）。

• 跨所有16种癌症类型，多模态MUSK模型始终优于仅使用图像或文本输入的单模态模型。

泛癌预后预测结果示意图

6. 免疫疗法反应预测

• 数据集：包含非小细胞肺癌（NSCLC）和晚期胃食管癌患者的数据

• 实验结果：

• MUSK在预测免疫治疗反应和结果方面显著优于仅基于临床报告或全片图像（WSI）的模型。

• Kaplan–Meier分析显示，MUSK能够显著将患者分为高风险和低风险组，以预测无进展生存期（PFS）。

• 对于NSCLC患者，无论PD-L1表达、EGFR突变状态和治疗方案如何，MUSK都能进一步对患者进行分层。

• 在多元Cox回归分析中，MUSK是预测PFS的唯一显著因素（P = 0.0013），除了微卫星不稳定性（MSI）状态外。

免疫疗法反应预测结果示意图

综上所述，MUSK模型在多个下游任务中均表现出色，其优越的性能得到了详细的实验数据的支持。这些结果证明了MUSK模型在精准肿瘤学应用中的巨大潜力。

05

研究意义

1. 推动精准肿瘤学的发展：

文章研究的MUSK模型是一个视觉-语言基础模型，能够结合病理图像和临床报告中的互补信息，这有可能显著提高癌症诊断和治疗的精确性。在精准肿瘤学领域，精确的诊断和个性化的治疗方案对于患者的治疗效果和生存率至关重要。因此，MUSK模型的提出为这一领域带来了新的希望。

2. 突破多模态数据整合的挑战：

在临床实践中，医生通常需要综合多种数据模态来进行决策。然而，传统方法常常难以有效整合这些不同的数据来源。本文提出的MUSK模型成功解决了这一难题。该模型能够同时处理病理图像和临床文本数据，并将二者映射到一个统一的潜在表示空间，实现了多模态数据的无缝整合，从而提升了临床决策的准确性和效率。

3. 拓展基础模型的应用范围：

基础模型（Foundation Model）是当前人工智能领域的研究热点之一。这些模型通常具有强大的表示能力和泛化能力，可以在多个任务上取得优异的性能。研究通过将基础模型应用于精准肿瘤学领域，不仅拓展了基础模型的应用范围，还为其他类似领域的研究提供了新的思路和方法。

4. 促进医疗人工智能的进步：

医疗人工智能是当前医疗领域的重要发展方向之一。通过利用人工智能技术，可以实现对医疗数据的快速分析和处理，从而提高医疗服务的效率和质量。文章介绍的MUSK模型为医疗人工智能的发展提供了新的技术支持和解决方案，有望推动医疗人工智能的进步和应用。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《AI大模型入门+进阶学习资源包**》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

路线图很大就不一一展示了 （文末领取）

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥两本《中国大模型落地应用案例集》 收录了近两年151个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

👉GitHub海量高星开源项目👈

💥收集整理了海量的开源项目，地址、代码、文档等等全都下载共享给大家一起学习！

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告（持续更新）👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓