By Alberto CarpentieriJussi LeinonenStefan WeissenbergerJeff AdieBoris BonevDoris Folini and Farah Hariri

 

随着全球电力需求持续上升,传统能源的可持续性与日俱增。能源提供商面临的压力是,减少对矿物燃料的依赖,同时确保电网供应充足且稳定。在这种背景下,太阳能已成为一种重要的可再生能源,是最丰富的清洁能源之一。然而,有效利用太阳能 需要精确可靠地预测表面太阳能辐射 (Surface Solar Irradiance,SSI)。

准确的 SSI 预测使运营商能够预测太阳能的可用性,帮助同步发电与消费需求,尤其是在高需求时期。传统的太阳辐射预测方法,例如具有辐射迁移的数值天气预报 (NWP) 模型,运行成本高昂,并且需要数小时才能生成预测。Nowcast 模型 (例如基于光流的模型) 速度更快,但由于依赖于实时测量结果,因此无法提供远程自适应预报。

NVIDIA 与苏黎世联邦理工学院大气和气候科学研究所合作开发了一种新的 SSI 模型。该方法通过结合 NWP 和 AI 的进步来改进 SSI 建模,从而形成比传统方法更可扩展、更可靠的模型。有关更多详细信息,请参阅 使用 Neural Operators 在全球范围内估计数据驱动的表面太阳辐射 

通过将功能强大的 FourCastNet SFNO 预测模型与 NVIDIA 的这种新 SSI 模型相结合,无需依赖卫星覆盖范围的实时数据,即可准确预测全球范围内连续数日的太阳辐射量 (图 1)。

Animation of a global surface solar irradiance forecast.

图 1、由 NVIDIA SSI 诊断模型和 FourCastNet SFNO 生成的 7 天 SSI 预测

这些突破得益于专为构建气候数字孪生而设计的全栈平台 NVIDIA Earth-2 。Earth-2 提供了必要的工具和蓝图,可轻松构建用于预测太阳辐射的管道,并与新开发的 NVIDIA SSI 模型等自定义模型无缝集成。这种集成方法可直接生成高分辨率、实时预测,这些预测对于气候科学、可再生能源和依赖天气的行业的应用至关重要。

本文将介绍如何使用 NVIDIA 工具训练新的 SSI 模型,将其集成到 Earth-2 管道中,并用于生成可通过 Earth2Studio 轻松可视化和后处理的数据。

NVIDIA AI Earth-2 blueprint 用于预测太阳辐射

Earth-2 平台利用 NVIDIA 加速计算能力,实现快速准确的天气和气候物理建模。它还提供用于 AI 模型训练和推理的工具,用于预测、缩小比例、插值和其他应用。作为用户,您还可以通过一组高级可视化和后处理工具与输出的天气和气候数据进行交互。

NVIDIA 蓝图 是典型 AI 用例的参考工作流。图 2 展示了用于太阳辐射预测的 NVIDIA AI Earth-2 蓝图。它从时间 t (即 IFS 分析数据 ) 的大气状态开始,初始化预测 (预测) 模型。此模型在 t+△ 时间生成各种大气变量的预报。

Earth-2 workflow for SSI forecasting, including icons labeled IFS analysis, atmospheric state, forecast model, diagnostic model, surface solar irradiance, downstream process, and user.

图 2、应用于太阳能辐射预测的 NVIDIA AI Earth-2 部署工作流

通常,相关变量可能不存在于预测变量集 (例如 SSI) 中。要检索 SSI 预测,用户可以利用诊断模型,该模型充当估计模型,并将可用的大气变量转换为所需的目标变量。然后,利用天气预报的最新进展,将诊断模型与不同的预测模型集成。

训练自定义 AI 天气诊断模型 

NVIDIA Modulus 是一个开源框架,用于训练 physics-ML 模型,例如 AI 天气预报模型。对于中期天气预报,Modulus 包括 FourCastNet  SFNO 、NVIDIA 实现的 GraphCast、 Pangu-Weather 和 DLWP ,并添加了其他架构。为了简化训练,Modulus 还包括在 ERA5 和类似数据集上训练的流程。有关更多详情,请访问 GitHub 上的 NVIDIA/modulus,查看训练工作流示例和 notebooks。所有已实施的架构均针对 GPUs 训练进行了优化。

Earth-2 用户可以使用 Modulus 在预测模型输出的基础上训练自定义诊断模型,如图 2 所示。在 Data-Driven Surface Solar Irradiance Estimation Using Neural Operators at Global Scale 中发布的模型使用 Modulus 进行训练,是一个改进的诊断模型,利用 Adaptive Fourier Neural Operators (AFNO),使其能够估计整个地球的每 6 小时 SSI。

图 3 显示了应用于 SSI 诊断模型训练的 Modulus 训练管线。ERA5 Reanalysis 大气数据用作诊断模型的输入,该模型学习如何将大气变量映射到新的目标变量。真值变量 (SSI 字段) 可以从 ERA5 或其他数据集检索,以获得更高的准确性,例如基于卫星的 SARAH3 

Diagram of the NVIDIA Modulus pipeline for diagnostic models training, including ERA5 / SARAH3, atmospheric state, diagnostic model, target, predicted SSI, and Modulus trainer.

图 3、用于 SSI 诊断模型的 NVIDIA Modulus 训练工作流程

借助 NVIDIA Earth-2Studio 简化太阳辐射推理

在训练自定义模型后,要在 Earth-2 蓝图中使用该模型,最简单的方法是通过 NVIDIA Earth2Studio ,这是一个专为 AI 驱动的天气模型推理而设计的 Python 库。Earth2Studio 提供了一套全面的构建模块和蓝图,专为确定性和概率性天气预测量身打造。该库开箱即用,支持各种数据源,包括但不限于 Climate Data Store (CDS)、ARCO、 Global Forecast System (GFS)、Integrated Forecasting System (IFS) 和 High-Resolution Rapid Refresh (HRRR)。

Earth2Studio 的突出特性之一是其在模型选择方面的灵活性。作为用户,您可以从 NVIDIA GPU Cloud (NGC) 中的一系列预训练模型中进行选择。可以轻松部署模型以进行即时推理 (Figure 4)。您还可以将自己的自定义模型无缝集成到框架中,例如使用 Modulus 训练的模型。

使用 Earth-2,您可以从各种数据源以及 NGC 模型注册表中的各种预后和诊断模型中进行选择 (图 4)。不同的组件无缝集成到管道中,且代码更改最少。

Diagram showing the NVIDIA AI Earth2Studio inference blueprint including access to a model registry for defining the diagnostic and prognostic models.

图 4、从一系列数据集中进行选择,并从具有 NVIDIA AI Earth2Studio 推理蓝图的模型注册表中选择预后和诊断模型

使用 Earth2Studio 运行天气预报 

以下 Earth2Studio 代码示例使用预构建的 NVIDIA 模型来预测 SSI,从而实现图 2 中的蓝图。从模型注册表 (NGC) 导入必要的数据源 (IFS)、IO 操作 (ZarrBackend) 和模型 (FourCastNet SFNO、SolarRadiationAFNO) 后,系统会加载预后和诊断模型。此时,用户可以指定自定义模型。在本例中,为方便起见,我们在 Modulus 中训练了 AFNO 模型并将其添加到 NGC。此外,还指定了数据源、输出存储和时间步长数。然后,系统会调用 run.diagnostic 函数来执行模拟。然后,可以使用 CorrDiff 等缩减工具对预测进行后处理。

from earth2studio.data import IFS

from earth2studio.io import ZarrBackend

from earth2studio.models.px import SFNO

from earth2studio.models.dx import SolarRadiationAFNO

 

# Load the SFNO model package, including the model weights, from NGC

model = SFNO.load_model(SFNO.load_default_package())

 

# Load the Solar Radiation model package, including the model weights, from NGC

diagnostic_model = SolarRadiationAFNO.load_model(SolarRadiationAFNO.load_default_package()))

 

# Use the GFS analysis as the data source

data = GFS()

 

# Use a Zarr archive to store the outputs

io = ZarrBackend(file_name="solar_irradiance_prediction.zarr”)

 

nsteps = 8 # the number of 6-hour time steps

 

# Run the SSI global forecast

io = run.diagnostic(

        ["2024-06-01"], # start the forecast on 01 June 2024, 00:00 UTC

nsteps,

prognostic_model,

diagnostic_model,

data,

io

)

Earth2Studio 是一款开源工具,可供科学研究社区探索和试验用于天气和气候的 AI 模型,并促进社区内的协作和创新。构建应用程序的企业开发者可以通过 NVIDIA AI Enterprise 访问 NVIDIA NIM 微服务蓝图 、特定于任务的诊断模型 (例如上一个示例中使用的模型) 以及企业支持。这种企业级集成可确保组织可以使用先进的 AI 技术构建可扩展的高性能解决方案,并受益于 NVIDIA 在 AI 驱动解决方案方面的专业知识。

可视化天气预报 

Earth-2 平台提供利用 NVIDIA Omniverse 的可视化工作流,NVIDIA Omniverse 是一个 3D 开发平台,旨在促进不同应用之间的互操作性,并提供协作环境,供开发者和设计师无缝协作。借助 NVIDIA RTX 实时渲染技术,Omniverse 能够创建高分辨率的交互式可视化效果,非常适合各种行业用例。

通过 Earth-2 平台利用这些功能,您可以构建关于地球和大气的交互式详细表示,从而促进更好的理解和决策。图 5 显示了在 NVIDIA Omniverse 的帮助下构建的 7 天 SSI 预测。高辐射度通过覆盖在卫星基础图像上的明亮颜色表示。

本文简要介绍了为地球系统数据的高保真渲染构建可视化工作流的可能性。此类参考流程是模块化和开放的扩展程序,可实现复杂可视化与自定义应用的灵活集成。 详细了解科学可视化工具 

Animation showing an SSI forecast mapped on a 3D representation of the Earth.

图 5、借助 NVIDIA Omniverse 实现为期 7 天的 SSI 预测可视化

开始使用 NVIDIA Earth-2 

NVIDIA Earth-2 是一个用于加速天气和气候模拟模型训练和推理的平台。它提供了使用 AI 天气模型的关键工具和蓝图,并将新开发的模型无缝集成到推理管道中。Earth-2 平台的主要组件是用于模型训练的 NVIDIA Modulus 和用于模型推理的 Earth2Studio。两者都支持您从各种数据源、架构和预训练模型中进行选择。

要开始使用 Modulus,请按照 Modulus 入门指南 快速设置环境。要训练模型,请访问 GitHub 上的 NVIDIA/modulus ,查看几个示例。

要开始使用 Earth2Studio,请按照 Earth2Studio 安装指南 安装 Python 包。按照 NVIDIA/earth2studio GitHub 教程运行您的第一个天气预报。

 

更多技术博客:NVIDIA 开发者博客 - 阅读开发者创建的最新技术信息、头条新闻 和内容。

Logo

NVIDIA官方入驻,分享最新的官方资源以及活动/会议信息,精选收录AI相关技术内容,欢迎大家加入社区并参与讨论。

更多推荐