如何提升CAE/CFD的高性能计算应用效率？

CAE/CFD软件基本上采用有限元法或有限体积法求解控制方程,在计算时涉及大量的前后时间步迭代以及交界区域处理,属于计算密集型,对CPU性能的要求自然是越高越好。

一般来讲,采用显式时间格式的CAE/CFD软件对内存容量的要求一般,而采用隐式时间格式的CAE/CFD软件对内存容量有比较高的要,至于对内存带宽的要求则是与单节点内的进程数直接关联的,进程数越多,内存带宽要求越高。

CAE/CFD对客机分析图

在I/O层面上,多数CAE/CFD软件在读操作时,由主进程读入数据,然后向从进程分发数据;在写操作时,由主进程统一收集从进程的数据,然后主进程写出数据。也就是说,只有主进程直接负责I/O操作。因此,CAE/CFD对I/O存储的压力一般。

如前所述,由于CAE/CFD软件在计算时要做前后时间步迭代和交界区域处理,因此,对网络通信也比较高,宜采用InfiniBand网络。

由于CAE/CFD多为商业软件,一般只能做硬件级优化与运行级优化。

考虑到前文的特征分析,在硬件级优化层面,我们可以通过配置高主频CPU和四通道内存来分别提高CPU、内存的性能,更可以通过对网络接连拓扑,路由选择算法以及RDMA等方面进行优化来提升InfiniBand网络的通信能力。

在运行级优化层面,一般是采用MPI优化的策略。例如,MPI进程绑定优化,MPI消息传递机制优化,以及MPI通信共享内存优化等。随着PGAS(Partitioned Global Address Space)编程模型,以及GPU、MIC等加速协处理器的发展,上述传统算法将会被极大改进。

以Fluent算例为例,浪潮使用其自主开发的“天眼”高性能应用特征监控分析系统(英文:Teye),监测和分析了Fluent的应用特征。在Intel Xeon E5-2680v3 CPU平台上和144个进程下,计算了1000万网格规模的Fluent算例。

在下图中,通过浪潮天眼可以看出Fluent 的CPU利用率接近100%,参与计算的物理核心基本上在满载运行,说明了Fluent属于计算密集型。

浪潮天眼分析Fluent算例的CPU利用率

在内存带宽方面,天眼监测到Fluent的内存带宽需求主要发生在网格构建、合并及划分之后总内存带宽约为45GB/s。其中,读内存带宽约为40GB/s,写内存带宽约为5GB/s。Fluent由主进程读入和写出数据,从进程不直接参与I/O操作。另外,数据读写量与Fluent算例大小成正关系。

浪潮天眼分析Fluent算例的内存带宽

此外,我们还可以看到除开始阶段主节点的读操作速率达到40MB/s外,在Fluent的整个计算过程中,I/O操作压力比较小。作为典型的CFD软件,Fluent需要采用InfiniBand网络进行数据通信。

浪潮天眼监测Fluent算例的磁盘读写操作情况

在计算初期,Fluent通过网络进行大量的数据发送与接收操作。在之后的计算过程中,数据发送与接收呈现连续流特征,其速率维持在60MB/s ~ 100 MB/s。由此可见,Fluent是一款网络密集型软件。

浪潮天眼监测Fluent算例的InfiniBand网格数据发送与接收情况

下图为浪潮天眼分析监测的Fluent算例的雷达图,直观地显示了Fluent的各项应用特征。

通过浪潮天眼分析的Fluent软件应用特征雷达图