在钢锭凝固过程中，由于凝固收缩和流动等原因，难免会形成缩孔疏松和宏观偏析等缺陷，这不仅降低钢材的力学性能，也增加了后续加工成本。相关学者对此进行了大量研究，并提出了多孔疏松模型判据[1-4]。由于钢锭凝固过程难以测量，并且凝固后解剖成本高，因此通过试验手段研究钢锭需要花费较大的资源和时间。随着计算机和数值计算技术的发展，数值模拟已成为铸造过程缺陷分析的重要手段，并被广泛应用于钢锭凝固过程的缺陷和质量控制研究[5-8]。Kong 等[9]采用数值模拟方法对宽厚比为6.5 的宽厚矩形钢锭进行了优化设计，使缺陷发生率降低了68%。Neda 等[10]采用有限元数值模拟研究了12 t 钢锭中热帽几何形状及热历史对柱状晶-等轴晶转变的影响，提出了减轻宏观偏析并最大限度降低缩松和缩孔风险的判据。张伦等[11]针对303 t 16Mn 钢锭进行有限元数值模拟，得到了缩孔深度和凝固时间的拟合公式。朱作鑫等[12]采用Any-Casting 计算了不同冒口高度P91 钢锭凝固过程，预测分析了钢锭内部缺陷的分布情况。
近几年，随着神经网络和深度学习在时序数据建模中的发展，为钢铁工业过程的智能预测提供了新思路[13-17]。Wu 等[18]提出了一种基于多尺度卷积与循环神经网络的连铸坯质量可靠预测框架，可以同时捕捉时间序列中的长期趋势与短期变化。Zhou等[19]采用卷积神经网络和自编码器模型来检测连铸过程时间相关工艺参数中的各种异常，用于分析铸坯中是否存在夹杂物，召回率达到93.06%。然而，钢锭凝固过程缩孔疏松的形成与长时间的热历程和凝固过程固相率等演变有关，循环神经网络等传统时序模型在长序列上容易出现梯度衰减，丢失远期信息。Transformer 通过多头自注意力在每层对全时域进行加权汇聚，能够更有效地学习整个时间序列信息对当前缺陷形成的影响，并具备良好的并行性与可解释性[20-22]。结合钢锭几何与边界条件的静态嵌入与时间位置编码，Transformer 能够刻画钢锭凝固历程中温度场和固相率演化与缩孔疏松缺陷之间的复杂关系。目前Transformer 模型在钢锭凝固领域的研究尚未有报道。
钢锭缩孔疏松的形成不仅取决于瞬时的温度分布，还与整个凝固过程的长期热历程和固相率演化密切相关。钢锭凝固过程的数值模拟结果具有良好的物理一致性，但同时呈现出多维度、多变量和时间序列演化等特征，处理难度较大。传统缩孔判据或循环神经网络在建模此类长时序依赖关系时存在局限，难以充分揭示缺陷形成的关键特征。Transformer 模型通过自注意力机制可以在全时域范围内捕捉温度场与固相率演变的关联性，非常适合处理这类动态凝固过程。因此，将有限元数值模拟与Transformer 回归模型相结合，能够在数据驱动层面揭示缩孔疏松的时空规律，并为后续基于深度学习的凝固缺陷研究提供参考。
本文以8 t 9Cr3Mo 钢锭为对象，结合有限元数值模拟，基于Transformer 的深度学习回归模型，通过分析模型对凝固历程的注意力分布，探索了其对缩孔形成关键物理特征的识别能力，为理解缩孔形成机制、优化铸造工艺提供数据驱动的新方法。
1 8 t 9Cr3Mo 钢锭凝固的数值模拟
1.1 基本假设
为简化数值模拟并提高计算效率，对8 t 9Cr3Mo 钢锭凝固过程的基本假设如下： ①钢锭模水口端入口处的钢液流速和温度均匀分布；②钢液不与保护渣等发生化学反应；③忽略钢液内的气体含量。
1.2 控制方程
控制方程主要为连续性方程、动量守恒方程、能量守恒方程和体积函数方程。
连续性方程：
式中，ρ 为钢液密度，kg/m3；xi 为空间坐标(x1=x、x2=y、x3=z)，m；ui 为钢液在i 方向的流速，m/s；t 为时间，s。
动量守恒方程：
式中，μ 为黏度系数，Pa·s；p 为静压力，Pa；g 为重力加速度，m/s2。
能量守恒方程：
式中，cp,app 为表观比热容，J/(kg·K)；λ 为导热系数，W/(m·K)。体积函数：
式中，F 为体积函数，当函数F=1 表示钢液充满状态，0 钢锭的钢种为9Cr3Mo，其化学成分如表1所示。基于该钢种成分，使用ProCAST 材料数据库计算得到9Cr3Mo 钢种的固相率、导热系数、密度和焓等随温度变化的物性参数，如图1所示。其中，固相率曲线计算中选用了考虑固相有限扩散效应的背扩散模型，该模型介于杠杆定则(Lever rule)模型和Scheil 模型两种极限情况之间，更符合钢锭凝固过程的实际物理情况。 图1 9Cr3Mo 钢种的物性参数：(a)固相率；(b)导热系数；(c)密度；(d)表观比热容；(e)黏度 表1 9Cr3Mo 钢种化学成分 CSiMnPSCrMo 0.90.350.2750.020.0230.3 8 t 9Cr3Mo 钢锭的主要几何参数见表2，几何模型如图2所示。计算域采用三维非结构四面体网格划分，由于充型水口直径仅为122 mm，远小于钢锭模直径1 230 mm，为保证充型过程的数值精度，对水口区域进行了局部网格加密，加密区域网格尺寸为10 mm，并通过逐级过渡与钢锭本体区域的30 mm网格相连接，最终网格单元总数量为531 324，如图3。 图2 8 t 9Cr3Mo 钢锭几何模型：(a)钢锭模；(b)钢锭；(c)绝热板；(d)装配图 图3 8 t 9Cr3Mo 钢锭网格划分：(a)装配体网格划分；(b)水口端入口处网格加密 表2 8 t 9Cr3Mo钢锭的主要几何参数Tab. 2 Main geometric parameters of the 8 t ParameterValue Ingot weight/t8 Number of sides8 Ingot top size/mmφ870 Ingot bottom size/mmφ810 Ingot height/mm1 720 Riser top size/mm770 Riser height/mm450 Mold weight/t12.4 初始条件：钢锭模和绝热板的初始温度为50 ℃。 水口处边界条件为： ①根据现场浇注工艺确定锭身和冒口的浇注速度分别为17 和5 kg/s。②钢液液相线为1 452 ℃，过热度为45 ℃，水口端入口温度为1 498 ℃。 根据现场条件和文献[23]确定主要边界换热系数为：①冒口顶部与大气换热系数：30 W/(m2·K)；②绝热板与钢锭模的界面换热系数：20 W/(m2·K)；③绝热板与钢锭界的面换热系数：20 W/(m2·K)；④钢锭模与地面的等效换热系数：800 W/(m2·K)。 计算分为充型与凝固2 个阶段，终止条件为：①充型阶段，采用体积函数VOF 方法追踪自由液面，充型率达到98%时，终止充型计算。②凝固阶段，全域凝固结束，并且最低温度小于1 347 ℃(固相线温度1 357~10 ℃)时，终止充型计算。 缩孔与疏松预测采用ProCAST 软件自带的缩孔模型判据，如图4所示[3]。该判据认为缩孔疏松出现在固相率fs 介于宏观缩孔临界固相率fmacro 和1.0之间的区域。其中，当存在糊状区时，缩孔疏松出现在距离fmacro 等固相率面大于补缩长度feed length 的位置，其具体位置取决于密度变化。fmacro 取值0.70，补缩固相率增量Δffeed 取值与补缩长度和局部固相率梯度有关，通过下式计算获得。如果在fmacro 以下没有糊状区，那么为了补偿局部收缩，微观疏松可能出现在fmacro 和1.0 之间的整个区域[24]。 图4 缩孔疏松判据示意图[3] 式中，Δffeed 为补缩固相率增量；Lfeed 为补缩长度，m，取值0.005 m；∇fs 为固相率fs 的梯度。 Transformer 模型是一种基于注意力机制的深度学习结构，通过注意力机制在每一层同时关注整个时间序列，从而能够更有效地捕捉长时间范围内的特征演化关系。该模型结构由多层注意力模块和前馈网络组成，既保证了全局依赖建模能力，又具备较好的计算效率和泛化性能。在钢锭凝固的数值模拟数据中，温度和固相率等变量随时间连续演化，属于典型的长时序特征，使用Transformer 模型能够对这些全程数据进行全局关联分析。 8 t 9Cr3Mo 钢锭凝固过程的数值模拟计算完毕后，导出钢锭凝固过程中共38 910 个节点的时序数据，包括温度、固相率、空间坐标(x、y、z)等特征数据，以及每个节点的缩孔疏松预测值。然后将所有数据整理为三阶张量，维度分别为节点、时间和特征，其中，节点维度为节点数量38 910，时间维度包含140 个时间步，特征维度包括温度、固相率及三维空间坐标。 采用基于Transformer 编码器的神经网络回归模型，对钢锭凝固后的缩孔进行预测，模型结构示意如图5所示。模型的主要数据处理与运算流程如下。 图5 基于Transformer 的神经网络回归模型结构示意图 (1)输入序列构建 输入序列为包含节点、时间和特征维度的三阶张量，每个时间步包含温度、固相率及坐标。 (2)嵌入层 通过线性变换将输入的5 维特征映射到dmodel 维嵌入空间，便于后续编码器处理。 (3)位置编码 为保留时间步顺序信息，将位置编码与嵌入向量相加。 (4)Transformer 编码器层 包含多层自注意力机制与前馈网络，用于提取时间序列中的深层特征及时间相关性。 (5)注意力池化 在编码器输出的时间维上，采用注意力池化机制对所有时间步进行加权平均，以获得全局节点表征。注意力权重由一个Softmax 层计算。 (6)MLP 回归层 使用两层多层感知机(MLP)对全局节点表征进行回归映射，输出单个缩孔预测值。 模型采用的损失函数为均方根误差(RMSE)，主要超参数设置如表3所示。 表3 模型中的超参数 HyperparameterDescriptionValue Embedding dimensionDimension of feature representation64 Attention headsNumber of heads in multi-head attention4 Encoder layersNumber of stacked encoder layers2 Feed-forward dimensionDimension of feed-forward hidden layer 512 Dropout ratioDropout rate to prevent overfitting0.1 Learning rateStep size of parameter updates0.001 Batch sizeSamples per training batch32 Max epochsMaximum training epochs30 Early stopping patienceWaiting epochs without improvement10 Random seedSeed for reproducibility42 基于Transformer 回归模型的核心算法如下。输入： * 输入序列X，维度[时间步数,5](温度、固相率、x、y、z) *模型超参数：编码器层数L，嵌入维度d_model，多头数n_head输出： *预测值y_hat(缩孔预测)过程： 1.嵌入层： 1.1 将输入X 通过线性变换映射到d_model维，得到H_0 2.位置编码： 2.1 将位置编码加到H_0 上，得到H_0' 3.Transformer 编码器： 对于l=1 到L，重复以下步骤： 3.1 多头自注意力：H_attn=MultiheadAttention(H_prev) 3.2 残差连接与归一化：H_res1 = LayerNorm(H_prev+H_attn) 3.3 前馈网络：H_ff=FeedForward(H_res1) 3.4 残差连接与归一化：H_next = LayerNorm(H_res1+H_ff) (更新H_prev=H_next) 4.注意力池化： 4.1 计算每个时间步的权重alpha = Softmax(Linear(H_next)) 4.2 按权重加权求和：h_pooled = sum over t of(alpha_t*H_next_t) 5.MLP 回归层： 5.1 线性变换：h_mlp1=Linear(h_pooled) 5.2 激活函数：h_relu=ReLU(h_mlp1) 5.3 输出层：y_hat=Linear(h_relu) 输出： *返回预测值y_hat 为验证模拟结果的准确性，使用高温红外测温仪测量钢锭脱模时其外壁中间的温度为698~710 ℃，与数值模拟结果707 ℃比较接近，间接说明了模拟结果的准确性。从8 t 9Cr3Mo 钢锭凝固过程的温度分布(图6)可以看出，在充型结束后，钢锭呈现自下而上、自外而内的凝固顺序。在10 800 s 时可以明显看出锭身下部中心存在局部高温液相区，该区域必然在凝固结束时产生缩孔疏松。 图6 8 t 钢锭凝固过程的温度分布：(a)充型结束，720 s;(b)3 600 s;(c)7 200 s;(d)10 800 s;(e)13 000 s 缩孔疏松主要集中在钢锭中心轴线附近及冒口下方的热节区域，如图7所示。其中，图7a 为钢锭中心纵截面的缩孔疏松分布，可以看出，锭身下半部存在一定程度的缩孔疏松。图7b 为钢锭缩孔疏松分布的三维视图，可以看出，缩孔疏松主要集中在钢锭轴心线下部区域。图7c 为缩孔率大于零的节点的缩孔率分布统计，可以看出，缩孔率分布呈现明显的两极化特征，大量节点缩孔率大于80%。结合图6e 可知，锭身下部中心凝固时间最长，说明在凝固过程中钢锭下部中心处补缩困难，易形成高缩孔率区域，而部分节点缩孔率较低，表明仍能得到一定补缩。 图7 缩孔疏松分布：(a)中心截面缩孔疏松分布；(b)缩孔疏松三维分布；(c)缩孔率大于零的分布 模型训练过程的损失函数RMSE 曲线如图8所示。随着训练轮次增加，训练集和验证集的损失值均逐渐减小，前期下降较快，约在第20 轮后趋于收敛。验证集损失曲线与训练集基本一致，未观察到明显的过拟合现象，表明模型具有较好的泛化能力。 图8 损失函数曲线 为研究模型的内部机制，对Transformer 编码器的注意力分布进行了分析，通过注意力池化，得到缩孔疏松节点对凝固过程固相率的平均注意力权重分布，如图9所示。可以看出，注意力随着固相率增加而增加，说明对于预测到缩孔疏松的节点，注意力权重主要集中在凝固后期，尤其是最后凝固区域所对应的时间步，这与缩孔疏松的形成机制相一致：钢锭中心及热节区域由于补缩流动受限，在凝固末期容易形成缩孔疏松。因此，模型通过自注意力机制自动聚焦关键热历程阶段，提取与补缩不足密切相关的固相率变化特征信息，这为理解缩孔敏感区的物理本质提供了数据驱动的参考。 图9 自注意力机制缩孔疏松模型对不同固相率的平均注意力值 (1)构建了基于Transformer 编码器的回归预测模型，通过多头自注意力机制提取温度、固相率等时间序列特征，实现了缩孔疏松预测，表现出良好的拟合精度。 (2)注意力权重分析显示，模型关注重点集中在凝固后期和终凝区域，与补缩流动受限导致的缩孔形成机制高度一致，为识别缩孔敏感区的物理特征和理解其形成机理提供了数据驱动的依据。 (3)为钢锭铸造缺陷的智能预测提供了新思路，但仍受限于数据依赖和物理约束不足。未来可扩展多钢种、多工艺，并引入物理约束与优化算法，以提升模型精度和适用性。 [1] WANG Y, ZHANG L. Simulating study on the shrinkage cavity and porosity of a microalloyed steel ingot[J].Steel Research International,2025,96(2):2400584. [2] LI H,NI Z,ZHU H,HE Z,FENG H,ZHANG S,JIANG Z,WANG Y. Elimination mechanism of shrinkage porosity during pressurized solidification process of 19Cr14Mn4Mo1N High-Nitrogen steel ingot[J].Metallurgical and Materials Transactions B, 2023,54(3):1422-1433. [3] ZHANG C, NIAN Y, ZHANG L, ALI N, LI J. Shrinkage porosity model for steel ingots with reduction deformation during solidification[J].Steel Research International,2024,95(7):2400029. [4] LIU X,ZHANG C,HU S,ZHANG L,WANG H.Research progress and prospects on the formation mechanism of macrosegregation and shrinkage porosity in large steel ingots[J].Progress in Natural Science:Materials International,2024,34(3):470-481. [5] ZHANG C, NIAN Y, ZHANG L, ZHOU H, ALI N, SHEN F. Deformation transmission mechanism in reduction process during steel casting and its impact on density[J].Metallurgical and Materials Transactions B,2024,55(3):1351-1366. [6] LIU Q,WANG S,GUAN R,ZHU X L,AI X G,YANG J,LI S L.Effect of mold design on microstructure and macrosegregation in a 5.5-Ton steel ingot using a three-phase mixed columnar-equiaxed model[J]. Metallurgical and Materials Transactions B, 2024, 55(6):4607-4623. [7] NIAN Y,ZONG Y C,ZHANG C J,TANG X Y,LI J L,ZHANG L Q. Influence of heavy reduction during solidification process of billets based on 3D reconstruction of dendrites [J].Journal of Iron and Steel Research International,2025,32:1596-1611. [8] 吉晓霞，韩兴，李晗，胡建东，周岩. 大型钢锭铸锻一体化数值模拟[J].大型铸锻件，2024(4):42-47.JI X X, HAN X, LI H, HU J D, ZHOU Y. Numerical simulation of integrated casting and forging process for large steel ingots[J].Large Castings and Forgings,2024(4):42-47. [9] KONG S P,MA L F,LI H Z,NING F K.Influence of casting tapers on the temperature and stress fields of large width-to-thickness ratio flat steel ingots[J].International Journal of Metalcasting,2025:1-13. [10] GHODRATI N,MÉNARD P, MORIN J B, JAHAZI M. Influence of hot top geometry on columnar-to-equiaxed transition in a 12 MT steel ingot[J].Journal of Materials Research and Technology,2024,31:3489-3508. [11] 张伦，周秋月，陈威，王亚栋，张立峰.303 t 钢锭凝固过程缩孔分布及其影响因素的模拟研究[J].铸造技术，2022,43(12):1051-1057.ZHANG L, ZHOU Q Y, CHEN W, WANG Y D, ZHANG L F.Simulation study on shrinkage porosity distribution and influencing factors during solidification process of 303 t steel ingot[J].Foundry Technology,2022,43(12):1051-1057. [12] 朱作鑫,徐亚东.钢锭冒口高度优化模拟研究[J]. 铸造技术，2020,41(10):978-981.ZHU Z X, XU Y D. Simulation study on optimization of hot top height for steel ingots[J].Foundry Technology,2020,41(10):978-981. [13] ZHANG C J. Application of neural network in steelmaking and continuous casting: A review[J].Ironmaking&Steelmaking:Processes,Products and Applications,2024:1-23. [14] HUANG C Y,DAI Z J,SUN Y,WANG Z J,LIU W,YANG S F,LI J S.Recognition of converter steelmaking state based on convolutional recurrent neural networks[J].Metallurgical and Materials Transactions B,2024:1-13. [15] KLIMAS M, GRABOWSKI D. Application of long short-term memory neural networks for electric arc furnace modeling[J].Applied Soft Computing,2023,145:110574. [16] BERRAJAA A.Solving the steel continuous casting problem using a recurrent neural network model[J].International Journal of Computing Science and Mathematics,2024,19(2):180-192. [17] CHO K,KIM G,KWON S H, YIM C H, HONG D G. Prevention of thermal crack in steel slab using neural networks model to predict impact absorption energy[J].Steel Research International,2024:95(6):2300732. [18] WU X,JIN H L,YE X M,WANG J J,LEI Z S,LIU Y,WANG J,GUO Y. Multiscale convolutional and recurrent neural network for quality prediction of continuous casting slabs[J]. Processes,2020,9(1):33. [19] ZHOU Y J,XU K,HE F,ZHANG Z Y.Application of time series data anomaly detection based on deep learning in continuous casting process[J].ISIJ International,2022,62(4):689-698. [20] WANG R,JI Y J,LI Y Y,LEE S T.Applications of transformers in computational chemistry: Recent progress and prospects[J]. The Journal of Physical Chemistry Letters,2024,16(1):421-434. [21] LIN T Y,WANG Y X,LIU X Y,QIU X P.A survey of transformers[J].AI Open,2022,3:111-132. [22] VASWANI A,SHAZEER N,PARMAR N,USZKOREIT J,JONES L, GOMEZ A N, KAISER Ł, POLOSUKHIN I. Attention is all you need[A]:Advances in Neural Information Processing Systems[C].Red Hook,NY:Curran Associates Inc.,2017.5998-6008. [23] ZHANG C J,BAO Y P,WANG M, ZHANG L C. Study of effective transient thermal resistances of different heat transfer sections during solidification of steel ingot[J].Steel Research International,2017,88:1600268. [24] ESI GROUP.ProCAST user manual version 2018.0[M].Paris:ESI Group,2018.1.3 物性参数
Fig.1 Physical properties of 9Cr3Mo steel:(a)solid fraction;(b)thermal conductivity;(c)density;(d)apparent specific heat capacity;(e)viscosity
Tab.1 Chemical composition of 9Cr3Mo steel(mass fraction/%)
1.4 几何模型与网格划分
Fig.2 Geometric model of the 8-ton 9Cr3Mo steel ingot:(a)ingot mold;(b)steel ingot;(c)insulating board;(d)assembly diagram
Fig.3 Mesh generation of the 8-ton 9Cr3Mo steel ingot:(a)assembly mesh;(b)locally refined mesh at the nozzle inlet
9Cr3Mo steel ingot
1.5 初始条件和边界条件
1.6 终止条件
1.7 缩孔疏松判据
Fig.4 Schematic diagram of the shrinkage porosity criterion[3]2 基于Transformer 的回归模型构建与训练
Fig.5 Schematic diagram of the Transformer-based neural network regression model
Tab.3 Hyperparameters of the model
3 实验结果及讨论
3.1 8 t 9Cr3Mo 钢锭凝固数值模拟结果
Fig.6 Temperature distribution during solidification of the 8-ton steel ingot:(a)end of filling,720 s;(b)3 600 s;(c)7 200 s;(d)10 800 s;(e)13 000 s
Fig.7 Shrinkage porosity distribution:(a)distribution on the central longitudinal section;(b)3D distribution;(c)distribution of nodes with nonzero shrinkage porosity3.2 Transformer 模型的注意力机制分析
Fig.8 Loss function curves
Fig.9 Average attention values at different solid fractions in the shrinkage porosity model with self-attention mechanism4 结论