高强钢作为航空航天、新能源汽车、国防军工等领域的关键结构材料,其力学性能直接决定装备的轻量化水平与安全可靠性。在国家《智能制造发展规划》与“双碳”目标驱动下,提升高强钢性能稳定性已成为我国钢铁工业抢占技术制高点的核心任务。当前高强钢组织-性能调控仍严重依赖人工金相分析,既存在主观性缺陷问题,也存在定量化不足的问题。深度学习驱动的机器视觉技术正引发材料表征范式变革。本研究聚焦机器视觉驱动的高强钢组织-性能映射模型构建,其核心价值在于揭示组织参数与力学性能的隐式关联规律,突破传统经验公式局限。材料科学作为一门跨学科科学,核心是通过对物质性质、材料制备、加工工艺及微观结构的系统研究,实现其科学合理的整合应用。随着新的工业革命时代的到来,如何加速材料研发进程已经成为材料研究者乃至全行业共同关注的目标。如何通过低成本、高可靠性来获取材料研发过程中的实验数据也成为现今亟待解决的课题。组织调控作为材料研发的重要步骤,如何精准调控得到较好性能产品是材料研发工作的聚焦问题[1-3]。
早期研究主要依赖于传统金相学和体视学原理,通过人工手动测量来统计组织参数。例如,国家标准采用的方法也可以用于定量分析金相[4],尽管方法直观,但存在主观性强、效率低下、统计代表性不足等固有局限,难以捕捉组织的复杂细节和空间分布信息。
为克服这些局限,基于传统图像处理算法(如阈值分割、边缘检测、形态学操作)的半自动分析软件(如Image-Pro,Olympus Stream)得到了广泛应用。鞠新华等[5]利用图像处理技术对着色后的组织照片根据灰度分布进行定量分析,显著提高了分析效率。但这类方法严重依赖人工预设参数和特征工程,对于对比度低、组织复杂或存在伪影的显微图像,其鲁棒性和通用性较差。
近年来,随着人工智能技术的飞跃,特别是深度学习技术的发展,高强钢组织定量分析进入了新时代。基于卷积神经网络(convolutional neural network,CNN) 的模型能够自动学习组织的深层特征,实现端到端的像素级语义分割和精确量化。Azimi等[6]的工作是这一领域的里程碑,其利用全卷积神经网络(fully convolutional networks,FCN)对低合金钢中的多种显微组织相(如珠光体、贝氏体、马氏体)进行了自动分割,展现了深度学习在处理复杂组织方面的巨大潜力。众多学者紧随其后,推动了该技术的深化与应用。Hecht 等[7]通过图像分析方法首先通过灰度强度阈值处理将碳化物网络和珠光体基体分割为二值化对比图像,随后对碳化物网络像素进行骨架化处理并分解为分支和节点,从而确定碳化物网络的连通性指数。从而判断高碳钢的碳化物含量与韧性的关系。任姿颖等[8]开发了一种组织深度学习分类模型,实现了对海洋用钢的高精度识别,为海洋用钢的表征分析提供了有力助力。Parmar 等[9]先训练人工神经网络(artificial neural network,ANN),再利用增材制造316L 不锈钢建立晶粒尺寸与相应力学性能属性的相关性研究。综上所述,基于机器视觉和深度学习的分析方法不仅极大地提升了定量化水平,更重要的是,其为解析组织-性能之间的复杂非线性关系、加速新材料的研发提供了数据支撑。
本研究将通过制备高强钢材料金相试样,获取金相图像数据,并构建图像特征模型,将图像数据转为量化数据,结合量化的特征数据(相含量)与力学性能建立映射模型,最终完成对性能的预测分析。
以DP(dual-phase)钢作为实验样例进行普通实验钢组织图像数据的获取。其作为一种先进高强钢,拥有铁素体和马氏体双向组织结构,具有良好的强塑性配合低屈强比、加工硬化率高等特性,在高强钢中得到广泛应用。冷轧双相钢经两相区退火,其退火工艺将会对其组织结构与力学性能产生重要影响。其化学成分如表1所示。
表1 DP钢实验成分
Tab.1 Chemical composition of experimental
DP steels(mass fraction/%)
ElementAverageMinimumMaximum C 0.080.050.10 Mn1.651.631.66 Si0.440.400.50 Fe97.8397.098.0
选用5 种成分各异的实验钢,分别在740、760、780、800、820、840、860 和900 ℃的两相区温度条件下进行热处理。冷轧双相钢经过两相区退火,退火工艺将会对其组织结构与力学性能产生重要影响。试验钢所选用退火工艺如图1所示。
图1 DP 钢连退热处理工艺
Fig.1 Continuous annealing heat treatment process for DP steel
双相钢在不同连退温度下的组织结构存在明显差异。随着连退温度的升高,铁素体(F)晶粒尺寸逐渐增大,同时马氏体(M)含量逐步提升,晶粒得到细化。通过拉伸试验对双相钢力学性能进行检验,其抗拉强度在590~630 MPa 区间,伸长率在20%~25%区间。
将试样经腐蚀、磨抛处理后,通过显微镜观察并拍照,从中筛选出200 张金相图像(即每组成分工艺5 张图像),并对其进行分割[10-20]。第1 步进行初始化种子点(聚类中心),首先预先设定超像素的个数,并在图像中均匀分配种子点;第2 步在种子点n×n领域内重新选择种子点,计算该领域内所有像素点的梯度值,将种子点移到该领域内梯度最小处,避免种子点落在梯度较大的轮廓边界;第3 步在每个种子点周围的领域内为每个像素点分配类别标签;第4 步对每个搜索到的像素点,分别计算它和该种子点的距离;第5 步进行迭代优化,根据希望超像素达到的分割结果,设置相应的迭代次数。通过下式计算获得。
式中,dc 为颜色距离,用以计算两个像素在颜色上的差异;变量l、a、b 分别代表像素在CIELAB 颜色空间中的坐标,l 代表亮度(从黑色0 到白色100),a 代表红绿色度分量(负值为绿,正值为红),b 代表黄蓝色度分量(负值为蓝,正值为黄);ds 为空间距离,用于计算两个像素在图像平面上的物理位置差异;i、j分别代表两个不同的像素点,i 通常是聚类中心,j 代表正在被计算距离的像素。式(3)将颜色距离和空间距离归一化并组合成一个单一的综合距离度量D′。根据这个距离值来决定一个像素应该所属的聚类中心。D′最小的即为最近的中心。Nc 表示颜色距离归一化因子,是重要的参数,其控制颜色距离和空间距离在综合距离中的权重。Nc 值越大,空间距离ds 的权重相对越大,生成的超像素形状更规整、更紧凑,但对颜色边界的贴合性稍差。Ns 指空间距离归一化因子,主要用于将空间距离归一化到一个可比较的尺度上。
对实验钢金相图像的采集如图2a所示,并针对采集图像按照上述实验方案得到实验钢图像处理效果图(图2b)。由图2 可以看到清晰的分割效果,相边缘被明显地标记出来。
图2 金相图像处理效果:(a)DP 钢金相图;(b)DP 钢实验处理
Fig.2 Metallographic image processing results:(a)metallographic image of DP steel;(b)experimentally processed image of DP steel
通过以下5 个深度学习模型开展训练识别分类模型实验,分别调整深度学习模型的不同参数进行模型设计。通过调整训练参数循环次数均至50 轮,并将获取的每个超像素块中对应ROI 区域分别尝试3×3、5×5、9×9、11×11 和15×15 不同大小进行训练,形成了5 个深度学习模型训练识别分类模型。
先对分割后经分类模型分类的结果进行准确率验证,随后从中筛选出分类效果更优的案例,即经表2 中Model_5 识别分类模型处理后得到的部分铁素体相(图3)。基于晶粒大小、颜色及纹理信息,对提取结果完成相的分类;再利用从金相图像中提取的微观组织超像素块,通过计算获取相含量,并将相含量与实验钢性能实验结果进行数据融合得到实验数据集。表3 为相含量与实验钢性能实验结果进行数据融合得到的统计数据,能够基本描述数据的情况。
图3 Model_5 识别分类模型效果图
Fig.3 Visualization of deep learning model training for recognition and classification tasks
表2 深度学习模型训练识别分类模型参数对比
Tab.2 Parameter comparison of recognition and classification models for deep learning model training
ModelModel_1Model_2Model_3Model_4Model_5 Structure fc1 30×27 fc2 27×20 fc3 20×2 fc1 30×27 relu fc2 27×20 relu fc3 20×2 fc1 30×27 norm relu fc2 27×20 norm relu fc3 20×2 conv2d 5×5,6 relu maxpool2d 2×2 conv2d 5×5,16 relu maxpool2d 2×2 fc1 400×120 fc2 120×84 fc3 84×2-conv2d 5×5,64 norm relu maxpool2d 2×2-×2 fc 256×2
表3 DP钢实验组织-性能实验数据
Tab.3 Experimental microstructure-property data of DP steel
AverageMinimumMaximum Ferrite/%655869 Martensite/%353142 Tensile Strength/MPa620590630 Elongation/%232025
模型采用XGBoost(extreme gradient boosting),属于梯度提升决策树(gradient boosting decision tree,GBDT)的优化变体,其核心思想是通过加法模型与前向分步算法集成弱学习器(CART 树)预测函数形式:
式中,K 为树的总数;fk 表示第k 棵树的函数;F 为所有可能的CART 树空间。采用二阶导数信息加速收敛(传统GBDT 用一阶梯度)第t 次迭代的目标函数近似为:
式中,gi,hi 分别为损失函数的一阶/二阶梯度。将200组相含量、抗拉强度、伸长率等数据进行输入,实现对钢材的力学性能预报。基于不同成分、工艺的高强钢性能预报模型是通过学习在一定温度成分范围内的实验数据,并针对该成分范围内的高强钢力学性能进行预测。即输入组成相含量,输出为钢铁的力学性能指标,即抗拉强度、伸长率。采用决定系数评价模型性能,R2 表示预测值和真实值之间的拟合程度,R2 的值通常在0~1,两者的拟合程度越好,R2 越接近1,模型性能越好。
式中,n 为样本数量;
为第i 个样本的模型预测值;yi 为第i 个样本的实际值;
为所有样本实际值的平均值。
将200 组在5 种不同成分、8 个热处理工艺下的金相实验数据进行处理,再选用测试集验证模型的分割效果,结果如图4所示。实验钢能清晰展示出DP 钢不同的相边界特点,并将马氏体与铁素体相进行区分。通过评价指标准确率与miou、fwiou 进行校准验证,结果如表4所示。
图4 金相图像处理效果:(a)DP 钢金相图像;(b)Label 手动标注;(c)DP 钢实验处理
Fig.4 Metallographic image processing results:(a)metallographic image of DP steel;(b)manually annotated Label image;(c)experimentally processed image of DP steel
表4 DP钢实验处理效果图算法验证评价指标
Tab.4 Performance evaluation metrics for DP steel image processing algorithm
Accuracymioufwiou Value87%74%78%
利用表2 中的5 个深度学习模型,对实验处理后的图像进行训练,以建立图像识别分类模型。分别按3×3、5×5、9×9、11×11 和15×15 的尺寸进行训练并测试,准确率如表5所示。选用Model_5 作为最终的识别分类模型,因其能够精确分出实验图像中的铁素体与马氏体相,且准确率高达99.78%。
表5 深度学习模型训练识别分类模型准确率对比
Tab.5 Accuracy comparison of recognition and classification models in deep learning model training
Accuracy Model_1 Model_2 Model_3 Model_4 Model_5 3×392.18%92.08%92.35%--5×596.77%93.61%94.65%-94.63%9×997.25%96.96%95.73%96.92%97.02%11×1199.74%98.71%99.38%99.63%98.91%15×1599.76%99.71%99.52%99.65%99.78%
通过实验数据集进行输入组织特征,输出性能的预测模型训练,运用XGBoost(TE-XGBoost)模型预测抗拉强度及伸长率,其R2 为0.943,表明该微观结构特征预测的力学性能模型表现较好。
(1)完成了基于高强钢的高精度组织识别样例,开发的图像特征模型对双相组织(马氏体/铁素体)识别准确率达99.78%,相较传统金相分析给出更为精确的量化结果,打破了传统金相图像获取分析的瓶颈。
(2)机理驱动的预测模型运用物理约束正则化XGBoost(TE-XGBoost)模型,抗拉强度、伸长率预测的高相关系数(R2=0.943),说明形成了较为精准的组织到性能的预测分析。
(3)作为实验样例不仅验证了机器视觉技术与XGBoost 在高强钢性能调控中的工程价值,更提供了可复用的技术范式,从微观组织数字化表征到宏观性能智能预测的完整解决方案。
(4)研究结果表明,机器视觉技术能显著提升组织分析的客观性、效率和定量化水平;所建立的基于组织特征的性能预测模型具有较高的精度和可靠性,揭示了特定组织参数与力学性能之间具有相关性;该技术为高强钢的成分-工艺-组织-性能优化设计提供了强有力的分析支持,对加速新材料开发、优化生产工艺控制、提升产品质量稳定性具有重要意义。
[1] KIYOHARA S,MIZOGUCHI T.Effective search for stable segregation configurations at grain boundaries with datamining techniques[J].Physica B:Condensed Matter,2018,532:9-14.
[2] WEN C,ZHANG Y,WANG C X,XUE D Z,BAI Y,ANTONOV S, DAI L H, LOOKMAN T, SU Y J. Machine learning assisted design of high entropy alloys with desired property[J].Acta Materialia,2019,170:109-117.
[3] 任姿颖,宋宝宇. 图像识别在材料研发中的应用与展望[J]. 鞍钢技术,2022(6):18-22.REN Z Y,SONG B Y.Application of image recognition technology in material development and its prospect[J].Angang Technology,2022(6):18-22.
[4] 全国海洋船舶标准化技术委员会船用材料应用工艺分技术委员会. 定量金相测定方法:GB/T 15749-2008[S]. 北京:中国标准出版社,2008.Ship Materials and Applied Technology. Measuring method in quantitative metallography: GB/T 15749-2008[S]. Beijing: Standards Press of China,2008.
[5] 鞠新华,温娟,崔桂彬,刘晓岚,孟杨,郝京丽,蔡宁. 双相钢中马氏体定量分析方法的探讨[A]. 中国钢铁业2014 增刊[C]. 北京:中国金属学会,2014.284-289.JUN X H,WEN J,CUI G B,LIU X L,MENG Y,HAO J L,CAI N.Discuss on the quantification method of martensite in dual phase steel[A]. Supplementary Issue of China Steel 2014[C]. Beijing:The Chinese Society for Metals,2014.284-289.
[6] AZIMI S M,BRITZ D,ENGSTLER M,FRITZ M,MÜCKLICH F.Advanced steel microstructural classification by deep learning methods[J].Scientific Reports,2018,8:2128.
[7] HECHT M D, WEBLER B A, PICARD Y N. Digital image analysis to quantify carbide networks in ultrahigh carbon steels[J].Materials Characterization,2016,117:134-143.
[8] 任姿颖,赵坦,王笑辰. 基于图像分割技术的海洋用钢表征评价方法研究[J].鞍钢技术,2025(2):30-36.REN Z Y, ZHAO T, WANG X C. Study on characterization and evaluation method of sea steel based on image segmentation technology[J].Angang Technology,2025(2):30-36.
[9] PARMAR A,KUMAR R S,ATWATER M,SHIN Y C.Prediction of mechanical properties of additively manufactured 316L steel based on microstructural features using data-driven approaches[J/OL]. Journal of Materials Engineering and Performance, 2025.https://doi.org/10.1007/s11665-025-11953-5
[10] CANNY J. A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986,PAMI-8(6):679-698.
[11] SCHMIDT J, MARQUES M R G, BOTTI S, MARQUES M A L.Recent advances and applications of machine learning in solid-state materials science[J].npj Computational Materials,2019,5:83.
[12] SENTHILKUMARAN N,RAJESH R.Image segmentation-a survey of soft computing approaches[A].2009 International Conference on Advances in Recent Technologies in Communication and Computing[C].Kottayam:IEEE,2009.844-846.
[13] LUNDBERG S M, LEE S I. A unified approach to interpreting model predictions[A]. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems[C].California:Curran Associates Inc.,2017.4768-4777.
[14] MUTHUKRISHNAN R, RADHA M. Edge detection techniques for image segmentation[J].International Journal of Computer Science&Information Technology,2011,3(6):259-267.
[15] KANG H,LEE S,CHUI C K.Coherent line drawing[A].Proceedings of the 5th International Symposium on Non-photorealistic Animation and Rendering[C].San Diego:Association for Computing Machinery,2007.43-50.
[16] 朱征宇,王丽敏. 彩色图像分割的FCM 初始化方法[J]. 计算机应用研究,2015,32(4):1257-1260.ZHU Z Y,WANG L M.Initialization approach for fuzzy C-means algorithm for color image segmentation[J].Application Research of Computers,2015,32(4):1257-1260.
[17] HE K M,ZHANG X Y,REN S Q,SUN J. Deep residual learning for image recognition[A]. 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)[C]. Las Vegas: IEEE,2016.770-778.
[18] ZHANG L, YANG F, ZHANG Y D, ZHU Y J. Road crack detection using deep convolutional neural network[A].2016 IEEE International ConferenceonImageProcessing(ICIP)[C].Phoenix:IEEE,2016.3708-3712.
[19] MORI G, REN X F, EFROS A A, MALIK J. Recovering human body configurations: Combining segmentation and recognition[J].CVPR 2004,2004,2:326-333.
[20] COMANICIU D,MEER P.Mean shift: A robust approach toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.
Research on the Impact of High-strength Steel Microstructure-property Analysis Based on Machine Vision Technology
REN Z Y,WANG J S,ZHAO T.Research on the impact of high-strength steel microstructure-property analysis based on machine vision technology[J].Foundry Technology,2025,46(10):989-994.