基于无人机及机器视觉的风电结构健康监测系统及方法.pdf
- 文档编号:18809530
- 上传时间:2023-11-26
- 格式:PDF
- 页数:11
- 大小:574.55KB
基于无人机及机器视觉的风电结构健康监测系统及方法.pdf
《基于无人机及机器视觉的风电结构健康监测系统及方法.pdf》由会员分享,可在线阅读,更多相关《基于无人机及机器视觉的风电结构健康监测系统及方法.pdf(11页珍藏版)》请在冰点文库上搜索。
(19)国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号202310286461.9(22)申请日2023.03.22(71)申请人兰州理工大学地址730050甘肃省兰州市七里河区兰工坪路287号(72)发明人李万润李清赵文海范博源潘梓鸿(74)专利代理机构兰州振华专利代理有限责任公司62102专利代理师董斌(51)Int.Cl.G06Q10/10(2023.01)G06Q10/20(2023.01)G06Q50/06(2012.01)G06V20/17(2022.01)G06T17/00(2006.01)G06V10/778(2022.01)(54)发明名称基于无人机及机器视觉的风电结构健康监测系统及方法(57)摘要基于无人机及机器视觉的风电结构健康监测系统及方法,采用分段监测方式对风力机叶片及塔筒的图像信息进行全方位采集,利用搭载树莓派主板的无人机采集装置对采集的图像进行实时预处理,通过该实时检测系统识别风力机结构的表面缺陷与动力特性,确定风力机结构的损伤程度,在出现严重损伤时做出预警,通知人员进行维修。
该实时检测系统基于深度学习神经网络,采用数据扩充技术与树莓派结合的方式,使实时检测更加有效,且该系统消除无人机漂移位移影响可提高监测结果准确性。
该方法提出的实时、快速、非接触的健康监测方法,能够高效、准确的完成风力机结构的检测工作,为风力机结构的继续安全运行提供快捷、可靠的技术保障。
权利要求书2页说明书5页附图3页CN116308180A2023.06.23CN116308180A1.基于无人机及机器视觉的风电结构健康监测系统,其特征在于:
其结构由无人机采集装置
(1),图像采集与稳像子系统
(2),模型训练与内嵌子系统(3),整体结构评估子系统(4),紧急事故与预警子系统(5)组成;无人机采集装置
(1)由无人机(11),摄像头(12)和树莓派主板(13)组成,与图像采集与稳像子系统
(2)协调配合对风力机整体结构进行图像信息采集,与模型训练与内嵌子系统(3)协调配合实时处理拍摄数据;图像采集与稳像子系统
(2),由无人机位姿确认模块(21)控制无人机飞行至规定位置并确定位姿,由相机标定与校准模块(22)进行摄像头(12)的标定及校准工作,由分段监测模块(23)和巡航路线规划模块(24)对无人机检测路线进行按需规划,由图像采集与检测模块(25)检测所采集图像质量是否可用,对不可用的图像信息则重新进行采集;模型训练与内嵌子系统(3),由深度学习跟踪与分割模块(31)对所采集到的图像信息进行目标跟踪与语义分割的学习步骤,由模型训练及验证模块(32)进行数据集扩充与模型训练,将训练好的深度学习网络参数嵌入树莓派内嵌程序模块(33),由无人机位移补偿(34)模块消除无人机抖动对检测结果的影响,由图像拼接模块(35)对图像进行整合,由响应计算模块(36)和损伤结合计算模块(37)具体计算出结构的响应与损伤;整体结构评估子系统(4)由对比结构特性模块(41),判断安全运行模块(42),异常数据保存模块(43),整体故障诊断模块(44),数据整合模块(45),整体损伤程度判断模块(46)组成,用于评估风力机结构是否可以安全运行、储存异常数据并判断整体损伤程度;紧急事故预警子系统(5)由继续运行判断模块(51),预警报备模块(52),事故信息上传模块(53),在线系统通知模块(54),风力机维修模块(55)组成,用于风力机不可继续运行时及时预警通知维修风力机结构。
2.采用权利要求1所述的基于无人机及机器视觉的风电结构健康监测系统的监测方法,其特征在于,其步骤为:
步骤
(1)无人机飞行至规定位置后由图像采集与稳像子系统确定位姿并进行相机标定及校准,再通过分段监测方式对巡航路线进行规划,最后在巡航路线中获取图像并对所采集的图像质量进行检测;步骤
(2)由模型训练与内嵌子系统对获取的图像进行深度学习方法下的目标跟踪与语义分割的学习步骤,再进行数据集扩充及模型训练,将训练好的深度学习网络参数返回内嵌至树莓派,最后将监测图像通过无人机位移补偿与图像拼接得到结构响应并计算风力机结构动力特性与表面缺陷;步骤(3)由整体结构评估子系统将监测所得的动力特性与表面缺陷做相关计算后对比整体结构特性判断风力机是否能够继续安全运行,若可以安全运行则继续按规定间隔周期进行监测,若无法安全运行则保存异常数据及视频信息进行故障诊断,最后进行数据整合对整体结构损伤程度进行判定;步骤(4)由紧急事故预警子系统在损伤判定无法继续运行时对客户端预警并上传事故信息给出维修建议,最后线上通知管理员进行风力机维修。
3.根据权利要求2所述的基于无人机及机器视觉的风电结构健康监测方法,其特征在于由终端通过无人机搭载的树莓派来控制无人机进行图像信息的采集工作,并将采集到的图像通过已提前内嵌深度学习网络参数的树莓派进行数据预处理,后实时传输数据至终端进行后续计算。
4.根据权利要求2所述的基于无人机及机器视觉的风电结构健康监测方法,其特征在权利要求书1/2页2CN116308180A2于所述的深度学习网络参数获取方法为:
将采集到的图像通过稀疏点云与密集点云的方法重构建立实体三维模型,之后在不同环境下导出不同监测位置的局部图像,来模拟不同条件下的工况,从而进行数据集扩充,再使用扩充后的数据集进行视觉跟踪算法YOLO深度学习的模型训练,最后将训练好的模型参数内嵌置树莓派主板内。
5.根据权利要求2所述的基于无人机及机器视觉的风电结构健康监测方法,其特征在于所述的分段监测方法为:
根据无人机视野范围确定每次悬停监测区域范围,在相邻监测区域内图像有重叠的前提下,控制无人机在风电结构不同监测位置进行自上而下的悬停拍摄及顺时针的环绕拍摄,依次分段采集风力发电机结构图像信息;在计算全局振型时,对监测重叠部分进行归一化因子Ri传递响应,该因子将重叠域中的模式形状缩放为在重叠处具有相同的值。
6.根据权利要求2所述的基于无人机及机器视觉的风电结构健康监测方法,其特征在于所述的无人机位移补偿方法为:
平面内位移补偿由光流法对监测点和背景不动点同时跟踪,得出第i帧下监测点位移坐标POi(xOi,yOi)和不动点坐标PUAVi(xUVAi,yUAVi),则可得监测点的绝对坐标PAOiPOiPUAVi(xOixUVAi,yOiyUAVi),再由得到监测点的绝对位移;平面外位移补偿通过基于刚体相对位置不变假设下的自适应比例因子法,采用自适应比例因子将结构监测的位移从图像坐标转换为物理坐标进而进行平面外位移补偿,来消除无人机漂移位移影响。
7.根据权利要求2所述的基于无人机及机器视觉的风电结构健康监测方法,其特征在于所述的整体损伤判断方法为:
将通过相关运算获得的所监测结构的频率、振型等动力特性信息与风力机结构原始的动力特性信息进行对比,并结合风机表面缺陷信息对数据进行整合从而给出风力机结构的整体损伤程度。
权利要求书2/2页3CN116308180A3基于无人机及机器视觉的风电结构健康监测系统及方法技术领域0001本发明涉及风力机结构健康监测领域,具体涉及的是基于无人机及机器视觉的风电结构健康监测技术。
背景技术0002在国家大举推广清洁能源的当下,风能作为一种清洁无公害的可再生能源,利用风力发电非常环保,且我国风能蕴量巨大,风力发电成为继火电与水电后国内第三大主力电源,风电装机规模持续增长。
随着风机数量不断增多,存在的问题也逐渐显露出来,在运行过程中常常出现叶片断裂、塔筒屈曲等安全事故。
而大型风力机结构检测常用采用人工检测,但人工检测不但费时耗力而且检测结果往往需要较高的工程经验。
近年来随着计算机视觉技术的兴起,许多结构健康监测方法应运而生,但大多数监测方法使用设备多数为固定式相机且设有人工标志物仅适用于普通民用及桥梁结构,针对风力机这类高耸结构运维的视觉监测方法通常采用无人机作为图像信息采集的设备,但在风场这种监测条件较差的环境下,这些系统方法的应用便有了一定的局限性。
如何利用无人机及视觉技术在较差的风场环境条件下实时对大型风机整体结构进行准确的全面评估的问题亟待解决。
发明内容0003本发明的目的是提供一种基于无人机及机器视觉的风电结构健康监测系统及方法。
0004本发明是基于无人机及机器视觉的风电结构健康监测系统及方法,其结构是由无人机采集装置1、图像采集与稳像子系统2、模型训练与内嵌子系统3、整体结构评估子系统4、紧急事故预警子系统5组成的一种风电结构全面健康监测方法。
所述的无人机采集装置1由无人机11、摄像头12、树莓派主板13组成;所述的图像采集与稳像子系统2由无人机位姿确认模块21、相机标定与校准模块22、分段监测模块23、巡航路线规划模块24、图像采集与检测模块25组成,用于图像采集工作;所述的模型训练与内嵌子系统3由深度学习跟踪与分割模块31、模型训练及验证模块32、树莓派内嵌程序模块33、无人机补偿位移模块34、图像拼接模块35、响应计算模块36和损伤结合计算模块37组成,用于模型训练后根据目标跟踪与图像分割的工作具体计算出结构的动力特性与表面缺陷;所述的整体结构评估子系统4由对比结构特性模块41、判断安全运行模块42、异常数据保存模块43、整体故障诊断模块44、数据整合模块45和整体损伤程度判断模块46组成,用于风力机结构的损伤判断;所述的紧急事故预警子系统5由继续运行判断模块51、预警报备模块52、事故信息上传模块53、在线系统通知模块54和风力机维修模块55组成,用于风力机不可继续运行时及时预警通知维修风力机结构并给出维修建议,以避免严重的安全事故与经济损失。
0005本发明的基于无人机及机器视觉的风电结构健康监测方法,其具体步骤为:
0006步骤
(1)无人机飞行至规定位置后由图像采集与稳像子系统确定位姿并进行相机标定及校准,再通过分段监测方式对巡航路线进行规划,最后在巡航路线中获取图像并对说明书1/5页4CN116308180A4所采集的图像质量进行检测;0007步骤
(2)由模型训练与内嵌子系统对获取的图像进行深度学习方法下的目标跟踪与语义分割的学习步骤,再进行数据集扩充及模型训练,将训练好的深度学习网络参数返回内嵌至树莓派,最后将监测图像通过无人机位移补偿与图像拼接得到结构响应并计算风力机结构动力特性与表面缺陷;0008步骤(3)由整体结构评估子系统将监测所得的动力特性与表面缺陷做相关计算后对比整体结构特性判断风力机是否能够继续安全运行,若可以安全运行则继续按规定间隔周期进行监测,若无法安全运行则保存异常数据及视频信息进行故障诊断,最后进行数据整合对整体结构损伤程度进行判定;0009步骤(4)由紧急事故预警子系统在损伤判定无法继续运行时对客户端预警并上传事故信息给出维修建议,最后线上通知管理员进行风力机维修。
0010本发明相对于现有技术具有以下优点:
00111、本发明通过无人机搭载装置拍摄风力机结构,采用深度学习的视觉算法计算结构动力特性与表面缺陷,为弥补存在的计算量和训练的问题,在监测过程中创新的采用数据扩充与树莓派结合的方式,可实现快速实时监测。
00122、本发明的无人机悬停监测采用更加高效的分段监测新方法。
无人机的灵活便利使其可以在所需监测点充分监测,针对大型风力机结构无法全面进行监测的问题,该方法采用自上而下的分段监测方式对风力机结构进行全面监测,充分利用了无人机的灵活性和分辨率且同时解决了在大气效应下引起的图像失真问题。
00133、本发明对无人机监测过程中产生的漂移位移进行了补偿,消除了采用无人机进行监测时产生的位移误差,提高监测的准确性。
00144、本发明对风力机图像信息进行三维重建得到风力机模型进而进行数据扩充,提高了深度学习检测的准确性。
无人机分段监测后通过拍摄图像进行点云重建,通过稀疏与密集点云重构建立实体三维模型,最后在不同环境下导出不同检测位置的局部图像进行数据集扩充,在深度学习网络中训练提高精度。
00155、本发明的无人机采集装置所涉及的零件均可以利用当前加工技术轻易实现,在工厂进行相应的预制后,进行现场组装,加工性能强、连接性强,提出的方法思路清晰可在实际监测中应用。
附图说明0016图1为本发明的无人机使用计算机视觉的监测方式及处理系统示意图,图2为本发明的无人机搭载装置效果图,图3为本发明的无人机巡航路线环绕方式示意图,图4为本发明的无人机巡航实时检测流程框图,附图标记及对应名称为:
1:
无人机搭载装置,2:
图像采集与稳像子系统,3:
模型训练与内嵌子系统,4:
整体结构评估子系统,5:
紧急事故预警子系统,11:
无人机,12:
摄像头,13:
树莓派主板,21:
无人机位姿确认模块,22:
相机标定与校准模块,23:
分段监测模块,24:
巡航路线规划模块,25:
图像采集与检测模块,31:
深度学习跟踪与分割模块,32:
模型训练及验证模块,33:
树莓派内嵌程序模块,34:
无人机补偿位移模块,35:
图像拼接模块,36:
响应计算模块,37:
损伤结合计算模块,41:
对比结构特性模块,42:
判断安全运行模块,43:
异常数据保存模块,44:
整体故障诊断模块,45:
数据整合模块,说明书2/5页5CN116308180A546:
整体损伤程度判断模块,51:
继续运行判断模块,52:
预警报备模块,53:
事故信息上传模块,54:
在线系统通知模块,55:
风力机维修模块。
0017实施方式0018本发明是基于无人机及机器视觉的风电结构健康监测系统及方法,其结构是由无人机采集装置1、图像采集与稳像子系统2、模型训练与内嵌子系统3、整体结构评估子系统4、紧急事故预警子系统5组成的一种风电结构全面健康监测方法。
所述的无人机采集装置1由无人机11、摄像头12、树莓派主板13组成;所述的图像采集与稳像子系统2由无人机位姿确认模块21、相机标定与校准模块22、分段监测模块23、巡航路线规划模块24、图像采集与检测模块25组成,用于图像采集工作;所述的模型训练与内嵌子系统3由深度学习跟踪与分割模块31、模型训练及验证模块32、树莓派内嵌程序模块33、无人机补偿位移模块34、图像拼接模块35、响应计算模块36和损伤结合计算模块37组成,用于模型训练后根据目标跟踪与图像分割的工作具体计算出结构的动力特性与表面缺陷;所述的整体结构评估子系统4由对比结构特性模块41、判断安全运行模块42、异常数据保存模块43、整体故障诊断模块44、数据整合模块45和整体损伤程度判断模块46组成,用于风力机结构的损伤判断;所述的紧急事故预警子系统5由继续运行判断模块51、预警报备模块52、事故信息上传模块53、在线系统通知模块54和风力机维修模块55组成,用于风力机不可继续运行时及时预警通知维修风力机结构并给出维修建议,以避免严重的安全事故与经济损失。
0019采用以上所述的基于无人机及机器视觉的风电结构健康监测系统的监测方法,其步骤为:
0020步骤
(1)无人机飞行至规定位置后由图像采集与稳像子系统确定位姿并进行相机标定及校准,再通过分段监测方式对巡航路线进行规划,最后在巡航路线中获取图像并对所采集的图像质量进行检测;0021步骤
(2)由模型训练与内嵌子系统对获取的图像进行深度学习方法下的目标跟踪与语义分割的学习步骤,再进行数据集扩充及模型训练,将训练好的深度学习网络参数返回内嵌至树莓派,最后将监测图像通过无人机位移补偿与图像拼接得到结构响应并计算风力机结构动力特性与表面缺陷;0022步骤(3)由整体结构评估子系统将监测所得的动力特性与表面缺陷做相关计算后对比整体结构特性判断风力机是否能够继续安全运行,若可以安全运行则继续按规定间隔周期进行监测,若无法安全运行则保存异常数据及视频信息进行故障诊断,最后进行数据整合对整体结构损伤程度进行判定;0023步骤(4)由紧急事故预警子系统在损伤判定无法继续运行时对客户端预警并上传事故信息给出维修建议,最后线上通知管理员进行风力机维修。
0024以上所述的监测方法,由终端通过无人机搭载的树莓派来控制无人机进行图像信息的采集工作,并将采集到的图像通过已提前内嵌深度学习网络参数的树莓派进行数据预处理,后实时传输数据至终端进行后续计算。
0025以上所述的监测方法,所述的深度学习网络参数获取方法为:
0026将采集到的图像通过稀疏点云与密集点云的方法重构建立实体三维模型,之后在不同环境下导出不同监测位置的局部图像,来模拟不同条件下的工况,从而进行数据集扩充,再使用扩充后的数据集进行视觉跟踪算法YOLO(YouOnlyLookOnce)深度学习的模型说明书3/5页6CN116308180A6训练,最后将训练好的模型参数内嵌置树莓派主板内。
0027以上所述的监测方法,所述的分段监测方法为:
0028根据无人机视野范围确定每次悬停监测区域范围,在相邻监测区域内图像有重叠的前提下,控制无人机在风电结构不同监测位置进行自上而下的悬停拍摄及顺时针的环绕拍摄,依次分段采集风力发电机结构图像信息;0029在计算全局振型时,对监测重叠部分进行归一化因子Ri传递响应,该因子将重叠域中的模式形状缩放为在重叠处具有相同的值。
0030以上所述的监测方法,所述的无人机位移补偿方法为:
0031平面内位移补偿由光流法对监测点和背景不动点同时跟踪,得出第i帧下监测点位移坐标POi(xOi,yOi)和不动点坐标PUAVi(xUVAi,yUAVi),则可得监测点的绝对坐标PAOiPOiPUAVi(xOixUVAi,yOiyUAVi),再由得到监测点的绝对位移;0032平面外位移补偿通过基于刚体相对位置不变假设下的自适应比例因子法,采用自适应比例因子将结构监测的位移从图像坐标转换为物理坐标进而进行平面外位移补偿,来消除无人机漂移位移影响。
0033以上所述的监测方法,所述的整体损伤判断方法为:
将通过相关运算获得的所监测结构的频率、振型等动力特性信息与风力机结构原始的动力特性信息进行对比,并结合风机表面缺陷信息对数据进行整合从而给出风力机结构的整体损伤程度。
0034下面结合附图,对本发明的基于无人机及机器视觉的风电结构健康监测系统及方法做进一步详细说明。
0035由图1所示,本发明提供的是无人机使用计算机视觉的监测方式及处理系统,其是由无人机搭载装置1,图像采集与稳像子系统2,模型训练与内嵌子系统3,整体结构评估子系统4,紧急事故预警子系统5共同组成。
无人机搭载装置1通过对风力机叶片,塔筒等结构进行环绕式巡航及悬停式监测获取风力机整体运动图像,之后由无人机巡航实时检测各系统进行分析与判断。
无人机定时检测,综合分析风力机整体结构动力特性与表面缺陷进行结构健康评估。
0036由图2、图3所示,无人机搭载装置1搭载摄像头12用于风力机整体结构的悬停拍摄与环绕拍摄,树莓派主板13用于实时处理拍摄数据。
无人机搭载装置1通过自上而下环绕结构的无人机巡航路线进行检测,其中悬停检测时将无人机搭载装置1悬停于叶片和塔筒前方进行动力特性监测,缺陷识别通过无人机搭载装置1绕叶片、塔筒进行多角度全方位拍摄以达到数据精确化的目的。
0037由图4所示,图像采集与稳像子系统2由无人机位姿确认模块21,相机标定与校准模块22,分段监测模块23,巡航路线规划模块24,图像采集与检测模块25组成,用于无人机图像信息采集的准备工作。
模型训练与内嵌子系统3由深度学习跟踪与分割模块31,模型训练及验证模块32,树莓派内嵌程序模块33,无人机补偿位移模块34,图像拼接模块35,响应计算模块36,损伤结合计算模块37组成,用于模型训练后根据树莓派内嵌程序中的跟踪与分割工作具体计算出结构动力特性及表面缺陷。
整体结构评估子系统4由对比结构特性模块41,判断安全运行模块42,异常数据保存模块43,整体故障诊断模块44,数据整合模块45,说明书4/5页7CN116308180A7整体损伤程度判断模块46组成,用于评估结构是否可以安全运行并判断损伤程度。
紧急事故预警子系统5由继续运行判断模块51,预警报备模块52,事故信息上传模块53,在线系统通知模块54,风力机维修模块55组成,用于风力机出现严重损伤后进行预警。
0038本发明利用无人机搭载装置对运行的风力机进行检测,通过后端处理系统对拍摄视频进行计算得到风力机结构动力特性与表面缺陷,进而评估风力机的安全性能并给定是否继续运行的建议,达到无损伤、非接触、高精度的结构健康监测目的。
无人机搭载装置拍摄风力机结构运行状态与表面缺陷,采用深度学习视觉算法进行计算,为弥补计算量及训练问题,在监测过程中采用数据扩充技术与树莓派结合,使其实时检测更加有效。
采用此方式对风力机损伤判定并评估安全性能。
本发明在保证风力机结构不损伤叶片的情况下可有效监测风力机运行情况、评估风力机状态且装置连接方便、构造简单,方法实用性强。
0039以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
说明书5/5页8CN116308180A8图1图2说明书附图1/3页9CN116308180A9图3说明书附图2/3页10CN116308180A10图4说明书附图3/3页11CN116308180A11
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 无人机 机器 视觉 结构 健康 监测 系统 方法