1、,数字孪生技术与工程实践第6章 数字孪生的智能化应用,数字孪生技术与工程实践,引言在SIGGRAPH 2021 上，英伟达（Nvidia）公司通过一部纪录片自曝：在2021年4月举办的“英伟达 GTC（图形技术大会）发布会”内藏玄机，他们构建了一个英伟达首席执行官兼创 始人黄仁勋（老黄）的“数字孪生体”，出现在视频发布会的部分环节中。数字孪生不但可以是真实物理世界的孪生，还可以是“虚拟物理”的孪生，也就是说，可以 是满足物理规律的“另一个世界”的构建。而利用这个“另一个世界”，可以完成许多真实物理世界中不能完成的工作，或者可以更好地完成这些工作。中科院的王飞跃研究员提出的“平行宇宙”、当下热门
2、的“元宇宙”就是和这个类似的概念。基于数字孪生的智能化应用，可以从模型和数据相结合的优化入手来考虑。传统的基于模型 的或者说基于知识的优化，在面向复杂大系统或者巨系统的情况，可能会遇到效率不高、难 以实现等问题；而单纯基于数据的优化，在工业、建筑业等已经拥有大量机理模型和物理、化学等演变规律知识的学科与行业中，往往事倍功半，容易在数据中迷失方向。数字孪生的 优势，在于基于模型和知识，结合实际系统中采集的数据，融合后进行优化，充分发挥模型 和数据各自的优势。,数字孪生技术与工程实践,目录,知识及其表达模型和数据双驱动的优化基于数字孪生的机器学习基于数字孪生的装配优化基于数字孪生的设备维护,数字孪
3、生技术与工程实践,6.1 知识及其表达,数字孪生技术与工程实践,模型和知识,模型是对现实系统有关结构信息和行为的某种形式的描述，是对系统的特征与变化规律的一 种定量抽象，是人们认识事物的一种手段或工具。对于“基于模型”说法中的“模型”一词，是知识的一种体现，通过模型，科学家/工程师把隐性知识表达成显示知识（如数学模型），或者把隐藏在物理系统中的运行规律用另外一种 计算机可以模拟的方式表达出来（如仿真模型）。从这个意义上说，“基于模型的方法”和“基于知识的方法”可以是类似的概念。知识工程中的形式化模型，包括知识表示模型、知识推理模型，这些模型表述了知识如何在 计算机中存储以及计算机如何处理应用知
4、识。在数字孪生应用中，以知识工程的知识模型管 理框架结合数据智能方法，能很好地构建起“模型+数据”驱动的优化应用系统架构。,数字孪生技术与工程实践,数据和知识,数据（Data）数据是世界的度量和表示，是外部世界中客观事物的符合记录，一般指 没有特定时间、空间背景和意义的数字、文字、图像或声音等。外部客 观世界中的原始资料可以称为数据，其存在不依赖于人类对它是否认知。信息（Information）数据的关联将产生信息，信息是对数据赋予含义而生成的，是具有特定 含义的彼此有关联的数据。信息来源于数据并高于数据。从数学的观点 看，信息是用来消除不确定的一个物理量。知识(Knowledge)信息的关联
5、将产生知识，知识是对信息进行加工而形成的，是结构化的、具有指导意义的信息。人们头脑中数据与信息、信息与信息在行动中的 应用之间所建立的有意义的联系，体现了知识的本质、原则和经验。智能/智慧(Intelligent/Wisdom)智能是理解知识、应用知识处理问题的能力，表现在知识与知识的关联 上，即运用已有的知识，针对物质世界发展过程中产生的问题，根据获 得的知识和信息进行分析、对比，演绎出解决方案的能力。,数字孪生技术与工程实践,知识表示,利用计算机表示、存储、处理数据的优势，知识表示是借助计算机能够接收处理的符号和方 式，把人在客观世界中所接收的知识进行转换。任何一种表示方式都是一种数据结构
6、，同时把数据结构与人类知识联系起来。人类知识的结 构及机制决定了知识表示方式。知识表示要选择适合的方式表达知识，即找准知识与表示之间的对应关系。知识表示的目的就是：基于知识的准确表示，智能算法程序能利用其知识表示作出对应的决 策，制定相关计划，判别状况和识别对象，分析目标物体，获得结果等,数字孪生技术与工程实践,典型的知识表示方法（1）,一阶谓词逻辑表示法一阶谓词逻辑是目前最精确地表达人类思维和推理的的方法之一，它基于数理逻辑，借助计算机进 行精确运算（推演）。因为人类自然语言与其表现方式大致相同，所以，人们易于接受将逻辑当作 知识表示工具。框架表示法框架是一种表示和组织知识的数据结构。它由框
7、架名和描述框架各方面性质的槽构成。语义网络一个语义网络即一个带标识的有向图，其中问题领域中的物体、概念、事件、动作等通过带有标识 的结点表示，结点之间的有向弧标识用来表达他们之间的语义联系。产生式表示法基于人类大脑记忆模式中的不同知识块之间存在的因果关系，以“IF-THEN”的形式，即产生式规 则来表示。,数字孪生技术与工程实践,典型的知识表示方法（2）,基于神经网络的知识表示在学习过程中，人工神经网络将其所获得的知识，分布式地存储于节点间的权重和偏置系数之中，有效提 升网络的鲁棒性和容错性；而在模式识别易受噪声干扰并且模式的部分损失较大，因此网络的这一特点是 成功解决模式匹配的重要因素之一。
8、基于本体的知识表示法通过将现实世界中的某个应用领域抽象或概括成一组概念和概念之间的关系，并在该区域中构建本体，可 以大大促进该区域中的计算机信息处理。知识工程领域对本体的研究主要集中在两个方面：领域本体库的 构建和本体的表示。知识地图知识地图是用来整理个人或组织所拥有的知识项目及其访问地址的工具，以便用户能快速定位到其所需要 的知识，“按图索骥”地寻找知识来源。知识图谱知识图谱试图用实体及实体间的关系来解读各种知识和用户需求，并以此实现知识和用户的更好匹配。根 据知识数据的来源和图谱应用的领域，可以将其分为通用知识图谱和行业知识图谱。,数字孪生技术与工程实践,知识推理,推理一般是指这样一个过程
9、，通过对事物进行分解、分析，再进行综合，然后做出决策，这 个过程往往是从事实开始，运用已经掌握的知识，找出其中隐含的事实或总结出新的知识。在智能系统中，推理通常是由一组程序来实现的，一般把这一组用来控制计算机实现推理的 程序称为推理机。推理方法是解决在推理的过程中推理前提和推理结论的逻辑关系问题，包括确定性的以及不 确定性的传递问题。按推理过程的单调性分类，推理可分为单调推理与非单调推理，这是根据推理过程所得出的结论是 否越来越接近目标来区分的；按推理的逻辑基础分类，常用的推理方法可分为归纳推理、演绎推理 和类比推理；根据推理过程所应用知识的确定性，推理可以分为确定性推理和不确定性推理。推理的
10、常用方法有逻辑推理（包括命题逻辑、谓词逻辑）、基于规则的推理、基于案例的推 理、基于模型的推理等方法。,数字孪生技术与工程实践,6.2 模型和数据双驱动的优化,数字孪生技术与工程实践,模型驱动和数据驱动的方法,模型（或者说知识）驱动方法与数据驱动方法是指导工程人员研究工程系统的两大方法论。数据驱动方 法与模型驱动方法本质上都源于对人类知识的总结和扩展，都具有一定的数学理论基础。数据驱动方法（Data-driven Method）能够将数据样本转化为经验模型（Experience-based Model），模型驱动方法（Model-driven Method）通常以机理模型（Model-driv
11、en/Physics-based Model）或 者知识规则（Rule-based Model）的形式展现。,数字孪生技术与工程实践,模型驱动方法,在工程应用中，模型驱动的方法已经证明了其指导实际应用系统的 有效性模型驱动方法有助于辨明问题起源、认识问题机理、提取普适规则、实施控制决策，并且能够在应用场景发生变化时，通过模型细化或 参数修改等方式扩展，以增强模型适应性。对于大多数工程系统（如机电液设备、电子电路、过程控制系统 等），系统的运行机理和结构较为清晰，因此通常采用机理建模的 方式建立白箱模型，基于系统的运行原理对系统进行刻画。模型驱动方法能够对研究问题整体考虑，以具体的机理模型或者相
12、 关的规则描述研究对象的特性，有助于寻找问题本质和开发新理论。但模型驱动方法也面临诸多问题，如模型误差难以避免、模型难以 清晰表达、计算难度大、模型复杂度与准确度矛盾等等，限制了物 理机理方法在实际系统工程应用中的实施效果。现实世界中的许多 系统，其机理至今仍不甚清楚。,数字孪生技术与工程实践,数据驱动方法,随着新一代信息技术和人工智能技术的发展，推动了数据驱 动方法在工程系统中的应用。数据驱动方法以数据构建模型，包括统计分析方法、人工智能方法等数据驱动方法的性能高度依赖于数据规模和质量，而获取实 际工程系统全面且合格的数据往往代价高昂数据驱动方法摒弃了对研究对象内部机理的严格分析，以大 量的
13、试验及测试数据为基础，通过不同的数据处理算法（或 标准的处理流程），分析数据之间的关联关系，生成经验模 型。其特点在于以数据样本为基础提取变量间的关联关系，其中数据关联关系存在一定的模糊性，且普适性不及模型驱 动方法对于很多复杂系统，特别是包含人的一些系统（如社会系统 等），难以进行明确的数学、物理或化学机理描述，可采用 数据收集和统计归纳的方法来建立模型。近年来，随着大数 据、人工智能技术的发展，上述方法中基于数据和统计的“黑箱”建模方法受到了越来越广泛的重视和应用。,数据建模也存在一定的问题。首先，由于数 据模型不依赖于系统机理，而是直接从数据 集当中构建而来，当数据集对应的环境条件发生变
14、化时，该数据模型将无法再适应环境，需要重新构建。此外，如果将数据建模方法 单纯作为一种黑箱建模方法，在不利用先验 知识和系统机理下构建的模型通常精度有限。,数字孪生技术与工程实践,数据驱动和模型驱动的联合应用方式,在模型构建阶段，模型和数据双驱动建模融合 方式一般被分成两大类，数据辅助机理建模和 机理辅助数据建模。在模型验证方法，基于模型的方法和基于数据 的方法能相互协助，帮助在模型验证的过程中 进行得更好。在模型修正方面，机理模型可以指导基于数据 的方法，进行数据采集方面的采集点配置以及 优化，减少采集规模的盲目扩展；而基于数据 的模型库，可以帮助机理模型进行参数调整和模型修正。机理模型和数
15、据驱动融合的建模方法具有以下 三个优点：可以将独立的预测方法取长补短；预测的准确性极大提高；降低计算复杂度及成 本,数字孪生技术与工程实践,6.3 基于数字孪生的机器学习,数字孪生技术与工程实践,基于模型的生成对抗网络,生成式对抗网络（Generative Adversarial Networks，GAN）由一 个生成器和一个判别器构成。生成器捕捉真实数据样本的潜在分布，并生成新的数据样本；判别器是一个二分类器，判别输入是真实数据 还是生成的样本。GAN 训练中真实的数据样本和生成的数据样本通过对抗网络互动,并 且训练好的生成器能够生成比真实样本更多的虚拟样本。GAN 可以 深化数字孪生系统的
16、虚实互动、交互一体的理念。GAN作为一种有效 的生成式模型,可以融入到数字孪生的研究体系。由于传感器的部署及物联网的发展限制，数字孪生系统无法获取到大 量的、多种类的异构数据来构建超现实的虚拟场景。这可以通过GAN 来实现，GAN能够生成大规模多样性的场景数据集,与真实数据集结 合起来构建虚拟模型并训练智能算法模型,有助于提高虚拟场景和智 能算法模型的泛化能力。数字孪生中的智能学习引擎可嵌入机器学习框架,通过“软件定义的 数字孪生体”来生成人工数据，这些数据参与到计算实验和强化学习 中，并且通过形成针对特定场合的小知识，用于智能控制中。通过智 能控制和协同学习结果，产生的原始数据，再进行评价和
17、选择。,数字孪生技术与工程实践,迁移学习,机器学习的繁荣发展使得机器学习在越来越多场景下得以运用，但是机器学习中算法效果较 好的有监督学习算法需要大量的有标签训练数据。针对训练数据加标签的操作在数据量较少 时还可以担负，在数据量庞大的情况下，枯燥繁琐的标签操作使得有监督学习在应用过程中 受到限制。在不同的领域中的对象一定程度上存在共有的特征，在应用这种特征过程中发展 诞生了迁移学习技术迁移学习是一种将已有源领域知识，迁移到目标领域，使得目标领域获得更好效果的方法。在迁移学习中有一个重要的概念：域（Domain），域表示某个时刻的某个特定领域，域的设 计概念在迁移学习算法中极为重要。迁移学习在应
18、用过程中，需要处理源领域的数据，分析 获取源领域的特征，将源领域中提取到的特征应用到目标领域中，分析不同领域之间的差异 并改善结构，最终实现目标领域的改进。,数字孪生技术与工程实践,基于模型和数据的迁移学习,数字孪生系统中，通过对物理空间的智能感知，构建和物 理空间精准映射的数字孪生体，并且保存着和物理空间相 关的数据、知识。通过注入历史数据、实时数据，利用数 字孪生模型进行仿真，得到仿真数据。同时对各种数据进行特征提取，进行相关的智能模型训练。然后将训练好的模型参数、特征、数据库中的实例以及与 实际环境关联的知识迁移到实际的应用环境中，并实时获 取到数据输入到迁移后的个性化算法模型中，从而快
19、速准 确地输出结果并通过精准执行环节反馈控制物理空间，,基于数字孪生的迁移学习框架,数字孪生技术与工程实践,6.4 基于数字孪生的装配优化,数字孪生技术与工程实践,背景精密装备的装配质量要求高，不同品种产品有不同的装配工艺过程，且检验环节繁多，目前 主要依赖手工装配操作。例如航天装备中使用广泛的航天电连接器因外形相似不易区分、装 配操作过程复杂而对装配工人技能要求高，使得装配过程耗时长，影响了装配效率，而且作 业质量与操作人员的工艺熟练程度和技艺水平密切关联。然而，现场操作人员对工艺的理解 和操作熟练度属于人为主观因素，以人工经验为主导，为产品装配质量管控带来巨大挑战。因此，复杂零件制造过程亟
20、需面向零件装配过程中质量优化的方法与系统，可以将数字孪生 技术应用在高精密产品装配中，使用一种数字孪生驱动的高精密产品智能化装配方法。随着计算机技术、实时感知与采集技术以及机器学习算法的发展，数字化装配技术也取得了 巨大进步。基于数字孪生系统提供的数字模型以及实时采集的数据，可以进行装配过程的指 导与质量优化，开展基于数字孪生的虚拟装配应用。,数字孪生技术与工程实践,装配产品数字孪生体的构建,实现基于数字孪生虚拟装配的前提是构建高拟实性模型。为了保证所构建的高精密产品数字 孪生体具有高保真度，应包含装配全要素信息。高精密数字孪生体中包含了产品集成信息和实际测量信息。产品数字孪生体的信息在层次结
21、 构上可以分为结构BOM、工艺约束和性能约束。根据多层次结构建立了装配特征关系集、装 配工艺约束集、动态稳定性约束集、静态稳定性约束集和动静态耦合约束集。这些信息存储 于MBD 模型文件中。为了实现几何模型的高保真度，将理想的几何模型生成一棵用装配特征描述的树。根据此特 征树，建立点云的配准树，通过点云特征快速生成方法，将离散的没有拓扑关系的点云快速 映射到理想特征树上。将装配特征分为关键装配特征和非关键装配特征，给出其配准权重；根据结构BOM、工艺约 束、性能约束分配不同共融规则，从而建立了一棵共融规则树，规则树优化了精细配准方法。,数字孪生技术与工程实践,基于知识图谱的装配工艺表达,传统的
22、装配工艺是通过装配仿真得出工艺文档，其表达方式不易查阅、且缺乏隐含知识的挖 掘。知识图谱可以很好的表达相邻零件之间的装配关系（显式关系），同时可以深入挖掘非相邻 零件之间的关系（隐式关系），提高了工艺检索效率按照知识图谱的信息组织方式，通过“类关系类类”、“类属性值”定义装配工艺 文档，其本体为组成高精密产品数字孪生体的各零件子数字孪生体。建立的装配工艺知识图谱包含了模式层和数据层两个部分。数据层为实体对象与关系对象共同组成的“节点属性值”、“节点连接节点”三元组，当 三元组大量存在时就得到语义网络图。模式层是装配工艺知识图谱建模的核心，为了清晰描述装配工艺复杂的语义信息，将模式层中的模 式分
23、为了装配结构模式和装配工序模式。,数字孪生技术与工程实践,基于知识图谱的装配工艺动态优化,在产品装配过程中，根据对象的不同可分为阶段质量评估和综合质量评估，两种评估方式共 同实现整个装配过程的装配质量评估。阶段质量评估阶段在产品装配到具备一定性能时（一般指形成子装配体）进行，评估内容为装配的 几何精度和性能精度。综合质量评估和阶段质量评估的方法相似。不同的是，若子装配体性能不符合装配需求，则构建的 产品性能一定不符合要求。而由于构成产品的子装配体之间又存在关联关系，所以，在所有子装配 体性能满足要求下，装配形成的产品性能不一定符合要求。可以理解为阶段质量评估是综合质量评 估的必要不充分条件。在
24、高精密产品的装配过程中存在多个装配过程阶段，局部工艺优化是在阶段装配完成后根据 阶段装配质量评估结果，利用机器学习算法得出修正装配工序参数，进而形成装配工序链插 入末端工序后。在全局工艺优化过程中，需要重新抽取装配工艺知识图谱中的部分装配工序，与原装配工序 参数进行匹配对比，将得出的参数差值形成新的工序插入到原装配工序链中。,数字孪生技术与工程实践,“操作-状态-质量反馈”三层结构下的质量控制过程,文献（孙学民,刘世民等.数字孪生驱动的高精密产品智能化装配方法，计算机集成制造系统）给出了一个“操作-状 态-质量反馈”三层结构下的质量控制策略框架，从控制最基本人工、设备操作行为开始，逐 步实现装
25、配过程与状态的控制，最终完成装配质量与性能的控制。操作层控制包括设备操作变量控制，即控制设备运行参数状态层控制包括多学科性能的相互补偿控制、装配组件刚度控制、动静态控制。质量反馈层 控制总装产品的动态静态稳定性，以及最终产品的动静态耦合性能，质量反馈层是评价产品 最终性能的关键。,数字孪生技术与工程实践,6.5 基于数字孪生的设备维护,数字孪生技术与工程实践,工业设备维护存在的主要问题,工业设备维护存在的主要问题有：与设备总量相比，接入互联网的设备还不够广泛，工程师需要以人工的形式对设备状态进 行检查，同时设备的状态监测参量种类还不够丰富，对突发性故障的预警作用不够明显；现有的设备状态信息仅以
26、数据的形式存储在计算机中，数据的利用率较低，基于新一代数 据处理技术的设备健康管理和智能报警的技术应用较少；目前，大多数监测数据主要以文本或表格的形式进行存储和展示，很难直接指导工程师对 设备状态进行设备管理。,数字孪生技术与工程实践,设备维护,为了避免设备突然发生故障情形的产生，一般会采取定期维修或者维护。维修通常来讲，是一种事后手段，即在设备发生故障之后进行，采取的是对损坏部件进行修理或者 更换；维护是检查设备各个相关部件，对相关部件的状态进行评估，通过补充消耗品和替换有问题的部件 来保证设备正常工作。维护不只是包含维修手段，更泛指一种事前维护的手段，在设备部件衰退到一定程度但是并没有导
27、致设备发生故障停机的时候对设备进行零部件的更换或维修，这种措施能够有效的预防意外停机带 来的生产暂停，故而一般称事前维护为预防性维护设备的维护分类可以分成不同的维度，一般有两种分类方法，一种是基于维护发生的时间对 维护进行分类，另一种是基于维护的策略对预防性维护进行分类,数字孪生技术与工程实践,复杂设备的预测性维护方法,基于模型的预测性维护方法基于模型的预测性维护方法，是根据设备的内部工作机理，建立反应设备性能退化物理规律的数学模型。通过设定边界条件和系统输入等参数，进行数学模型的求解和仿真，得到计算的结果。通过建立数学模型，可以了解设备性能退化的物理本质，预测退化的发展趋势。基于模型的方法可
28、以在不收集大量数据的情况下，表述系统的故障逻辑和退化趋势，需要领域专家的支持 来建立和表述设备的数学模型。但是传统复杂设备的物理模型仅仅是基于假设工况建立的，无法与设备的 实际运行工况保持一致，因而导致设备生命周期中模型的不一致性，从而造成预测性维护精度不高的问题。基于数据驱动的方法基于数据驱动的预测性维护方法需要从运行设备中收集状态监测数据，而不需要建立设备故障演化或寿命 退化的精确数学模型。数据驱动的方法需要从历史数据中提取特征，并将其转化为知识。通过数据分析和处理，挖掘隐藏在设备 数据中的健康状态指标和性能退化特征信息。然而，数据驱动的算法模型并没有考虑机电设备的实际物理 特性规律和差异
29、性，对不同的系统预测性维护采用无差别的数据处理与分析预测，从而导致其适应性差的 问题。,数字孪生技术与工程实践,模型和数据相结合的维护方法,目前的单一预测性维护方法（具有模型或基于数据）均存在不同的缺陷，如预测性维护的模 型一致性、算法适应性以及预测结果准确性等问题，因而单一方法不能满足设备更高精度和 可靠性的要求。采用融合型预测性维护方法，可以实现多种方法之间的性能互补，充分利用各种方法的优点，有效地避免单一方法的局限性，从而获得更精确的预测性维护结果。但是如何构建复杂设备精确的数字化模型并保持其一致性，如何充分挖掘和利用设备运行过 程中产生的大量传感数据，以及如何制定智能的预测性维护策略仍
30、是有待解决的关键技术问 题。数字孪生（Digital Twin）理念的出现，为机床融合型预测性维护中存在的这些问题提供 了很好的解决思路。基于Digital Twin虚实映射的特点，利用其生命周期高保真模型和智能感 知数据，采用模型和数据融合的策略来实现机床的智能预测性维护。,数字孪生技术与工程实践,数字孪生驱动的设备预测性维护框架,数字孪生本质上是物理系统在虚拟空间中的一种 独特的映射模型。物联网、动态模拟、机器学习、增强现实/混合现实等技术作为支撑，数字孪生技 术能够持续适应环境和操作的变化，并实现产品 设计、工艺规划、调度优化、精准配送、智能控 制、质量分析、能耗管理、健康管理等服务，为
31、 优化操作、产品全生命周期管理，并加速新产品 开发提供了巨大的潜力。其组成包括：物理系统和智能传感器数字孪生模型的构成要素利用物理系统的基本物理信息和动态传感信息，通 过基于物理模型和基于数据驱动的分析方法，可以 构建数字孪生模型，该数字孪生模型是由数字模型、数据分析和知识库构成的,数字孪生技术与工程实践,32,本章思考题,数字孪生技术与工程实践,本章思考题,分析一下“元宇宙”和数字孪生之间的关系。如何从“数据”到“知识”？有哪些典型的知识表示方法？有哪些知识推理方法？分析一下模型驱动方法和数据驱动方法各自的优势和劣势。两种方法如何结合？结合文献或者某个具体工程案例，分析一下数字孪生在机器学习中的应用场景。数字孪生给设备预测性维护带来什么新的变化？针对某个数字孪生应用场景，分析一下模型和数据在其中分别的作用。,33,
