人工智能在医学影像中的研究与应用.docx
- 文档编号:15421105
- 上传时间:2023-07-04
- 格式:DOCX
- 页数:29
- 大小:556.92KB
人工智能在医学影像中的研究与应用.docx
《人工智能在医学影像中的研究与应用.docx》由会员分享,可在线阅读,更多相关《人工智能在医学影像中的研究与应用.docx(29页珍藏版)》请在冰点文库上搜索。
人工智能在医学影像中的研究与应用
摘要:
近年来,人工智能成为学术界和工业界的研究热点,并已经成功应用于医疗健康等领域。
着重介绍了人工智能在医学影像领域最新的研究与应用进展,包括智能成像设备、智能图像处理与分析、影像组学、医学影像与自然语言处理的结合等前沿方向。
分析了研究和发展从源头入手的全链条人工智能技术的重要性和可行性,阐述了学术界和工业界在这一重要方向上的创新性工作。
同时指出,人工智能在医学影像领域中的研究尚处于起步阶段,人工智能与医学影像的结合将成为国际上长期的研究热点。
关键词:
人工智能;医学影像;成像方法;图像处理与分析;自然语言处理
1引言
人工智能(artificialintelligence,AI)是当下学术界和产业界的一个热点。
经过近几年的高速发展,深度学习已经实现了在传统的图像、视频、语音识别等领域的落地,并迅速地向文本处理、自然语言理解、人机对话、情感计算等方面渗透,并在安防、物流、无人驾驶等行业发挥了重要作用。
人口老龄化问题的显现以及人们对健康与日俱增的要求,对目前有限的医疗资源和医疗技术提出了更大的挑战。
医疗领域亟需新的技术满足这些需求。
与此同时,国内外与医疗相关的人工智能技术也在飞速地发展,科研和创业项目如雨后春笋,为解决医疗领域的挑战提供了新的机遇。
目前已经出现了计算机辅助诊断、智能专家系统、手术机器人、智能药物研发以及健康管理等多种产品。
在众多的医疗信息中,医学影像是疾病筛查和诊断、治疗决策的最主要的信息来源。
基于医学影像的诊断和治疗是一个典型的长链条、专业化的领域,涵盖了医学影像成像、图像处理与分析、图像可视化、疾病早期筛查、风险预测、疾病辅助检测与诊断、手术计划制定、术中辅助导航、随访跟踪与分析、康复计划制定等一系列方向。
目前,医院存储的信息超过90%是影像信息,影像信息已经形成了巨大的数据积累。
为此,基于医学影像大数据的人工智能技术与应用就成为医疗机构、科研、产业和政府共同关注的焦点。
医学影像链可以分为成像和图像挖掘两部分。
首先,作为信息源头的医学成像设备,其成像质量会对后续疾病的检测、诊断与治疗起到至关重要的作用。
利用AI技术可以实现医学影像成像质量的提升,AI优化的扫描工作流可以显著提高扫描效率,并使成像质量趋于标准化,从而给整个医疗健康链条带来深远的影响,具有重要的临床与科研价值。
其次,理解医学图像、提取其中具有诊断和治疗决策价值的关键信息是诊疗过程中非常重要的环节。
AI辅助诊断可以承担繁琐的病灶筛查工作,迅速地从海量数据中提取出与诊断相关的有价值的信息,同时避免人工阅片带来的主观性差异。
AI辅助图像处理算法还可以迅速地完成分割配准等复杂功能,为用以治疗的医疗设备(例如手术导航和手术机器人)提供精准的病灶结构信息。
此外,目前AI在医学影像方面的应用还存在着诸多挑战,比如扫描成本和患者隐私问题使得医疗大数据难以被获得;医学图像的标注者需要具有一定的医学背景,获得高质量的医学图像标注甚至比获得医学图像代价更高;不同病变类型与正常的医学图像在数据量上的差距巨大。
一些基于AI的非结构医学信息数据分析方法,可以结合影像和医生撰写的诊断报告,自动或者半自动地生成标注数据,扩充训练数据集。
医学影像大数据和人工智能涉及影像链中的成像、图像挖掘、利用文本和影像的关联解决部分图像标注这3个方面的问题。
本文主要从智能医学成像系统、医学影像大数据与智能图像分析、医学影像与自然语言文本处理的结合分析这3个方面详细介绍国内外的研究现状与发展趋势。
2智能医学成像系统
随着各种大型医学成像设备在各层级医院的普及,医学影像检查已经成为各种疾病诊断过程中最为重要的检查手段和诊断依据。
医学影像相比于生化等其他检查,可以提供病变的位置、结构和功能等重要信息,为疾病的诊断和治疗提供直观的信息和参考。
目前,各种医疗成像系统还面临着成像速度较慢、图像质量受患者配合度影响、成像工作流繁琐等各种挑战。
本节将介绍人工智能对医学成像系统各方面的改进。
2.1医学成像系统简介
临床中常用的医学影像模态有多种,包括电子计算机断层扫描(computedtomography,CT)、磁共振成像(magneticresonanceimaging,MRI)、正电子发射计算机断层显像(PET-CT)、X射线、超声等。
不同模态的医学影像适合观察不同类型的生理病理信息。
医学影像设备采集人体中与特定生理病理信息相关的物理信号,并依据信号传播的数学物理模型重建生理病理信息精确的二维、三维空间分布(即医学图像)。
CT图像反映的是人体内不同组织对特定谱段X射线的衰减系数分布情况,由于衰减系数与物质密度直接相关,因此CT图像间接地反映出人体组织的三维密度分布。
MRI可以反映人体中质子的密度、纵向弛豫时间(T1)、横向弛豫时间(T2)、质子扩散等多种对比度。
PET图像可以反映出人体内氟代脱氧葡萄糖(18F-FDG)的代谢分布情况。
三维医学图像成像过程属于逆问题(inverseproblem)范畴,即通过在体外采集到的物理信号,重建能够产生该观测信号的人体内生理病理信息的分布情况。
这一过程通常是不稳定的,其原因可能有多种,例如,由于扫描时间和剂量的限制而造成的采集信号量不足、原始采集信号中存在着固有噪声、原始信号中掺杂着其他干扰信号、成像设备硬件的不完美性、患者在成像过程中不自主的随机运动等。
这些因素使得基于理想数学物理模型的解析重建方法通常无法得到满足临床要求的图像。
为了解决这一问题,传统上需要在重建过程中加入针对图像的特定先验信息(priorinformation)作为约束条件,以使重建过程更加稳定。
常用的约束包括图像L1范数、L2范数、全变分(totalvariation,TV)约束等。
这些简单的约束条件具有良好的通用性,但却无法准确地反映数据的本质特征,对于特定的影像模态与成像模式无法得到最优的重建结果,因此如何设计更好的先验约束,一直是医学影像成像领域的难题之一。
近年来,AI技术的快速发展,特别是其在计算机视觉(computervision,CV)、图像处理与分析等领域的重要突破,使得国际上的研究人员逐渐认识到将AI技术应用于医学影像成像领域的可能性。
AI技术(特别是深度学习技术)摒弃了传统的人工设计的图像先验信息,采用一种完全数据驱动(data-driven)的方式,学习图像固有的深层次先验信息。
这些学习到的先验信息具有更加专业化的特点,将其应用于特定领域中,效果远优于传统的浅层次先验信息。
目前,AI技术与医学影像成像方法的结合已经成为领域内的研究热点,相关的研究成果呈爆发式增长。
2.2快速医学影像成像方法
在临床医学影像扫描过程中,成像速度始终是倍受关注的重要因素之一,长扫描时间会降低影像科室的日均流通量,还会给患者带来不适。
扫描过程中患者的不自主运动也会对成像质量产生不良的影响。
在快速成像方面,国际上相关研究主要集中在磁共振成像加速方面,目前已经发表了大量研究工作,是AI与成像相结合的热点方向之一。
MardaniM等人提出了一种基于生成对抗网络(generativeadversarialnetwork,GAN)的磁共振(magneticresonance,MR)压缩感知(compressedsensing,CS)快速成像方法,该方法利用GAN对高质量MR图像的低维流形(manifold)进行建模。
GAN由生成器(generator)和判别器(discriminator)组成,生成器的作用是将低质量的MR图像映射到高质量图像的流形上,判别器的作用是对映射后的图像质量进行评判。
生成器网络的损失函数(lossfunction)由图像域L1/L2范数和GAN损失函数组成,其中L1/L2范数用于抑制图像中的噪声,而GAN损失函数用于保留图像的细节信息。
为了保证生成的图像真实可靠,笔者将k空间(k-space)数据保真(datafidelity)项引入网络。
实验结果表明,该方法可以实现至少5倍的扫描加速,同时成像结果明显优于传统的压缩感知算法。
SchlemperJ等人提出了一种基于级联深度神经网络(cascadedDNN)的MR快速成像方法。
级联深度神经网络由若干个网络单位级联而成,每个网络单元包含卷积神经网络(convolutionalneuralnetwork,CNN)和数据保真项两个部分,其中CNN以残差网络(residualnetwork,ResNet)的形式构建。
因此,CNN学习到的是降采(under-sampled)图像与满采(fully-sampled)图像之间的差异。
通过CNN与数据保真项的多次交替处理,可以将原始复杂的MR图像重建问题转化为一系列子过程的顺序执行,而每一个子过程仅需对前一子过程的结果进行进一步的优化即可。
相比于整个重建问题,其难度显著地降低了,从而使重建过程变得更加稳定。
实验结果表明,级联深度神经网络的重建图像质量相比于传统的压缩感知方法以及基于字典学习的图像重建方法有了明显的提升,同时其重建一幅二维心脏图像的时间仅为23ms,基本达到了准实时的效果。
为了将传统迭代重建方法与深度学习方法各自的优势结合起来,YangY等人提出了一种基于交替方向乘子算法(alternatingdirectionmethodofmultipliers,ADMM)的MR图像重建方法——ADMM-Net,该方法将经典的ADMM迭代重建方法利用神经网络进行重新实现。
ADMM-Net对特定迭代次数的ADMM方法进行建模,在每次迭代中,利用CNN解决ADMM算法中的3个子优化问题,整个网络以端到端(end-to-end)的方式进行训练。
ADMM-Net的优势在于各种参数可以通过完全数据驱动的、端到端的学习方式得到。
实验结果证明,ADMM-Net的重建结果明显优于传统方法。
此外,ADMM-Net的构建参照了经典的ADMM,因此,网络的重建结果具有更好的可解释性。
深度神经网络自身的复杂性以及端到端的学习特性,使其通常被看作一个黑盒(blackbox)方法。
为了进一步证明将深度学习应用于成像方向的理论上的合理性,YeJC等人提出利用卷积框架(convolutionframelets)方法从理论上加以解释。
卷积框架最初用来拓展低秩Hankel矩阵(low-rankHankelmatrix)理论在逆问题中的应用。
YeJC等人提出了一种深度卷积框架神经网络(deepconvolutionalframeletneuralnetwork,DCFNN),并证明了在采用修正线性单元(rectifiedlinearunit,ReLU)非线性激活函数的情况下,该网络可以实现完美重建,同时也证明了常用的网络组件(如residualblocks、concatenatedReLU等)确实可以促进完美重建的实现。
此外,基于文章中的理论分析,作者指出了现有的基于深度学习的成像方法的局限性,并通过实验验证了DCFNN方法优于现有的基于深度学习的方法。
通常,一次MR扫描可以生成多种不同对比度的图像。
现有的基于深度学习的单一对比度快速成像方法没有充分利用不同对比度图像之间的结构相似性,因此限制了其可以达到的加速比。
为了进一步提升重建图像的质量,ChenM等人提出了一种Multi-echo图像联合重建方法,该方法采用U-Net实现图像重建,通过将6-echo的图像作为不同的通道输入网络中,使得在卷积过程中能够充分利用不同echo图像间的结构相似性,从而为网络的训练加入更多的约束条件,让训练过程变得更加稳定。
实验结果表明,该方法可以实现4.2倍的MR成像加速,重建图像在均方根误差(rootmeansquareerror,RMSE)和结构相似性指数(structuralsimilarityindex,SSIM)等方面均优于单一对比度重建方法。
由于CNN卷积操作的空间局部特性,目前绝大部分基于深度学习的快速成像方法选择在图像域进行处理。
然而,一些因k空间数据不完备性造成的图像伪影却很难在图像域完美地解决。
为了解决这一问题,EoT等人提出了一种基于双域深度学习的MR快速成像方法,在图像域和频率域均设计了对应的深度CNN,试图从两个不同空间分别对未采集的数据进行恢复,同时图像域与频率域通过数据保真项被关联起来,从而保证重建得到的图像的真实可靠性。
实验结果表明,图像域CNN和频率域CNN在图像重建过程中的作用是不同的,相比于仅采用图像域CNN的成像方法,将二者结合起来可以获得质量更高的图像重建结果。
在工业界,目前关于AI技术应用于快速成像的相关报道较少,尚处于研究探索阶段。
其中,国产医疗设备厂商沈阳东软医疗系统有限公司(以下简称东软医疗)在这一领域进行了一些工作,例如东软医疗研发的BrainQuant技术(头部一站式多对比度定量成像技术),可以实现同时获得至少10种高分辨率的、包括定性和定量值在内的三维全脑图像。
近年来,定量成像(例如T1mapping、T2*mapping、定量磁敏感成像等)在临床上的价值受到了越来越多的关注。
传统的磁共振扫描技术在获得这些定性和定量性质图像时,是基于多个独立的扫描的,要获得全部图像需要几十分钟甚至更长时间,因此定量成像在临床中的应用受到了长扫描时间的严重制约。
BrainQuant通过创新性的数据采集技术,同时结合了AI技术在快速成像方面的优异性能,可在1.5T设备上5min内获取至少10种定性和定量的三维高分辨图像,具有重要的临床应用价值。
图1为BrainQuant技术同时获取到的10种不同对比度的图像。
图1 BrainQuant技术在5min内同时获取到的10种对比度图像
2.3医学图像质量增强方法
在成像过程中,采集数据量的不足、信号中的固有噪声、患者不自主的运动等原因造成了重建图像中容易出现伪影和噪声等影响医学临床诊断的问题。
传统方法在处理这类问题时存在很多局限性。
近年来,国际上的学者开始将AI技术应用于医学图像质量增强领域,并取得了长足的进展。
2.3.1CT图像质量增强
有关CT图像质量的增强研究主要集中在如何利用AI技术处理由于降低放射剂量而带来的噪声和由于减少投影数量而带来的条状伪影(streakartifact)。
在低剂量图像去噪方面,ChenH等人提出了一种基于残差自编码器(residualautoencoder)的CT图像去噪方法,该方法利用深度神经网络构建一个自编码器(autoencoder,AE),不同之处在于网络的编码器和解码器部分采用残差的方式连接。
这样做的好处是可以将不同层次的图像特征结合起来,提升网络的建模能力;还可以使训练过程中误差的反向传播更加有效,提升网络的训练效果。
此外,网络采用残差的方式连接,使网络实际上学习到的是噪声图像到噪声的映射,这比直接学习从噪声图像到高质量图像的映射更加容易。
参考文献给出了仿真实验结果和临床图像实验结果,相比于传统的图像去噪方法(如BM3D),ChenH等人提出的残差自编码器方法在峰值信噪比(peaksignaltonoiseratio,PSNR)、SSIM等指标上均有明显的优势,同时去噪速度也更快。
通常而言,基于深度学习的图像去噪方法容易产生一定的过平滑(oversmooth)现象,这是因为网络的损失函数通常采用整幅图像的L1/L2范数,并没有对细节区域进行特别处理,而细节区域的误差在整体误差中的比例很小,所以容易在网络的训练过程中被“淹没”掉,最终导致图像细节丢失。
为了解决这一问题,WolterinkJM等人设计了一种基于GAN的CT图像去噪方法,GAN用于学习从低剂量图像到正常剂量图像的映射,判别网络用于判别生成的去噪后的图像是否处于正常剂量图像所在的流形中,即是否和真实的正常剂量图像在视觉上相似。
本质上,判别网络可以看作一个计算机自己学到的损失函数,相比于人工设计的损失函数,其能够学到更加高层次和细节化的图像特征,因此可以得到更加准确的训练结果。
实验结果表明,WolterinkJM等人提出的基于GAN的图像去噪方法能够有效地去除低剂量CT图像中的噪声,同时能够很好地保护图像的细节信息,使去噪后的图像在视觉上更加自然可信。
此外,关于深度神经网络在CT图像条状伪影抑制方面也有一些相关的研究。
低剂量图像中的噪声通常是局部的,但稀疏投影采样造成的条状伪影是全局的,因此在构建网络时需要采用更大的感受野(receptivefield)。
HanY等人提出了一种基于U-Net的去条状伪影算法,和其他的基于U-Net的去伪影算法不同,作者基于Hankel矩阵理论从原理上证明了经典U-Net方法在处理条状伪影时的不足,并给出了具体的改进策略,提出了dualframeU-Net和tight-frameU-Net。
实验结果显示,作者提出的两种改进网络的伪影抑制效果明显优于经典的U-Net网络,解剖结构细节保留更加完整。
在某些情况下,由于物理、机械等条件的限制,只能获取到一定角度范围内的CT投影数据。
传统的解析重建方法和迭代重建方法在处理这类数据不全的问题时,重建得到的图像通常包含严重的伪影和模糊。
为了解决这一问题,AnirudhR等人提出了一种基于深度学习的有限角度CT图像去伪影算法(CT-Net)。
其基本思想是在CT-Net的训练过程中直接学习从不完整弦图(sinogram)到CT图像的映射,损失函数结合了图像域L2范数和GAN,保证了增强后的图像具有较高的信噪比和丰富的细节信息。
在应用过程中,首先利用CTNet得到增强后的CT图像,然后利用该图像补全缺失的弦图,最后采用解析或迭代重建方法利用补全后的弦图重建出最终的图像。
在实验中,作者仅采集了90°的弦图数据,利用CT-Net依然可以重建出质量较高的图像,而直接用传统的解析或迭代重建方法无法获得清晰的重建结果。
2.3.2PET图像质量增强
由于PET成像需要事先向患者体内注射放射性示踪剂(如18F-FDG),为了降低患者接受的辐射剂量,临床上对低剂量PET成像有很高的需求,然而剂量的降低会造成图像噪声的增加和对比度的下降,影响疾病的临床诊断。
针对这一问题,XuJ等人提出了一种基于残差编码解码器(residualencoder-decoder)的PET图像增强方法。
和传统的非局部均值(non-localmeans,NLM)、块匹配三维滤波(block-matchingand3Dfiltering,BM3D)等方法相比,作者提出的方法可以在0.5%正常剂量的情况下得到高质量的PET增强结果,同时,处理一张2DPET图像的时间仅为19ms,远少于传统方法所需的处理时间。
2.3.3MR图像质量增强。
为了实现成像加速,通常会在k空间进行数据截断和填零,这会导致重建图像中存在Gibbs伪影。
传统的MR图像去伪影方法通常基于k空间滤波,然而k空间滤波无法很好地区分伪影信号和有用信号,使得增强后的图像往往存在着过平滑、细节丢失等问题。
为了解决这一难题,东软医疗提出了一种基于多任务学习(multi-tasklearning,MTL)的MR图像增强方法,该方法基于U-Net和ResNet网络结构,可以实现Gibbs伪影抑制。
图2为该方法与传统的k空间滤波方法的对比实验结果,其中图2(a)为经过不同强度的k空间滤波得到的增强图像,可以看出,基于k空间滤波的伪影抑制是以图像分辨率为代价的,图2(b)为深度网络对Gibbs伪影去除的结果,图2(c)为满采结果。
从这些结果中可以看出,基于MTL的MR图像增强方法能够在保护图像分辨率的情况下有效抑制Gibbs伪影。
图2 对比实验结果
2.4医学成像智能化工作流
进行临床医学影像(如CT、MRI等)扫描需要繁琐的准备工作:
扫描医师首先需要确认患者的身份信息,并陪同患者进入扫描间;然后指导患者进行扫描前的准备工作(如摘掉随身携带的金属物等),并进行手动摆位。
在正式开始扫描之前还有一系列定位的流程:
扫描技师首先需要采集一组患者的定位图像,然后在定位图像上手动设置成像参数和确定扫描视野(fieldofview,FOV)。
上述这些繁琐的、重复性的工作会带来如下几个问题:
对于大型医院而言,每天就诊的患者数量非常大,扫描医师一直处于高强度的工作状态,容易产生各种误操作,从而影响扫描图像的质量以及后续疾病诊断的效果;对于基层医院而言,由于扫描医师的经验相对不足、技能水平参差不齐,难以保证获取到患者高质量的医学图像,从而影响疾病的诊断;由于不同医院、不同医师的经验与习惯存在着明显的个体差异,因此扫描得到的医学图像很难具有良好的一致性,为远程会诊、分级诊疗带来了难以解决的困难,同时也给后续基于AI的疾病辅助检测与诊断带来了更大的挑战。
近年来,AI技术的快速发展使得智能化影像扫描工作流逐渐成为可能。
智能化扫描工作流涵盖了患者身份智能认证、智能语音交互、智能患者摆位、智能化扫描参数设定等功能,贯穿影像扫描的整个流程,其目的在于显著地降低扫描医师的重复工作,提高医院患者的流通量,并提升患者的就医体验,同时使不同医师采集到的影像数据具有更好的一致性。
目前,学术界在智能化工作流领域的研究工作较少,现有工作主要集中在智能化扫描定位方面,其中快速精准的人体解剖结构全自动定位是实现其功能的核心所在。
KelmBM等人提出了一种称为边缘空间学习(marginalspacelearning,MSL)的人体解剖结构自动定位方法,将解剖结构定位建模为在医学图像中对特定解剖结构的搜索过程。
其搜索空间(包括位置、尺寸、角度等维度)巨大,导致穷举搜索方法带来的时间消耗是不可接受的。
而MSL的原理是在搜索过程中对不可能的情况进行提前剪枝,从而避免了大量无用的搜索,其有效搜索空间仅是完整搜索空间的很小部分,因此称为边缘空间学习。
MSL的应用范围很广,可以实现对不同人体解剖结构的快速定位。
该参考文献介绍了MSL用于MR图像脊柱自动定位的实验,结果表明,CPU版本的MSL算法可以在平均11.5s的时间内检测到所有的腰椎间盘,灵敏度达到98.64%,每个个体数据的平均假阳率仅为0.0731,具有良好的临床应用价值。
除了组织器官的自动定位外,关键点(landmark)的自动定位在智能化扫描工作流中也十分重要。
现有的大部分方法首先学习一个结构与纹理的特征模型,然后基于该模型在图像中搜索感兴趣的关键点,通常这些特征模型是基于图像局部信息计算的,容易陷入局部极值中。
为了解决上述问题,GhesuFC等人提出了一种新颖的关键点定位方法,该方法将关键点的特征建模过程和搜索过程看作一个统一的过程来处理。
具体来说,该方法利用深度学习方法实现多层次的图像特征提取,并利用增强学习(reinforcementlearning,RL)方法实现高效的空间搜索,同时使用深层神经网络将二者结合在一起,实现了端到端的学习过程,有效地提升了算法的整体检测效果。
该参考文献分别在二维MR图像、二维超声图像和三维CT图像上进行了算法测试,实验结果表明,该算法在精度和速度上远优于现有的关键点检测算法,平均误差为1~2个像素,当关键点不存在时,该算法也能够自动地给出相应的提示,具有较广的应用范围与良好的实用价值。
针对三维CT和MR图像,ZhangP等人提出了一种细粒度人体区域自动识别方法。
相比于计算机视觉领域,医学影像领域的有标签数据是相对较少的,为了解决网络训练过拟合的问题,通常可以采用迁移学习(transferlearning)的方法。
然而自然图像和医学图像存在着较大的差异,因此基于自然图像的迁移学习在很多情况下无法获得最优的效果。
该参考文献提出的方法的创新之处在于,设计了一种无标签自监督(self-supervised)的网络迁移学习方法,这样就可以利用CT或MR图像本身进行自学习,从而避免了不同领域图像差异
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工智能 医学影像 中的 研究 应用