简介:深度学习包括监督学习、非监督学习和半监督学习。生成对抗网络GANs已经成为非监督学习中重要的方法之一,其相对于自动编码器和自回归模型等非监督学习方法具有能充分拟合数据、速度较快、生成样本更锐利等优点。GANs模型的理论研究进展很迅速,原始GANs模型通过MinMax最优化进行模型训练;条件生成对抗网络CGAN为了防止训练崩塌将前置条件加入输入数据;深层卷积生成对抗网络DCGAN提出了能稳定训练的网络结构,更易于工程实现;InfoGAN通过隐变量控制语义变化;EBGANAk-量模型角度给出了解释;ImprovedGAN提出了使模型训练稳定的五条经验;WGAN定义了明确的损失函数,对G&D的距离给出了数学定义,较好地解决了训练坍塌问题。GANs模型在图片生成、图像修补、图片去噪、图片超分辨、草稿图复原、图片上色、视频预测、文字生成图片、自然语言处理和水下图像实时色彩校正等各个方面获得了广泛的应用。
简介:摘要目的探讨利用深度学习在图像处理上的优势与放疗结合是否会使放疗过程更加智能化。方法生成对抗网络(GAN)是一种利用神经网络的生成模型,输入相关特征可生成高质量剂量分布图像。先使用随机无条件GAN进行模拟分布数据的验证,再使用条件GAN(cGAN)训练肿瘤病例的DICOMRT数据,利用靶区和器官轮廓信息直接生成剂量分布图。结果对于理想数据验证,GAN生成模拟分布效果优良,通过提取靶区轮廓和真实剂量切片数据使用cGAN训练,得到病例计划靶体积和危及器官的剂量分布。结构中预测值与真实剂量之间最大值和平均值的绝对误差评价表现为[3.57%,3.37%](计划靶体积)、[2.63%,2.87%](脑)、[1.50%,2.70%](临床靶体积)、[3.87%,1.79%](大体肿瘤体积)、[3.60%,3.23%](危及器官-1)、[4.40%,3.13%](危及器官-2)。结论利用GAN模型可以生成模拟分布数据,同时结合先验知识的cGAN模型可以建立靶区和器官信息与剂量分布之间的关系。通过输入靶区和器官轮廓信息直接快速生成对应的剂量分布,是剂量预测的一种有效尝试。
简介:[摘要] 传统基于载体修改的信息隐藏算法渐渐已经难以抵抗更加先进的基于机器学习的隐写分析算法的检测,为提高图像信息隐藏的安全性,本文提出一种基于深度卷积生成对抗网络的新型图像信息隐藏算法,将秘密信息映射为噪声向量,并使用训练的生成器神经网络模型基于噪声向量生成载密图像。实验结果表明,与基于载体修改的传统方法相比,该系统具有抗分析能力强的优势。
简介:摘要目的为了解决UNet框架上采样过程中信息丢失的问题,本文采用青少年脑部MRI研究网络学习能力弱和脑部边缘区域配准精度不高的问题。材料与方法本文采用公开可用的脑部MRI数据集:HBN和LPBA40,提出了一种结合多尺度注意力机制的生成对抗网络(multiscale attention mechanisms generative adversarial networks, MAM_GAN)配准模型,实现了单模态脑图像配准。该方法由配准网络和鉴别网络组成。通过在鉴别网络中添加多尺度注意力机制(multiscale attention mechanisms, MAM)模块获取不同尺度下的上下文信息,在对抗训练过程中提取到更有效的大脑结构特征。其次,在配准网络中引入了图像相似性的局部互相关损失函数,约束移动图像与固定图像之间的相似性,在两个网络的对抗训练过程中进一步提高图像配准的性能。本文使用Dice系数(Dice coefficient, Dice)、结构相似度(structural similarity, SSIM)和皮尔森相关系数(Pearson's correlation coefficient, PCC)衡量配准图像与固定图像的配准精度。结果MAM_GAN方法在Dice指标上相对于传统的方法,脑脊液(cerebrospinal fluid, CSF)、脑灰质(gray matter, GM)和脑白质(white matter, WM)精度分别提高了0.013、0.023和0.028,PCC指标提高了0.004,SSIM指标提高了0.011。由此可见,该方法配准效果好。结论MAM_GAN方法能够更好地学习到脑部结构特征,提升了配准的性能,为青少年多动症临床诊断和体质检测提供技术基础。
简介:摘要目的探讨利用深度学习方法提高动脉自旋标记(ASL)图像质量,并优化其对脑血流量(CBF)的定量准确性。方法回顾性分析2018年5月至2019年8月天津市环湖医院101例脑血管病患者临床及影像资料,分为训练集71例和验证集30例。训练集中男53例,女18例,年龄55.0 (41.3,64.5);测试集中男23例,女7例,年龄57.5 (49.0,65.0)。以定量灌注加权成像为参考标准,通过训练一个深度学习生成对抗网络(GAN)重建原始ASL-CBF图像。通过结构相似指数和标准均方根误差比较原始ASL-CBF与GAN-CBF的图像质量,并使用Pearson相关分析比较不同脑血管供血区及卒中病灶区ASL-CBF、GAN-CBF与定量灌注的相关性,验证GAN对ASL的图像质量与量化精度的提升性能。结果训练集和验证集两组患者性别、年龄、疾病类型、卒中病灶位置及大小差异均无统计学意义(均P>0.05)。GAN-CBF比ASL-CBF的结构相似指数更高(0.888比0.801,P<0.001),且标准均方根误差更低(0.628 比 0.775,P<0.001)。在不同血管供血区及卒中病灶区,GAN-CBF比ASL-CBF与定量灌注的相关性更高,以中动脉穿通支供血区(r=0.853)与卒中病灶区(r=0.765)的相关性提升最为明显(均P<0.001)。结论生成对抗网络可以在不增加扫描时间而提高ASL的图像质量与量化精度,拓展了ASL的临床应用价值。
简介:摘要目的研究利用生成对抗网络(GAN)建立头颈部肿瘤MRI图像与CT图像的映射模型,实现MRI引导放疗中伪CT (sCT)的预测生成。方法收集45例鼻咽癌患者治疗前影像信息与IMRT计划信息。首先对MRI (T1)和CT图像进行刚性配准、裁剪、去背景、数据增强等预处理操作;其次对病例进行GAN训练,随机选取30例作为训练集放入网络进行建模学习,另15例用于测试。比较预测sCT与真实CT的图像质量,以及后续比较预测sCT进行重计算的剂量分布与真实计划的剂量分布。结果测试集的预测sCT与实际CT图像质量比较显示,二者误差较小,体素平均绝对误差值为(79.15±11.37) HU,结构相似性系数值为0.83±0.03。sCT重计算的剂量分布与实际剂量较为接近,不同区域水平下的MAE值相对处方剂量均<1%。在2mm/2%、3mm/3%准则下,所有病例sCT重计算剂量分布的γ通过率均>92%、>98%。结论提出并实现了使用GAN进行鼻咽癌患者sCT的生成,为MR-IGRT实施奠定了基础。图像质量与剂量学比较均显示了方法的可行性与准确性。
简介:摘要目的构建循环生成对抗网络(CycleGAN)对模糊、曝光不足、曝光过度等低质量眼底图像进行质量提升,并对其效果进行评估。方法从EyePACS数据集中分别选取700张高质量和700张低质量眼底图像作为本研究的数据集。对数据集图像进行裁剪并统一缩放至512×512分辨率。采用2个生成模型和2个判别模型构建CycleGAN,生成模型根据输入的低/高质量眼底图像生成匹配的高/低质量图像,判别模型判别原始图像和生成图像。将本研究提出的算法与限制对比度自适应直方图均衡化(CLAHE)、动态直方图均衡化(DHE)、带色彩恢复的多尺度Retinex(MSRCR)3种图像增强算法的结果进行视觉定性评估,并采用清晰度、BRISQUE、色度、饱和度作为定量指标进行评估。应用糖尿病视网膜病变(DR)诊断网络对原图及不同算法增强图像进行诊断;并比较其准确度和特异度。结果CycleGAN算法对模糊、曝光不足、曝光过度3类低质量眼底图像的增强均取得最优效果,增强后的眼底图像对比度高、色彩丰富,视盘、血管结构清晰。CycleGAN算法增强的图像清晰度仅次于CLAHE算法;BRISQUE质量分数为0.571,比CLAHE、DHE和MSRCR算法分别高出10.2%、7.3%和10.0%;色度和饱和度分别为103.03、123.24,均高于其他算法;该算法增强100张图像仅需35 s,仅次于CLAHE算法,在速度上具有明显优势。CycleGAN算法增强的图像在DR诊断中的准确率和特异度分别为96.75%和99.60%,均较原图有所提高。结论CycleGAN可有效提升模糊、曝光不足、曝光过度眼底图像的质量,并有效提高计算机辅助DR诊断系统的准确率,可能在眼科临床诊断中有很大的应用价值。