文章题目：Developmentandvalidationofadeep-learningalgorithmforthedetectionofpolypsduringcolonoscopy
研究人员：WangP.,etal.
研究单位：
1.SichuanAcademyofMedicalSciencesSichuanProvincialPeople’sHospital,Chengdu,China.
发表时间：.10
期刊名称：NatureBiomedicalEngineering
影响因子：18.(Q1)
核心亮点：
Anautomaticpolyp-detectionsystemwasdevelopedbyusingcolonoscopyimages.Thesystemhasgoodperformanceinfourdatasets.Themodelcanrecognizepolypsnotonlyinpictures,butalsoinvideos.（利用肠镜图片开发了自动检测息肉的系统，该系统在4个数据集中都有较好的性能。该模型不仅能识别图片中的息肉，还能识别视频中的息肉。）
Polypmorphology,size,andimagequalityinthedatasetvarygreatly,whichreducesthemisseddetectionrateoftheautomaticpolypdetectionsystem.（数据集中息肉的形态、大小，以及图像的质量都有很大差异，使得自动检测息肉系统的漏检率有所降低了。）
Thesystemimplementsthreethreads,eachofwhichcanprocessanimage,sothesystemcanprocess30framespersecond.（该系统实现了三个线程，每个线程可以处理一个图像，因此该系统每秒可处理30帧。）
思路与方法：
使医院内镜中心年1月至年12月的结肠镜检查报告中的张结肠镜图像开发自动息肉检测系统。
并医院内镜中心年1月至年12月的结肠镜检查报告中的张结肠镜图像作为验证集A。验证集A的纳入标准为：该病人至少被检测到一个息肉；验证集A的排除标准：1）未经组织学证实的息肉图像；2）图像质量差，图像模糊，以致内窥镜专家小组无法看到息肉的任何特征。3）巨大的直肠癌肿块（2cm）。
使用公共数据库中的CVC-ClinicDB（包含张图片）作为验证集B，该医院提供了29个视频，其由个图像帧组成。每个图像都由已被标记息肉位置。
使用年5月至7月医院内窥镜中心接收结肠镜检查的个患者作为验证集C，该数据集作为视频分析，用于验证自动息肉检测系统的实时检测能力。
在年1月至2月医院内窥镜中心接收结肠镜检查的54个未检测到息肉的全长结肠镜视频作为验证集D，该数据集用于验证自动息肉检测系统的实时检测能力。
摘要：
Thedetectionandremovalofprecancerouspolypsviacolonoscopyisthegoldstandardforthepreventionofcoloncancer.However,thedetectionrateofadenomatouspolypscanvarysignificantlyamongendoscopists.Here,weshowthatamachine-learningalgorithmcandetectpolypsinclinicalcolonoscopies,inrealtimeandwithhighsensitivityandspecificity.Wedevelopedthedeep-learningalgorithmbyusingdatafrom1,patients,andvalidateditonnewlycollected27,colonoscopyimagesfrom1,patientswithatleastonedetectedpolyp(per-image-sensitivity,94.38%;per-image-specificity,95.92%;areaunderthereceiveroperatingcharacteristiccurve,0.),onapublicdatabaseofpolyp-containingimages(per-image-sensitivity,88.24%),oncolonoscopyvideoswithhistologicallyconfirmedpolyps(per-image-sensitivityof91.64%;per-polyp-sensitivity,%),andon54unalteredfull-rangecolonoscopyvideoswithoutpolyps(per-image-specificity,95.40%).Byusingamulti-threadedprocessingsystem,thealgorithmcanprocessatleast25framespersecondwithalatencyof76.80?±?5.60?msinreal-timevideoanalysis.Thesoftwaremayaidendoscopistswhileperformingcolonoscopies,andhelpassessdifferencesinpolypandadenomadetectionperformanceamongendoscopists.
通过结肠镜检查发现并切除癌前息肉是预防结肠癌的金标准。然而，内窥镜检查者对腺瘤性息肉的检出率差异很大。在这里，我们展示了一个机器学习算法可以在临床结肠镜检查中实时检测息肉，并且具有较高的灵敏度和特异性。我们利用1名患者的数据开发了深度学习算法，并在1名至少检测到一个息肉的患者的张结肠镜图像（每幅图像的灵敏度为94.38%；每幅图像的特异性为95.92%；受试者操作特性曲线下的面积为0.）（每幅图像的敏感度为88.24%），包含张息肉图像（每幅图像灵敏度为88.24%），个经组织学证实的息肉结肠镜视频（每幅图像的敏感度为91.64%；每幅息肉的敏感度为%），和54例无息肉的全方位结肠镜视频（每幅图像的特异性为95.40%）多个集中进行验证。通过使多线程处理系统，该算法在实时视频分析中达到至少25帧每秒，延迟为76.80±5.60毫秒。该软件可以帮助内窥镜医师进行结肠镜检查，并有助于评估内镜医师之间息肉和腺瘤检测性能的差异。
图表：
表1.验证数据集的患者人口统计学和息肉特征。
a所有数据医院内镜中心。b图像和视频的分辨率为××或×。cOlympusEVISLUCERACV（SL）/CV（SL）和Fujinon/HD。NA，不适用。
Fig.1
Detailedvalidationprocessfortheimageanalysisondataset?A.a,Imageswithpolyps.Thereare5,?imageswith1?polyp,?imageswith2?polyps,43?imageswith3?polypsand47?imageswith4?polyps.Therefore,thetotalnumberoftruepositivesandfalsenegativesis6,.Thereare?falsepositives(algorithmdetectionswithinno-polypareas).b,Sub-groupanalysisonimageswithonlyflat,isochromaticpolypsofsize?lessthan?0.5?cm.Thereare1,?imageswith1?polyp,69?imageswith2?polyps,25?imageswith3?polypsand29?imageswith4?polyps.Therefore,thetotalnumberoftruepositivesandfalsenegativesinthissubgroupis1,.Thereare41?falsepositives(algorithmdetectionswithinno-polypareas).c,Imageswithoutpolyps.Thealgorithmdetected1,?falsealarmsin?images.
图1.数据集?A图像分析的详细验证过程。
a，息肉图像。有5个有一个息肉图像，个有2个息肉图像，43个有3个息肉图像，47个有4个息肉图像。因此，真阳性和假阴性的总数是6。有个假阳性（无息肉区域内的算法检测）。b，只有体积小于0.5厘米的扁平等色息肉图像的分组分析。有1张1?的图像，69张带有2?息肉的图像，25张带有3?息肉的图像和29?4?息肉的图像。因此，该组的真阳性和假阴性总数为1。有41个假阳性（无息肉区域内的算法检测）。c，没有息肉的图像。该算法在幅图像中检测到4个假提示。
表2.验证数据集A和B的算法性能总结。
Fig.2
Receiveroperatingcharacteristiccurveofthealgorithmfortheimageanalysisondataset?A.Thealgorithmproducesapolyp-detectionprobabilitymapforeachimage,accordingtoaprobabilitythresholdforthedetectionofpolyps.Byusingthethresholdvalues1,0.,0.99,0.98,0.95,0.9,0.6,0.3,0.1,0.05,0.02,0.01,0.and0,weobtainedthereceiveroperatingcharacteristiccurvesofthealgorithmfortheimageanalysisondataset?A.Theareaunderthereceiveroperatingcharacteristiccurveis0..Inthiswork,wehaveusedaprobabilitythresholdof0.6(thatis,anypixelwithapolyp-detectionprobabilitylargerthan0.6isreportedasbelongingtoapolyp).
图2.该算法根据检测息肉的概率阈值，为每个图像生成息肉检测概率图。利用阈值1、0.、0.99、0.98、0.95、0.9、0.6、0.3、0.1、0.05、0.02、0.01、0.和0得到了该算法在数据集A上进行图像分析的接收机工作特性曲线，接收机工作特性曲线下面积为0.。在这项工作中，我们使用了概率阈值0.6（也就是说，任何具有息肉检测概率大于0.6的像素都被报告为属于息肉）。
Fig.3
examplesofpolypdetectionfordatasets?AandC.Polypsofdifferentmorphology,includingflatisochromaticpolyps(left),dome-shapedpolyps(secondfromleft,middle),pedunculatedpolyps(secondfromright)andsessileserratedadenomatouspolyps(right),weredetectedbythealgorithm(asindicatedbythegreentagsinthebottomsetofimages)inbothnormalandinsufficientlightconditions,underbothqualifiedandsuboptimalbowelpreparations.Somepolypsweredetectedwithonlypartialappearance(middle,secondfromright).SeeSupplementaryFigs2–6foradditionalexamples.
图3.数据集A和C的息肉检测示例。
不同形态的息肉，包括扁平等色息肉（左二）、穹窿状息肉（左二、中）、有蒂息肉（右二）、无柄锯齿状腺瘤性息肉（右二），在正常和不足光照条件下，在合格和次优肠道准备条件下，通过该算法检测（如图像底部的绿色标签所示）。部分息肉仅部分出现（中，右二）。其他示例见补充图2-6。
不足：
该算法仅用于在结肠镜成像中检测息肉，因此没有检测结肠外或其他图像中的病变。（Thealgorithmisonlydevelopedtodetectpolypsincolonoscopyimaging,andthusisnotcalibratedtodetectlesionsoutsidethecolonorinotherimages.）
该算法的性能仅在NVIDIATitanXpascalGPU上进行了测试，考虑到GPU计算能力的限制，每个输入图像的分辨率都被调整到×。因此，对于高分辨率图像中的小而远的息肉，目前的系统只能从这些息肉中提取一小部分像素，因此无法完全捕捉息肉的特征。因此，系统可能对远处检测到的息肉不那么敏感，因为输入信息会降低这部分息肉的等级。（Thealgorithm’sperformancewastestedonlyonaNVIDIATitanXpascalGPU,andeveryinputimagewasresizedtoaresolutionof×giventhelimitationsinthisGPU’s