1ROC曲线的基本思想及应用

评价诊断试验有效性的常用指标为灵敏度Se和特异度Sp[4],但评价中尚存在下列问题:对数值变量或有序分类变量,当诊断界值发生变化时,灵敏度和特异度分别朝着不同的方向变化,因此单纯用某一点上的灵敏度和特异度指标比较和评价几种诊断系统的诊断效能是不全面的;当一种方法的灵敏度高而另一种方法的特异度高时,则很难对两者进行比较;传统的灵敏度和特异度指标比较,未考虑医师的诊断水平、置信水平和临界值的选取等混杂因子的存在。因此,只有对不同的诊断界值下的灵敏度—特异度曲线进行全面的比较,才能比较客观地反映诊断系统的效能。ROC曲线分析的本质就是动态分析、比较不同诊断试验在多个诊断界值条件下,对应的灵敏度-特异度曲线的差异[5]。对于非二分类的诊断结果Y,我们通过选择临界值C(又称截割点cut-offpoint)进行二分类,定义Y≥C为阳性结果。ROC曲线即是在所有可能的临界值范围内运用该原理,将真阳率和假阳率(1-真阴率)联系起来的一种线图。ROC曲线下的面积表示诊断系统中阳性和阴性诊断结果分布的重叠程度,反映了诊断试验价值的大小。面积越凸说明诊断价值越高,因此,可以通过比较曲线下面积的大小评价多个诊断试验。同时,根据曲线拐点,可选取理论上最合适的截割点[6,7],使试验的灵敏度和特异度达到最优。另外,ROC曲线分析还可评价判别模型诊断效果[8]。从1982年Swets和Pickett将ROC分析应用于诊断试验到现在,该方法已成为生物医学中描述诊断试验准确性的最流行的一种技术。

2ROC曲线分析方法

2.1ROC曲线下的面积计算

2.1.1参数法Bamber[9]于1975年提出以不等边四边形理论(trapezoidalrule)为基础的ROC曲线下面积计算公式:A=k-1∑j=1P(T=j|D=0)k∑i=j+1P(T=l|D=1)+12k∑k=1P(T=k|D=0)P(T=k|D=1)。国内有人提出用累积比数模型[10],将真实病情(参照金标准)D看作解释变量,待评估的诊断试验作为反应变量,用于小样本的ROC曲线下面积计算。

2.1.2非参数法包括Wilcoxon统计量思想(HanleyJA,1982年),Mann-Whitney和Kolmogorov-Smirnov统计量[11]。Hanley[3]于1982年提出在资料分布未知的情况下ROC曲线下面积的计算方法,引用了非参数检验方法中Wilcoxon统计量的思想,将各截割点看作可依次排序的秩项,列出计算表,估计曲线下的面积及其标准误,W=1nA•nNnA∑1nN∑1S(xA,xN)。最近又相继有人提出了在确诊偏性存在条件下[12]和有重复测量数据[13]的ROC曲线面积的非参数估计方法。

2.2面积的可信区间计算

对于ROC可信区间的研究,Hilgers等提出所谓“自由分布”可信区间,Campbell[11]介绍了3种整条ROC曲线可信区间的计算方法,以Kolmogorov-Smirnov统计量或者Bootstrap再抽样为基础的“球形”可信带,但都存在可信区间相当宽的问题。Jensen等[14]于2000年提出可以只计算研究者感兴趣的“局部”可信带,使得原本很宽的可信带变窄,这样ROC曲线的应用更有实际意义。

2.3ROC曲线下面积比较

ROC曲线下面积比较的方法较多,以正态分布的U检验为主。这些方法都要求有确诊病例[15],然而只用确诊病例资料作分析会带来确诊偏性,Zhou[16]在随机缺失(missing-at-random,MAR)假设基础上提出一种确诊偏性校正方法用于ROC曲线下面积的比较,分别在有、无协变量情况下作临床资料分析。可以用ML法估计参数,Delta法求出面积估计值的协方差阵,作面积比较的假设检验。Delong等[17]则提出一种用于比较两个或多个相关ROC曲线下面积的非参数方法。

2.4ROC的回归分析

ROC的回归模型分析方法在许多生物医学研究中被当作一种有用的方法,但在诊断试验中的应用和发展却较缓慢。Tosteson等[18]将有序回归模型用于诊断试验的评价;Smith[19]提出了连续比模型的ROC分析;Wendy等[20]在1997年提出用边际二分类回归法对诊断试验进行分析。Margaret[21]于1998年在前人的基础上,提出了3种不同的ROC回归方法,结合连续型的临床资料对这3种方法加以比较发现:方法1(ModelingtheTestResult)在评价协变量对ROC曲线作用大小时最敏感,不能用于诊断方法间的比较;方法2(ModelingSummaryMeasuresofAccuracy)要求协变量是离散的,对连续型协变量不适用,与其他两方法相比适用范围窄,但却是最简单的辅助方法,并有相关软件可用。

3LROC法

传统的ROC方法解决的是患病与否、病灶存在与否、良性或恶性等二分类问题,常用于病灶位置明确或可以忽略病灶位置的情况。实际应用中,往往要考虑正确定位的问题,这时对传统ROC曲线改良,以定位正确的真阳性率为纵坐标,以假阳性率为横坐标,就得到LROC曲线。Starr等在1975年提出将每幅影像划分为m个邻近等分的子区域[22],最典型的为4分法,要求放射医师同时指出病变的可信水平和最可能出现的部位,然后作ROC分析。他介绍了如何由已知的ROC曲线来有效预测相应的LROC曲线。Richard[23]于1996年提出更为普遍的LROC模型,采用极大似然估计法,对诊断试验的测定和定位准确性进行评价,并将新方法与标准的等级资料的ROC分析作比较。在等级资料的LROC模型基础上,该作者衍生出相应的free-responseROC(FROC)模型,这样使得单个病灶和多个病灶的影像测定和预测任务有了一致的统计方法。

4FROC法

当临床上要求对每幅影像存在多个病灶进行定性、定量、定位诊断时,需要应用FROC方法。FROC曲线是以定位正确的真阳性率为纵坐标,以所有影像平均的假阳性病灶数为横坐标的一种ROC曲线。Metz等曾假定每幅影像上的病灶数为n(通常n=2),通过建立一个n(n+1)维的多维空间来做评价。该方法仅在理论上有效,尚未在临床放射学中实践,也无相关统计软件可用。1978年Bunch等认为FROC法在影像学中具有比ROC法更简单更利于构建统计量的优点。Chakraborty等[22]给出了一种用于FROC资料分析的模型,这是类似用于ROC资料分析的双正态模型,但比它更为一般的两参数模型。用极大似然法作参数估计,提供了参数方差估算的表达式,并由单个诊断者得到的FROC曲线综合之后推出平均FROC曲线,但此推导尚有争议。对于free-responsedata的分析,Chakraborty[24]还提出更为一般的两种方法:(1)TheAl-ternativeFROC分析法(AFROC法),即对FROC影像以另一种记分的方法统计;(2)Free-responseforcederrorexperiment(FFE法)。作者还联立这3种方法(FROC-AFROC-FFE)对同样几批影像资料进行分析比较,发现这3种方法对free-response资料的分析评价效果基本一致。

5SROC法

在ROC曲线方法的基础上,Lincoln等[25]于1993年提出用SummaryROC方法将一个诊断试验的多个相互独立的研究结果综合之后进行分析,该方法要求将频数资料转换为频率资料的形式。SROC法的基本步骤如下:先分别对真阳率和假阳率进行Logistic转换,依次定义为U和V,用频数四格表中的a、b、c、d进行估计,当某个格子为0时须校正;对U和V的估计值分别相减、相加得到D和S的估计值;用最小二乘法以(Si,Di)拟合直线方程^D=A+B•^S;最后将直线映象到ROC空间,便得到SROC曲线。Moses建议在综合评价多个诊断试验时,去除那些灵敏度和特异度均小于0.5的诊断试验,即以Se为纵坐标,1-Sp为横坐标作图,只取落在左上角区域外的点。Irwig[26]认为此建议不妥,因为:(1)左上角区域的选取是人为制定的,并非从临床相关角度出发;(2)被剔除的诊断试验可能是由于样本的变异较大造成灵敏度和特异度的下降;(3)诊断截割点的改变可能导致试验点在图形上的漂移。SROC作为对同一诊断试验多个独立研究结果的综合,可计算得到较稳定的OR值和诊断试验评价的指标。

6GROC法

Francois[27]于1991年提出GROC分析(GeneralizedROCAnalysis)的概念,将传统的ROC曲线和临界值方法用于医学决策问题。将常规的诊断试验准确性评价资料和其他医学问题联系起来,包括风险、成本、实用性以及疾病的先念概率等,可以解决多种诊断试验、多个灵敏度和特异度的复杂情况,因此可以考虑不同质的总体,即发病概率不同的人群资料的诊断试验评价问题。用到一种比ROC曲线下面积更好的指标,综合考虑病人的结局风险、技术成本及疾病的先念概率。该指标可用于比较已有的诊断技术,也可评价新的前瞻性研究方法。以上诊断试验评价的方法多数都是基于金标准存在的情况适用,在实践中常常因应用金标准的费用过高,或实施金标准要有创伤性检查而不被接受。针对这种无法获得金标准确诊的情况,Joseph等[28]提出用Bayesian方法估计诊断试验的p、Se和Sp,具有广阔前景,而且错分资料的问题[29]也可迎刃而解,但无金标准条件下的ROC曲线方法还未见报道。