AUC与Accuracy计算实例

AUC与Accuracy计算实例

在机器学习中，AUC（Area

Under

Curve）和Accuracy是两种常用的评价指标，它们各自适用于不同的场景，并且有着不同的计算方式和含义。下面我们将通过具体的计算实例，来详细解释AUC和Accuracy的计算方法和内在关系。

AUC的计算实例

AUC是ROC曲线下的面积，它的计算方法有两种：

1.方法一：用指示函数表示正样本预测值大于负样本预测值的正负样本对，然后对所有样本按照预测值从低到高排序，统计每个正样本的序号，用r_{i}表示第i个正样本的序号，则样本对(当前样本,=当前正样本预测值样本)的数量为r_{i}PP_{i}，其中PP_{i}表示和当前正样本本身形成的正正样本对。对所有正样本形成的正负样本对(正样本预测值负样本预测值)求和，即得到了AUC计算公式的分子，即\sum_{样本_{i}\in正样本}^{}{{r_{i}\frac{P*(P+1)}{2}}}}。这种方法的时间复杂度为O((P+N)*log(P+N))。

2.方法二：直接计算所有正负样本对中正样本预测值大于负样本预测值的样本对数量，然后除以总的样本对数量。这种方法的时间复杂度为O(P*N)。

Accuracy的计算实例

Accuracy是指分类正确的样本占总样本的比例。在二分类问题中，Accuracy的计算公式为：

Accuracy

=

(TP

+

TN)

/

(TP

+

TN

+

FP

+

FN)

其中，TP表示真正类（预测为正例且实际为正例），TN表示真负类（预测为负例且实际为负例），FP表示假正类（预测为正例但实际为负例），FN表示假负类（预测为负例但实际为正例）。

AUC与Accuracy的内在关系

AUC和Accuracy并不是直接相关的指标。AUC衡量的是一个模型的好坏，是它给所有sample排序的合理程度，而Accuracy衡量的是一个模型在一个特定threshold下的预测准确度。因此，AUC高而Accuracy低或者Accuracy高AUC低的情况是有可能的。

例如，一个模型的AUC值很高，说明该模型能够很好地区分正例和负例，即使是在样本严重不平衡的情况下也能取得较好的效果；而Accuracy低可能是因为该模型在某一类别的预测上出现了较大的偏差。反过来，如果一个模型的Accuracy很高，说明该模型在预测某一类别的时候非常准确，但这并不意味着模型在区分正例和负例方面的表现优秀，因为Accuracy没有考虑到模型在区分不同类别时的总体效果。

在实际应用中，应根据具体的问题场景和需求来选择合适的评价指标。如果希望模型在区分正例和负例方面表现出色，那么AUC将是更好的选择；如果希望模型在预测某一类别的时候非常准确，那么Accuracy将是更适合的指标。

以上就是AUC与Accuracy的计算实例及其内在关系的详细解释，希望对你有所帮助。