안녕하세요, 제이앤피메디입니다.
의료 영상 분석에서 폐암이나 유방암과 같은 병변(lesion)의 유무와 정확한 위치를 평가하는 능력은 방사선 전문의나 의료 AI의 성능을 측정하는 데 중요한 지표입니다.
이번에는 이러한 성능을 평가하기 위해 사용되는 다양한 특화된 ROC 곡선(Special ROC Curves)에 대해 자세히 살펴보고, 각 곡선의 개념과 특징, 활용 방식에 대해 알아보겠습니다.
1. LROC (Localization ROC) Curve
LROC Curve는 병변이 포함되지 않았거나 포함되더라도 최대 1개의 병변만 포함된 영상을 평가 대상으로 합니다.
X축은 병변이 없는 영상을 위양성(false positive)으로 잘못 평가한 비율을 나타내며, Y축은 병변의 유무와 위치를 정확히 평가한 비율을 나타냅니다.
LROC 곡선의 중요한 특징은 곡선 아래 면적(AUC)을 계산할 수 있다는 점으로, 이 AUC를 통해 비교하는 모델 간의 성능을 정량적으로 비교할 수 있습니다. 유방암처럼 임상적으로 위중한 단일 병변을 영상에서 구분하는 정확도를 평가하기에 적합한 척도입니다.
2. FROC (Free-response ROC) Curve
FROC Curve는 평가하는 영상에 포함된 병변의 개수에 제약을 두지 않고(free-response) 평가를 진행하는 곡선입니다.
X축은 영상 당 평균 위양성 개수를 나타냅니다. 예를 들어, 100개의 영상을 평가했을 때 실제로는 병변이 없지만 병변이 있다고 잘못 표시한 경우가 250개라면, 영상 당 평균 위양성 개수는 250을 100으로 나눈 2.5가 됩니다.
Y축은 평가자가 병변의 유무와 위치를 정확히 평가한 영상의 비율을 나타냅니다.
FROC 곡선에서 X축 값은 비율(범위:0 ~ 1)이 아니라 평균 위양성 개수인 양수여서 범위에 제한이 없어 곡선마다 X축의 범위가 달라지게 됩니다. 그래서 두 곡선의 비교가 어렵습니다.
3. AFROC (Alternative FROC) Curve
AFROC Curve는 FROC 곡선의 단점을 보완하기 위해 제안된 대안입니다.
이 곡선에서는 X축을 위양성이 포함된 영상의 비율로, Y축을 병변의 유무와 위치를 정확히 평가한 비율로 정의하며, 두 축 모두 0에서 1 사이의 값을 가집니다.
이러한 특성 덕분에 곡선 아래 면적(AUC)을 계산할 수 있으며, 두 곡선을 정량적으로 비교하기 용이합니다.
4. JAFROC (Jackknife Alternative FROC) Curve
JAFROC Curve는 AFROC 곡선의 한 종류로, J는 Jackknife Resampling 방법을 의미합니다.
Jackknife Resampling 방법을 통해 여러 명의 판독자가 다수의 의료 영상을 평가하는 연구(Multi Reader Multi Case Study)에서 통계 검정을 할 때 필요한 분산(variance)을 계산합니다.
5. wAFROC (Weighted Alternative FROC) Curve
wAFROC Curve는 병변의 개수가 많은 영상이 결과에 지나치게 큰 영향을 미치는 문제를 해결하기 위해 도입되었습니다.
wAFROC는 병변 수에 따라 가중치(weight)를 부여하여 특정 영상이 결과에 미치는 영향을 줄이고 모든 영상이 동일한 기여도를 가지도록 조정합니다. 예를 들어, 병변이 3개 포함된 영상이라면 각 병변에 대해 1/3의 가중치를 부여할 수 있습니다.
이러한 방식으로 병변이 많은 영상이 결과에 과도한 영향을 주지 않도록 제어합니다. 이를 통해 다양한 병변 개수를 가진 영상 세트에서 안정적인 성능 평가를 가능하게 합니다.
-
이번 글을 통해 의료 영상 분석에서 사용되는 특화된 ROC 곡선들이 의료 AI 기술의 성능 평가와 발전에 어떻게 기여할 수 있는지 살펴보았습니다.
AI가 의료 산업의 혁신을 이끄는 핵심 기술로 자리 잡아가는 만큼, 이러한 평가 도구를 통해 안전성과 신뢰성을 확보하는 지속적인 노력이 중요합니다.
앞으로도 임상 현장에서 활용할 수 있는 실질적인 내용을 전해드리겠습니다.
감사합니다.
📌 출처
✔️ 원문 : https://tea-tasting-statisticians.github.io/posts/Special_ROC_Curves/
✔️ AFROC, FROC Curve image source : Metz CE. Receiver operating characteristic analysis: a tool for the quantitative evaluation of observer performance and imaging systems. J Am Coll Radiol. 2006 Jun;3(6):413-22. doi: 10.1016/j.jacr.2006.02.021. PMID: 17412096.
✔️ 개념 참조 : https://dpc10ster.github.io/RJafrocFrocBook/
안녕하세요, 제이앤피메디입니다.
의료 영상 분석에서 폐암이나 유방암과 같은 병변(lesion)의 유무와 정확한 위치를 평가하는 능력은 방사선 전문의나 의료 AI의 성능을 측정하는 데 중요한 지표입니다.
이번에는 이러한 성능을 평가하기 위해 사용되는 다양한 특화된 ROC 곡선(Special ROC Curves)에 대해 자세히 살펴보고, 각 곡선의 개념과 특징, 활용 방식에 대해 알아보겠습니다.
1. LROC (Localization ROC) Curve
LROC Curve는 병변이 포함되지 않았거나 포함되더라도 최대 1개의 병변만 포함된 영상을 평가 대상으로 합니다.
X축은 병변이 없는 영상을 위양성(false positive)으로 잘못 평가한 비율을 나타내며, Y축은 병변의 유무와 위치를 정확히 평가한 비율을 나타냅니다.
LROC 곡선의 중요한 특징은 곡선 아래 면적(AUC)을 계산할 수 있다는 점으로, 이 AUC를 통해 비교하는 모델 간의 성능을 정량적으로 비교할 수 있습니다. 유방암처럼 임상적으로 위중한 단일 병변을 영상에서 구분하는 정확도를 평가하기에 적합한 척도입니다.
2. FROC (Free-response ROC) Curve
FROC Curve는 평가하는 영상에 포함된 병변의 개수에 제약을 두지 않고(free-response) 평가를 진행하는 곡선입니다.
X축은 영상 당 평균 위양성 개수를 나타냅니다. 예를 들어, 100개의 영상을 평가했을 때 실제로는 병변이 없지만 병변이 있다고 잘못 표시한 경우가 250개라면, 영상 당 평균 위양성 개수는 250을 100으로 나눈 2.5가 됩니다.
Y축은 평가자가 병변의 유무와 위치를 정확히 평가한 영상의 비율을 나타냅니다.
FROC 곡선에서 X축 값은 비율(범위:0 ~ 1)이 아니라 평균 위양성 개수인 양수여서 범위에 제한이 없어 곡선마다 X축의 범위가 달라지게 됩니다. 그래서 두 곡선의 비교가 어렵습니다.
3. AFROC (Alternative FROC) Curve
AFROC Curve는 FROC 곡선의 단점을 보완하기 위해 제안된 대안입니다.
이 곡선에서는 X축을 위양성이 포함된 영상의 비율로, Y축을 병변의 유무와 위치를 정확히 평가한 비율로 정의하며, 두 축 모두 0에서 1 사이의 값을 가집니다.
이러한 특성 덕분에 곡선 아래 면적(AUC)을 계산할 수 있으며, 두 곡선을 정량적으로 비교하기 용이합니다.
4. JAFROC (Jackknife Alternative FROC) Curve
JAFROC Curve는 AFROC 곡선의 한 종류로, J는 Jackknife Resampling 방법을 의미합니다.
Jackknife Resampling 방법을 통해 여러 명의 판독자가 다수의 의료 영상을 평가하는 연구(Multi Reader Multi Case Study)에서 통계 검정을 할 때 필요한 분산(variance)을 계산합니다.
5. wAFROC (Weighted Alternative FROC) Curve
wAFROC Curve는 병변의 개수가 많은 영상이 결과에 지나치게 큰 영향을 미치는 문제를 해결하기 위해 도입되었습니다.
wAFROC는 병변 수에 따라 가중치(weight)를 부여하여 특정 영상이 결과에 미치는 영향을 줄이고 모든 영상이 동일한 기여도를 가지도록 조정합니다. 예를 들어, 병변이 3개 포함된 영상이라면 각 병변에 대해 1/3의 가중치를 부여할 수 있습니다.
이러한 방식으로 병변이 많은 영상이 결과에 과도한 영향을 주지 않도록 제어합니다. 이를 통해 다양한 병변 개수를 가진 영상 세트에서 안정적인 성능 평가를 가능하게 합니다.
-
이번 글을 통해 의료 영상 분석에서 사용되는 특화된 ROC 곡선들이 의료 AI 기술의 성능 평가와 발전에 어떻게 기여할 수 있는지 살펴보았습니다.
AI가 의료 산업의 혁신을 이끄는 핵심 기술로 자리 잡아가는 만큼, 이러한 평가 도구를 통해 안전성과 신뢰성을 확보하는 지속적인 노력이 중요합니다.
앞으로도 임상 현장에서 활용할 수 있는 실질적인 내용을 전해드리겠습니다.
감사합니다.
📌 출처
✔️ 원문 : https://tea-tasting-statisticians.github.io/posts/Special_ROC_Curves/
✔️ AFROC, FROC Curve image source : Metz CE. Receiver operating characteristic analysis: a tool for the quantitative evaluation of observer performance and imaging systems. J Am Coll Radiol. 2006 Jun;3(6):413-22. doi: 10.1016/j.jacr.2006.02.021. PMID: 17412096.
✔️ 개념 참조 : https://dpc10ster.github.io/RJafrocFrocBook/