Evaluation of domain interpretability via concept activation vectors for deep learning skin lesion classification

Abstract

Hautläsionsklassifizierungsmodelle Probleme mit Generalisierbarkeit auf, d.h. die Leistung der Modelle ist reduziert, wenn diese zu unbekannten Domänen generalisieren müssen. Bevor TCAV in der realen Welt eingesetzt werden kann, muss die Bewältigung von Domänenverschiebungen bei verschiedenen Modellen untersucht werden. Zu diesem Zweck wird eine neue Metrik, die sog. Konzepterkennungbewertung (CDS) eingeführt, welche TCAV-Werte aggregiert. Anschließend erfolgt eine Validierung des berechneten Konzeptwissens und eine Untersuchung dessen innerhalb einer Domäne und über Domänengrenzen hinweg, wobei gezeigt wird, dass Konzeptwissen, quantifiziert durch CDS, fast vollständig domänenunabhängig ist. Darauf aufbauend wird die Beziehung zwischen CDS und der Prognosefähigkeit der Modelle untersucht, u.a. durch Regressionsanalyse, welche in mehreren Fällen einen signifikanten Einfluss von CDS auf die Prognosefähigkeit bei Präsenz, als auch unter Absenz von Domänenverschiebungen ermittelt.