Posthoc eXplainableAI for medical images black-box models

Abstract

The adoption of Deep Learning models for the automated screening and grading of DR is limited by their black-box nature. The lack of interpretability reduces clinical trust, complicates regulatory approval, and restricts effective human - Artificial Intelligence (AI) collaboration. Although post-hoc XAI methods attempt to address this issue, many rely on isolated pixel-level attribution maps that are difficult to interpret clinically and are rarely evaluated through comprehensive validation frameworks. This dissertation proposes a multi-paradigm XAI pipeline for DR severity grading that bridges the gap between mathematical attribution and clinically meaningful interpretation. The system combines a convolutional classification model with an auxiliary lesion segmentation model, allowing XAI outputs to be mapped onto pathological structures through superpixel segmentation and lesion-guided analysis. The pipeline integrates multiple explanation paradigms, including attribution methods, counterfactual reasoning, and epistemic uncertainty estimation. To improve interpretability, Small and Large language models are used to transform quantitative explanation outputs into structured clinical reports. To evaluate the reliability of the generated explanations, a quantitative benchmarking pipeline was developed. Nine XAI methods were systematically assessed using nine evaluation metrics covering faithfulness, robustness, and complexity. Results reveal clear trade-offs between methods: hierarchical approaches such as Layer- GradCAM achieve strong overall performance across evaluation dimensions, while methods such as GradientSHAP and MC Dropout demonstrate specialised strengths in stability and robustness to noise. All components of the system, including the visual explainability, report generation, and benchmarking evaluation modules, are integrated into an interactive web-based dashboard. By combining lesion-level semantic grounding, multiple explainability paradigms, and automated interpretation of results, this work provides a more transparent and auditable decision-support environment. The findings highlight the importance of moving beyond simple visual heatmaps toward integrated, multi-modal, and quantitatively validated explanations for safe deployment of AI systems: Inteligência Artificial explicável posthoc para modelos black-box de imagens médicas - Resumo: A adoção de modelos de Aprendizagem Profunda para o rastreio e classificação automatizados da Retinopatia Diabética (RD) é limitada pela sua natureza de caixa negra. A falta de interpretabilidade reduz a confiança clínica, complica a aprovação regulamentar e restringe a colaboração eficaz entre os humanos e a Inteligência Artificial (IA). Embora os métodos post-hoc de Inteligência Artificial Explicável (IAX) procurem dar resposta a este problema, muitos dependem de mapas de atribuição isolados ao nível de pixels, que são difíceis de interpretar clinicamente e raramente são avaliados através de metodologias de validação exaustivas. Esta dissertação propõe um pipeline de IAX multiparadigma para a classificação da gravidade da RD, que estabelece a ponte entre explicabilidade e uma interpretação clinicamente significativa. O sistema combina um modelo de classificação convolucional com um modelo auxiliar de segmentação de lesões, permitindo que os resultados da IAX sejam mapeados em estruturas patológicas através da segmentação de superpixels e análises guiadas pelas lesões. O pipeline integra varias famílias de explicação, incluindo métodos de atribuição, raciocínio contrafactual e estimativa de incerteza epistémica. Para melhorar a interpretabilidade, são utilizadas técnicas de processamento de linguagem natural com o objetivo de transformar os resultados quantitativos das explicações em relatórios clínicos estruturados. Para avaliar a fiabilidade das explicações, foi desenvolvido um pipeline de benchmarking quantitativo. Nove métodos de IAX foram sistematicamente avaliados através de nove métricas que abrangem a fidelidade, a robustez e a complexidade. Os resultados revelam compromissos claros entre os métodos: abordagens hierárquicas como o LayerGradCAM alcançam um forte desempenho global em todas as dimensões de avaliação, enquanto métodos como o GradientSHAP e o MC Dropout demonstram vantagens especializadas na estabilidade e na robustez ao ruído. Todos os componentes do sistema, incluindo o pipeline de explicabilidade e avaliação e o módulo de geração de relatórios, estão integrados numa dashboard clínica interativa, baseada em plataforma web. Os resultados obtidos destacam a importância de ir além dos simples mapas de calor visuais, propondo explicações integradas, multimodais e quantitativamente validadas, essenciais para a implementação segura de sistemas de IA na prática clínica.