Source-Modality Monitoring in Vision-Language Models

Esta pesquisa investiga o monitoramento de modalidade de origem em modelos de visão-linguagem (VLMs), definindo-o como a capacidade de rastrear a procedência da informação. Os autores avaliam como VLMs utilizam sinais sintáticos e semânticos para ligar termos às suas fontes de entrada, descobrindo que ambos são importantes, mas os sinais semânticos tendem a predominar, impactando a robustez dos modelos.