Shared Lexical Task Representations Explain Behavioral Variability In LLMs

Esta pesquisa investiga a sensibilidade de prompts em LLMs, comparando estilos baseados em instruções e exemplos. Descobre-se que, apesar da variação no desempenho, os LLMs compartilham mecanismos subjacentes comuns, como "lexical task heads" que descrevem a tarefa e disparam a produção de respostas.