RESEARCHarXiv CS.CL·3d atrás
Shared Lexical Task Representations Explain Behavioral Variability In LLMs
Esta pesquisa investiga a sensibilidade de prompts em LLMs, comparando estilos baseados em instruções e exemplos. Descobre-se que, apesar da variação no desempenho, os LLMs compartilham mecanismos subjacentes comuns, como "lexical task heads" que descrevem a tarefa e disparam a produção de respostas.
model interpretabilityLLMsprompt-engineeringattention mechanisms