Absorber LLM: Harnessing Causal Synchronization for Test-Time Training

Transformers enfrentam altos custos computacionais e consumo de memória para sequências longas, enquanto alternativas perdem dependências de longo alcance. Absorber LLM propõe uma sincronização causal auto-supervisionada para absorver contextos históricos nos parâmetros, garantindo que um modelo sem contexto corresponda ao original com contexto total em gerações futuras.