Cross-Tokenizer LLM Distillation through a Byte-Level Interface

Este artigo apresenta a Byte-Level Distillation (BLD), uma abordagem simples e eficaz para a destilação de conhecimento entre modelos de linguagem grandes (LLMs) que utilizam tokenizers diferentes. O BLD opera em uma interface comum de nível de byte, demonstrando performance superior ou competitiva em comparação com métodos mais sofisticados.