Speculative Decoding Implementations: EAGLE-3, Medusa-1, PARD, Draft Models, N-gram and Suffix Decoding from scratch [P]

Um novo repositório educacional foi lançado para implementar do zero vários métodos de decodificação especulativa, como EAGLE-3 e Medusa-1, a fim de facilitar o estudo das diferenças entre os projetos de propositores. Ele inclui caminhos de treinamento e inferência para modelos como Qwen/Qwen2.5-7B-Instruct e visa explicitar a distinção entre a qualidade do propositor e o custo do verificador, e por que uma alta taxa de aceitação nem sempre implica maior produtividade.