Nanochat vs Llama for training from scratch? [P]

O usuário está treinando um modelo de IA do zero e busca conselhos sobre a melhor arquitetura, considerando mudar do Nanochat (que carece de compatibilidade com Transformers) para a arquitetura Llama. O objetivo é um projeto de código aberto com um novo e maior conjunto de dados, apesar das vantagens do Nanochat.