Skymizer Taiwan Inc. Unveils Breakthrough Architecture Enabling Ultra-Large LLM Inference on a Single Card

A Skymizer Taiwan Inc. revelou uma arquitetura inovadora, a placa HTX301, que permite inferência de LLMs de 700B parâmetros numa única placa PCIe com 384GB de memória e baixo consumo (~240W). Esta abordagem transfere a decodificação para a HTX301, enquanto as GPUs lidam com o preenchimento, viabilizando inferência de LLMs gigantes localmente sem precisar de GPUs com VRAM massiva.