RESEARCHarXiv CS.CL·22d atrás

Multilingual Language Models Encode Script Over Linguistic Structure

Este estudo investiga como modelos de linguagem multilíngues, como Llama-3.2-1B e Gemma-2-2B, organizam suas representações internas para idiomas diversos. Os pesquisadores descobriram que essas representações são fortemente condicionadas pela ortografia, e não pela identidade linguística abstrata, com a romanização gerando representações distintas.

Representações de LinguagemModelos de Linguagem MultilínguesLLaMAOrtografia
27
RESEARCHarXiv CS.LG·22d atrás

Learning Stable Predictors from Weak Supervision under Distribution Shift

Este artigo de pesquisa formaliza o 'supervision drift' em experimentos CRISPR-Cas13d, analisando a robustez de modelos sob shift de distribuição, inclusive quando o mecanismo de supervisão muda. Utilizando um benchmark não-IID, demonstra bom desempenho in-domain, mas falha na transferência temporal e apenas sucesso parcial na transferência entre linhagens celulares.

robustnessdistribution shifttransfer learningMachine Learning
27
RESEARCHarXiv CS.CL·22d atrás

MegaTrain: Full Precision Training of 100B+ Parameter Large Language Models on a Single GPU

MegaTrain é um sistema focado em memória que permite o treinamento eficiente de modelos de linguagem grandes com mais de 100 bilhões de parâmetros em precisão total em uma única GPU. Ele armazena parâmetros na memória do host e utiliza otimizações como um motor de execução pipeline e templates de camada sem estado para superar gargalos de largura de banda e maximizar a utilização da GPU.

Single GPU TrainingMemory OptimizationGPU Accelerationlarge language models
29
RESEARCHarXiv CS.LG·22d atrás

Prune-Quantize-Distill: An Ordered Pipeline for Efficient Neural Network Compression

Este artigo propõe um pipeline ordenado (poda, quantização INT8 e destilação de conhecimento) para otimizar a compressão de redes neurais, visando a latência de inferência medida em vez de métricas indiretas. A pesquisa revela que a quantização INT8 oferece o principal benefício de tempo de execução, enquanto a poda atua como um pré-condicionador e a destilação de conhecimento recupera a precisão.

pruningKnowledge Distillationmodel efficiencyNeural Network Compression
28
RESEARCHarXiv CS.LG·22d atrás

A Theory-guided Weighted $L^2$ Loss for solving the BGK model via Physics-informed neural networks

Este artigo propõe uma função de perda L2 ponderada pela velocidade para resolver o modelo Bhatnagar-Gross-Krook (BGK) usando Redes Neurais Informadas pela Física (PINNs), superando as limitações da perda L2 padrão. A nova abordagem garante a convergência da solução aproximada e demonstra maior precisão e robustez em experimentos numéricos.

Physics-informed Neural NetworksWeighted L2 lossBGK modelPartial Differential Equations
28
RESEARCHarXiv CS.LG·22d atrás

Territory Paint Wars: Diagnosing and Mitigating Failure Modes in Competitive Multi-Agent PPO

Este trabalho apresenta o ambiente Territory Paint Wars para investigar modos de falha do PPO em aprendizado por reforço multiagente competitivo. Ele identifica falhas de implementação que causam baixo desempenho e, após a correção, revela um novo problema de overfitting competitivo que prejudica a generalização.

Failure modesReinforcement Learningself-playPPO
28
RESEARCHarXiv CS.AI·22d atrás

Algebraic Structure Discovery for Real World Combinatorial Optimisation Problems: A General Framework from Abstract Algebra to Quotient Space Learning

O conteúdo apresenta um framework geral para identificar estruturas algébricas em problemas de otimização combinatória, visando reduzir o espaço de busca e melhorar a descoberta da solução ótima global. Ele formaliza operações e constrói espaços quociente para otimizar sobre representações reduzidas, com aplicações em tarefas de combinação de regras usando algoritmos genéticos.

Rule-based systemsCombinatorial OptimisationQuotient Space LearningGenetic Algorithms
28
RESEARCHarXiv CS.AI·22d atrás

Part-Level 3D Gaussian Vehicle Generation with Joint and Hinge Axis Estimation

Este trabalho propõe um framework generativo para sintetizar veículos 3D Gaussianos animáveis a partir de uma única imagem ou entradas multi-view esparsas. Ele visa superar as limitações dos modelos de veículos rígidos atuais em simulações de direção autônoma, introduzindo um módulo de refinamento para articulação de partes.

computer-visionautonomous driving3D GenerationVehicle Simulation
28
RESEARCHarXiv CS.LG·22d atrás

Enhancing sample efficiency in reinforcement-learning-based flow control: replacing the critic with an adaptive reduced-order model

Este trabalho introduz uma estrutura de aprendizado por reforço baseada em modelo de ordem reduzida (ROM) adaptativo para controle de fluxo ativo. Ele visa melhorar a eficiência de amostragem do DRL, substituindo o crítico por um ROM que estima gradientes e se atualiza continuamente com novos dados.

Sample EfficiencyReinforcement LearningFlow ControlReduced-Order Models
28
RESEARCHarXiv CS.AI·22d atrás

Operational Noncommutativity in Sequential Metacognitive Judgments

Este artigo de pesquisa explora a metacognição como um processo sequencial e investiga se os efeitos de ordem em julgamentos refletem mudanças de estado clássicas ou uma não-comutatividade estrutural mais profunda. Ele desenvolve uma estrutura operacional para modelar avaliações metacognitivas, mostrando que a dependência da ordem impede uma representação booleana-comutativa fiel e questiona a explicação por variáveis latentes clássicas.

Order EffectsNon-CommutativitySequential JudgmentMetacognition
27
RESEARCHarXiv CS.CL·22d atrás

Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

O artigo apresenta a Memória Associativa de Fase (PAM), um modelo de sequência recorrente que utiliza representações de valores complexos e opera em um espaço de Hilbert complexo. O PAM alcança uma perplexidade de validação de 30.0 no WikiText-103, um desempenho competitivo com transformadores, e aborda a degradação da capacidade em modelos de estado vetorial.

Associative MemoryPhase-Associative MemorySequence ModelingComplex Hilbert Space
27
RESEARCHarXiv CS.CL·22d atrás

Document Optimization for Black-Box Retrieval via Reinforcement Learning

Este artigo de pesquisa propõe uma nova abordagem para otimização de documentos, transformando-os para melhor alinhamento com sistemas de recuperação via Reinforcement Learning (GRPO), utilizando melhorias de ranking como recompensa. O método, aplicável a retrievers de caixa preta, demonstrou ganhos em tarefas de recuperação de código e documentos visuais.

language modelsVision-Language ModelsReinforcement Learningdocument optimization
27
RESEARCHarXiv CS.LG·22d atrás

El Nino Prediction Based on Weather Forecast and Geographical Time-series Data

Este artigo propõe um novo framework para aprimorar a previsão de eventos El Niño, integrando dados de previsão do tempo e geográficos. Ele utiliza uma arquitetura híbrida de deep learning, combinando CNN para extração espacial e LSTM para modelagem temporal, visando identificar precursores complexos.

CNNdeep learningWeather ForecastingEl Nino Prediction
27
RESEARCHarXiv CS.CL·22d atrás

TDA-RC: Task-Driven Alignment for Knowledge-Based Reasoning Chains in Large Language Models

Este artigo propõe um método baseado em topologia para otimizar cadeias de raciocínio em LLMs, visando superar lacunas lógicas e custos elevados. Ele quantifica características estruturais de CoT, ToT e GoT usando homologia persistente para aprimorar o paradigma CoT.

LLMschain-of-thoughtreasoningTree-of-Thoughts
27
RESEARCHarXiv CS.CL·22d atrás

Inclusion-of-Thoughts: Mitigating Preference Instability via Purifying the Decision Space

Este artigo propõe o Inclusion-of-Thoughts (IoT), uma estratégia de auto-filtragem projetada para mitigar a instabilidade de preferências de LLMs em questões de múltipla escolha (MCQs). O método reconstrói as MCQs com opções mais plausíveis, visando reduzir a carga cognitiva, melhorar o foco do modelo e aumentar a transparência de sua tomada de decisão.

LLMsTomada de DecisãoMCQsInterpretabilidade
27
RESEARCHarXiv CS.CL·22d atrás

Beyond LLM-as-a-Judge: Deterministic Metrics for Multilingual Generative Text Evaluation

Este artigo propõe OmniScore, uma família de métricas determinísticas desenvolvidas com modelos pequenos, para avaliar texto gerado de forma mais eficiente e reprodutível do que LLMs-juízes. Ele aproxima o comportamento de LLMs-juízes, preserva baixa latência e consistência, e suporta avaliações multidimensionais em 107 idiomas.

OmniScoremétricas de IAmultilíngueavaliação de texto
27
RESEARCHarXiv CS.LG·22d atrás

PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities

PRIME é um novo framework de pré-treinamento multimodal auto-supervisionado projetado para prognóstico de câncer, que aborda o desafio de modalidades de dados ausentes em coortes clínicas. Ele integra imagens de histopatologia, expressão gênica e relatórios patológicos, aprendendo representações robustas por meio de imputação semântica no espaço latente e objetivos de alinhamento intermodal.

Self-Supervised LearningMultimodal PretrainingMissing ModalitiesCancer Prognosis
27
RESEARCHarXiv CS.LG·22d atrás

Learning-Based Multi-Criteria Decision Making Model for Sawmill Location Problems

Este estudo propõe um framework de Tomada de Decisão Multicritério Baseado em Aprendizado (LB-MCDM) que integra machine learning com análise espacial GIS para otimizar a localização de serrarias. Demonstrado através de um caso de estudo no Mississippi, o modelo aplica cinco algoritmos de ML para identificar locais adequados, destacando o Random Forest Classifier como o de melhor desempenho e utilizando SHAP para determinar a importância dos critérios.

sawmill locationRandom ForestMachine LearningGIS
27
DOCDEV.to AI·22d atrás

I'm 새론, Leader 47 of Lawmadi OS — Your AI Venture & New Industries Expert for Korean Law

O conteúdo apresenta '새론', uma IA especializada em Venture e Novas Indústrias para a lei coreana, parte do sistema legal Lawmadi OS. Ela oferece análise jurídica detalhada, citando estatutos verificados em tempo real, e planos de ação para tópicos como 'regulatory sandbox', com a promessa de não gerar informações falsas.

LegalTechKoreanLawRegulatorySandboxAI
27
ARTICLEDEV.to AI·22d atrás

I Built an AI App That Gives You Superpowers, But Makes Them Useless

O autor construiu um aplicativo de IA full-stack para um desafio de 1º de abril. Este app concede superpoderes com condições que os tornam fundamentalmente inúteis, focando em uma inutilidade intencional e polida.

april foolsDevelopmenthumorcreative-coding
12