Where OOD detectors go blind: a validation protocol across four substrates, and why autoregressive ASR likelihood is not an OOD score

Resumo. Sistemas de IA que precisam decidir "isto está fora do meu domínio?" falham de quatro maneiras distintas. Em duas delas o sistema não fica incerto — fica confiantemente errado, o que é o pior caso porque ninguém desconfia de um sistema convicto. Este trabalho aplica um protocolo de validação a quatro substratos (imagem, texto, agentes corporificados e fala) e, numa rodada final, a 18 modelos com dois tipos de sensor medidos em cada um. Prior art, dito primeiro. A inversão de verossimilhança em modelos generativos foi estabelecida por Nalisnick et al. (ICLR 2019), e a explicação por complexidade da entrada por Serrà et al. (ICLR 2020). Chegamos a ambas de forma independente. Isso é evidência de que o instrumento funciona, e não é contribuição nossa. O que este trabalho acrescenta é o protocolo de validação e um achado de engenharia específico. O achado. A verossimilhança por token de um decoder autorregressivo de ASR não é um score de OOD válido. Medido em seis modelos Whisper contra ruído sintético: AUROC de 0,074 a 0,476 — todos abaixo de 0,50, isto é, todos invertidos. O mecanismo aparece na contagem de tokens: os modelos só-inglês emitem 1,0 token em ruído contra ~10 em fala. Não é confiança; é não ter falado nada, dividido por segundos. Uma cabeça CTC (wav2vec2-base-960h) sobre o mesmo áudio dá 0,969 e passa no controle. A falha é do decoder autorregressivo, não da confiança de ASR em geral. Uma correção de atribuição. Um resultado anterior nosso relatava um efeito de exposição de +0,540 em sensores de features. Comparando modelos de arquitetura, tamanho e receita idênticos (variantes .en do Whisper contra as multilíngues), o efeito é +0,150. Cerca de 72% do que atribuíamos a exposição era arquitetura. O que não passou. Cinco previsões foram registradas com sinal algébrico antes da rodada final. Nenhuma passou. O material acima foi o que apareceu no lugar, e está descrito como tal. Três previsões anteriores também falharam e permanecem no texto como falhas. Método. Todo experimento é precedido por um portão barato que pode reprovar o desenho antes de gastar recurso. O portão de fala reprovou cinco vezes seguidas; o da rodada final reprovou duas versões do desenho — numa, todo modelo multilíngue era maior que todo monolíngue, tornando tamanho e exposição inseparáveis; noutra, a tarefa saturava em 0,999 e a previsão ficava insatisfazível por construção. Os artefatos de medição acompanham o depósito. Limitações. Um par de línguas, um corpus familiar por substrato, dois a nove modelos por eixo. Nenhuma medida usa dado clínico, e nenhuma afirmação sobre fala patológica foi testada.