Changelog Insights

A ANAC migrou em maio/2026 o formato dos campos de proprietário/operador no RAB de pipe-separated para JSON inline. Sem tratamento, ~85% das "mudanças" aqui seriam falsos positivos, ruído do próprio formato, não vendas reais.

5 camadas de defesa filtram automaticamente o ruído antes de gravar no histórico:

• 1. Parser dual-format, entende JSON novo (a partir mai/2026) e pipe legado (até abr/2026). Canary aborta o import se >5% das linhas em PROPRIETARIOS ou OPERADORES vier num formato inesperado.
• 2. Normalização de placeholders, "Nome Indisponível" e "Indisponível" (rótulo trocou entre formatos) viram null. Suprime ~57% dos diffs falsos.
• 3. Validação 100% pré-upsert, varre todos os registros antes de gravar; aborta se JSON cru escapou.
• 4. Classificador de diff, quando o conjunto de proprietários (raiz CNPJ) é idêntico antes/depois, o "novo operador" é só reorder do array JSON, não venda real. Suprime ~27% extra.
• 5. Rede de segurança no banco, CHECK constraint no Postgres rejeita gravação de JSON cru (com tolerância a NBSP/BOM). Trava de último recurso pra qualquer pipeline futuro.

Auditável post-mortem via scraping_logs.metadata.diff_stats em cada import. Cada mudança que sobra aqui é candidata real a venda/transferência.