Comparação e consolidação
Cada sistema de origem guarda sua própria versão do mesmo cliente, fornecedor ou paciente. A comparação decide quais desses registros descrevem a mesma coisa do mundo real. A consolidação os une em um único registro dourado, preservando cada registro contribuinte e mantendo a operação reversível.
Esta é a parte da plataforma que mais vale entender a fundo, porque é onde a correção é decidida. Uma configuração ansiosa demais consolida duas pessoas diferentes; uma cautelosa demais deixa seus dados fragmentados e toda resposta seguinte errada.
O problema que resolve
Um perfil de comparação. Cada etapa descrita abaixo é uma aba desta tela.
Dados reais não concordam entre si. A mesma pessoa chega como:
| Origem | first_name | last_name | phone | address.line1 |
|---|---|---|---|---|
| CRM | Jon | Pemberton | +15553001001 | 12 Old Mill Road |
| ERP | Jonathan | Pemberton-Hayes | +15553001001 | 12 Old Mill Rd |
| KYC | Jonathan | Pemberton-Hayes | (nenhum) | 12 Old Mill Road |
| Aplicativo | Johnny | PEMBERTON | +15553007777 | (nenhum) |
| Originação de crédito | Jonathan | Pemberton Hayes | (nenhum) | 440 Asylum Avenue |
| Bureau de crédito | J | Pemberton-Hayes | +15553001001 | (nenhum) |
Seis registros, uma pessoa, e nenhum campo concorda nos seis exceto a data de
nascimento, que todo sistema registra como 1979-08-22. Cada grafia está correta
no seu próprio sistema: o CRM guarda como ele se chama, o KYC guarda o que diz o
passaporte, o bureau abrevia, e a originação de crédito perdeu o hífen para um
formulário que não o aceitava.
Note o que não está aqui. Não há identificador governamental algum no conjunto — nenhum atalho que resolva isso de imediato. Esse é o caso normal, e é por isso que a comparação precisa trabalhar com evidência acumulada.
O que resolve é o peso das evidências, e o quanto cada concordância é
surpreendente. Duas pessoas compartilharem uma data de nascimento é banal. Três
sistemas distintos guardarem o mesmo telefone, +15553001001, não é.
Este conjunto de registros percorre toda a documentação — veja o exemplo de referência.
Como a plataforma decide
Quatro etapas para cada par candidato.
1. Blocagem — encontrar pares que valem comparar
Comparar todos os registros contra todos é quadrático e rapidamente inviável. Em vez disso, cada registro produz um pequeno conjunto de chaves de bloco, e apenas registros que compartilham uma chave são comparados.
A blocagem governa abrangência e custo, nunca a decisão em si. Um par que a blocagem nunca propõe jamais poderá ser comparado, então as estratégias são desenhadas para ser generosas.
2. Comparação — graduar a concordância de cada atributo
Cada atributo tem uma escada ordenada de níveis de comparação — exato, depois fonético, depois prefixo e, por fim, uma divergência abrangente. O motor percorre a escada e assume o primeiro nível que se encaixa.
Graduar é separado de ponderar: esta etapa decide quão bem dois valores concordam, não quanto essa concordância vale.
3. Pontuação — pesar as evidências
Cada nível resolvido carrega um peso, e os pesos somam-se em um peso composto para o par.
O peso vem de duas probabilidades por nível: com que frequência aquele nível de concordância ocorre entre pares verdadeiros e com que frequência ocorre por puro acaso. Uma concordância comum entre pares verdadeiros e rara por acaso carrega muito peso; uma que acontece o tempo todo por acaso carrega quase nenhum.
O motor também ajusta conforme o quanto um valor específico é comum. Concordar em um sobrenome muito comum diz bem menos do que concordar em um raro, e a pontuação reflete isso automaticamente.
Pesos compostos e limiares estão em uma escala logarítmica de evidência, não em uma nota de 0 a 1 nem em percentual. A maioria das plataformas usa uma nota limitada, e por isso esta é a origem mais comum de configuração mal calibrada. Um peso composto de 12 não significa "12%" — significa que a evidência é cerca de quatro mil vezes mais compatível com uma correspondência do que com uma coincidência.
Como funciona a pontuação probabilística explica a escala por completo.
4. Classificação — decidir, ou perguntar a alguém
O peso composto é comparado a dois limiares:
| Peso composto | Faixa | O que acontece |
|---|---|---|
| No limiar de vínculo automático ou acima | vínculo automático | Consolidado automaticamente |
| Entre os dois limiares | revisão manual | Encaminhado a um curador de dados |
| Abaixo do limiar de revisão | sem correspondência | Nada acontece |
A faixa do meio é o ponto do projeto. Em vez de forçar todo par a um sim ou não, o motor encaminha os genuinamente ambíguos a uma pessoa e resolve automaticamente apenas os seguros.
Duas salvaguardas se somam a isso:
- Um nível determinístico sobre um identificador forte pode resolver sozinho, sem acumular outras evidências.
- Uma regra de mínimo de atributos concordantes pode exigir concordância em vários atributos distintos antes de qualquer vínculo automático, de modo que uma única concordância casual não consolide dois registros por mais que seja ponderada.
O que a consolidação faz
Quando um par recebe vínculo automático, ou um curador o confirma:
- Regras de sobrevivência escolhem o valor vencedor de cada atributo, produzindo o registro dourado.
- Cada registro contribuinte mantém seu crosswalk, então sempre é possível rastrear um valor até o sistema de onde veio.
- Relacionamentos, comentários, interações, registros de consentimento e solicitações de privacidade passam a apontar para o sobrevivente.
- A operação inteira é registrada para poder ser desfeita.
Consolidações são reversíveis. Desfazer restaura os registros absorvidos e o estado que carregavam.
Quando isto não se aplica
- Um identificador confiável resolve sozinho. Se toda origem carrega um identificador nacional confiável, a comparação determinística é mais simples e rápida. A pontuação probabilística vale a pena quando identificadores faltam, estão errados ou não são compartilhados entre sistemas.
- Os registros não são o mesmo tipo de coisa. A comparação é escopada a um tipo de entidade por vez.
- Você quer ligar, não consolidar. Duas entidades genuinamente diferentes e conectadas são um relacionamento, não uma consolidação.
A seguir
- Comparação em resumo
- Crie um perfil de comparação
- Como funciona a pontuação probabilística
- Revise correspondências potenciais
Última verificação no commit 952ed91b (2026-08-03)