No pensaba hacer un continuará, pero tampoco puedo dejar de responder a tus inquietudes, así que procuraré satisfacer tus dudas.

Existen manera de recuperar información valiosa de las Bases de Datos con información defectuosa, y es posible mediante el uso de diversos algoritmos muy variados. Por ejemplo.

1.- El algoritmo de Knut permite encontrar información en una BBDD cuyos datos contengan errores foneticos, ya que la bússqueda se hace por la “forma en como suenan las palabras” en lugar en la forma en como están escritas. Es un algoritmo muy antiguo (primera mitad del s XX) y se usó por vez primera para hacer un censo en Nueva York. Las principales BBDD incorporan este algorito en forma de una función denominada SOUNDEX. El problema es que pretende una aproximación fonética del lenguaje inglés. No es dificil hacer uno para el castellano.

2.-El algoritmo de Levensthein, el cual permite conocer la distancia entre dos cadenas de caracteres en cuanto a operaciones hay que hacer para paar de una a otra. Por ejemplo, de “perro” a “pero” la distancia es “1″ porque es necesario borrar un carácter para pasar del primero al segundo. Con este algoritmo podemos ver el “parecido” entre dos cadenass de caracteres. Es de propósito general, es decir, sirve para cualquier tipo de errores, pero mecanográficos y de ortografía principalmente.

3.-Los algoritmos n-grams (bigrams, trigrams…) también permiten conocer el parecido entre cadenas de caracteres.

4.-El SIMILAREX, es para errores cometidos en procesos de escaneo.

Y hay muchos más, pero mi memoria no está para exigirle mucho.

Como dije, son algoritmos que permiten obtener información buena de la mala, pero también se pueden usar para depurar datos a la entrada de los mismos, tanto si es de forma manual o mediante el volcado automático de archivo.

Puedo assegurarte que son mucho más eficaces de lo que pueda parecer, pero debo advertirte que tienen un gran coste computacional.

Espero haberte servido de ayuda.

Saludos

¿Cuáles son los mecanismos que se podrían usar? Mecanismos técnicos que yo haya usado son procesos de reconciliación, que avisan de inconsistencias. Pero siempre acabas necesitando una mano humana que revise lo detectado y tome decisiones.

Y cuando se trata, como dices, de datos heredados de otros organismos, nadie está dispuesto a meterles mano: “ah, no, yo no puedo tocar esos datos que no son míos”. Como mucho, se pueden corregir errores tipográficos, duplicados, y poner disciplina en la introducción de nuevos datos. Pero eso no limpia el agua de la bañera…

Un saludo