[DM] Minería de datos

La minería de datos busca patrones útiles, no evidentes, en grandes volúmenes de datos: grupos de casos parecidos, combinaciones que se repiten o reglas que permiten predecir un resultado. Es una etapa del proceso KDD (Knowledge Discovery in Databases, Fayyad et al., 1996): el algoritmo es solo una parte, y casi todo el esfuerzo está en preparar los datos, algo que ya sabes hacer con SQL.

En la industria se usa la metodología CRISP-DM, con seis fases que se repiten en ciclo: comprensión del negocio, comprensión de los datos, preparación, modelado, evaluación y despliegue. Las tareas de minería se dividen en:

Todo empieza con una consulta. La vista por defecto toma a cada estudiante de primer año (2018–2022) y calcula si continuó en su carrera al año siguiente o desertó, junto con sus atributos. Puedes editar el SQL (agregar columnas, filtrar) o elegir la vista de carreras. La base SEIS tiene datos ficticios.

Antes de minar, conoce los datos: tipo de cada columna, nulos, valores distintos, distribución y atípicos (fuera de Q1 − 1,5·IQR y Q3 + 1,5·IQR). Así se detectan errores y se decide qué atributos usar.

k-means separa los casos en k grupos: elige k centros iniciales (aquí con k-means++), asigna cada caso al centro más cercano, recalcula cada centro como el promedio de su grupo y repite hasta que nada cambia. Usa distancias, por eso conviene estandarizar las columnas. Prueba la vista de carreras para segmentar carreras.

Cada fila se convierte en una transacción de ítems atributo=valor. Apriori busca los conjuntos que aparecen con frecuencia (soporte) y genera reglas «si A entonces B» con su confianza = P(B | A) y su lift = confianza / P(B). Un lift mayor que 1 indica que A hace más probable a B.

Un árbol de decisión (CART) divide los datos con preguntas sobre un atributo, eligiendo en cada paso la que más reduce la impureza de Gini. Se entrena con una parte de los datos y se evalúa con otra que el árbol no vio (prueba). Además de la exactitud, revisa la matriz de confusión, la precisión y la exhaustividad: con clases desbalanceadas, la exactitud engaña.

Minar datos de personas exige cuidado. Algunos principios prácticos:

• Minimización: usa solo los datos necesarios. El RUN identifica a la persona y no aporta al patrón: quítalo de los atributos (y, si es posible, de la vista).
• Finalidad: un modelo de deserción sirve para apoyar a quienes están en riesgo, no para excluirlos en la admisión.
• Sesgo y equidad: si el modelo usa sexo, edad o jornada, revisa si castiga injustamente a un grupo. Que una variable prediga bien no la hace aceptable.
• Correlación no es causalidad: «a distancia → deserta» no significa que la modalidad cause la deserción; puede haber factores no medidos, como el trabajo o la familia.

En Chile, la Ley 19.628 sobre protección de la vida privada regula hoy el tratamiento de datos personales. La Ley 21.719 (2024), que la reemplaza y crea la Agencia de Protección de Datos Personales, tiene fecha de entrada en vigencia el 1 de diciembre de 2026. A octubre de 2026 se tramita en el Senado un proyecto para postergarla un año, así que conviene verificar su estado vigente.