Supervisado I: regresión y evaluación

Estado: completo (Fase 3 de ../PLAN.md).

Objetivos

Al finalizar el módulo, el estudiante será capaz de formular, ajustar y diagnosticar modelos de regresión —incluyendo su optimización por descenso del gradiente y su regularización— y de evaluar cualquier modelo de forma honesta mediante validación cruzada y búsqueda sistemática de hiperparámetros.

Contenidos

✅ Núcleo

• S6 — Regresión lineal simple y múltiple. Mínimos cuadrados ordinarios.
• S6 — Descenso del gradiente: función de costo, tasa de aprendizaje, convergencia.
• S6 — Supuestos del modelo lineal y análisis de residuales. Métricas: MSE, RMSE, MAE, $R^2$ y $R^2$ ajustado.
• S7 — Multicolinealidad: diagnóstico con matriz de correlación y VIF.
• S7 — Regresión polinómica. Regularización Ridge ($L_2$), Lasso ($L_1$) y Elastic Net.
• S8 — Compromiso sesgo-varianza. Sobreajuste y subajuste.
• S8 — Validación cruzada: k-fold, estratificada y temporal. Curvas de aprendizaje y de validación.
• S8 — Búsqueda de hiperparámetros: grid, aleatoria y bayesiana (Optuna). Reproducibilidad y semillas.

🔵 Opcional

• Regresión robusta y tratamiento de outliers influyentes.
• Comparación scikit-learn vs. statsmodels: predicción vs. inferencia.
• Métricas alternativas: MAPE, error cuadrático logarítmico.

Materiales

Teoría

Notebooks

Hallazgo del notebook 02. Modelar $\log(1+\text{precio})$ en vez del precio directo baja el MAE y el MAPE en los cuatro cuartiles de precio, pero sube el RMSE: una sola vivienda atípica (grande, de calidad máxima, vendida muy por debajo de lo esperado) produce un error de más de 700 mil dólares al revertir la transformación logarítmica. RMSE y MAE discrepan sobre cuál modelo es mejor — la métrica que se elige es una decisión, no un trámite.

Hallazgo del notebook 04. Agregar gr_liv_area² y overall_qual² dispara el VIF de esas variables a ≈ 50 y produce coeficientes gigantes de signo opuesto — pero el RMSE de validación no mejora con más regularización: con $n=2930$ frente a $p\approx 24$, la multicolinealidad aquí daña la interpretación, no la predicción, tal como anticipa 03-multicolinealidad-polinomica.md. Ridge y Lasso sí estabilizan el par colineal, a ritmos muy distintos entre sí.

Hallazgo del notebook 06. Comparando Ridge y Lasso —cada uno afinado por CV— sobre los mismos 10 pliegues, la conclusión depende de cómo se haya elegido $\lambda$. Si se elige una sola vez con todo el entrenamiento y después se evalúa sobre pliegues de ese mismo entrenamiento —la fuga que el propio notebook mide en la sección 4—, la diferencia es −$10 con un error estándar de $35: “no hay diferencia detectable”. Si cada pliegue elige su $\lambda$ con datos que no lo incluyen, la diferencia es −$41 con ee $17, apenas por encima de la regla de dos errores estándar. La higiene metodológica no solo corrige un número: aquí cambia la respuesta. Y aun así, $41 sobre un RMSE de $33,460 es un 0.12 % — detectable no es lo mismo que relevante.

Datos

Dataset conductor del módulo: ames-housing.csv

Ejercicios

Los tres ejercicios comparten un mismo subconjunto de variables de Ames Housing —distinto al de los notebooks— y se encadenan: el 01 descubre que full_bath/half_bath tienen coeficientes de signo contraintuitivo a pesar de un VIF bajo; el 02 mide ese VIF, prueba Ridge/Lasso/Elastic Net y muestra que corregir el signo exige mucho más $\lambda$ del que conviene para predecir; el 03 cierra con CV formal y una comparación pareada que encuentra una diferencia que además importa: foundation aporta $961 de RMSE con un ee de $211 (cociente 4.6), frente a los $41 apenas detectables —y prácticamente irrelevantes— que el notebook 06 mide entre Ridge y Lasso.

Quiz

Entrega del proyecto integrador

E3 — Línea base. Primer modelo del caso con validación cruzada honesta y métricas justificadas, que servirá de referencia para todo lo que venga después. Ver ../proyecto-integrador/.

Los notebooks se ejecutan de principio a fin con el entorno de ../environment.yml. Reglas de estilo en ../docs/convenciones.md.