Fundamentos estadísticos de machine learning

Desarrollar algoritmos de machine learning se está volviendo muy fácil. Existen muchas librerías de alto nivel como TensorFlow, PyTorch o scikit-learn para trabajar y gracias al gran esfuerzo de muchos desarrolladores talentosos, éstas son realmente fáciles de usar, requiriendo solo un conocimiento superficial con de algoritmos subyacentes.

Sin embargo, esto tiene un costo al momento de la comprensión. Sin fundamentos teóricos adecuados, uno rapidamente puede verse abrumado con los complejos detalles técnicos.

Modelos de ajuste

Supongamos que tenemos dos números, x e y, que se encuentran relacionados entre sí. Por ejemplo, x son los metros cuadrados de una propiedad e y su precio en el mercado para una determindad ciudad. Nuestro objetivo es predecir y a partir de x. En términos matemáticos, podemos decir que estamos buscando una funcion f(x) de manera que

es lo más cercana posible a la realidad. Lo más sencillo de asumir es que la función es lineal, esto significa, f(x) = ax + b siengo a y b constantes. Este modelo sorprendentemente se ajusta muy bien a muchos problemas de la vida real, además es un bloque fundamental para construir modelos más complejos, como las redes neuronales.

Nuestro dataset de ejemplo se ve de la siguiente forma.

Supongamos que nuestro set de datos consiste de puntos de datos y observaciones

Ya que los datos contienen ruido, es imposible ajustar un modelo lineal a nuestros datos

En cambio, medimos qué tan bien se ajusta un modelo particular de datos e intentamos encontrar el mejor de acuerdo a esa medida.

Frecuentemente, esto se hace calculando el error de predicción para cada punto, después promediando el error puntual. Mientras menor sea el error, mejor es nuestro modelo. La forma más simple de medir esto es tomar el cuadrado de las diferencias entre la predicción y el valor verdadero. Esto se llama el error medio cuadrático (MSE: mean square error) y se define:

El que mejor se ajuste será el cual tenga el mínimo error medio cuadrático. Para este caso en particular, el resultado es

Trabajando...

Fuente