Cuando entrenamos un modelo de machine learning, no solo ajustamos sus parámetros internos, sino también ciertos valores clave llamados hiperparámetros. Estos gobiernan el funcionamiento del algoritmo y pueden marcar la diferencia entre un modelo mediocre y uno con un buen rendimiento.
¿Qué son los hiperparámetros?
A diferencia de los parámetros, que el modelo aprende a partir de los datos, los hiperparámetros deben configurarse antes del entrenamiento. Un ejemplo cotidiano para entenderlo es preparar café:
– La temperatura del agua.
– La presión de la máquina.
– La cantidad de café molido.
– El tiempo de extracción.
Si ajustamos estos valores de forma adecuada, podemos obtener un buen café. De la misma manera, en machine learning, encontrar una buena la combinación de hiperparámetros es clave para obtener buenos resultados, en un algoritmo tipo bosque aleatorio (Random Forest) el número de árboles de decisión que compone el bosque es un hiperparámetro; en un algoritmo como el k vecinos más cercanos el número de vecinos a considerar para realizar la predicción también es un hiperparámetro a ajustar.
Antes de ajustar hiperparámetros: La Calidad de los Datos
Por muy sofisticado que sea el ajuste de hiperparámetros, si los datos son deficientes, el modelo también lo será. Esto sigue el principio **Garbage In, Garbage Out**: datos malos generan predicciones malas; es decir que por más que busquemos en el espacio de combinaciones de hiperparámetros si los datos con los que contamos son puro ruido o no guarda relación alguna con aquello que queremos predecir nuestras predicciones no serán buenas. Antes de optimizar hiperparámetros, es clave:
– Limpiar y preprocesar los datos.
– Seleccionar las variables más relevantes.
– Elegir un buen algoritmo según el problema.
Técnicas para la Búsqueda de hiperparámetros
– Búsqueda Aleatoria: Se prueban combinaciones al azar dentro de un rango definido. Es rápida y efectiva para explorar el espacio de hiperparámetros.
– Búsqueda con algoritmos genéticos: Inspirada en la evolución biológica, esta técnica usa selección, mutación y cruce de combinaciones de hiperparámetros para encontrar buenas combinaciones. Se basa en la supervivencia del más apto y es útil cuando el espacio de búsqueda es muy grande.
– Búsqueda bandido: Se inspira en el problema del bandido multibrazo, balanceando la exploración de nuevos valores y la explotación de los mejores encontrados. Es eficiente cuando hay restricciones de tiempo o recursos.
– Búsqueda Bayesiana: Usa modelos probabilísticos para priorizar combinaciones prometedoras, reduciendo el número de pruebas necesarias.
– Grid Search (Fuerza Bruta): Evalúa todas las combinaciones posibles dentro de un conjunto de valores especificados. Es efectiva pero costosa computacionalmente.
El Proceso de Búsqueda: Exploración y Refinamiento
Podemos entender la búsqueda de hiperparámetros con el siguiente ejemplo: Imaginemos que en nuestra casa sentimos olor a quemado. Primero exploramos diferentes áreas (frontal, trasera, izquierda, derecha) para detectar dónde el olor es más fuerte, esto se conoce como búsqueda extensiva. Luego, una vez localizada la zona crítica (acotado el espacio de búsqueda), inspeccionamos en detalle cada habitación de esa zona para encontrar el origen del incendio, esto es una búsqueda intensiva.
En machine learning, este proceso es similar: primero probamos un conjunto amplio de valores y, una vez identificados los más prometedores, refinamos la búsqueda en esa zona.
Estrategia Recomendada
Para optimizar hiperparámetros de manera eficiente, podemos seguir esta secuencia:
1. Iniciar con una búsqueda aleatoria para explorar rápidamente el espacio. Se recomienda definir un rango amplio de valores para probar distintas configuraciones y obtener una visión general del espacio de búsqueda.
2. Continuar con una búsqueda bayesiana acotando el espacio de búsqueda sobre los hiperparámetros encontrados para afinar los valores más prometedores. Una vez identificadas algunas combinaciones que funcionan bien, esta técnica permite enfocarse en mejorar esos valores con menos pruebas.
3. Finalizar con una búsqueda por fuerza bruta, basado en los resultados previos. Se centra en probar combinaciones dentro de un espacio reducido y bien delimitado, con el fin de intentar encontrar una combinación aún mejor a las ya encontradas con los métodos anteriores.
Reflexión Final
La búsqueda de hiperparámetros es un paso clave para mejorar el rendimiento de un modelo. Un enfoque estructurado puede ahorrar tiempo y recursos, obteniendo un mejor rendimiento de nuestro sistema predictivo. En próximos posts, profundizaremos en cómo estos algoritmos de búsqueda “eligen” una buena combinación así como la implementación de este proceso usando herramientas como Scikit-learn.