Probablemente el concepto de overfitting sea conocido para algunos, y en ciertas ocasiones podría llegar a ser poco productivo para nuestros modelos de redes neuronales; Entonces, aquí entra el tema que se tocará en este artículo, la regularización de redes neuronales.
La regularización en una red neuronal es una técnica que podemos utilizar para reducir el overfitting en nuestro modelo de red neuronal y, eventualmente, optimizar este mismo.
Definitivamente es un concepto muy amplio, útil y relativamente extenso, pero no está mal conocer un poco de este. Hay varias técnicas de regularización que podemos usar, por ejemplo, está la técnica L2 de regularización de redes neuronales, la cuál consta (A pocas palabras) de reducir el valor de los parámetros del modelo para que sean pequeños. Entre muchos otros están las técnicas de, por ejemplo: Regularización L1, Weight Decay, Dropout, Batch Normalization, entre otros.