Deep Learning con Python y PyTorch - ¿Cómo Inicializar los Parámetros de una Red Neuronal? Kaiming He vs Xavier vs Números Aleatorios

Código generado: https://github.com/JACantoral/DL_fundamentals/blob/main/fundamentals_DL_init_intuition.ipynb Una parte fundamental para entrenar una red neuronal profunda de forma eficiente es inicializar los parámetros lo mejor posible, este no es un tema trivial como se pensaba hace algunos años. En este video explico de forma detallada con ejemplos, las implicaciones de los métodos de inicialización más populares, y muestro las fortalezas del método preferido en la actualidad, Kaiming He. Así, el siguiente video vamos a utilizar estos principios para programar nuestra versión de la clase Sequential para implemetar una red neuronal con un número de capas arbitrario. Acerca de la serie Fundamentos de Deep Learning con Python y PyTorch: En esta serie de videos explico qué son las Redes Neuronales (Neural Networks) y qué es Aprendizaje Computacional (Machine Learning) así como Deep Learning. Empezamos con los principios matemáticos fundamentales hasta su implementación en código. Para esto, primero utilizaremos Python y Numpy para entender los principios de programación de Redes Neuronales incluyendo el algoritmo de retropropagación (backpropagation). Con estas bases, presentaremos el framework PyTorch y construiremos modelos más complejos como son Redes Neuronales Convolucionales (Convolutional Neural Networks - CNNs). About the video series: In this video series I will explain what Neural Networks are, and how Deep Neural Networks work, from the mathematical principles to their implementation in code. Firstly, we will use pure Python and Numpy to understand the fundamentals including backpropagation for a simple Fully Connected Network, and from there we will build on to Convolutional Neural Networks (CNN) using PyTorch. I will be uploading at least one new video every week until we reach different architectures of CNNs. Then, depending on the response and interest in the series I may cover newer models using Generative Adversarial Networks (GANs), and Recurrent Neural Networks. Referencias: [1] X. Glorot and Y. Bengio, “Understanding the difficulty of training deep feedforward neural networks,” in Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, Mar. 2010, pp. 249–256, Accessed: Jan. 09, 2020. [Online]. Available: http://proceedings.mlr.press/v9/glorot10a.html. [2] K. He, X. Zhang, S. Ren, and J. Sun, “Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification,” arXiv:1502.01852 [cs], Feb. 2015, Accessed: Apr. 28, 2021. [Online]. Available: http://arxiv.org/abs/1502.01852.