Curso completo de deep learning | Aprendizaje profundo 2021 por Datitos - BERT: Transformers con Embeddings Sensibles al Contexto | Clase 20 | Curso Aprendizaje Profundo 2021

En la clase de hoy vamos a hablar sobre BERT, un transformer bidireccional que produce embeddings preentrenados y sirve para un gran abanico de tareas de NLP con un mínimo fine-tuning. Ha sido tan exitosa que Google cambió enteramente su sistema de búsqueda en 2019 para que utilizara BERT. Esta clase es parte de un curso gratuito dictado en la Ciudad de Mendoza, Argentina en Otoño de 2021. Podés encontrar todo el material en https://datitos.github.io/curso-aprendizaje-profundo/2021/ Nota de color (0:00) Embbeddings y sus limitaciones (1:00) Modelado de Lenguaje (4:56) ELMo: Embeddings para modelado de Lenguaje (9:46) ¿Cómo funciona ELMo? (12:57) GPT: Pre-Entrenamiento Generativo(20:02) Fine-Tuning en GPT(25:44) Notal al Pie: https://ruder.io/nlp-imagenet/ (34:04) BERT: Transformers con Embeddings Bidireccionales (36:22) ¿Cómo se entre a BERT? (43:14) Ejemplo de Implementación de BERT (50:32)