¿Qué es el aprendizaje profundo (Deep Learning)?
Las redes neuronales de aprendizaje profundo se han aplicado con éxito al procesamiento de texto, y están cambiando radicalmente la forma en que interactuamos con las máquinas (Siri, Amazon Alexa, Google Home, Skype Translator, Google Translate, Google Search). Estos modelos son capaces de inferir representaciones para palabras y frases, en vez de utilizar los rasgos diseñados manualmente utilizados por sistemas de aprendizaje previos.
Este curso es una introducción en profundidad a los modelos principales de aprendizaje profundo utilizados en procesamiento de texto, combinando clases teóricas y prácticas. Los asistentes podrán así comprender estos modelos e implementarlos en Tensorflow/Keras.
Lo que vas a aprender durante el curso
(20 horas lectivas)
Jueves 4, de 9 a 13h
Introducción
Aprendizaje automático / profundo
Procesamiento del lenguaje natural
Una tárea de PLN:
- Análisis de sentimientos
- Clasificación con regresión logística
- Tensorflow y Keras
LAB: Análisis de sentimiento con regresión logística
Jueves 4, de 15 a 19h
Perceptron multicapa y representación de palabras
Multicapa = Profundo
Retropropagación y gradientes
Tasa de aprendizaje
Regularización
Hiperparametros
Aprendizaje de representaciones
Embeddings de palabras
LAB: Análisis de sentimiento con perceptron multicapa
Viernes 5, de 9 a 13h
Recurrencia, seq2seq y traducción automática
De palabras a secuencias: Redes Recurrentes (RNN)
Aplicaciones:
- Modelos del lenguaje (codificadores de sentencias)
- Generación del lenguaje (decodificadores)
- Modelos de secuencia a secuencia y la traducción automática (I)
Mejoras a los RNN: LSTM
LAB: Análisis de sentimiento con red recurrente (LSTM)
Viernes 5, de 15 a 19h
Atención, traducción e inferencia
Repensando seq2seq:
- Atención y memoria
- Estado del arte en traducción automática (II)
Inferencia del lenguaje natural con redes siamesas
LAB: Inferencia del lenguaje natural con seq2seq y atención
Sábado 6, de 10 a 14h
Redes Convolucionales y final
Redes Convolucionales (CNN) para texto
Entornos para aprendizaje profundo
Últimas palabras
LAB: Clasificación de textos con redes convolucionales
Profesorado
Eneko Agirre
Profesor Pleno de la UPV/EHU y miembro del grupo IXA
Oier Lopez de Lacalle
Investigador post-doctoral de la UPV/EHU y miembro del grupo IXA
Perfil del estudiante & Matrícula
Dirigido a profesionales y estudiantes con inquietud para entender y poder aplicar métodos de aprendizaje profundo. La parte práctica requiere formación en programación y experiencia en Python, así como conocimientos pre-universitarios de álgebra y cálculo. Existen muy buenos cursos breves online sobre Python para programadores.
Aquellas personas interesadas en matricularse deberán cumplimentar el formulario de inscripción y enviar su CV a formacion@fund.uc3m.es
Importante: Para las prácticas se requiere asistir con un ordenador portátil.
El curso cuenta con 20 plazas (el curso sólo se celebrará si se consigue cubrir un número mínimo de plazas; en caso de anularse, el importe íntegro de la inscripción será reembolsado).
Para la admisión, se tendrá en cuenta el CV aportado. El plazo de matriculación estará abierto hasta el 31 de Julio de 2018. Los gastos de matrícula son:
- 470€
- 390€ para estudiantes de grado, postgrado y doctorado.