DL - Aprendizaje profundo

El aprendizaje profundo (también conocido como aprendizaje estructurado profundo) es parte de una familia más amplia de métodos de aprendizaje automático basados ​​en redes neuronales artificiales con aprendizaje de representación. El aprendizaje puede ser supervisado, semi-supervisado o no supervisado.

Las arquitecturas de aprendizaje profundo, como las redes neuronales profundas, las redes de creencias profundas, las redes neuronales recurrentes y las redes neuronales convolucionales se han aplicado a campos que incluyen la visión por computadora, la visión artificial, el reconocimiento de voz, el procesamiento del lenguaje natural, el reconocimiento de audio, el filtrado de redes sociales, la traducción automática, bioinformática, diseño de fármacos, análisis de imágenes médicas, inspección de materiales y programas de juegos de mesa, donde han producido resultados comparables y, en algunos casos, superando el desempeño de los expertos humanos.

Las redes neuronales artificiales (ANN) se inspiraron en el procesamiento de la información y los nodos de comunicación distribuida en los sistemas biológicos. Las RNA tienen varias diferencias con los cerebros biológicos. Específicamente, las redes neuronales tienden a ser estáticas y simbólicas, mientras que el cerebro biológico de la mayoría de los organismos vivos es dinámico (plástico) y análogo.

El adjetivo "profundo" en el aprendizaje profundo se refiere al uso de múltiples capas en la red. Los primeros trabajos mostraron que un perceptrón lineal no puede ser un clasificador universal, y luego que una red con una función de activación no polinómica con una capa oculta de ancho ilimitado puede, por otro lado, serlo. El aprendizaje profundo es una variación moderna que se ocupa de un número ilimitado de capas de tamaño limitado, lo que permite una aplicación práctica y una implementación optimizada, al tiempo que conserva la universalidad teórica en condiciones suaves. En el aprendizaje profundo, las capas también pueden ser heterogéneas y desviarse ampliamente de los modelos conexionistas biológicamente informados, en aras de la eficiencia, la capacidad de entrenamiento y la comprensibilidad, de ahí la parte "estructurada".

El aprendizaje profundo es una clase de algoritmos de aprendizaje automático que (pp199–200) usa múltiples capas para extraer progresivamente características de nivel superior de la entrada sin procesar. Por ejemplo, en el procesamiento de imágenes, las capas inferiores pueden identificar los bordes, mientras que las capas superiores pueden identificar los conceptos relevantes para un ser humano, como dígitos, letras o caras.

La mayoría de los modelos modernos de aprendizaje profundo se basan en redes neuronales artificiales, específicamente redes neuronales convolucionales (CNN), aunque también pueden incluir fórmulas proposicionales o variables latentes organizadas por capas en modelos generativos profundos como los nodos en redes de creencias profundas y Boltzmann profundo. máquinas.

En el aprendizaje profundo, cada nivel aprende a transformar sus datos de entrada en una representación un poco más abstracta y compuesta. En una aplicación de reconocimiento de imágenes, la entrada sin procesar puede ser una matriz de píxeles; la primera capa de representación puede abstraer los píxeles y codificar los bordes; la segunda capa puede componer y codificar disposiciones de bordes; la tercera capa puede codificar una nariz y ojos; y la cuarta capa puede reconocer que la imagen contiene un rostro. Es importante destacar que un proceso de aprendizaje profundo puede aprender qué características colocar de manera óptima en qué nivel por sí solo. (Por supuesto, esto no elimina por completo la necesidad de un ajuste manual; por ejemplo, un número variable de capas y tamaños de capa puede proporcionar diferentes grados de abstracción).

La palabra "profundo" en "aprendizaje profundo" se refiere al número de capas a través de las cuales se transforman los datos. Más precisamente, los sistemas de aprendizaje profundo tienen una profundidad de ruta de asignación de créditos (CAP) sustancial. El CAP es la cadena de transformaciones de entrada a salida. Los CAP describen conexiones potencialmente causales entre entrada y salida. Para una red neuronal feedforward, la profundidad de los CAP es la de la red y es el número de capas ocultas más una (ya que la capa de salida también está parametrizada). Para las redes neuronales recurrentes, en las que una señal puede propagarse a través de una capa más de una vez, la profundidad de CAP es potencialmente ilimitada. Ningún umbral de profundidad universalmente acordado divide el aprendizaje superficial del aprendizaje profundo, pero la mayoría de los investigadores están de acuerdo en que el aprendizaje profundo implica una profundidad CAP superior a 2. Se ha demostrado que el CAP de profundidad 2 es un aproximador universal en el sentido de que puede emular cualquier función . Más allá de eso, más capas no se suman a la capacidad de aproximación de funciones de la red. Los modelos profundos (CAP> 2) pueden extraer mejores características que los modelos superficiales y, por lo tanto, las capas adicionales ayudan a aprender las características de manera efectiva.

Las arquitecturas de aprendizaje profundo se pueden construir con un método ávido capa por capa. El aprendizaje profundo ayuda a desenredar estas abstracciones y a seleccionar qué características mejoran el rendimiento.

Para las tareas de aprendizaje supervisado, los métodos de aprendizaje profundo eliminan la ingeniería de características, al traducir los datos en representaciones intermedias compactas similares a los componentes principales.