¿Cuál es la diferencia entre DNN y RNN? ¿Cuál es la mejor técnica para el aprendizaje por refuerzo?


Respuesta 1:

Las redes neuronales profundas (DNN) se refieren a una familia de arquitecturas de redes neuronales que tienen múltiples capas de computación. Técnicamente, este es un gráfico de cálculo donde algunos nodos son nodos de entrada, algunos nodos de salida y el resto se denominan nodos ocultos. Para simplificar, podemos imaginar una red neuronal profunda canónica que consista en múltiples capas donde las capas se apilan verticalmente una encima de la otra. Cada capa consta de uno o más nodos. Los nodos simulan "neuronas" que son elementos informáticos en nuestro cerebro. Las entradas se aplican en la capa de entrada (imagine esto como la capa más inferior por simplicidad) y las salidas se producen en la capa de salida (imagine que esta es la capa superior de la pila vertical de capas). Como la red tiene una estructura gráfica, una pila estrictamente vertical es un caso especial, pero imaginamos nuestra red neuronal profunda (DNN) como una arquitectura en capas verticales con el fin de responder esta pregunta.

El DNN puede ser especializado y diseñado de varias maneras. Una red neuronal profunda completamente conectada consiste típicamente en más de 1 capa oculta y cada nodo en una capa dada (capa i) está conectado a cualquier otro nodo en la capa inmediatamente superior (es decir, nodos en la capa i + 1).

Una red neuronal convolucional (CNN) también es un DNN pero las capas no están completamente conectadas. La CNN generalmente tiene una arquitectura apilada verticalmente, pero utiliza pequeños núcleos o filtros que calculan las activaciones.

Una red neuronal recurrente (RNN) se utiliza para procesar secuencias y puede denominarse como un DNN en el sentido "temporal" en lugar de ser puramente vertical. Aquí, las activaciones ocultas del paso de tiempo t se usan como contexto para calcular las activaciones del paso de tiempo t + 1. Por lo tanto, podemos ver esto como una capa oculta h (t + 1) que se apila encima de h (t) y, en este sentido, es una red profunda. Si la longitud de la secuencia es T, la profundidad de esta red en términos de capas ocultas ejecutadas es T.

¿Qué es lo mejor para el aprendizaje por refuerzo (RL)?

Los problemas de RL se emiten de una manera diferente, donde nuestro objetivo es predecir una secuencia de acciones que un agente debe tomar para maximizar las recompensas futuras. A menudo se usa una de las dos técnicas principales con algunas variantes: (a) Redes Deep Q y (b) Enfoques de gradiente de políticas. Es posible usar un DNN (que significa cualquiera de los completamente conectados o CNN o RNN) para calcular los valores de Q o predecir la acción de política correcta. La mejor arquitectura que se necesita diseñar depende únicamente del problema y no es posible seleccionar el "mejor" enfoque. En general, use RNN para entradas donde los elementos tienen una correlación temporal entre ellos y CNN donde hay una estructura espacial que se puede aprovechar. A menudo, la red RL profunda puede ser un DNN totalmente conectado que predice acciones o calcula valores de Q.

Espero que esto ayude.


Respuesta 2:

Las redes neuronales profundas se refieren a la clase de arquitectura de red que tiene muchas capas. Estas capas pueden ser capas convolucionales, capas recurrentes o capas densas. RNN o red neuronal recurrente se refiere a la arquitectura de red que tiene unidades cerradas en la celda que permite que la información temporal se propague, por lo tanto, tiene la capacidad de construir una abstracción temporal de los datos y se usa comúnmente con datos de series temporales.

Dependiendo de la aplicación del aprendizaje de refuerzo, puede usar un DNN si sus estados son fuertemente Markov (los estados futuros solo dependen del estado actual), de lo contrario, RNN también se puede usar si sospecha que sus estados podrían tener alguna correlación temporal. De hecho, el DNN normal también se ha utilizado para manejar el problema de los estados que no son de Markovia al apilar los estados y envolverlos en un solo estado.