재현신경망?

메모리 네트워크

양방향 재현 신경망 - 원본 문장의 앞에서 한번, 뒤에서 한번 데이터를 처리 후 은닉벡터를 결합

메모리네트워크(MemNN) - 은닉벡터를 시간대별로 메모리에 저장

스토리선택 모듈 - G(q, s)
답변선택모듈 - H(s, a)

종단 학습 모델 - 여러 단계에 걸친 중간단계 출력을 내지 않고 컴퓨터 스스로 내부적인 특징 표현을 학습하여 적절한 결과를 한번에 출력하도록 학습  

bAbI Task - 2015 facebook, 모델의 언어이해 및 추론능력을 측정하는 20여 가지의 테스크

 

------------
딥러닝 응용사례

재현신경망  - joit probability = all product of conditional probability

번역기 (구글)
 - 인코더 재현 신경망: 생성된 은닉 유닛 벡터를 디코더에 토스
 - 디코더 재현 신경망: 토스받은 인코더의 유닛벡터와 이전 단계의 출력단어, 디코더의 은닉 유닛을 바탕으로 다음 단어 예측

양방향 재현 신경망과 주의 집중 기작을 이용해서 긴 문장의 번역에서 오래전에 입력된 단어의 정보가 희석되는걸 방지할 수 있음

주의 집중 기작 - 인코더 재현 신경망의 은닉 유닛들을 메모리에 저장후 가중치를 주어 선형 결합함

이미지 번역 - 이미지의 내용을 문장으로 설명
 - 인코더로 재현 신경망 대신 컨볼루션 신경망을 이용

이미지 + 텍스트 동시 처리도 활발히 연구중

신경망을 여러 층 쌓아 올려 모델을 구축하는 머신 러닝 방법이라면 어떠한 접근 방법이든 딥 러닝이라고 할 수 있지만, 유명한 모델로는 입력층과 출력층 사이에 다중의 은닉층(hidden layer)이 존재하는 '심층(deep) 신경망', 동물의 시각 피질의 구조와 유사하게 뉴런 사이의 연결 패턴을 형성하는 '컨볼루셔널(convolutional) 신경망', 시간에 따라 매순간 신경망을 쌓아올리는 '재귀(recurrent) 신경망', 입력 집합에 대한 확률 분포를 학습할 수 있는 '제한 볼츠만 머신(restricted Boltzmann machine)' 등이 있다.

[네이버 지식백과] 딥 러닝 [Deep Learning] (두산백과)

[출처] [Tacademy] 메모리 네트워크, 딥러닝 응용사례|작성자 Cockroach

http://blog.naver.com/lsw0504/221008872221