맛동산

83p 순방향 처리라는건 신경망의 역방향 처리도 있는건가? 89p 출력층의 활성화 함수는 풀고하 하는 문제의 성질에 맞게 정의 예를 들어 회귀에는 항등 함수, 2클래스 분류에는 시그모이드 함수, 다중 클래스 분류에는 소프트맥수 함수 등

에서 0->1층으로의 전달 import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) # numpy의 브로드캐스트 X = np.array([1.0, 0.5]) W1 = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]]) B1 = np.array([0.1, 0.2, 0.3]) A1 = np.dot(X, W1) + B1 print(A1) Z1 = sigmoid(A1) print(Z1) 0 - 1층. A 활성화 함수로 sigmoid를 사용(http://tastydarr.tistory.com/137) 절차에 따른 구현 import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) ..

word2vec은 한 맥락안에 있는 유사한 단어는(혹은 그 외의 의미를 가지는 thing으로 응용) 가까운 지점으로 매핑된다에 근간. Queen-woman+King -> man식의 추론. 구매 패턴을 학습시키면 추천 시스템으로 응용 가능할 듯(뭐 얼추 They-cookie+I -> cake 이런느낌?) sequence2sequence는 RNN을 기반으로하고 encoder_inputs, decoder_inputs으로 문장 생성을 학습하기도, 번역에 응용하기도 함(어떻게 하는지는 자세히 안봄) https://tensorflowkorea.gitbooks.io/tensorflow-kr/content/g3doc/tutorials/seq2seq/

메모리 네트워크 양방향 재현 신경망 - 원본 문장의 앞에서 한번, 뒤에서 한번 데이터를 처리 후 은닉벡터를 결합 메모리네트워크(MemNN) - 은닉벡터를 시간대별로 메모리에 저장 스토리선택 모듈 - G(q, s) 답변선택모듈 - H(s, a) 종단 학습 모델 - 여러 단계에 걸친 중간단계 출력을 내지 않고 컴퓨터 스스로 내부적인 특징 표현을 학습하여 적절한 결과를 한번에 출력하도록 학습 bAbI Task - 2015 facebook, 모델의 언어이해 및 추론능력을 측정하는 20여 가지의 테스크 ------------ 딥러닝 응용사례 재현신경망 - joit probability = all product of conditional probability 번역기 (구글) - 인코더 재현 신경망: 생성된 은닉 유..

import numpy as np # 행렬의 내적 A = np.array([[1,2], [3,4]]) print(A.shape) B = np.array([[5,6], [7,8]]) print(B.shape) print(np.dot(A, B)) #print(A*B) # 신경망의 내적 X = np.array([1,2]) print(X.shape) # 1,2 W = np.array([[1,3,5], [2,4,6]]) print(W.shape) # 2,3 Y = np.dot(X,W) print(Y) note. 순방향 처리라는건 신경망의 역방향 처리도 있는건가?

계단 함수 구현 import numpy as np import matplotlib.pylab as plt ##################################################### ## 계단함수 x = np.array([-1.0, 1.0, 2.0]) print(x) # [-1. 1. 2.] y = x>0 print(y) # [False True True] z = np.array(x>0, dtype=np.int) print(z) # [0 1 1] def step_function(x): return np.array(x>0, dtype=np.int) x2 = np.arange(-5.0, 5.0, 0.1) # 71p 오타 y = step_function(x2) plt.plot(x2,y) p..

https://cpuu.postype.com/post/166917/

def AND(x1, x2): w1, w2, theta = 0.5, 0.5, 0.99 tmp = x1*w1 + x2*w2 result = 0 if tmp

신호의 총합이 정해진 한계를 넘어설 때 1을 출력 -> 뉴런이 활성화한다 - 1 - 한계치 : 임계값(세타 기호) 0 (w1x1 + w2x2 세타) AND NAND (AND의 매개변수 부호를 모두 반전하면 구현) AND 회로 def AND(x1, x2): w1, w2, theta = 0.5, 0.5, 0.99 tmp = x1*w1 + x2*w2 result = 0 if tmp

[ [ [1,2,3], [4,5,6] ], [ [7,8,9], [10,11,12] ] ] 인 3차원 배열 x가 있을때(n차원도 상관없는듯) x.flatten()을 하면 x[0][0][0], x[0][0][1] ... 순으로 1차원 배열로 변환시켜줌 -> [1,2,3,4,5,6,7,8,9,10,11,12] 그리고 x[x>3] 처럼 조건식으로 인덱싱을 할 수 있음(반환값은 1차원 배열로 되는듯)