티스토리

맛동산

검색하기

블로그 홈

맛동산

tastydarr.tistory.com/m

오지고지리고알파고포켓몬고 님의 블로그입니다.

구독자: 2

방명록 방문하기

주요 글 목록

1차원 백터의 기울기 구현 모든 변수의 편미분을 백터로 정리한 것이 기울기 다음은 1차원 백터의 기울기 구현(다차원이 아니므로 아직 큰 의미는 없음) 각 x에 대한 f(x+h) - f(x-h) / 2h의 적용(편미분)은 같음 import numpy as np def f_2(x): return np.sum(x**2) def numerical_gradient(f,x): # 3 4 h = 1e-4 grad = np.zeros_like(x) # x와 shape이 같은 0행렬(배열) 생성 #print(grad) for idx in range(x.size): tmp_val = x[idx] #print(tmp_val) x[idx] = tmp_val + h #print(x[idx]) fxh1 = f(x) print(fxh1) #print(tmp.. 공감수 1 댓글수 0 2017. 6. 8.
수치 미분 구현 미분식에서 x+h와 x-h사이의 아주 작은 구간에서의 차를 구하는것을(중심 차분) 수치 미분이라 함 def numerical_diff(f, x): h = 1e-4 return (f(x+h) - f(x-h)) / (2*h) def f_1(x): return 0.01*x**2 + 0.1*x # y = 0.01x^2 + 0.1x # y' = 2*0.01x + 0.1 print(numerical_diff(f_1,5)) # 0.1999999999990898 공감수 0 댓글수 0 2017. 6. 8.
예측 + 미니배치 + 오차 가중치는 책에 있는거 가져와서 씀(chap03) # coding: utf-8 import sys, os sys.path.append(os.pardir) # 부모 디렉터리의 파일을 가져올 수 있도록 설정 import numpy as np import pickle from dataset.mnist import load_mnist from common.functions import sigmoid, softmax np.max def get_data(): (x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=True) #print(len(t_train)) #print(len(t_test)) retur.. 공감수 0 댓글수 5 2017. 6. 4.
미니배치 학습 훈련 데이터에 대한 손실 함수의 값을 구하고, 그 값을 최대한 줄여주는 매개변수를 찾아내는것이 기계학습의 과정. 이렇게 하려면 모든 훈련 데이터를 대상으로 손실 함수 값을 구해야함. 수백 수천만이 넘든 데이터를 대상으로 손실함수를 계산하는 것은 비용적인 문제가 있음. 그럴때 데이터 일부를 추려 전체의 근사치로 이용하는데 이것을 mini batch라고 함 import sys, os sys.path.append(os.pardir) # 부모 디렉터리의 파일을 가져올 수 있도록 설정 import numpy as np import pickle from dataset.mnist import load_mnist from common.functions import sigmoid, softmax def get_data(.. 공감수 1 댓글수 0 2017. 6. 3.
MNIST 파라미터 # normalize = True : 0.0~1.0 사이로 정규화, False : 0~255 사이 값 유지 # flatten = 1차원 배열로 평탄화할지 -> 1*28*28 vs 784 # one_hot_label = True : 정답인 라벨의 원소만 1 [0,0,1], False : 1, 5 등 정답 자체를 저장 공감수 0 댓글수 0 2017. 6. 3.
평균 제곱 오차, 교차 엔트로피 오차 함수 구현 import numpy as np def mean_squared_error(y,t): return 0.5 * np.sum((y-t)**2) def cross_entropy_error(y,t): delta = 1e-7 return -np.sum(t*np.log(y+delta)) # 정답이 아닌 나머지는 tk = 0이므로 정답일 때의 출력이 전체 값을 정하게 된다 t = [0,0,1,0,0,0,0,0,0,0] # 답은 2 y = [0.1,0.05,0.6,0,0.05,0.1,0,0.1,0,0] # 0.6의 출력으로 2라고 추정 print(mean_squared_error(np.array(y),np.array(t))) print(cross_entropy_error(np.array(y),np.array(t))) .. 공감수 0 댓글수 0 2017. 6. 3.
batch 배열을 하나씩 던져주는것보다 묶음으로 던져주는게 순수 CPU 가용량이 좋다 # coding: utf-8 import sys, os sys.path.append(os.pardir) # 부모 디렉터리의 파일을 가져올 수 있도록 import numpy as np import pickle from dataset.mnist import load_mnist from common.functions import sigmoid, softmax def get_data(): (x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False) return x_test, t_test def init_network().. 공감수 0 댓글수 0 2017. 5. 29.
정규화 데이터 전체의 분포를 고려해 전처리 ex) 데이터 전체 평균과 표준편차를 이용, 데이터들이 0을 중심으로 분포하도록 이동, 데이터 확산범위를 제한하는 정규화 그 외에도 전체 데이터를 균일하게 분포시키는 데이터 백색화 등 공감수 0 댓글수 0 2017. 5. 29.
np.max vs np.argmax [.2 .8 .4 .4 .5] np.max -> .8 (최대값) np.argmax -> 1 (최대값의 인덱스) 이산문제의 경우 신경망 출력층에서 np.argmax의 인덱스로 분류 공감수 3 댓글수 0 2017. 5. 29.
Softmax 함수 구현 import numpy as np def softmax(a): c = np.max(a) exp_a = np.exp(a-c) sum_exp_a = np.sum(exp_a) y = exp_a / sum_exp_a return y a = np.array([0.3,2.9,4.0]) y3 = softmax(a) print(y3) print(np.sum(y3)) 소프트맥스 함수의 출력의 총합이 1 소프트맥스 함수를 적용해도 각 원소의 대소 관계는 변하지 않음 * 단조증가함수 -> a 결과적으로 신경망으로 분류할 때는 출력층의 소프트맥스 함수 생략 가능, 현업에서도 지수 함수 계산에 드는 자원 낭비를 줄이고자 출력층의 소프트맥스 함수는 생략하는 것이 일반적 출력층의 뉴런 수는 풀려는 문제에 맞게 적절히 정해야함. '.. 공감수 0 댓글수 0 2017. 5. 22.
note1 83p 순방향 처리라는건 신경망의 역방향 처리도 있는건가? 89p 출력층의 활성화 함수는 풀고하 하는 문제의 성질에 맞게 정의 예를 들어 회귀에는 항등 함수, 2클래스 분류에는 시그모이드 함수, 다중 클래스 분류에는 소프트맥수 함수 등 공감수 0 댓글수 0 2017. 5. 19.
3층 신경망 구현 에서 0->1층으로의 전달 import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) # numpy의 브로드캐스트 X = np.array([1.0, 0.5]) W1 = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]]) B1 = np.array([0.1, 0.2, 0.3]) A1 = np.dot(X, W1) + B1 print(A1) Z1 = sigmoid(A1) print(Z1) 0 - 1층. A 활성화 함수로 sigmoid를 사용(http://tastydarr.tistory.com/137) 절차에 따른 구현 import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) .. 공감수 0 댓글수 0 2017. 5. 19.
[여담] word2vec, seq2seq, tensorflow문서 한글번역본 word2vec은 한 맥락안에 있는 유사한 단어는(혹은 그 외의 의미를 가지는 thing으로 응용) 가까운 지점으로 매핑된다에 근간. Queen-woman+King -> man식의 추론. 구매 패턴을 학습시키면 추천 시스템으로 응용 가능할 듯(뭐 얼추 They-cookie+I -> cake 이런느낌?) sequence2sequence는 RNN을 기반으로하고 encoder_inputs, decoder_inputs으로 문장 생성을 학습하기도, 번역에 응용하기도 함(어떻게 하는지는 자세히 안봄) https://tensorflowkorea.gitbooks.io/tensorflow-kr/content/g3doc/tutorials/seq2seq/ 공감수 0 댓글수 0 2017. 5. 19.
재현신경망? 메모리 네트워크 양방향 재현 신경망 - 원본 문장의 앞에서 한번, 뒤에서 한번 데이터를 처리 후 은닉벡터를 결합 메모리네트워크(MemNN) - 은닉벡터를 시간대별로 메모리에 저장 스토리선택 모듈 - G(q, s) 답변선택모듈 - H(s, a) 종단 학습 모델 - 여러 단계에 걸친 중간단계 출력을 내지 않고 컴퓨터 스스로 내부적인 특징 표현을 학습하여 적절한 결과를 한번에 출력하도록 학습 bAbI Task - 2015 facebook, 모델의 언어이해 및 추론능력을 측정하는 20여 가지의 테스크 ------------ 딥러닝 응용사례 재현신경망 - joit probability = all product of conditional probability 번역기 (구글) - 인코더 재현 신경망: 생성된 은닉 유.. 공감수 0 댓글수 0 2017. 5. 19.
신경망의 내적은 행렬의 내적과 같다 import numpy as np # 행렬의 내적 A = np.array([[1,2], [3,4]]) print(A.shape) B = np.array([[5,6], [7,8]]) print(B.shape) print(np.dot(A, B)) #print(A*B) # 신경망의 내적 X = np.array([1,2]) print(X.shape) # 1,2 W = np.array([[1,3,5], [2,4,6]]) print(W.shape) # 2,3 Y = np.dot(X,W) print(Y) note. 순방향 처리라는건 신경망의 역방향 처리도 있는건가? 공감수 0 댓글수 0 2017. 5. 19.
계단 함수와 시그모이드 함수 그리고 ReLU, 활성화 함수가 선형 함수면 안되는 이유 계단 함수 구현 import numpy as np import matplotlib.pylab as plt ##################################################### ## 계단함수 x = np.array([-1.0, 1.0, 2.0]) print(x) # [-1. 1. 2.] y = x>0 print(y) # [False True True] z = np.array(x>0, dtype=np.int) print(z) # [0 1 1] def step_function(x): return np.array(x>0, dtype=np.int) x2 = np.arange(-5.0, 5.0, 0.1) # 71p 오타 y = step_function(x2) plt.plot(x2,y) p.. 공감수 0 댓글수 2 2017. 5. 15.
SyntaxNet 관련 좌표 https://cpuu.postype.com/post/166917/ 공감수 0 댓글수 0 2017. 5. 15.
다층 퍼셉트론의 구현(XOR) def AND(x1, x2): w1, w2, theta = 0.5, 0.5, 0.99 tmp = x1*w1 + x2*w2 result = 0 if tmp 공감수 0 댓글수 0 2017. 5. 14.
단순 퍼셉트론 신호의 총합이 정해진 한계를 넘어설 때 1을 출력 -> 뉴런이 활성화한다 - 1 - 한계치 : 임계값(세타 기호) 0 (w1x1 + w2x2 세타) AND NAND (AND의 매개변수 부호를 모두 반전하면 구현) AND 회로 def AND(x1, x2): w1, w2, theta = 0.5, 0.5, 0.99 tmp = x1*w1 + x2*w2 result = 0 if tmp 공감수 0 댓글수 0 2017. 5. 12.
numpy 배열 평탄화 [ [ [1,2,3], [4,5,6] ], [ [7,8,9], [10,11,12] ] ] 인 3차원 배열 x가 있을때(n차원도 상관없는듯) x.flatten()을 하면 x[0][0][0], x[0][0][1] ... 순으로 1차원 배열로 변환시켜줌 -> [1,2,3,4,5,6,7,8,9,10,11,12] 그리고 x[x>3] 처럼 조건식으로 인덱싱을 할 수 있음(반환값은 1차원 배열로 되는듯) 공감수 0 댓글수 0 2017. 5. 12.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.