올라프의 삶

▶ 중학교 수학 수준에 맞춰 설명했던 기울기 a나 y절편 b와 같은 용어를 퍼셉트론의 개념에 맞춰 좀 더 ‘딥러닝답게’ 표현해 보면 다음과 같음 ▶ 기울기 a는 퍼셉트론에서는 가중치를 의미하는 w(weight)로 표기됨 ▶ y절편 b는 똑같이 b(bias)라고 씀 ▶ 가중 합(weighted sum) : 입력 값 x과 가중치 w의 곱을 모두 더한 다음 거기에 바이어스 b를 더한 값 ▶ 활성화 함수(activation function) : 가중합의 결과를 놓고 (시그모이드)1 또는 0을 출력해서 다음으로 보내는데, 여기서 0과 1을 판단하는 함수(sigmoid함수, relu함수, softmax함수 등)

▶ 케라스의 가장 큰 장점 중 하나는 model.add( ) 함수를 이용해 필요한 만큼의 층을 빠르고 쉽게 쌓아 올릴 수 있다는 것 ▶ model.add( ) 함수안에는 Dense( ) 함수가 포함되어 있음 ▶ dense는 ‘조밀하게 모여있는 집합’이란 뜻으로, 각 층이 제각각 어떤 특성을 가질지 옵션을 설정하는 역할 ▶ 오차 함수(loss), 최적화(optimizaer), 모델 수행 결과(metrics) ▶ 딥러닝의 구조와 층별 옵션을 정하고 나면 compile( ) 함수를 이용해 이를 실행 ▶ 입력값이 네트워크 층을 거치면 예측값이 나오고, 이를 실제값과 비교해서 Loss score를 계산한 후에 Optimizer를 통해 Weight를 업데이트 한다.

▶ Sequential( ) 함수 : 딥러닝의 구조를 한 층 한 층 쉽게 쌓아올릴 수 있게 해 줌 ▶ Sequential( ) 함수를 선언하고 나서 model.add( ) 함수를 사용해 필요한 층을 차례로 추가하면 됨

history -> 학습 진행상황이 저장된다. - loss : 학습셋 오차 - accuracy : 학습셋 정확도 - val_loss : 검증셋 오차 - val_accuracy : 테스트셋 정확도 EarlyStopping( ) 함수 : 케라스에는 이렇게 학습이 진행되어도 테스트셋 오차가 줄지 않으면 학습을 멈추게 하는 함수

▶ Csv : comma separated values file의 약자로, 콤마(,)로 구분된 데이터들의 모음이란 뜻 ▶ 헤더(header) : csv 파일에는 데이터를 설명하는 한 줄이 파일 맨 처음에 나옴 우리가 가진 csv 파일에는 헤더가 없음. 이에 names라는 변수를 통해 속성별 키워드를 지정해 줌

▶ 첫 번째 Dense는 입력층과 첫 번째 은닉층을, 두 번째 Dense는 출력층을 의미 ▶ 이항 분류 문제이므로 오차 함수는 binary_crossentropy를 사용하고, 최적화 함수로 adam을 사용함 ▶ softmax : 총합이 1인 형태로 바꿔서 계산해 주는 함수 → 합계가 1인 형태로 변환하면 큰 값이 두드러지게 나타나고 작은 값은 더 작아진다. 이 값이 교차 엔트로피를 지나 [1, 0, 0]으로 변하게 되면 우리가 원하는 원-핫 인코딩 값 (하나만 1이고 나머지는 모두 0인 형태)으로 전환된다 ▶ Sequential( ) 함수를 model로 선언해 놓고 model.add( )라는 라인을 추가하면 새로운 층이 만들어진다. ▶ Dense는 층의 구조를 결정 ▶ input_dim : 입력 데이터의..

# 시그모이드 함수 def sigmoid(x): return 1 / (1 + np.e ** (-x)) # 경사 하강법 for i in range(2001): for x_data, y_data in data: a_diff = x_data * (sigmoid(a*x_data + b) - y_data) b_diff = sigmoid(a*x_data + b) - y_data a = a - lr * a_diff b = b - lr * b_diff if i % 1000 == 0: # 1000번 반복될 때마다 각 x_data값에 대한 현재의 a값, b값을 출력합니다. print("epoch=%.f, 기울기=%.04f, 절편=%.04f" % (i, a, b))

입력 데이터를 다음 레이어로 어떻게 출력하느냐를 결정하는 역할이기 때문에 매우 중요. 즉, 활성화 함수는 입력을 받아서 활성화 또는 비활성화를 결정하는 데에 사용되는 함수