Sigmoid와 ReLU 예측 모델 비교

이번 시간에는 가장 많이 사용되는 신경망 모델 sigmoid와 relu를 사용해 볼 것이다. 

라이브러리

 

임의로 랜덤한 값으로 데이터 셋을 형성한뒤, 모델을 2가지로 분류하여 평가해볼 것이다. 

지금 까지 데이터를 임의로 생성하여 분포를 살펴보았다면, 이제는 모델을 사용해볼 것이다. x2는 결과Y, x1는 변수X로 사용할 것이다. 

model1에 시퀀스 객체를 선언하고 층별로 활성화함수를 집어넣는다. 이때, input_dim이 입력값 X, 마지막층에 인자 4가 아웃풋 Y가 된다. 아웃풋은 숫자가 아닌 타입이여햐 하기 때문에, softmax 활성화함수를 사용하며, softmax는 타입별로 확률 값을 반환하고 전체 합이 1이 된다. 이때, 가장 높은 확률, 1에 가장 가까운 값을 가진 index가 타겟일 확률이 가장 높은 값이다. 

정확도는 99.3% 를 가지며, loss 손실값은 0.06이다. 

 

마찬 가지로 마지막 층은 분류를 위해 softmax 활성화 함수를 사용한다. 

정확도는 98.9% 를 가지며, loss 손실값은 0.04이다. 랜덤 시드에 대해서 sigmoid가 정확도가 조금 더 높다.

 

예측 확인 결과만 보더라도 predict1 (sigmoid)보다 predict2(reLu)에서 예측과 불일치 하는 값들이 많이 발생한다.