딥러닝 (1)

8-1 신경망의 개념 및 다층화

신경망

• 인간 두뇌의 생리적 활동을 모방하는 계산적 모델을 통해 인공지능을 구현하려는 시도
• 1943년 제안된 맥컬룩-피츠(McCulloch-Pitts)모델이 신경 세포의 과정을 수학적 모델로 만든 것 중 가장 널리 알려져 있음

• 맥컬룩-피츠 모델의 가설
  • 인공 신경 세포는 활성화되거나 활성화되지 않은 2가지 상태를 가짐
  • 어떤 인공 신경 세포를 작동하게 하려면 2개 이상의 고정된 수의 시냅스가 일정한 시간 내에 활성화되어야 함
  • 신경 시스템 내에서 유일하게 의미 있는 시간 지연은 시냅스 지연
  • 억제적인 시냅스는 그 시각의 뉴런 활성화를 절대적으로 방지
  • 신경망의 구조는 시간에 따라 변하지 않음

퍼셉트론

• 1958년 프랭크 로젠블랏이 제안한 신경망 모델
• 인공 신경 세포의 구조를 확장해 네트워크 형태의 계산 모델로 표현한 것

다층 퍼셉트론

• XOR 문제를 해결

역전파

• 순전파에 따라 결정된 값을 최적화하기 위해 이와 반대로 진행하면서 W, b 값을 조정하는 개념

 

8-2 다양한 인공지능 모델

소프트웨어 인공지능 모델의 종류

• RBF망
  • 어떤 함수를 RBF(Radial Basis Function) 함수들의 선형 결합 형태로 근사시키는 모델로, 군집화를 위한 분류에 사용
  • 은닉 계층이 한 층만 있으며, 각 은닉 단위는 RBF
  • 역전파 알고리즘과 유클리디안 거리를 사용

• 자기 조직화 지도(Self Organizing Feature Map, SOM)
  • 인간의 대뇌피질 중 시각 피질의 학습과정을 모델화한 인공 신경망
  • 사람의 눈으로 볼 수 있는 저차원 격자에 고차원 데이터의 객체가 대응하도록 해 군집을 도출하는 방법

• 홉필드 망(Hopfield Network)
  • 학습 패턴에 대해 계산된 고정 가중치 행렬을 저장하고, 입력 패턴이 들어올 때마다 가중치 행렬을 이용해 입력 패턴에 대한 학습 패턴을 연상하고 맞으면 종료하고, 맞지 않으면 가중치와 입력 패턴을 다시 조작해 수행하는 방식
  • 최적화나 연산 기억 등에 사용

 

8-3 딥러닝 모델

• 다층 퍼셉트론은 층이 많아지면 전체 레이어의 변수가 최적화(학습)되지 않는 문제점 발견
• 해당 문제의 원인은 시그모이드 함수의 특성
• 초깃값을 잘 설정하고 시그모이드 대신 ReLU 함수를 포함한 다른 함수를 통해 해결
• 기존 연구와의 차별성을 위해 '딥러닝'으로 명명

딥러닝 활성화 함수

• 시그모이드 함수
  • 로지스틱(Logistic)함수라고 하며 y값은 x값의 변화에 대해 0~1 사이의 값을 가짐
  • 함수의 중심값이 0이 아니므로 학습이 느려질 수 있고, 딥러닝 환경에서 학습이 잘되지 않음

 

• 탄젠트 함수(Tangent Function)
  • 함수의 중심값을 0으로 옮겨 시그모이드 함수의 최적화 과정이 느려지는 문제 해결

• ReLU 함수(Rectified Linear Unit Function)
  • 학습을 빠르고 간단하게 구현할 수 있음
  • 딥러닝에서 잘 학습되므로 가장 많이 사용

• Leakly ReLU
  • ReLU에서 0으로 수렴해 뉴런이 죽는 현상(dying ReLU)을 해결하기 위해 고안된 함수
• PReLU
  • Leakly ReLU에 새로운 파라미터를 추가해 'x < 0'에서 기울기를 학습할 수 있게 한 함수
• ELU(Exponential Linear Unit)
  • ReLU의 장점을 유지하면서 뉴런이 죽는 현상을 해결하고, 출력이 거의 0에 가까움
• Maxout 함수
  • ReLU의 장점을 유지하면서 뉴런이 죽는 현상 해결
  • 계산이 복잡

딥러닝 모델의 특징 및 분류

• 딥러닝 신경망은 원데이터에서 바로 딥러닝 신경망을 통해 특징 추출과 문제 해결을 동시에 수행해 결과를 얻음
  • 데이터의 터무니 없는 효과

• 지도학습에 속하는 모델은 순전파와 역전파 동시 사용, 비지도학습에 속하는 모델은 순전파만 사용

 

 

 

 

 

※ 해당 내용은 <인공지능 바이블>의 내용을 토대로 학습하며 정리한 내용입니다.