딥러닝 (2)

8-4 제한 볼츠만 머신과 심층 신뢰 신경망

• 다층 퍼셉트로넹서 역전파 작업을 수행할 때 3개 층 이상이 되면 기울기 소실 문제(Vanishing Gradient Problem)가 발생해 입력값이 출력값에 영향을 미치지 못함
• 이는 모델 초기의 Weight에 대한 설정이 미숙하기 때문에 나타나는 문제
• 모델의 변숫값을 초기화하기 위한 방안으로 제한 볼츠만 머신(RBM: Restricted Boltzmann Machine) 제시

• 제한 볼츠만 머신은 2개 층으로 구성
• 제한 볼츠만 머신을 여러 층으로 쌓은 형태가 심층 볼츠만 머신

• 심층 신뢰 신경망(DBN: Deep Belief Network): 제한 볼츠만 머신을 이용한 다층화

8-5 오토인코더

• 입출력층의 뉴런 수가 동일하며, 1개의 숨어 있는 계층(Hidden Layer)을 갖는 신경망
• 비지도학습에 속하는 기법으로, 데이터에 대한 레이블이 주어지지 않은 상태에서 컴퓨터를 학습시키고, 데이터에 있는 어떤 관계를 찾아 내는 것에 목적이 있음

8-6 대립쌍 생성망(GAN: Generative Adversarial Net)

• 생성자(Generator)와 감별자(Discriminator)의 두 신경망 모델이 경쟁을 통해 학습하고 결과를 만듬

• 생성자는 실제 데이터를 학습하고, 이를 바탕으로 실제와 가까운 거짓 데이터를 생성
• 감별자는 생성자가 내놓은 데이터가 참인지, 거짓인지를 판별하도록 학습
• 해당 과정이 반복되면서 점점 더 실제에 가까운 거짓 데이터를 만듬
• 주로 이미지 생성에 활용하며 가상 인물 생성, 가짜 동영상 생성, 가짜 사진 및 그림의 제작에 활용
• 간단한 제품 디자인이나 손상된 이미지 복원에 효과적

8-7 다층 퍼셉트론

• 지도학습에 속하는 것으로 퍼셉트론을 입력층과 출력층만으로 구성하지 않고, 중간에 층을 많이 추가하는 모델

• 다층 퍼셉트론은 딥러닝의 가장 기본적인 모델

다층 퍼셉트론 모델의 활용

• 딥러닝에 속하는 모델은 주로 분류와 예측에 사용
• CNN은 다층 퍼셉트론을 바탕으로 만들어진 딥러닝 모델로 이미지를 인식해 분류와 예측을 수행하는 모델
• 순환신경망은 주어진 데이터를 바탕으로 다음에 무엇이 나올 것인지 예측하는 것에 특화된 딥러닝 모델

다층 퍼셉트론의 활용 예시

• MNIST: 손으로 쓴 0~9까지의 숫자 이미지 데이터

• 이미지가 28x28 크기이므로 입력은 784개
• 784개의 입력이 256개의 퍼셉트론을 가진 입력층과 완전히 연결
• 입력층은 256개 입력이 은닉층의 128개 노드와 완전히 연결
• 은닉층의 노드 숫자는 시행착오를 거쳐 가장 정확한 결과를 보이는 숫자로 결정
• 은닉층의 128개 노드는 출력층의 10개 노드와 완전히 연결
• 출력층의 결과에 소프트맥스 함수를 적용하면, 0~9로 구성된 출력층 노드 각각에 확률로 변환된 결과가 할당
• 가장 큰 확률을 갖는 노드의 숫자가 예측한 숫자

 

 

 

 

 

※ 해당 내용은 <인공지능 바이블>의 내용을 토대로 학습하며 정리한 내용입니다.