자연어 처리 (5)

2-6 텍스트 생성

기계 번역

• 자동화된 번역을 말하며, 언어를 또 다른 언어로 번역하는 기능 제공
• 구문 기반의 기계 번역
  • 번역 모델: 원래 언어 구문과 목적 언어 구분을 대조하는 사전이 있고, 대조 구문 각 쌍에 각각의 점수를 부여한 상태로 저장
  • 정렬 모델: 디코딩할 때 정렬하는 것이 자연스러운 형태인지 확률로 추정한 후 필요에 따라 정렬
  • 언어 모델: 출력할 구문을 유려한 문장으로 만드는 작업 수행

자동 요약

• 같은 요약은 같은 언어 안에서 문장을 변환하는 것

• 자동 요약
  • 단일 문서에 적용할 때 주로 사용하는 추출형 요약을 위한 기술
  • 통계 요약(Maximal Marginal Relvance, MMR) 알고리즘 사용
  • 증가하는 문서를 효과적으로 정리하는 방안으로 도입된 것

이미지의 설명 추가 및 기타 분야

• 집중 메커니즘: 입출력 과정에서 문맥 벡터라는 중간 노드에 데이터를 압축해 번역의 정확도를 높이는 것
• 이미지에 설명을 추가하는 캡션 생성은 이미지나 동영상에 있는 이미지에 발생하는 것이 대한 이해를 연구하는 분야
• 음악 생성
• RNN을 이용한 영화 각본 생성

텍스트 생성에 관한 구현 사례: GPT

• GPT는 특정 주제에 대한 텍스트를 생성하는 기능 수행

 

2-7 자연어 처리의 도구

• CoreNLP
  • NLP의 예측 및 분석을 대규모로 수행할 수 있게 해 주는 실용 단계의 라이브러리
  • 자바로 작성되었으며, 파이썬에서도 사용 가능
  • 문법 태깅, 명령 엔티티 인식, 파싱, 구문 분석 등 많은 도구가 포함
• Gensim
  • 문서의 구조를 분석한 후 문서 사이의 유사도를 계산하고, 이를 바탕으로 다른 문서에 점수를 부여해 텍스트 분석을 돕는 기능 제공
  • 자연어를 벡터로 변환하는 데 필요한 대부분의 편의 기능을 제공하는 라이브러리
• NLTK(Natural Language Toolkit)
  • 가장 많이 사용하는 파이썬 NLP 라이브러리
  • 텍스트를 다루기 위한 다양한 도구 제공
  • 분류, 토큰화, 태킹, 파싱 등이 이에 속함
• Pattern
  • 웹 사이트를 스크래핑 해 분석하는 기능 제공
  • 작은 크기의 파이썬 모듈로 이용할 수 있음
• KoNLPy
  • 한글에 특화된 NLP 라이브러리
• Scikit-Learn
  • 인공지능이나 통계적 처리에 관련된 기능을 종합적으로 제공
  • NLP에 관련된 기능과 BOW 벡터를 만들거나 처리하는 기능 제공

 

 

 

※ 해당 내용은 <인공지능 바이블>의 내용을 토대로 학습하며 정리한 내용입니다.