이것저것 공부 기록하기

순전파(Forward propagation) 뉴럴 네트워크 모델의 입력층부터 출력층까지 순서대로 변수들을 계산하고 저장하는 것을 의미한다. 한개의 은닉층(hidden layer)를 갖는 딥 네트워크를 예로 들어 단계별로 어떻게 계산되는지 살펴보자. 먼저, 은닉층의 가중치 파라미터인 W^(1)과 입력값 x를 곱하여 중간 변수 z를 정의한다. (간단하게 식을 구성하기 위해 편향(bias) 항목은 생략) 중간 변수 z를 활성화 함수(activation function)에 입력해서 벡터 길이가 h인 은닉층 변수를 얻는다. (은닉 변수 h도 중간 변수) 출력층의 가중치 W^(2) 만을 사용한다고 가정하면, 벡터 길이가 q인 출력층의 변수 o를 W^(2) x h로 계산할 수 있다. 손실 함수(loss functio..

제목: FastSpeech2: Fast and High-Quality End-to-End Text to Speech 저자: Yi Ren, Chenxu Hu, Xu Tan, Tao Qin, Sheng Zhao, Zhou Zhao, Tie-Yan Liu 소속: Zhejiang University, Microsoft Research Asia, Microsoft Azure Speech 발표: ICLR 2021 논문: https://arxiv.org/abs/2006.04558 오디오샘플: https://speechresearch.github.io/fastspeech2/ 1. Introduction Previous Work: FastSpeech - Non-autoregressive TTS 모델들 중, FastSpe..

추천시스템이란? 추천 시스템 : 아이템을 표현하는 다양한 방법(유저정보, 아이템 정보) 유저의 현 상황을 파악한 후 아이템을 추천하는 방법으로, 유저의 기호가 계속해서 변하는 것을 체크해야 함 cold start problem 개선 연구 필요 데이터마다 고유한 특성이 존재(ex. 이미지: 픽셀, object, 언어: 문법 등) 추천 시스템에서 주로 사용하는 데이터의 형태 categorical type 변수가 많아서 one hot encoding 된 데이터값이 많음 one-hot vector 특성상 데이터 차원이 크고 매우 sparse 함 학습을 위한 label 생성 방법 다양 Rating Matrix를 Matrix Factorization 을 통해 복원하는 방식 → Auto Encoder 계열 방식으로 ..

해당 포스트는 오렐리 책 '데이터 과학을 위한 통계'을 기반으로 작성되었으며, 코드를 제외하고 책에 등장하는 데이터 과학에 실질적으로 적용되는 큰 범주의 통계 이론을 집중으로 포스팅합니다. 소스 파일 다운로드는 https://github.com/andrewgbruce/statistics-for-data-scientists 에서 가능하며 또는 터미널에서 아래 명령어를 실행하여 참고하시면 됩니다. git clone https://github.com/andrewgbruce/statistics-for-data-scientists 데이터의 종류 1. 연속형 데이터(Continuous Data) : 일정한 범위 내에서 모든 값을 취하는 데이터 2. 이산 데이터(Discrete Data) : 정수 값을 취하는 데이터..