2018년 8월 19일 일요일

Teacher forcing

Teacher forcing is a strategy for training recurrent neural networks that uses model output from a prior time step as an input.

... the decoder learns to generate targets[t+1...] given targets[...t]conditioned on the input sequence.

https://machinelearningmastery.com/teacher-forcing-for-recurrent-neural-networks/

2018년 8월 15일 수요일

1/e





Understanding exponentially weighted averages



from Understanding Exponentially Weighted Averages (C2W2L04)
 https://www.youtube.com/watch?v=NxTFlzBjS-4

RMSprop



So that's RMSprop, and similar to momentum, has the effects of damping out the oscillations in gradient descent, in mini-batch gradient descent. And allowing you to maybe use a larger learning rate alpha. And certainly speeding up the learning speed of your algorithm.

from Andrew Ng's lecture
https://www.youtube.com/watch?v=_e-LFe_igno

2018년 8월 10일 금요일

2018년 4월 23일 월요일

1x1 Convolutions

1x1 Convolutions from Udacity

2017년 12월 28일 목요일

T표준점수

학생들 채점을 하다보니 필요한 표준점수..

http://blog.naver.com/PostView.nhn?blogId=oohyes0201&logNo=30031094911
http://archive.is/07qtY

Z-점수: 평균=0, 표준편차=1인 표준점수
        Z = (변수 - 평균) / 표준편차   <높은 점수 - 높은 성적>
        Z'= (평균 - 변수) / 표준편차    <낮은 점수 - 높은 성적>

 T-점수: 평균=50, 표준편차=10인 표준점수
        T = 10Z + 50    <높은 점수 - 높은 성적>
        T'= 10Z' + 50    <낮은 점수 - 높은 성적>

2017년 12월 14일 목요일

Virtualenv 환경 복사하기

On the first virtual env:

pip freeze > requirements.txt

On the second:

pip install -r requirements.txt


https://stackoverflow.com/a/11702289

2017년 11월 13일 월요일

process terminated with status -1 (Codeblocks)

Settings -> Environments

Terminal to launch console programs :
gnome-terminal -t $TITLE -x
인데, gnome-terminal 이 설치 안된 경우도 있음.

$ sudo apt-get install gnome-terminal

참고로 default는 다음과 같음
xterm -T $TITLE -e



2017년 11월 3일 금요일

2017년 10월 18일 수요일

2017년 8월 31일 목요일

when optimizing the cost function J

And so I find machine learning easier to think about when you have one set of tools for optimizing the cost function J, and when you're focusing on authorizing the cost function J. All you care about is finding w and b, so that J(w,b) is as small as possible. You just don't think about anything else other than reducing this.


https://www.coursera.org/lecture/deep-neural-network/other-regularization-methods-Pa53F

2017년 7월 1일 토요일

SimpleHTTPServer

이런게 buit-in으로 있었다니...

$ sudo python -m SimpleHTTPServer 80