Shared Weight AutoEncoder 구현해보기

광고 한 번씩 눌러주세요. 블로그 운영에 큰 힘이 됩니다 :) 아래는 AutoEncoder의 구조를 나타냈다. AutoEncoder는 기본적으로 encoder르 차원 축소 후 decoder로 다시 원래대로 복원할 수 있게 하여 학습시킨다. 원래 기존 구조는 w1, w2, w3, w4 weight를 각각 만들어서 다시 X를 복원한다. 하지만 이런 구조에서 생각해보면 굳이 w3, w4가 필요하지 않다. 네트워크의 목적은 다시 X를 복원하는 것이므로 최적화하는 파라미터의 수를 줄이기 위해서 w1 , w2를 transpose를 통해서 구할 수 있다. 네트워크 구조는 아래와 같다. 이런 식의 구조를 활용하면 parameter의 수를 줄여서 더 빠르게 학습시킬 수 있을 것이라고 했던 것 같다. 암튼 나는 개인적으로..

2020.02.24