tf.layers.dense 알아보기 (tf.tensordot ,tf.matmul)

주로 나는 tensorflow를 사용하는 유저이다. 그래서 보통 fully connected layer를 사용할 때 필자는 weight와 bias를 다 지정하고 곱하고 더하는 식으로 한다. w = tf.get_variable("w" , [in_dim,out_dim]) b = tf.get_variable("b" , [out_dim]) logit = tf.matmul(x,w)+b 왜냐하면 좀 더 weight에 특정한 짓(spectral norm) 같은 것을 구현하려면 high level api인 tf.layers.dense를 사용하면 안 되기 때문이다. 그래서 이번에 어쩌다 3 dimension을 다르고 있는데, 신기하게 tf.layers.dense가 작동하는 것을 확인하였고, 내부에서 어떻게 돌아가는지 확..

2020.04.24