[ Python ] Tensorflow max norm 적용하기

맥스 노름 규제 주기 각 가중치에 특정 threshold로 제한하는 방식 threshold를 1을 줘서 최대 노름이 1이 되도록 가중치를 clipping 하는 연산 수행 clip_by_value로 줄 수도 있지만, norm으로 주는 것도 좋음. 맥스 노름 규제 같은 경우에는 전체 손실 함수에 규제 손실 항을 추가할 필요 없음 그래도 훈련이 끝나고 clip_weghts를 실행시켜야 하므로 값을 얻어야 함. 그래서 훈련이 끝나고 실행시켜줘야함. def max_norm_regularizer(threshold, axes=1, name="max_norm",collection="max_norm"): def max_norm(weights): clipped = tf.clip_by_norm(weights, clip_no..

2019.09.28