TODO) Deepmind) nowcasting 알아보기

우연히 유튜브를 보다가, 날씨 예측 관련해서 딥마인드가 논문을 냈다는 것을 접하게 됐는데, 내용에서 GAN이 나와서 살펴보려고 한다. 

아래 동영상도 어렵지 않게 쉽게 잘 설명해주시는 것 같아서

추천한다.

 

https://www.youtube.com/watch?v=rt0fjq7SSE0

 

Our latest research and state-of-the-art model advances the science of Precipitation Nowcasting, which is the prediction of rain (and other precipitation phenomena) within the next 1-2 hours. In a paper written in collaboration with the Met Office and published in Nature, we directly tackle this important grand challenge in weather prediction.

 

 

 

기존의 NWP(Numerical Weather Prediction) 같은 경우는 짧은 시간내에 변화하는 것은 어렵다는 단점이 있는 것을 해결하기 위해 새롭게 연구한 논문인 것 같고 흥미로운 점은 GAN으로 이러한 것을 예측한다고 하는데 좀 더 자세히 읽어봐야 할 것 같다!

 

기존의 NWP는 Pyhsical equations을 품으로써, 몇일 뒤에 날씨에 대한 것을 제공하지만,

그러나 그들은 2시간 미만의 짧은 리드 타임에 대해 고해상도 예측을 생성하는 데 어려움을 겪고 있습니다. Nowcasting은 이 중요한 시간 간격에서 성능 격차를 채운다고 한다. 

 

이러한 짧은 리드 타임에 대해서 시간 간격을 채워주는 Nowcasting은 물 관리, 농업, 항공, 비상 계획 및 야외 행사와 같은 분야에 필수적이라고 한다. 

 

기상 감지의 발전으로 지상에서 강수량을 측정하는 고해상도 레이더 데이터를 고주파에서 사용할 수 있게 되었습니다(예: 1km 해상도에서 5분마다). 기존 방법이 어려움을 겪고 있는 중요한 영역과 고품질 데이터의 가용성이 결합된 이러한 조합은 머신 러닝이 nowcasting에 기여할 수 있는 기회를 제공한다고 한다.

 

 

 

저자들은 현재 예측되는 비에 초점을 맞춥니다. 강우량, 시기 및 위치를 캡처하는 최대 2시간 전의 예측입니다.

우리는 과거 레이더를 기반으로 미래 레이더에 대한 상세하고 그럴듯한 예측을 하기 위해 생성 모델링으로 알려진 접근 GAN 방식을 사용합니다

즉, 이것은 결국에 개념적으로 이것은 레이더 동영상을 생성하는 문제입니다.

이러한 방법을 사용하면 대규모 이벤트를 정확하게 포착할 수 있는 동시에 많은 대체 비 시나리오(앙상블 예측이라고 함)를 생성하여 강우 불확실성을 탐색할 수 있다.

저자는 저자의 연구 결과에 영국과 미국의 레이더 데이터를 사용했다.

 

저자는 특히 이 모델들이 사람과 경제에 가장 큰 영향을 미치는 사건인 중 호우에 대한 예측을 할 수 있는 능력에 관심이 있었습니다. 그리고 저자는 경쟁적인 다른 방법에 비해 통계적으로 유의한 개선을 보여줍니다.

 

그리고 중요한 것은 기상청의 50명 이상의 전문가에게 인지 평가를 물어봤는데 기존의 사용하는 방법보다 nowcasting의 방법을 첫 번째 선택으로 평가했다고 합니다.

 

다른 모델에 비해 훨씬 DGMR이 좀 비슷한 결과인 것을 보여주는 그림인 것 같습니다.

 

 

일단 이 아키텍처만 보면 기존의 방식과 동일하게 하나의 Generator(Radar Generator)에서 데이터를 생성하고, 

이것을 2개의 Discriminator를 태우는 방식인데, Temporal Discriminator , Spatial Discriminator 2개에 대해서 평가를 받는 방식인데, 밑에서 글을 읽어 보니 다음과 같은 글이 있었다.

 

Architectural Details. The generator consists of two main modules: the conditioning stack, which
creates a conditioning representation from previous radar observations; and the sampler, which generates
18 predictions of future radar from the conditioning representation. As the sizes of inputs to, and
predictions from, the model are different during training than evaluation, we first describe the model
during training before discussing modifications for evaluation. These descriptions are accompanied by
schematic description in Extended Data Figure 1.

 

Generator

• the conditioning stack, which
  creates a conditioning representation from previous radar observations
• the sampler, which generates
  18 predictions of future radar from the conditioning representation.

 

conditioning stack

256x256 radar -> 2x2 패치를 쌓음으로써, 128x128x4(2x2) 로 변환된다.

 GRPU를 통해서 5분부터 90분까 (5X18) 총 18개의 그림을 순차적으로 생성한다. 

신기한 것은 이때 down sampling을 사용하여요 레이더를 전처리한다. 

 

(TODO: 다음에 시간있을 때 보기)

 

 

Temporal 판별기에 대한 입력은 4개의 상황별 레이더 프레임으로 구성된 시퀀스입니다.
시간 축을 따라 예측(생성기 단계의 경우) 또는 예측 또는 대상(판별자 단계의 경우).

 

(음 어렵...) (TODO: 다음에 시간 있을 때 보기)

Objective Function

 

 

몬테 카를로 법을 통해서 기대값을 계산하였다고 한다. 인풋당 여섯 개의 샘플을 사용하여 계산했다고 한다. 

gird cell regularizer는 ground truth와 평균 예측이 가깝게 하는 것을 의미

 

 

 

역시나 어렵...

개인적으로 비슷한 일을 다른 방식으로 시도해본 적이 있는데, 이 방식이 좀 더 적절한 시뮬레이션인 것 같다.
하지만 이렇게 했을 때 이 모델 하나를 1년동안 쓸 수 있는 모델인지는 모르겠다? 

매일 학습을 다시 해야하는 모델이 되야하지 않나 싶다.

https://deepmind.com/blog/article/nowcasting

Nowcasting