1. 서 론
카오스적인(Chaotic) 역학 시스템은 해양학 및 기상학과 같은 실제 문제에서 관찰되는 비선형성, 경계 및 초기 조건에 대한 높은 민감도 등의 특성을 보인다. 역학 시스템의 이러한 특성은 작은 경계 및 초기장의 오차를 시간적으로 증폭시키기 때문에 장기 예측을 어렵게 만든다. 또한 부정확한 역학 모델과 많은 계산 비용은 예측의 어려움을 가중시킨다. 예를 들어 난류의 속도장을 정확하게 예측하려면 복잡한 Navier-Stokes 방정식을 수치적으로 풀어야 하고 이를 위해 많은 전산 자원이 필요하다. 기상 및 해양모델 그리고 기후모델 또한 카오스적인 역학시스템의 특성을 가지고 있으며, 오늘날 해양순환 및 기상 예측 그리고 기후 예측을 위해 수백 억에서 수천 억원에 이르는 슈퍼컴퓨터 또는 클러스터 컴퓨터가 사용되고 있다. 따라서, 미분방정식을 차분식으로 나타내어 연립방정식을 푸는 역학모델은 비용이 많이 소요되므로 이 방법을 대체할 수 있는 기계학습을 적용한 데이터 기반 모델링의 개발과 예측 시스템의 개발이 시도되고 있다(Kutz, 2013; Ham et al., 2019).
역학 시스템을 위한 데이터 기반 모델링은 데이터에서 역학을 추론하는 것을 목표로 한다(Kutz, 2013). 기계 학습의 회귀적인 방법은 데이터에서 역학 과정을 추론하는데 특히 적합하며 주어진 시스템의 상태를 안정적으로 재구성하는데 실용적인 것으로 입증되고 있다(Erichson et al., 2019). 매개변수가 훈련 자료에 과적합되지 않은 경우 입력 자료가 시간적으로 훈련 자료 영역의 바깥에 위치해 있더라도 데이터 기반 모델을 사용하여 예측을 수행할 수 있다. 최근, 예측을 위해 빠른 비선형 회귀를 수행할 수 있는 신경망 학습에 대한 관심이 높아지고 있으며, 재귀신경망(Recurrent Neural Networks; RNN)과 같이 시계열 예측을 위해 예측 과정에서 앞선 정보를 기억할 수 있는 메모리를 포함하는 재귀 단위로 구현되는 구조가 많이 사용된다. 이러한 재귀 단위 구조로 인해 신경망은 카오스적인 역학 시스템을 학습하고(Yu et al., 2017), 정확도 높은 미래 예측을 수행할 수 있게 된다(Yu et al., 2017; Wang and Li, 2018).
Lorenz 시스템은 Lorenz(1963)에 의해 제안된 카오스 이론의 미분방정식이다. 이 시스템은 기상학과 대기역학에서 사용되는 대기의 대류현상을 단순화한 방정식으로서, 변칙적인 기상 변동성을 설명하기 위해 제안되었다. 이 시스템은 적은 수의 간단한 미분방정식을 사용하여 대기 상태의 예측성에 관한 연구에 사용되어왔다. Lorenz 시스템의 주요 특징은 초기 예측에는 높은 정확도를 보이지만 시간이 지남에 따라 예측의 불확실성이 증가한다는 것이다. 이는 초기 조건의 작은 변동이 예측 결과에 큰 영향을 미치는 현상을 보여준다. 이를 Lorenz chaos라고 부르며, 진행 시간에 따라 대기의 상태를 예측하는 것이 얼마나 불확실한지를 상징적으로 나타낸다. Lorenz 시스템은 물리학, 기상학, 수학, 심리학 및 경제학 등 다양한 분야에서 혼돈 이론 및 예측 모델링의 개념을 이해하는 데 자주 사용되어 왔다.
Lorenz 시스템의 복잡성, 비선형성 그리고 초기값에 대한 높은 민감성으로 인하여 자료 기반 모델을 구축하고 예측을 수행하는 것은 매우 도전적으로 받아들여졌다. 최근 기계학습 분야가 비약적으로 발전함에 따라 Lorenz 시스템의 모의와 예측에 다양한 기계학습 기법을 적용한 자료 기반 모델이 시도되고 있다(Scher and Messori, 2019; Chattopadhyay et al., 2020a; Chattopadhyay et al., 2020b; Dubois et al., 2020). Chattopadhyay et al.(2020a)은 Reservoir Computing Echo State Network (RC-ESN), Artificial Neural Network (ANN), 그리고 Long Short-Term Memory를 갖는 Recurrent Neural Network (RNN-LSTM)을 적용한 Lorenz 시스템의 자료 기반 모델을 이용하여 그 성능을 비교하는 연구를 수행하였다. 이 연구에서는 예측 궤적과 오차를 분석하여 RC-ESN이 Lorenz 시스템의 단계 예측에 있어 ANN과 RNN-LSTM보다 훨씬 뛰어난 성능을 보인다는 것을 보였다. 다만, RNN-LSTM이 RC-ESN에 비해 단기 예측 능력은 떨어지지만, RNN-LSTM과 RC-ESN 모두 Lorenz 시스템의 장기 통계 재현 능력은 뛰어난 것으로 평가하였다. 또한, 기계학습 기법을 적용한 Lorenz 시스템의 자료동화도 시도되고 있다(Brajard et al., 2019; Dubois et al., 2020). 특히, 자료동화 과정에서 관측오차와 배경오차로부터의 차이를 최소화하는 최적화 과정이 기계학습의 최적화 과정과 매우 유사하여, 병렬계산 방식에서 유리한 기계학습 기법을 자료동화에 적용한다면 향후 계산 성능을 향상시키는데 크게 기여할 것으로 기대한다(Abarbanel et al., 2018).
이 논문에서는 데이터 기반 접근 방식을 사용하여 Lorenz 시스템의 해를 구하기 위한 데이터 기반 인공지능 모델을 구축했다. 이를 통해 카오스적인 역학 시스템의 해를 구하기 위해 데이터 기반 인공지능 모델이 미분방정식 차분화를 이용하여 해를 구하는 역학모델을 대체할 수 있는지 가능성을 진단하는 것이 목적이다. Lorenz 시스템의 카오스적인 특성을 재현하기 위해서 시간에 따른 종속성을 구현할 수 있는, 즉 과거 상태에 대한 메모리를 가지고 있는 재귀신경망(RNN)을 기본단위로 구성된 구조를 갖는 RNN-LSTM을 적용하였다(Zhang and Xiao, 2000; Dubois et al., 2020). 이로써 과거의 스텝들로 구성된 입력 자료로부터 여러 스텝 후의 미래를 예측할 수 있는 Lorenz 시스템의 데이터 기반 인공지능 모델을 구축하였다. 기존에도 기계학습을 적용한 Lorenz 시스템의 데이터 기반 인공지능 모델이 시도된 바 있으나(Scher and Messori, 2019; Chattopadhyay et al., 2020a; Chattopadhyay et al., 2020b; Dubois et al., 2020), 본 연구에서는 기존의 역학모델에 비해 예측 시간 간격을 늘려 계산 시간을 단축시켰다. 기존의 역학모델은 안정적인 수치해를 얻기 위해 실제 예측에 필요한 시간 간격보다 짧은 시간 간격으로 적분이 이뤄진다. 데이터 기반 인공지능 모델에서는 시간 간격에 따른 불안정성을 갖지 않기 때문에 예측 시간 간격을 증가시켜가면서 모델의 특성을 평가하였다. 2장에서는 모델 및 전략을, 3장에서는 결과를 제시할 것이며, 4장에서 요약 및 제언으로 이 논문을 끝맺을 것이다.
2. 모델 및 전략
2.1 Lorenz 시스템
Lorenz시스템은 Lorenz(1963)에 의해 제안된 Lorenz 방정식으로 구성된다. Lorenz 방정식은 세 개의 비선형 상미분 방정식으로 구성되어 있으며, 이 방정식을 통해 대기 상태의 변화를 모델링한다. 이 모델에서는 대기 상태를 대류강도, 상승기류와 하강기류의 온도차, 대류로 인한 성층의 변화로 표현하며, 초기 조건에 따라 대기의 움직임을 모의한다. Lorenz 방정식은 세 변수에 대한 1차 비선형 연립 상미분 방정식이며, 세 개의 매개변수 𝜎, 𝜌, 𝛽에 의존한다. Lorenz 방정식은 다음과 같다.
는 각각 대류강도, 상승기류와 하강기류의 온도차, 대류로 인한 성층의 변화를 나타낸다. 매개변수 𝜎, 𝜌, 𝛽는 각각 Prandtl number, 수정된 Rayleigh number, 수평수직 비율에 해당한다. Lorenz(1963)에서 사용된 매개변수 값들은 𝜎=10, 𝜌=28, 𝛽=8/3이며, 본 연구에서도 같은 매개변수 값들을 사용하였다.
Lorenz 시스템은 비선형적인 특성을 가지고 있다. 이는 모델에서 사용되는 방정식들이 단순한 직선적인 관계가 아니라, 비선형적인 상호작용을 나타낸다는 것을 의미한다. 비선형적인 특성은 대기와 해양의 예측에 중요한 영향을 미친다. 예를 들어, 대기와 해양의 상태를 설명하는 변수들은 서로 일정한 비율이나 관계를 보이지 않으며, 그들 간의 복잡한 상호작용이 예측 결과에 영향을 주며, 이는 예측이 불확실하고 오차가 누적되는 요인이 된다.
비선형성은 또한 초기 조건의 작은 변화가 예측 결과에 큰 영향을 미친다는 것을 의미한다. 작은 초기 조건의 차이가 미세한 시간이 지남에 따라 지수적으로 커져서, 예측 결과가 큰 차이를 보이게 된다. 이로 인해 Lorenz 시스템은 “나비 효과”를 잘 재현하는 것으로도 알려져 있다. 즉, 시스템 내의 아주 작은 섭동(perturbation)이 장기적으로 시스템 전체에 큰 변화를 일으킬 수 있다는 것을 의미한다.
Fig. 1은 Lorenz 시스템의 해를 3차원 공간에 나타낸 것이다. Lorenz 시스템은 𝜌에 따라 성질이 크게 달라진다. 특히, Lorenz(1963)에서 사용된 𝜌=28인 경우에, 모든 초기 조건에 대해 모델은 카오스적인 성격을 갖는다. 즉, 안정적인 값으로 수렴하지도 않고 일정값 이상으로 발산하지도 않으며 두 영역을 오가는 프렉탈 구조를 보인다. 이러한 특성으로 인하여 Lorenz 시스템은 기상학 및 해양학 등 다양한 분야에서 예측 모델링의 개념을 이해하는 데, 그리고 자료동화 기법을 시험하는데 자주 사용된다(Dubois et al., 2020).
2.2 자료기반 인공지능 RNN-LSTM 모델
이 논문에서는 RNN-LSTM 인공지능 기법을 적용하여 5개 (=5)의 이전 상태 를 입력하여 미래를 예측하는 Lorenz 모델의 자료기반 인공지능 모델(Lorenz-LSTM 모델)을 구축하였다. 선택된 아키텍처는 Fig. 2에 요약하여 나타내었다. 100개 (=100)의 LSTM 셀을 갖는 은닉층이 3개로 구성되었으며, LSTM의 은닉층으로부터 전달받은 최종 출력은 Dense 층에서 최종 출력되어 의 미래 상태를 예측하는데 사용되었다. 모델 학습과 예측 과정은 다음과 같다.
1.역학 모델을 구동하여 자료를 얻는다. 본 연구에서는 dt(모형 적분 간격) 을 0.01로 하여 10,000개의 표본을 얻었다. Lorenz 방정식을 역학모델을 이용하여 하나의 궤적만을 시뮬레이션했지만, 이는 상당한 상태 공간을 덮으며 RNN-LSTM 모델을 훈련하기에 충분한 것으로 판단하였다(Fig. 1 참조).
2.추출한 데이터를 훈련 세트와 테스트 세트로 분리한다. 이 논문에서는 데이터의 3/4을 훈련에 사용하고, 1/4을 테스트에 사용하였다. 과적합 가능성을 감지하기 위해 검증 데이터로 훈련 데이터의 25%를 사용하여 교차 검증을 먼저 수행하였다. 과적합을 막기 위해 신경망의 25%를 드롭아웃 레이어로 설정하였다.
3.입력자료와 목표로 하는 예측 자료를 준비한다(). 이 연구에서는 으로 2와 4로 자료를 구성하였으며, 원래 역학 모델의 시간 간격의 2배와 4배의 시간 간격의 Lorenz-LSTM 모델의 성능을 시험하였다. 최대한 많은 표본을 얻기 위하여 원래 역학모델의 시간 간격만큼 옮겨가면서 표본을 추출하였다. 즉, 훈련 자료는 이 어떤 값을 갖던지 , 과 같이 역학모델의 시간 간격만큼 전진하며 얻어진 자료들로 구성된다(Fig. 3).
4.훈련 자료로부터 평가된 Root Mean Square Error (RMSE)를 최소화하여 네트워크에서 최적의 가중치와 편향을 찾는다. 이 논문에서는 최적화 알고리즘으로 ADAM (Kingma and Ba, 2014)을 적용하였다. 최적화 과정 중에 검증 세트에 대한 RMSE가 함께 계산되며, 훈련 자료와 검증 자료로부터 평가된 RMSE와 편향(Mean Absolute Error)을 평가함으로 과적합 여부를 진단하게 된다. 이 논문에서는 사용하지 않았지만, 과적합이 예상될 때는 최적화 과정을 중단할 수 있다. 구축된 RNN-LSTM모델은 각 LSTM 셀에 대한 모든 가중치와 편향 그리고 Dense층의 모든 매개변수를 포함하는 수많은 매개변수로 구성된다.
5.테스트 자료를 사용하여 최종 모델의 성능을 평가한다. 오차를 평가하는 지표로 정규화된 평균오차의 제곱(Normalized Mean Square Error; NMSE)을 사용하여 훈련 과정이 끝난 후에 마지막에 계산된다. NMSE는 다음 식으로 계산된다.
는 테스트 자료의 개수, 는 시간 에서의 참값, 는 예측값, 그리고 는 주어진 벡터의 놈을 나타낸다.
6.구축된 RNN-LSTM 모델을 이용하여 예측을 수행한다. Fig. 3에 예측 과정에 대한 개념도를 나타냈다. 예측을 위해서 과거 5개 스텝의 상태를 입력하며, 이때 5개의 스텝은 의 시간 간격을 갖는다. 5개 스텝의 입력자료로부터 후의 상태를 예측하고, 다음 과정에서 예측된 상태를 포함하여 5개 스텝의 입력자료를 새롭게 구성하여 그 다음 후의 상태를 예측하는 과정을 반복하게 된다.
3. 결 과
본 연구에서는 RNN-LSTM 모델을 훈련시키기 위해 Intel Core i5 2.9 GHz 중앙처리연산장치를 사용하였다. , =4인 두 모델을 구축하기 위해 모두 10,000개의 샘플을 얻어 그중 7,500개를 훈련에 사용하고 2,500개를 테스트 자료로 사용하였다. 두 모델 모두 훈련시키는데 약 20분이 소요되었으며, 최적화 과정인 에포크에 따른 손실함수를 Fig. 4에 나타내었다. 두 모델의 에포크의 수가 다른 것은 당초 에포크를 100으로 설정하였으나, 과적합을 회피하고자 최적화 과정 중에 훈련을 중단했기 때문이다. Fig. 4에서 두 모델 모두 손실함수값이 평균오차보다 큰 것을 확인할 수 있으며, 과적합 전에 훈련이 중단되었음을 확인할 수 있다.
Lorenz 시스템을 역학모델을 이용하여 구한 해로부터 그려지는 Lorenz Attractor 는 초기 조건에 매우 민감하고 비선형적인 특성을 가지고 있어 예측하기 어려운 Lorenz 시스템의 특성을 잘 나타낸다. 국지적으로는 닻을 중심으로 회전하는 듯한 안정적인 구조를 가지지만 전역적으로는 카오스적인 특성을 갖는다. 다시 말해, 특정 시간 내에서는 하나의 닻을 중심으로 안정적인 구조 내에서 일정하게 진행되지만, 시간이 지나면서 또 다른 닻으로 전이되어 이를 중심으로 한동안 일정한 운동을 하게 된다. 그러다, 다시 전이 과정이 일어나는 과정을 반복한다. 매우 작은 변화가 결과에 큰 영향을 미치므로, 예측을 위해서는 이론적으로 지수적인 계산량이 필요하다. Lorenz 시스템의 이러한 특징은 해양과 대기의 역학모델에 기반한 예측 분야에 시사하는 바가 매우 크다. 해양과 대기의 역학모델이 이와 같이 초기 조건에 민감하고 비선형적인 특성을 가지고 있기 때문에, 모델을 정교하게 만들고 해상도를 높인다 할지라도 자료동화를 통한 초기 조건의 갱신이 없으면 예측의 정확도를 유지할 수 없음을 시사한다.
Fig. 5는 RNN-LSTM 모델을 이용하여 자료기반으로 구한 해가 기존의 Lorenz방정식을 차분하여 구성된 역학모델의 해와 유사한 비선형적 특성을 잘 나타내고 있음을 보여준다. 비록 RNN-LSTM 모델로 얻은 해가 역학 모델을 이용하여 구한 해를 그대로 따라가지는 않지만, 이는 앞서 기술한 바와 같이 Lorenz 시스템의 비선형 특성과 초기자료에 대한 높은 민감성으로 인해 작은 초기값의 차이로 인해 오차가 커지기 때문으로 생각할 수 있다. 그럼에도 불구하고 RNN-LSTM 모델 또한 역학모델에서 나타났던 두 곳의 닻을 중심으로 운동하며 그 사이를 전이하는 특성을 잘 나타내고 있으며, 따라서 자료기반 RNN-LSTM이 미분방정식을 차분하여 해를 구하는 역학모델의 역할을 수행할 수 있음을 보여준다.
Lorenz(1963)은 Lorenz 시스템의 특성 중 하나로 “결정론적 불규칙 흐름(Deterministic non-periodic flow)”을 제시하였다. 이는 시스템이 비록 비선형적인 불규칙성을 갖지만, z의 선행 최대값이 주어지면 후속 최대값이 결정된다는 개념이다. RNN-LSTM 모델을 이용하여 구한 해도 “결정론적 불규칙 흐름”의 특성을 재현하는지 알아보기 위해, Fig. 6에서 z의 선행 최대값과 후속 최대값을 2차원 평면에 나타내었다. Fig. 6(a)에서 나타낸 바와 같이 z의 최대값을 추출하여 시계열 자료를 얻었으며, Fig. 6(b)-(d)에 선행값과 후속값을 2차원 평면에 나타내었다. Fig. 6(b)에서 보는 바와 같이 Lorenz 역학모델은 부드러운 곡선의 모양을 나타내며, z의 선행 최대값이 주어지면 후속 최대값이 결정되는 구조를 잘 보여준다. 비록 RNN-LSTM 모델로 구한 해가 다소 불연속적인 점들로 나타나지만(Fig. 6(c)-(d)), 두 모델 모두 “결정론적 불규칙 흐름”을 재현하는 것으로 판단하였다. RNN-LSTM모델에서 다소 불연속적인 점들로 나타나는 것은 시간 간격이 또는 로 역학모델의 보다 성기기 때문일 수 있으며, 훈련 샘플의 수가 부족하기 때문일 수도 있다.
Lorenz 시스템의 해는 또한 분기(bifurcation)하는 특성을 갖는다. Fig. 7는 Lorenz 방정식의 해를 Y-Z 평면에 X값을 색으로 나타낸 것이다. 앞서 Fig. 5에서 설명한 바와 같이 Fig. 7에서도 두 개의 닻을 중심으로 움직이는 운동을 관찰할 수 있다. 그런데, Fig. 7(a)에서 보는 바와 같이 Z 가 값이 작을 때는 두 개의 닻이 갖는 X의 값이 비슷하지만, Z의 값이 클 때는 두 개의 닻이 갖는 X의 값이 분기하는 것을 알 수 있다. 이를 평면으로 표현하면 Z가 값이 작을 때는 하나의 평면상에 위치해 있다가 Z 가 커지면 서로 다른 평면이 위 아래로 겹치지는 모양을 갖는다. 이는 작은 변화에 의해서 하나의 닻에서 다른 닻으로 운동이 전이하기 쉬운 구조를 나타낸다. RNN-LSTM 모델을 이용하여 구한 해도 Lorenz 시스템의 분기하는 특성을 잘 나타내고 있다. 다시 말해 Z가 큰 평면에서 두 평면의 값이 겹쳐지는 모습을 관찰할 수 있다.
4. 요약 및 제언
이 논문에서는 RNN-LSTM을 적용하여 앞선 단계의 Lorenz 시스템의 상태를 입력하여 다음 단계를 예측하는 데이터 기반 인공지능 모델을 구축했다. 이를 통해 데이터 기반 인공지능 모델이 카오스적인 역학 시스템을 대체할 수 있는지 가능성을 진단하였다.
예측된 상태를 새로운 입력값으로 사용하여 동적 모델을 실행할 때, 오차가 각 예측마다 누적되어 시계열 데이터의 부정확한 예측을 유발하는 것으로 보인다. 이로 인해 Lorenz 역학모델로부터 얻은 자료를 훈련자료로 활용했음에도 RNN-LSTM 모델의 해가 원래의 Lorenz 역학모델을 따르지 않는 것으로 보인다. 시스템의 카오스적인 특성으로 인해 초기 조건의 작은 오차가 근본적으로 다른 결과를 만들어내게 된다. 그러나 이는 Lorenz 시스템의 고유의 특성에 해당하는 것으로 RNN-LSTM 모델이 Lorenz 역학모델의 특성을 어느 정도 모사하는지 평가하는 것이 본 연구의 목적에 부합한다고 할 수 있다. 따라서 본 연구에서는 3가지 특성을 중심으로 살펴보았다.
첫째, RNN-LSTM 모델 또한Lorenz 방정식을 차분하여 해를 구하는 역학모델과 마찬가지로 안정적인 두 개의 닻을 중심으로 운동하지만 전이 과정을 반복하는 카오스적인 특성을 갖는다. 둘째, RNN-LSTM 모델은 “결정론적 불규칙 흐름(Deterministic non-periodic flow)”의 특성을 재현한다. 셋째, RNN-LSTM 모델로 구한 해도 Lorenz 시스템의 분기 현상을 재현한다.
이 연구에서는, 또한, RNN-LSTM 모델의 적분 시간 간격을 역학모델보다 2배 그리고 4배로 설정하였다. 역학 모델의 경우 적분 시간 간격의 제한으로 인하여 모델 적분을 위한 시간과 자원이 많이 소요된다. 역학 모델을 안정적으로 구동하기 위해서는 실제로 요구되는 예측 간격보다 수 배에서 수십 배 짧은 모델 적분 시간 간격이 요구된다. 그러나 자료기반 모델은 이러한 적분 시간 간격의 제한을 받지 않으며 따라서 적분 시간의 단축과 전산자원을 절감할 수 있는 장점을 갖는다. 비록 이 연구에서는 단순한 Lorenz 시스템에서 수행한 것이지만, 비선형성이 강한 해양 및 대기 현상을 모의하는 데 있어서 자료기반 RNN-LSTM 모델이 지배 역학 미분방정식을 차분하여 해를 구하는 역학 모델을 대체할 수 있는 가능성을 보였다는데 의미가 크다고 할 수 있다.
이 논문에서는 그리드 탐색이나 유전자 최적화를 통해 시스템 최적화를 시도하지 않았다. 보다 정밀한 모델 구축을 위해서는 뉴런의 수, 은닉층의 수 및 활성화 함수에 대한 최적화 과정이 필요할 것이다. 또한 향후 연구 주제로 자료기반 모델을 위한 자료동화 기법을 시도해볼 가치가 있다. 카오스적 특성을 갖는 시스템에서 예측시스템 개발을 위하여 초기장의 업데이트가 주기적으로 필요하며 이를 위해 자료동화 기법을 도입할 필요가 있다. 이를 통해 자료기반 인공지능 모델의 활용성을 확대할 수 있을 것으로 기대한다.









