1. 서 론

카오스적인(chaotic) 역학 시스템은 해양학 및 기상학과 같은 실제 문제에서 관찰되는 비선형성, 경계 및 초기 조건에 대한 높은 민감도 등의 특성을 보인다. 역학 시스템의 이러한 특성은 작은 경계 및 초기장의 오차를 시간적으로 증폭시키기 때문에 장기 예측을 어렵게 만든다. 또한 역학 모델의 오차와 많은 계산 비용은 예측의 어려움을 가중시킨다(Lorenz, 1963; Kutz, 2013).

기상 및 해양 예측 분야에서는 초기 조건의 불확실성을 줄이기 위해 자료동화(data assimilation) 기법이 널리 사용되고 있다. 그 중 4차원 변분 자료동화(4D-Var)는 일정 시간 구간에 걸쳐 관측 자료와 모델 예측 간의 차이를 최소화하는 비용함수를 정의하고, 수반 모델(adjoint model)을 이용하여 비용함수의 기울기를 계산함으로써 최적의 초기 조건을 찾아가는 기법이다(Le Dimet and Talagrand, 1986; Talagrand and Courtier, 1987). 그러나 4D-Var를 실용적으로 적용하기 위해서는 두 가지 주요한 어려움에 직면하게 된다. 첫째, 수반 모델의 개발이 매우 어렵고 시간이 많이 소요된다. 둘째, 복잡한 역학 모델의 순방향 모델 적분과 수반 모델 적분에 상당한 계산 자원이 요구된다.

최근 기계학습 분야의 비약적 발전에 따라 Lorenz 시스템의 모의와 예측에 다양한 기계학습 기법을 적용한 자료기반 모델이 시도되고 있다(Scher and Messori, 2019; Chattopadhyay et al., 2020; Dubois et al., 2020). Kim et al.(2023)은 RNN-LSTM을 적용하여 Lorenz 시스템의 자료기반 인공지능 모델을 구축하고, 이 모델이 Lorenz 시스템의 카오스적인 특성을 재현할 수 있음을 보였으며, 적분 시간 간격을 늘려 계산 시간을 단축시킬 수 있는 자료기반 모델의 장점을 제시하였다. 또한, 자료기반 모델을 위한 자료동화 기법의 연구를 향후 연구 과제로 제안하였다.

자료기반 인공지능 모델을 4D-Var 자료동화에 활용하면 두 가지 주요한 이점이 있다. 첫째, 자동미분(automatic differentiation) 기술을 이용하면 AI 모델의 수반 모델을 별도로 도출하고 코딩하지 않고도 자동으로 정확한 기울기를 계산할 수 있다(Baydin et al., 2018). 이는 기존 역학 모델에서 수반 모델의 개발에 수 개월에서 수 년이 소요되는 것과 비교하면 매우 큰 장점이다. 둘째, 신경망 모델은 역학 모델에 비해 큰 시간 간격으로 적분이 가능하므로, 순방향 및 수반 적분의 단계 수를 크게 줄일 수 있어 계산 효율성을 향상시킬 수 있다.

이 논문에서는 Kim et al.(2023)의 연구를 확장하여, 다층 퍼셉트론(MLP) 신경망을 이용한 Lorenz 시스템의 자료기반 AI 모델을 구축하고, 이 AI 모델을 기반으로 4D-Var 자료동화 시스템을 개발하였다. 구체적으로, (1) MLP 기반 AI 모델의 구축과 Lorenz 시스템 특성의 재현 능력 진단, (2) 자동미분을 이용한 접선형 모델과 수반 모델의 구축 및 검증, (3) AI 기반 4D-Var 자료동화 시스템의 구축과 자료동화 성능 평가, (4) 계산 성능의 최적화와 전통적 4D-Var와의 비교, (5) 물리 기반 예측과 AI 보정을 결합한 잔차 학습(residual learning) 기법의 적용과 성능 평가, (6) 세 가지 접근법(Classical 4D-Var, AI-NP, Res-NP)의 비교 분석과 대규모 역학 시스템(해양순환모델) 적용 가능성의 논의, 그리고 (7) 다양한 초기 조건과 배경장 섭동 크기를 조합한 앙상블 실험을 통한 자료동화 성능의 통계적 검증을 수행하였다. 2장에서는 모델 및 방법론을, 3장에서는 결과를 제시할 것이며, 4장에서 요약 및 제언으로 이 논문을 마무리한다.

2. 모델 및 방법론

2.1 Lorenz 시스템

Lorenz 시스템은 Lorenz(1963)에 의해 제안된 세 개의 비선형 상미분 방정식으로 구성된다:

여기서 x, y, z는 각각 대류강도, 상승기류와 하강기류의 온도차, 대류로 인한 성층의 변화를 나타낸다. 매개변수 σ, ρ, β는 각각 Prandtl 수, 수정된 Rayleigh 수, 수평수직 비율에 해당한다. 본 연구에서는 Kim et al.(2023)과 동일하게 σ=10, β=8/3을 사용하였으나, ρ=32로 설정하여 보다 강한 카오스적 특성을 갖도록 하였다.

역학 모델은 Euler 전진 차분법을 적용하여 시간 간격 Δt=0.01로 수치 적분하였다. 하나의 시간 단계에서의 전진 적분은 다음과 같다:

2.2 자료기반 인공지능 MLP 모델

Kim et al.(2023)에서는 RNN-LSTM을 적용하여 과거 5개 시간 단계의 상태로부터 다음 상태를 예측하는 모델을 구축하였다. 본 연구에서는 보다 단순한 구조인 다층 퍼셉트론(MLP)을 적용하였다. MLP는 현재 시간 단계의 상태 (xn,yn,zn ) 하나만을 입력으로 받아 다음 시간 단계의 상태 (xn+1,yn+1,zn+1)를 출력하는 구조를 갖는다. 이는 Lorenz 시스템이 Markov 성질을 가지므로 (즉, 미래 상태가 현재 상태에만 의존하므로) 과거 여러 단계의 정보가 필요하지 않기 때문이다.

AI 모델의 시간 간격은 역학 모델의 10배인 ΔtAI=0.1로 설정하였다. 즉, AI 모델의 한 단계 예측은 역학 모델의 10단계 적분에 해당한다. 선택된 MLP 구조는 다음과 같다:

•입력층: 3개 뉴런 (x, y, z)

•은닉층 1: 128개 뉴런, Tanh 활성화 함수

•은닉층 2: 128개 뉴런, Tanh 활성화 함수

•은닉층 3: 128개 뉴런, Tanh 활성화 함수

•출력층: 3개 뉴런 (x’, y’, z’)

총 매개변수의 수는 33,923개이다(Table 1). 활성화 함수로 Tanh를 선택한 것은, 추후 자동미분을 이용한 접선형 모델과 수반 모델의 도출에서 매끄러운 기울기를 보장하기 위함이다. 또한 ReLU와 같이 원점에서 불연속인 활성화 함수는 수반 모델의 정확도에 악영향을 줄 수 있다.

입력과 출력 자료는 각각의 평균과 표준편차를 이용하여 정규화하였다:

여기서 μin,σin 은 훈련 입력 자료의 평균과 표준편차, μout, σout은 훈련 출력 자료의 평균과 표준편차이다.

2.2.1 훈련 자료의 다양성

초기 연구에서 하나의 궤적(초기 조건 (10, 10, 30)에서 2,000단계)으로부터 얻은 훈련 자료만으로 AI 모델을 훈련시킨 결과, 순방향 예측 성능은 양호하였으나 수반 모델의 기울기가 부정확해지는 문제가 발생하였다. 이는 AI 모델이 훈련 궤적 근방에서만 정확하고, 그 외 영역에서는 기울기(Jacobian)가 부정확하기 때문이다. 이 문제를 해결하기 위해 다음과 같은 다양한 훈련 자료를 생성하였다:

1.끌개 위의 점: 장기 적분 궤적(20,000단계, 초기 5,000단계 제거)에서 4,000개 점을 무작위 추출

2.섭동된 점: 끌개 위의 점에 표준편차 1.0의 가우시안 잡음을 더한 4,000개 점

3.광역 무작위 표본: 끌개의 경계 ± 5 범위에서 균일 분포로 추출한 2,000개 점

총 10,000개의 초기 조건에서 각각 역학 모델을 10단계(= ΔtAI) 적분하여 훈련 쌍 (입력, 출력)을 구성하였으며, 세 유형의 자료를 모두 합친 뒤 유형 구분 없이 순서를 무작위로 섞어 90%를 훈련에, 10%를 검증에 사용하였다. 무작위 분할이므로 세 유형의 구성 비율은 훈련 자료와 검증 자료에서 통계적으로 동일하게 유지된다.

2.2.2 훈련 과정

최적화 알고리즘으로 Adam을 적용하였으며(Kingma and Ba, 2014), 배치 크기 256, 초기 학습률 10^-3, 200 에포크마다 학습률을 0.5배로 감소시키는 스케줄러를 사용하여 총 800 에포크 훈련하였다. 손실 함수는 평균제곱오차(MSE)를 사용하였다.

Fig. 1은 본 연구에서 사용한 AI 모델의 구조와 4D-Var 자료동화 시스템의 개요를 보여준다. (a)는 순수 MLP 모델의 구조로, 입력 정규화 후 3개의 은닉층(Tanh 활성화)을 거쳐 역정규화된 출력을 생성한다. (b)는 잔차 학습 모델의 구조로, 물리 기반 Euler 전진 차분과 소형 MLP의 보정을 결합한다. (c)는 전체 AI 기반 4D-Var 시스템의 흐름으로, 순방향 적분, 관측과의 비교, 비용함수 계산, 수반 모델을 통한 기울기 계산, 그리고 L-BFGS-B 최적화기에 의한 초기 조건 갱신의 반복 과정을 나타낸다.

Fig. 1.

Overview of the AI model architecture and 4D-Var data assimilation system. (a) Pure MLP model: input normalization → 3 hidden layers (Tanh) → denormalization; 33,923 parameters for h=128. (b) Residual learning model: neural network correction added to the coarse physics-based prediction (Euler forward, dt=0.1); 659 parameters for h=16. (c) AI-based 4D-Var system: forward integration from the initial estimate x₀, computation of innovation vectors against observations, evaluation of the cost function J = J_b + J_o, gradient (∇J) computation via the adjoint model, and iterative updating of x₀ by the L-BFGS-B optimizer.

2.3 접선형 모델과 수반 모델

4D-Var 자료동화 시스템의 구축을 위해서는 순방향 모델의 접선형 모델(Tangent Linear Model; TLM)과 수반 모델(adjoint model)이 필요하다.

2.3.1 역학 모델의 접선형 모델과 수반 모델

Lorenz 방정식의 접선형 모델은 비선형 모델을 기본 상태 (xb,yb,zb) 주위에서 선형화하여 얻어진다:

수반 모델은 접선형 모델의 수반(전치) 연산자로서 다음과 같다:

여기서 λ = (λx,λy,λz )는 수반 변수이다.

위의 접선형·수반 방정식은 연속형 표현이며, 실제 구현에서는 Euler 전진 차분으로 이산화된 순방향 연산자 x_n+1 = x_n + Δt·f(x_n)에 대한 이산 수반(discrete adjoint)을 사용한다. 한 단계의 이산 수반은 λ_n = (I + Δt·J(x_n))ᵀλ_n+1로 주어지며, 여기서 J(x_n)은 x_n에서 평가한 f의 Jacobian, I는 단위 행렬이다. 수반 변수는 마지막 관측 시각에서 초기 시각까지 시간 역순(n = N−1, …, 0)으로 적분되며, 각 관측 시각에서 혁신 벡터에 비례하는 강제항이 더해진다. 위의 연속형 수반 방정식은 이산 수반의 Δt → 0 극한에 해당하고, 코드 구현이 이산 수반과 일치함은 3.2절의 기울기 검증을 통해 확인하였다.

2.3.2 AI 모델의 접선형 모델과 수반 모델

AI 모델(MLP)의 경우, 접선형 모델과 수반 모델을 별도로 도출하고 코딩할 필요 없이 자동미분(automatic differentiation)을 이용하여 정확하게 계산할 수 있다. 이는 AI 모델을 자료동화에 활용하는 가장 큰 장점 중 하나이다.

AI 모델의 순방향 연산을 M: ℝ³ → ℝ³로 표기하면, 접선형 모델은 Jacobian-벡터 곱(JVP)으로, 수반 모델은 벡터-Jacobian 곱(VJP)으로 계산된다:

•접선형 모델 (TLM): δy = (∂M/∂x) · δx (forward-mode AD, JVP)

•수반 모델 (ADJ): λx = (∂M/∂x)ᵀ · λy (reverse-mode AD, VJP)

본 연구에서는 PyTorch의 자동미분 기능을 이용하여, torch.autograd.functional.jvp로 접선형 모델을, torch.autograd. functional.vjp로 수반 모델을 구현하였다.

수반 모델의 정확성은 다음의 수반 항등식(adjoint identity)을 이용하여 검증하였다:

여기서 M은 접선형 연산자, ⟨⟩는 내적을 나타낸다. 이 항등식은 기계 정밀도 수준(상대 오차 ~ 10^-16)에서 만족됨을 확인하였다.

2.4 4D-Var 자료동화 시스템

2.4.1 비용함수와 기울기

4D-Var 자료동화에서 비용함수 J는 배경항 Jb와 관측항 Jo의 합으로 정의된다:

여기서 x0는 초기 조건, xb는 배경장(first guess), B는 배경오차 공분산 행렬, Mk는 초기 시간에서 k번째 관측 시간까지의 순방향 모델 적분, H는 관측 연산자(본 연구에서는 항등 연산자 H = I를 사용하며, 이는 모든 상태변수를 관측하는 이상적 조건이다), yk는 k번째 관측, R은 관측오차 공분산 행렬이다.

비용함수의 기울기는 수반 모델을 이용하여 다음과 같이 계산된다:

여기서 λ0는 수반 적분의 최종 결과이다. 수반 변수는 마지막 관측 시간에서 초기 시간까지 역방향으로 적분되며, 각 관측 시간에서 혁신 벡터(innovation vector) dk=HMkx0-yk에 비례하는 강제항이 더해진다.

본 연구에서는 단순화를 위해 B=σbI2, R=σoI2 (대각 행렬)로 설정하였으며, σb=2.0, σo=0.1을 사용하였다.

2.4.2 실험 설정

자료동화 실험의 설정은 다음과 같다:

•참값 초기 조건 (xtrue): (10.0, 10.0, 30.0)

•배경장 (xb): (8.0, 8.0, 28.0), |x_b - x_true| ≈ 3.46

•동화 구간: T = 2.0 시간 단위

•관측: 0.5 시간 간격, 총 4개 관측 (t = 0.5, 1.0, 1.5, 2.0)

•관측 오차: 가우시안, 표준편차 σo = 0.1

•관측 자료 생성: 참 초기 조건에서 역학 모델(Lorenz)을 적분한 후 관측 시간에서 표본 추출, 관측 오차 추가

•최적화 방법: L-BFGS-B (quasi-Newton method)

두 가지 4D-Var 구성을 비교하였다:

1.전통적 4D-Var 모델: 순방향 모델 = Lorenz 역학 모델, 수반 모델 = 해석적 수반 Lorenz 모델

2.AI 4D-Var 모델: 순방향 모델 = AI(MLP), 수반 모델 = AI 자동미분 수반

이에 더하여, 순방향 적분은 역학 모델을 사용하고 수반만 AI 수반으로 대체한 Hybrid 구성(Lorenz forward + AI adjoint)을 보조적으로 구성하여, AI-only 구성과의 수렴 특성 비교에 활용하였다.

2.4.3 배경항의 역할

AI 모델을 순방향 모델로 사용하는 경우, AI 순방향 모델과 AI 수반 모델이 일관적이므로 — 즉, 수반 모델이 순방향 모델의 정확한 기울기를 제공하므로 — 기울기의 정확도는 보장된다. 그러나 AI 모델의 약간의 모델 오차가 카오스 시스템에서 증폭될 수 있으므로, 최적화가 참값과 먼 영역으로 발산할 수 있다. 배경항 Jb는 이러한 발산을 억제하는 정규화(regularization) 역할을 하며, 배경장 근방에서 해를 찾도록 유도한다.

2.5 계산 성능 최적화

AI 4D-Var 모델의 계산 성능을 향상시키기 위해 두 가지 최적화 전략을 시도하였다:

2.5.1 순방향 모델과 수반 모델 구현

훈련이 완료된 AI 모델의 가중치 행렬과 편향 벡터를 추출하여 NumPy로 순방향 모델과 수반 모델을 구현하였다.

MLP의 순방향 연산은 행렬-벡터 곱과 tanh 활성화 함수의 반복이므로:

수반 모델(VJP)은 연쇄법칙(chain rule)을 역방향으로 적용하여:

여기서 ⊙는 원소별 곱이며, (1 - z²)는 tanh의 도함수이다.

2.5.2 네트워크 축소

은닉층의 뉴런 수를 128에서 64, 32, 16으로 줄여 연산량을 감소시켰다. 같은 훈련 자료와 동일한 훈련 방법론을 적용하여 hidden=16, 32, 64 모델을 훈련하였다(Table 2). 본 연구의 후속 분석에서는 잔차 모델과의 공정한 비교를 위해 동일한 매개변수 수를 갖는 h=16, 32, 64 모델을 주로 사용한다.

2.6 잔차 학습(Residual Learning)

순수 MLP 모델은 입력 상태에서 출력 상태로의 전체 매핑을 학습하지만, Lorenz 시스템의 역학은 이미 알려져 있다. 이 물리적 지식을 활용하여, 큰 시간 간격(ΔtAI=0.1)에서의 Euler 전진 차분 예측을 기본으로 하고, 신경망이 Euler 예측의 절단 오차(truncation error)만을 보정하는 잔차 학습 기법을 적용하였다:

여기서 f(x)는 Lorenz 방정식의 우변이다. 이 접근법의 장점은 다음과 같다:

1.학습 대상의 축소: 신경망이 전체 역학이 아닌 수치 오차만을 학습하므로, 학습 대상의 크기가 현저히 줄어든다. 본 연구에서 잔차의 표준편차(10.77)는 전체 출력의 표준편차(18.04)의 약 60%에 불과하였다.

2.알려진 역학의 반영(physics-guided structure): Euler 차분이 알려진 역학을 예측의 기본 구조(baseline)로 포함한다. 다만 신경망 보정항이 Euler 성분을 상쇄할 수 있으므로, 이 구조가 물리 법칙의 보존을 보장하는 것은 아니다.

3.네트워크 축소 가능: 보정량이 작으므로 매우 작은 네트워크(hidden=16, 659개 매개변수)로도 충분한 정확도를 달성할 수 있다.

잔차 모델의 훈련에서는, 훈련 목표를 잔차 R = Y - Euler(X)로 정의하고, 입력과 잔차를 각각의 평균과 표준편차로 정규화하여 학습하였다. 같은 훈련 자료(10,000쌍)와 동일한 훈련 과정(Adam, 800 에포크)을 적용하였다(Table 2).

잔차 모델의 기준선이 되는 Δt_AI=0.1의 Euler 전진 차분 단독 예측은 참조 적분(Δt=0.01의 10단계) 대비 단일 단계의 평균제곱근오차(root mean square error, RMSE)가 끌개 위에서 4.53에 이르는 큰 절단오차를 가진다. 신경망 보정을 더한 잔차 모델(h=64)의 독립 실험에서 단일 단계의 RMSE는 0.049로, 보정에 의해 오차가 약 90배 감소한다(3.5.1절 참조). 즉 잔차 모델의 정확도는 Euler 기반 구조와 신경망 보정의 결합으로 달성된다.

2.6.1 잔차 모델의 수반 모델

잔차 모델의 순방향 연산 M_res(x) = Euler(x) + NN(x)에 대한 수반 모델은, Euler 차분의 수반과 신경망의 수반의 합으로 구성된다:

여기서 Jf는 Lorenz 방정식 우변의 Jacobian이며, Euler 수반은 기존 해석적 수반 Lorenz 모델과 동일하다. 신경망 수반은 2.5.1절의 NumPy chain rule로 계산된다. 이처럼 잔차 모델의 수반은 해석적 물리 수반과 자료기반 NN 수반의 결합으로 구성되며, 둘 다 정확하게 계산 가능하다.

요약하면, 본 연구에서는 세 가지 4D-Var 접근법을 비교한다:

1.전통적 4D-Var (Classical): 역학 모델 순방향 + 수반 모델

2.순수 AI 4D-Var (AI-NP): 신경망 순방향 + 신경망 chain rule 수반 —역학 수반 모델 불필요

3.잔차 학습 4D-Var (Res-NP): Euler + NN 순방향, 수반 모델 + NN chain rule 수반 — 물리 기반 + AI 보정

3. 결 과

3.1 AI 모델의 특성 진단

본 절에서는 역학 모델, 순수 MLP 모델(h=128, 33,923 매개변수), 그리고 잔차 모델(h=16, 659 매개변수)이 Lorenz 시스템의 카오스적 특성을 어떻게 재현하는지 비교한다. 잔차 모델은 매개변수 수가 MLP의 약 1/50에 불과하지만, 물리 기반 Euler 전진 차분이 역학의 대부분을 담당하고 신경망이 작은 보정만을 학습하므로, MLP와 동등한 수준의 역학 재현 능력이 기대된다.

3.1.1 끌개(Attractor) 구조

세 모델로부터 얻은 Lorenz 끌개를 3차원 공간에 나타내어 비교하였다(Fig. 2). 순수 MLP 모델과 잔차 모델 모두 역학 모델과 매우 유사한 나비 모양의 끌개 구조를 재현하고 있다. 두 개의 안정적인 닻(fixed point)을 중심으로 회전하면서 그 사이를 전이하는 특성이 잘 나타나고 있으며, 끌개의 형태와 크기가 역학 모델과 일관적이다. 특히 잔차 모델은 단 659개의 매개변수만으로도 끌개의 전역적 구조를 정확히 재현하고 있다.

Fig. 2.

3D comparison of the Lorenz attractor. (a) Dynamical model (Euler forward, dt=0.01), (b) MLP model (h=128, 33,923 parameters), (c) Residual model (h=16, 659 parameters). Initial condition: (10, 10, 30) (a point on the attractor).

3.1.2 시계열 비교 및 초기 조건 민감성

동일한 초기 조건 (10, 10, 30)에서 출발한 세 모델의 시계열을 비교하였다(Fig. 3). 순수 MLP와 잔차 모델 모두 초기에는 역학 모델의 궤적과 잘 일치하지만, 시간이 지남에 따라 발산한다. 이는 AI 모델의 미세한 오차가 카오스 시스템의 특성에 의해 지수적으로 증폭되기 때문이다. 그러나 이러한 발산은 Lorenz 시스템의 본질적인 특성이며, AI 모델이 초기 조건에 대한 높은 민감성을 잘 재현하고 있음을 보여준다.

Fig. 3.

Time series comparison of the dynamical model (black), MLP model (red dashed), and residual model (green dashed). First 10 time units from the same initial condition (10, 10, 30). (a) x, (b) y, (c) z.

세 모델에서 두 개의 근접한 초기 조건 (10, 10, 30)과 (10.001, 10, 30)에서 출발한 궤적의 차이를 시간에 따라 계산하고 비교하였다(Fig. 4). 역학 모델, 순수 MLP 모델, 잔차 모델 모두에서 초기의 미세한 차이(0.001)가 시간에 따라 지수적으로 증가하는 카오스적 특성이 일관되게 나타난다. 이는 양의 Lyapunov 지수를 가지는 카오스 시스템의 본질적 특성을 세 모델 모두 정확히 재현하고 있음을 의미한다.

Fig. 4.

Comparison of sensitivity to initial conditions. Time evolution of the trajectory difference ||Δx(t)|| starting from two close initial conditions (x₁(t=0) = (10, 10, 30) and x₂(t=0) = (10.001, 10, 30)). (a) Dynamical model, (b) MLP model (h=128), (c) Residual model (h=16).

3.1.3 결정론적 불규칙 흐름

Lorenz(1963)은 Lorenz 시스템의 특성 중 하나로 “결정론적 불규칙 흐름(deterministic non-periodic flow)”을 제시하였다. 이는 시스템이 비선형적인 불규칙성을 갖지만, z의 선행 최대값이 주어지면 후속 최대값이 결정된다는 개념이다.

Fig. 5는 z의 선행 최대값과 후속 최대값을 2차원 평면에 나타낸 것이다. 역학 모델의 경우 매끄러운 곡선의 텐트 형태를 보이며, 순수 MLP와 잔차 모델 모두 약간의 산란이 있지만 동일한 텐트 구조를 재현하고 있다. 잔차 모델은 매개변수 수가 MLP의 1/50에 불과하지만 결정론적 불규칙 흐름의 특성을 동등한 수준으로 포착한다. Kim et al.(2023)의 RNN-LSTM 모델과 비교하면, MLP 및 잔차 모델은 더 큰 시간 간격 (ΔtAI=0.1)을 사용함에도 z의 선행 최대값과 후속 최대값 사이의 텐트 구조를 잘 재현하며, 보다 밀집된 점 분포를 보인다.

Fig. 5.

Comparison of deterministic non-periodic flow. Scatter plot of successive local maxima of z, where the index n denotes the order of successive local maxima along the trajectory. (a) Dynamical model, (b) MLP model (h=128), (c) Residual model (h=16).

3.1.4 분기 현상

세 모델의 모의결과를 이용하여 Y-Z 평면에 X 값을 색으로 표현한 산점도를 비교하였다(Fig. 6). 역학 모델, 순수 MLP, 잔차 모델 모두에서 Z 값이 클 때 두 닻에 해당하는 영역의 X 값이 분기하는 특성이 뚜렷하게 나타난다. 이는 작은 변화에 의해 한 닻에서 다른 닻으로 운동이 전이되기 쉬운 구조를 반영한다. 세 모델의 분기 구조가 정량적으로도 일치하여, AI 모델이 Lorenz 시스템의 비선형 분기 특성을 정확히 학습하였음을 확인할 수 있다.

Fig. 6.

Comparison of bifurcation structure. Scatter plot on the y-z plane with x values represented by color. (a) Dynamical model, (b) MLP model (h=128), (c) Residual model (h=16).

이상의 결과로부터, 잔차 모델 h=16은 단 659개의 매개변수만으로도 Lorenz 시스템의 핵심적인 카오스적 특성(끌개 구조, 결정론적 불규칙 흐름, 분기 현상, 초기 조건 민감성)을 MLP h=128(33,923 매개변수) 및 역학 모델과 동등한 수준으로 재현함을 확인하였다. 이는 물리 기반 Euler 전진 차분이 역학의 대부분을 담당하고, 신경망은 작은 보정만을 학습하면 되기 때문이다.

3.2 접선형 모델과 수반 모델의 검증

AI 모델의 접선형 모델과 수반 모델의 정확성을 세 가지 방법으로 검증하였다.

첫째, 접선형 모델의 일관성 검증: 유한 차분 근사와 JVP의 비교를 통해, 섭동 크기 ε가 작아질수록 유한 차분 근사가 JVP 결과에 수렴하는 것을 확인하였다.

둘째, 수반 항등식 검증: 단일 단계 수반 항등식 ⟨M·δx, λ⟩ = ⟨δx, Mᵀ·λ⟩의 상대 오차가 ~ 10^-16 (기계 정밀도)임을 확인하였다. 다중 단계(20단계) 수반 항등식에서도 상대 오차가 ~ 10^-15 수준으로, 자동미분 기반 수반 모델이 매우 정확함을 보였다.

셋째, 4D-Var 기울기 검증: AI 수반 모델을 이용하여 계산한 비용함수의 기울기와 유한 차분으로 계산한 기울기의 코사인 유사도를 비교하였다. 다양한 훈련 자료를 이용하여 훈련한 AI 모델은 동화 구간 T=2.0에서도 코사인 유사도가 1.0000에 근접하는 매우 정확한 기울기를 제공하였다(Table 3).

한편, 수반 항등식과 위의 기울기 검증은 AI 순방향 모델과 그 수반 모델 사이의 내부적 일관성(self-consistency)을 확인하는 것으로, AI 모델의 Jacobian이 실제 역학 모델의 Jacobian을 정확히 근사함을 직접 보장하지는 않는다. 이를 별도로 평가하기 위해, 훈련과 무관한 난수 시드와 새로운 초기 조건의 장기 궤적에서 추출한 독립 상태점(끌개 위 200점, 표준편차 1.0의 섭동 200점, 끌개 외부 영역 100점)에서, 무작위 단위 방향 벡터에 대한 AI 모델의 JVP를 역학 모델의 이산 접선형 모델(10단계 Euler 적분의 중심 차분 근사)의 JVP와 직접 비교하였다. AI h=128의 경우 두 JVP의 코사인 유사도 평균은 끌개 위와 섭동 영역에서 0.99999, 끌개 외부에서도 0.9999 이상이었으며, 상대오차의 중앙값(95백분위수)은 끌개 위 0.3%(1.2%), 끌개 외부 0.7%(3.5%)였다. 잔차 모델 h=64도 유사한 수준(끌개 위 0.5%, 끌개 외부 1.3%)을 보였다. 이는 AI 모델의 접선형·수반 연산자가, 4D-Var 최적화가 탐색할 수 있는 off-attractor 영역을 포함하여, 실제 역학의 미분 구조를 높은 정확도로 근사함을 보여준다.

3.3 4D-Var 자료동화 성능

자료동화 시연을 위해 Lorenz 끌개(attractor) 부근의 점 xtrue = (10, 10, 30)을 참값 초기 조건으로 사용하고, 배경장 xb = (8, 8, 28) (모든 성분에 -2의 섭동)에서 출발하여 4D-Var 최적화를 수행하였다. 끌개 위의 점을 사용하는 것은 실제 자료동화 응용 환경(이미 정상 상태에 도달한 자연 시스템)을 모사하기 위함이다. 끌개 외부의 과도기 영역의 점은 자연 시스템에서는 정상 상태에서 머무르지 않는 상태이므로, 자료동화 시연에 적절하지 않다.

AI 4D-Var 자료동화의 결과를 참값과 비교하였다(Fig. 7). 참 궤적(검정), 배경장 궤적(파랑 점선), 관측(녹색 원), 그리고 분석장 궤적(빨강)이 함께 표시되어 있다. 자료동화를 수행한 결과, 분석장 궤적이 참 궤적 및 관측과 일치하는 것을 확인할 수 있으며, 배경장 궤적이 참 궤적에서 점진적으로 발산하는 것과 대조된다.

Fig. 7.

AI 4D-Var data assimilation results. True trajectory (black), background trajectory (blue dashed), observations (green circles with error bars), and analysis trajectory (red). T=2.0, 4 observations, σ_o=0.1. (a) x, (b) y, (c) z.

4D-Var 모델에서 최적화를 통한 수렴 과정을 Fig. 8에 제시하였다. (a) 비용함수 J는 반복에 따라 급격히 감소하며, (b) 초기 조건의 오차 |xa-xtrue|도 빠르게 감소한다. (c), (d), (e)에서도 xa의 x, y, z 성분이 각각 배경장 (8, 8, 28)에서 출발하여 참값 (10, 10, 30)으로 수렴하는 것을 확인할 수 있다. Hybrid 방식과 AI-only 방식 모두 동일한 참값으로 수렴하며, 두 방식의 분석 결과가 거의 일치한다.

Fig. 8.

4D-Var convergence process (Hybrid: Lorenz forward + AI adjoint; AI-only: AI forward + AI adjoint). (a) Reduction of cost function J, (b) Reduction of initial condition error |x_a - x_true|, (c-e) Convergence of x, y, and z components. Black dashed lines indicate the true values. All components converge clearly from the background (8, 8, 28) to the truth (10, 10, 30).

Table 4에서 보는 바와 같이, 모든 4D-Var 구성에서 분석장이 배경장보다 참값에 매우 가까이 수렴하였다. 배경 오차(|xb-xtrue| = 3.464)가 분석 오차(|xa-xtrue| = 0.027~0.319)로 약 11배~129배 감소하여, 4D-Var 자료동화의 효과가 명확하게 입증되었다. 특히 전통적 4D-Var 모델은 |err| = 0.027의 매우 정확한 분석을 달성하였으며, AI 4D-Var(h=32) 모델도 |err| = 0.038로 전통적 4D-Var 모델과 유사한 수준의 정확도를 보였다. 흥미롭게도 AI 4D-Var 모델은 h=32에서 가장 우수하고, h=64와 h=16에서는 약간 더 큰 오차를 보였는데, 이는 카오스적 시스템의 비용함수에 다중 극소점이 존재하여 네트워크 크기에 따른 정확도가 단조적이지 않을 수 있음을 시사한다. 잔차 모델은 가장 작은 h=16에서는 |err| = 0.319로 다소 큰 오차를 보였으나 h=64에서는 |err| = 0.041로 전통적 4D-Var 모델과 유사한 수준에 도달하였다. 모든 분석에서 잔존 오차는 관측 노이즈( σo= 0.1)와 카오스적 시스템의 비선형성으로 인한 비용함수의 다중 극소점 특성에 의한 것으로 판단된다. 한편, 단일 케이스의 결과는 초기 조건과 배경장의 조합에 의존적이므로, 일반적인 성능 비교는 3.6절의 앙상블 실험을 통해 수행한다.

AI 4D-Var 모델에서 배경항(Jb)의 역할은 매우 중요하다. 배경항 없이 AI 4D-Var 모델을 수행한 경우, 기울기는 정확(cos = 1.0)하지만 카오스적 특성에 의한 모델 오차의 증폭으로 인해 최적화가 참값과 먼 영역으로 발산하는 것을 확인하였다. 배경항은 해가 배경장 근방에 머물도록 정규화하는 역할을 하며, 불완전한 AI 모델을 사용하는 4D-Var에서 필수적인 요소이다.

3.4 계산 성능 비교

3.4.1 두 가지 최적화 전략의 효과

계산 시간의 측정 환경과 프로토콜은 다음과 같다. 모든 실험은 Apple M4 Pro CPU(14코어)와 macOS 환경에서 Python 3.8, NumPy 1.24, PyTorch 2.2를 사용하여 수행되었으며, 모든 연산은 배정밀도(double precision)로 수행했다. cost+ gradient(순방향 적분+수반 적분) 시간은 3회 워밍업 후 20회 반복 측정의 최소값을, 전체 최적화 시간(수렴까지의 총 시간)은 5회 반복의 최소값을 취하였다. PyTorch는 기본 멀티스레드 설정을 사용하였고, NumPy 연산은 3차원 소규모 행렬 곱이므로 사실상 단일 스레드로 동작한다. 전체 최적화 시간은 접근법별 반복 수와 함수 평가 횟수(Table 4의 iterations, fevals)에 의존하므로, 단일 평가 속도(cost+gradient)와 최적화 수렴 속도를 구분하여 해석해야 한다. 아울러 본 측정은 3변수 Lorenz 시스템의 밀리초 규모 결과로서 프레임워크 오버헤드의 영향을 크게 받으므로, 대규모 시스템의 계산 효율로 직접 일반화될 수 없다.

Table 5는 NumPy 구현에서의 네트워크 축소 효과를 보여준다.

(1)순수 NumPy 구현: 작은 네트워크에서는 PyTorch 프레임워크 오버헤드(텐서 생성, 자동미분 그래프 구축, 연산 디스패치)가 실제 연산보다 지배적이다. 이러한 오버헤드를 제거하기 위해 Table 5의 모든 AI 기반 구성은 순수 NumPy 구현으로 측정하였다.

(2)네트워크 축소: NumPy 환경에서 h=16, 32, 64 모두 0.42~0.50 ms 범위로 큰 차이가 없으나, 자료동화 정확도는 h=32(|err|=0.038)에서 가장 우수하다. 이는 카오스적 시스템의 비용함수 특성상 네트워크 크기 증가가 항상 정확도 향상으로 이어지지 않음을 보여준다.

3.4.2 최적화 전략의 조합

가장 효과적인 결과는 NumPy 구현과 적절한 네트워크 크기의 조합에서 나타났다:

•AI-NP h=32: 전통적 4D-Var 모델 대비 3.5배 빠르며, 자료동화 정확도(|err| = 0.038)는 전통적 4D-Var 모델(|err| = 0.027)에 매우 근접

•AI-NP h=16: 전통적 4D-Var 모델 대비 1.9배 빠르며, 단 659개 매개변수만으로 |err| = 0.084 달성

특히 AI-NP h=32는 전통적 4D-Var 모델(47.2 ms)의 약 1/3.5(13.5 ms)의 시간으로 자료동화를 완료하면서, 자료동화 정확도가 전통적 4D-Var 모델과 유사한 수준이다.

이러한 성능 향상의 원인은 두 가지이다. 첫째, NumPy 구현은 PyTorch의 프레임워크 오버헤드를 완전히 제거한다. 둘째, AI 모델은 역학 모델(200단계)의 10분의 1인 20단계만으로 같은 시간 구간을 적분할 수 있으므로, 단계 수의 감소가 계산 성능 향상에 기여한다.

3.5 잔차 학습 모델의 성능

3.1절에서 잔차 모델 h=16이 단 659개의 매개변수만으로 Lorenz 시스템의 카오스적 특성(끌개, 결정론적 불규칙 흐름, 분기, 초기 조건 민감성)을 MLP h=128과 동등하게 재현함을 확인하였다. 본 절에서는 잔차 모델의 정량적 예측 정확도와 4D-Var 자료동화 성능을 평가한다.

3.5.1 단일 단계 및 다중 단계 예측 정확도

Table 6은 검증 자료에 대한 단일 단계의 RMSE를 보여준다. 동일 매개변수 수에서 순수 MLP가 잔차 모델보다 단일 단계 정확도가 우수하나, 이는 잔차 모델이 Euler 예측 오차의 보정만을 학습하기 때문이다. 잔차 모델의 출력은 단일 단계 변화량의 약 60%에 해당하는 작은 보정값이므로, 동일 신경망 표현력으로 더 높은 상대 오차를 가질 수 있다.

또한 훈련·검증 자료가 동일한 자료 풀의 무작위 분할이라는 점을 고려하여, 일반화 성능을 독립적으로 평가하기 위해 훈련과 무관한 난수 시드와 새로운 초기 조건에서 생성한 별도의 장기 궤적으로부터 독립 시험자료(끌개 위 400점, 섭동 200점, 끌개 외부 100점)를 구성하고 단일 단계 RMSE를 산출하였다. AI h=128은 끌개 위 0.023, 섭동 영역 0.023, 끌개 외부 0.051, AI h=64는 각각 0.025/0.025/0.072, 잔차 h=64는 0.049/0.049/0.100으로, 검증 자료 기반 오차(Table 2, Table 6)와 일관된 수준을 보였다. 끌개 외부에서 오차가 약 2배 증가하지만 안정적으로 유지되며, 4D-Var 최적화가 탐색하는 off-attractor 상태에서의 Jacobian 정확도는 3.2절에서 별도로 평가하였다.

다중 단계 자동회귀 예측(1,000단계 rollout)에서는 두 모델 모두 카오스적 발산으로 인해 장기 궤적이 참값에서 벗어나지만, 잔차 모델은 단기 예측에서 동일 매개변수 수의 순수 MLP보다 우수한 성능을 보일 수 있다. 이는 물리 기반 Euler 예측이 단기 역학을 정확히 포착하기 때문이다.

3.5.2 4D-Var 자료동화에서의 잔차 학습 효과

동일 매개변수 수에서 순수 MLP와 잔차 모델을 직접 비교하면(Table 5, Fig. 9), 본 케이스(xtrue=(10,10,30))에서는 흥미로운 패턴이 나타난다:

•작은 네트워크(h=16): 순수 MLP가 우수 (|err| 0.084 vs 0.319). 잔차 모델 h=16은 보정량을 학습하기에 표현력이 부족하다.

•중간 네트워크(h=32): 순수 MLP h=32가 가장 우수 (|err| = 0.038, 전통적 4D-Var 모델(0.027)에 가장 근접).

•큰 네트워크(h=64): 잔차 모델이 약간 우수 (|err| 0.041 vs 0.059). 충분한 표현력에서 물리 기반 Euler 예측의 이점이 나타난다.

Fig. 9.

Comparison of 4D-Var computational performance (NumPy-based variants). (a) Cost+gradient evaluation time [ms], (b) Full L-BFGS-B optimization time [ms], (c) Data assimilation accuracy |x_a - x_true|. Blue: Classical; red shades: AI-NP (pure MLP, NumPy implementation, h=16/32/64); green shades: Res-NP (residual learning, NumPy implementation, h=16/32/64). Dashed line: background error (3.46).

이러한 결과는 단일 케이스에 따라 잔차 모델의 상대적 성능이 달라질 수 있음을 보여준다. 카오스 시스템의 비용함수는 다중 극소점을 가지므로, 특정 (xtrue, xb) 조합에서 어느 모델이 더 좋은 극소점에 수렴하는가는 케이스별로 변동한다. 따라서 단일 케이스의 결과를 일반화하는 것은 적절하지 않으며, 3.6절의 앙상블 실험에서 다양한 초기 조건과 섭동에 대한 통계적 평가를 통해 접근법 간의 성능을 비교한다.

잔차 모델 cost+grad 시간(0.54~0.62 ms)이 순수 MLP(0.42~0.50 ms)보다 약간 느린 것은, 매 단계에서 Euler 차분 계산(Lorenz 우변 평가)과 수반 계산에서 역학 수반 모델에 의한 추가적인 계산이 필요하기 때문이다. 그러나 이 추가 비용은 미미하다.

3.5.3 대규모 역학 시스템 적용에 대한 논의

3.5.2절의 잔차 모델(Res-NP)은 Euler 전진 차분의 수반 모델로 역학 수반 모델을 사용하였다. 이는 Lorenz 시스템과 같이 역학이 단순한 경우에는 문제가 되지 않으나, 3차원 해양순환모델과 같은 복잡한 역학 시스템에서는 수반 모델의 구축이 수 년이 소요되는 매우 어려운 작업이다. 따라서 본 연구에서는 Lorenz 시스템에 대해 세 가지 접근법을 실험적으로 비교하고, 그 결과를 바탕으로 대규모 해양순환모델에의 적용 전략을 논의한다.

Table 7은 세 가지 접근법(Classical 4D-Var, AI-NP, Res-NP)의 특성과 대규모 역학 시스템 적용 가능성을 정리한 것이다 (Fig. 10).

Fig. 10.

Comparison from the perspective of application to large-scale dynamical systems (ocean circulation models). (a) Optimization time for a single Lorenz case, (b) Data assimilation accuracy, (c) Difficulty of adjoint model implementation for a 3D ocean circulation model (conceptual).

3차원 해양순환모델에 적용할 경우, 실용적인 전략은 다음과 같다:

•AI-NP 접근: 해양 모델의 출력 자료만으로 신경망을 훈련하여 순방향 모델과 수반 모델을 동시에 확보한다. 역학 모델의 수반 코드가 전혀 필요 없으므로 가장 빠르게 4D-Var 시스템을 구축할 수 있다. 본 연구에서 Lorenz 시스템에 대해 검증한 AI-NP 방법을 그 출발점으로 삼을 수 있다.

•Res-NP 접근: 자료동화 정확도의 향상이 필요한 경우, 물리 기반 예측에 신경망 보정을 더하는 잔차 학습을 적용한다. 다만, 대규모 역학 시스템에서는 Euler 수반의 수코딩이 여전히 필요하므로, 수반 개발 부담이 전통적 4D-Var 모델보다는 작지만 완전히 해소되지는 않는다.

다만 이러한 전략은 3변수 저차원 시스템에서의 개념 검증에 기반한 것임을 강조한다. 실제 해양 4D-Var에는 수백만 개 이상의 상태변수, 희소하고 비균질한 관측과 비선형 관측 연산자, 복잡한 배경오차 공분산과 변수 변환, 표층·개방경계 강제력, 모델오차를 고려한 weak-constraint 문제, 장기간 역전파를 위한 메모리·checkpointing 비용, AI 모델의 장기 안정성과 보존성 등 본 연구에서 다루지 않은 난제가 존재한다. 특히 AI 모델이 해양모델 전체를 대체하는 경우, 상태공간 규모에 따른 훈련자료와 네트워크 규모, 수반 계산의 메모리 요구량에 대한 정량적 검토가 필요하다. 따라서 본 연구의 결과는 해양모델로의 직접적인 확장 가능성을 보이는 것이라기보다, Lorenz 96이나 천해파 방정식과 같은 중간 복잡도의 방정식계를 거치는 단계적 검증의 출발점으로 이해되어야 한다.

3.6 앙상블 실험을 통한 통계적 검증

앞선 3.3~3.5절의 자료동화 성능 평가는 단일 초기 조건 xtrue = (10, 10, 30)과 단일 배경장 xb = (8, 8, 28)에 대해 수행되었다. 카오스 시스템의 비선형성과 비용함수의 다중 극소점 특성을 고려할 때, 단일 케이스의 결과만으로 접근법 간의 성능 차이를 일반화하기에는 통계적 신뢰성이 부족하다. 이를 보완하기 위해, 다양한 초기 조건과 배경장 섭동 크기를 체계적으로 조합한 앙상블 4D-Var 실험을 수행하였다.

3.6.1 앙상블 실험 설계

앙상블 실험에 앞서, 4D-Var의 실패율을 줄이기 위한 최적 설정을 체계적으로 탐색하였다. 동화 구간 길이(T), 관측 수, 배경오차 표준편차(σb), 그리고 AI 모델의 네트워크 크기를 변화시키며 6가지 설정을 비교한 결과, 다음과 같은 설정 조합을 선정하였다:

•동화 구간 단축(T=2.0→1.0): 카오스적 오차 증폭이 작용하는 시간을 줄여 비용함수의 풍경을 단순화하며, 가장 큰 개선 효과를 보였다.

•관측 수 증가(4→5개): Δtobs=0.2로 설정하여 관측 밀도를 높이되, σb를 동시에 줄여 J_o:J_b 비율의 불균형을 방지하였다.

•배경오차 축소( σb=2.0→1.0): 배경항의 정규화 효과를 강화하여 다중 극소점에 빠지는 것을 억제하였다.

앙상블 실험의 설정은 다음과 같다:

•초기 조건: Lorenz 끌개 위에서 시간적으로 충분히 떨어진 8개의 점을 추출하였다. 초기 조건 (10, 10, 30)에서 출발하여 500 시간 단위(50,000단계)를 적분한 후, 과도기(100 시간 단위)를 제거한 끌개 궤적에서 균등 간격으로 8개의 점을 추출하였다 (Table 8).

•배경장 섭동: 각 참 초기 조건에 대해 8가지 크기의 섭동(|xb-xtrue| = 0.5, 1.0, 1.5, 2.0, 2.5, 3.0, 4.0, 5.0)을 무작위 방향으로 적용하여 배경장을 생성하였다.

•총 실험 수: 8 × 8 = 64 케이스 × 7가지 접근법 = 총 448회 4D-Var 최적화

•접근법: 전통적 4D-Var 모델(역학 모델 + 역학 수반 모델), AI-NP h=16/32/64 (순수 AI, NumPy), Res-NP h=16/32/64 (잔차 학습, NumPy)

•기타 설정: 동화 구간 T=1.0, 관측 5개(t=0.2, 0.4, 0.6, 0.8, 1.0), σ_o=0.1, σ_b=1.0

3.3절의 단일 케이스에서 사용한 xtrue = (10, 10, 30)은 Lorenz 끌개 부근의 한 점이며, 본 앙상블 실험에서는 끌개 위의 다양한 영역에서 초기 조건을 추출함으로써, Lorenz 시스템의 다양한 역학적 영역(두 닻 주변의 회전 영역, 닻 간 전이 영역 등)에서의 자료동화 성능을 평가하였다.

앙상블 설계와 관련하여 두 가지 사항을 명확히 한다. 첫째, 위의 설정 탐색은 최종 앙상블 평가에 앞서 수행된 소규모 예비 실험에 기반하였으며, 선정된 설정(T=1.0, 관측 5개, σb =1.0)은 모든 접근법에 동일하게 적용되었다. 다만 예비 탐색과 최종 평가가 완전히 독립된 실험 집합으로 분리되지는 않았으므로, 설정 선정에 따른 잔여 선택 편향의 가능성을 완전히 배제할 수는 없다. 둘째, 배경장은 배경오차 공분산 B = σb2I로부터 확률적으로 추출된 것이 아니라 크기를 고정하고 방향만 무작위로 부여하여 생성되었다. 따라서 본 앙상블은 엄밀한 확률론적 배경오차 실험이라기보다 초기 추정값과 참값 사이의 거리에 대한 민감도 실험으로 해석되어야 하며, 특히 섭동 크기 4.0~5.0은 σb=1.0으로 가정된 배경오차 분포에서는 매우 드문 상태에 해당한다. B와 일관된 Gaussian 표본추출에 기반한 실험은 향후 과제로 남긴다.

3.6.2 앙상블 실험 결과

Table 9는 64개 케이스 전체에 대한 분석 오차의 통계를 보여준다.

여기서 성공률은 분석 오차가 배경 오차보다 작은 경우(|xa-xtrue| < |xb-xtrue|)의 비율이다. 7가지 접근법 중 AI-NP h=64가 평균 오차 1.18, 성공률 90.6%로 가장 우수하며, Res-NP h=64가 평균 오차 1.39, 성공률 89.1%로 그 뒤를 잇는다. AI-NP와 Res-NP 모두 네트워크 크기가 클수록(h=64) 성능이 향상되는 경향을 보이며, h=16은 상대적으로 낮은 성공률(78~86%)을 보인다. 이는 더 큰 네트워크가 Lorenz 시스템의 역학을 더 정확하게 학습하여, 다양한 초기 조건에서의 4D-Var 최적화를 안정적으로 수행할 수 있음을 보여준다.

섭동 크기에 따른 특성을 보면 (Table 10), 소 섭동(0.5~1.5)에서 AI-NP h=64(평균 0.53)와 Res-NP h=64(평균 0.52)가 전통적 4D-Var 모델(1.00)보다 우수한 성능을 보인다. 중 섭동(2.0~3.0)에서는 모든 접근법이 유사한 수준이며, 대 섭동(4.0~5.0)에서도 접근법 간 차이가 미미하다.

소 섭동(0.5~1.0)에서 Res-NP h=16의 성공률(Table 11)이 37.5%로 특히 낮은데, 이는 작은 네트워크(659 매개변수)가 끌개의 일부 영역에서 정확도가 부족하기 때문이다. 반면, h=64 모델들은 전통적 4D-Var 모델과 동등하거나 더 높은 성공률을 보인다. 대 섭동(4.0~5.0)에서는 모든 접근법이 87.5~100%의 높은 성공률을 달성한다.

한편, 소 섭동 영역에서 성공률이 상대적으로 낮게 나타나는 것은 분석 품질의 저하 때문이 아니라 성공 기준의 구조에 기인한다는 점에 유의할 필요가 있다. 본 연구의 성공 기준(|xa-xtrue| < |xb-xtrue|)은 분석 오차를 배경 오차와 비교하는 상대 기준이므로, 섭동이 작을수록 통과해야 할 기준이 엄격해진다. 분석 오차에는 관측 노이즈( σo= 0.1), 배경항(J_b)의 배경장 방향 견인, 그리고 AI 모델의 모델 오차에 의한 비용함수 극소점 편향이 형성하는 하한이 존재하므로, 배경장이 이미 이 하한에 근접할 만큼 정확한 소 섭동 케이스에서는 배경장을 추가로 개선하는 것 자체가 어렵다. 실제로 Table 10에서 섭동 0.5의 평균 분석 오차는 대부분의 실험에서 0.32~0.69로, 대 섭동(4.0~5.0)에서 ‘성공’으로 분류된 케이스들의 평균 오차(1.5 이상)보다 오히려 작다. 즉, 소 섭동에서의 실패는 분석이 나빠졌음을 의미하는 것이 아니라, 이미 우수한 배경장을 능가하지 못하였음을 의미한다. 아울러 소 섭동 영역에서 네트워크 크기에 따라 성공률이 크게 달라지는 것(Res-NP h=16의 37.5% 대 h=64의 87.5%)은 이 영역이 모델 오차의 하한이 직접 드러나는 구간임을 보여주며, 네트워크 용량이 충분히 확보되어야 함을 시사한다.

Fig. 11은 7가지 접근법의 앙상블 결과를 종합적으로 보여준다. (a)에서 AI-NP h=64의 분석 오차의 분산이 가장 작으며, (b)에서 h=64 모델들이 소 섭동 영역에서 전통적 4D-Var 모델보다 낮은 오차를 보인다. (c)에서 h=64 모델들이 전체적으로 가장 높은 성공률을 보인다.

Fig. 11.

Summary of ensemble 4D-Var results (8 initial conditions × 8 perturbation magnitudes = 64 cases). (a) Distribution of analysis errors for 7 approaches (box plot), (b) Mean analysis errors by background perturbation magnitude, (c) Success rates by perturbation magnitude (fraction of cases with analysis error smaller than the background error). Blue: Classical 4D-Var; red shades: AI-NP h=16/32/64; green shades: Res-NP h=16/32/64. Circles in (a) denote outliers beyond 1.5 times the interquartile range (IQR).

한편, 동일 케이스에 대한 일대일 비교에서 AI 기반 접근법과 전통적 4D-Var 모델의 분석 오차는 강한 상관을 보였으며(AI-NP h=64는 64개 케이스 중 31개에서, Res-NP h=64는 26개에서 전통적 4D-Var 모델보다 우수), 이는 자료동화의 실패가 특정 방법의 결함이 아니라 케이스 자체의 난이도(비용함수의 다중 극소점 특성)에 기인함을 시사한다.

3.6.3 앙상블 결과의 해석과 시사점

앙상블 실험 결과로부터 다음의 핵심적인 시사점을 도출할 수 있다.

첫째, AI 기반 4D-Var 모델(순수 AI 및 잔차 학습)은 다양한 초기 조건과 배경장 섭동 크기에서 전통적 4D-Var 모델과 통계적으로 동등한 수준의 자료동화 성능을 보인다. 7가지 접근법의 평균 분석 오차(1.18~1.60)와 성공률(78~91%)이 유사한 범위에 있으며, 특히 h=64 모델들(AI-NP h=64: 1.18, Res-NP h=64: 1.39)은 전통적 4D-Var 모델(1.52)보다 낮은 평균 오차를 보였다. 다만 관측이 역학 모델로부터 생성된 완전 모델(perfect-model) 조건에서 전통적 4D-Var 모델은 원리적으로 최적에 가깝다는 점을 고려하면, 이 차이는 AI 모델 자체의 우수성이라기보다 비용함수의 다중 극소점과 최적화 수렴 특성의 차이, 특히 소수의 대형 실패 사례가 평균에 미치는 영향의 차이에 기인할 가능성이 크다. 실제로 케이스별 일대일 비교에서 AI-NP h=64가 전통적 4D-Var 모델보다 우수한 케이스는 64개 중 31개로 절반 수준이다(3.6.2절 참조).

둘째, 네트워크 크기가 앙상블 성능에 유의미한 영향을 미친다. AI-NP와 Res-NP 모두 h=16 → h=32 → h=64로 네트워크를 확대할수록 평균 오차가 감소하고 성공률이 향상되는 경향을 보인다. 특히 소 섭동(0.5~1.0)에서 h=16 모델의 낮은 성공률(37.5~75%)은 작은 네트워크의 표현력 한계를 보여주며, h=64 모델은 이를 극복하여 전통적 4D-Var 모델과 동등 이상의 성능을 달성한다.

셋째, 4D-Var 설정의 최적화가 자료동화 성능에 매우 큰 영향을 미친다. 동화 구간 단축(T=2.0→1.0)이 가장 큰 개선 효과를 보였으며, 배경오차 표준편차 축소(σ_b=2.0→1.0)와의 조합으로 모든 접근법에서 높은 성공률과 낮은 평균 오차를 달성하였다. 이는 카오스 시스템에서 동화 구간과 배경오차 공분산 B의 적절한 설정이 4D-Var 성능에 매우 중요함을 시사한다.

넷째, 대 섭동 영역(4.0~5.0)에서 모든 접근법이 87.5~100%의 높은 성공률을 달성하였으며, 소 섭동 영역(0.5~1.5)에서는 AI-NP h=64(평균 오차 0.53)와 Res-NP h=64(0.52)가 전통적 4D-Var 모델(1.00)보다 우수한 성능을 보이는 점이 주목할 만하다.

4. 요약 및 제언

이 논문에서는 다층 퍼셉트론(MLP) 신경망을 이용하여 Lorenz 시스템의 자료기반 인공지능 모델을 구축하고, 이 AI 모델을 기반으로 한 4D-Var 자료동화 시스템을 개발하여 그 성능을 진단하였다. 주요 결과를 요약하면 다음과 같다.

첫째, MLP 기반 AI 모델은 역학 모델의 10배 큰 시간 간격(ΔtAI = 0.1)에서도 Lorenz 시스템의 카오스적 특성을 잘 재현하였다. 끌개 구조, 결정론적 불규칙 흐름, 분기 현상, 그리고 초기 조건에 대한 민감성 등이 역학 모델과 일관적으로 나타났다. Kim et al.(2023)에서 사용한 RNN-LSTM과 비교하면, MLP는 보다 단순한 구조(과거 상태의 메모리 불필요)로도 동등한 성능을 보이며, Lorenz 시스템의 Markov 특성을 활용한 효율적인 설계가 가능하다.

둘째, 자동미분을 이용하여 AI 모델의 접선형 모델과 수반 모델을 정확하게 도출하였다. 수반 항등식의 상대 오차가 기계 정밀도(~ 10^-16) 수준으로 만족되었으며, 4D-Var 비용함수의 기울기가 유한 차분 기울기와 코사인 유사도 1.0에서 일치함을 확인하였다. 이는 AI 모델을 사용하면 수반 모델의 도출과 코딩이라는 전통적 4D-Var 모델의 가장 큰 기술적 장벽을 해소할 수 있음을 보여준다.

셋째, AI 기반 4D-Var 모델은 전통적 4D-Var 모델과 유사한 자료동화 정확도를 달성하였다. 끌개 부근의 단일 케이스(xtrue=(10,10,30), xb=(8,8,28))에서 배경 오차 3.46이 분석 오차 0.04(AI-NP h=32)로 약 90배 감소하여, AI 4D-Var 모델이 명확하게 작동함을 확인하였다. 배경항(Jb)은 불완전한 AI 모델에 의한 발산을 억제하는 데 필수적임을 확인하였다.

넷째, 계산 성능 최적화를 위해 순수 NumPy 구현과 네트워크 축소의 두 가지 전략을 시도하였다. NumPy 구현과 네트워크 축소의 조합이 가장 효과적이며, AI-NP h=32 구성은 전통적 4D-Var 모델 대비 최대 약 3.5배 빠른 계산 성능을 달성하면서 자료동화 정확도(|err| = 0.038)를 전통적 4D-Var 모델(0.027)과 유사한 수준으로 유지하였다.

다섯째, 물리 기반 Euler 전진 차분 예측에 신경망 보정을 더하는 잔차 학습(residual learning) 기법을 적용하였다. 잔차 모델은 네트워크 크기에 따라 정확도가 크게 달라지며, h=64(8,771 매개변수)에서 전통적 4D-Var 모델과 유사한 정확도(|err| = 0.041 vs 0.027)를 달성할 수 있었다. 매우 작은 네트워크(h=16, 659 매개변수)는 본 케이스에서는 정확도가 부족(|err| = 0.319)하였고, 3.6절의 앙상블 실험에서도 전반적으로 가장 낮은 성공률을 보였으나, 일부 섭동 구간에서는 전통적 4D-Var 모델보다 낮은 평균 오차를 보이기도 하였다. 단일 케이스의 결과는 초기 조건과 섭동 조합에 의존적이므로, 일반적 성능 평가는 앙상블을 통해 수행하여야 한다.

여섯째, 4D-Var 설정의 체계적 최적화(동화 구간 T=2.0→1.0, σb=2.0→1.0, 관측 수 4→5개, 네트워크 확대)를 수행한 후, 8개의 초기 조건과 8가지 배경장 섭동 크기를 조합한 총 64개 케이스의 앙상블 4D-Var 실험을 통해, 7가지 접근법(Classical 4D-Var, AI-NP h=16/32/64, Res-NP h=16/32/64)의 자료동화 성능을 통계적으로 검증하였다. 그 결과, 네트워크 크기가 클수록 성능이 대체로 향상되며, AI-NP h=64가 가장 우수한 성능(평균 오차 1.18, 성공률 90.6%)을 보였고, Res-NP h=64(평균 오차 1.39, 성공률 89.1%)가 그 뒤를 이었다. 전통적 4D-Var 모델(평균 오차 1.52, 성공률 87.5%)도 안정적인 성능을 보였다. 다만 이러한 평균 성능의 차이는 비용함수의 다중 극소점과 최적화 수렴 특성, 특히 소수의 대형 실패 사례가 평균에 미치는 영향과 관련될 수 있으므로, AI 기반 4D-Var 모델의 일반적 우월성을 의미하는 것으로 해석하기는 어렵다. 동화 구간의 단축이 가장 큰 개선 효과를 보였으며, 이는 카오스 시스템에서 비선형 오차 증폭 시간을 줄이는 것이 비용함수의 구조를 단순화하여 최적화의 안정성을 높이기 때문으로 판단된다. 소 섭동 영역에서는 AI-NP h = 64와 Res-NP h = 64가 전통적 4D-Var 모델보다 낮은 평균 분석 오차를 보였으며, 대 섭동 영역에서는 모든 접근법이 높은 성공률을 보였다. 이러한 결과는 네트워크 크기와 동화 설정이 카오스 시스템의 4D-Var 성능에 중요한 영향을 미침을 시사한다.

본 연구는 Kim et al.(2023)에서 제안된 향후 연구 과제 — 자료기반 모델을 위한 자료동화 기법의 연구 — 를 실현한 것이다. 본 연구에서 비교한 세 가지 접근법(Classical 4D-Var, AI-NP, Res-NP)은 각각의 장단점을 가지며, 대상 시스템의 복잡도와 가용 자원에 따라 적절한 접근법을 선택할 수 있다. 특히 AI-NP와 Res-NP는 3차원 해양순환모델과 같은 복잡한 역학 시스템으로의 적용 가능성을 검토하기 위한 후보 접근법이 될 수 있다. 다만 실제 해양순환모델에 적용하기 위해서는 중간 복잡도 시스템에서의 단계적 검증과 수반 계산·장기 안정성·관측 및 배경오차 처리에 대한 추가 검토가 필요하다. 향후 일부 변수만 관측하는 부분 관측 조건에서의 실험과 보다 복잡한 역학 시스템(천해파 방정식, 해양순환모델 등)에 이 방법론을 확장하고, 앙상블 방법과의 결합, 그리고 GPU 가속을 활용한 대규모 문제에의 적용 등을 연구할 필요가 있다.