Online First

단순 적재 방식은 유효 데이터를 적재할 때, 선택 가능한 데이터 중 가장 먼저 등장하는 값을 적재하는 방식이다. 최대한 앞의 데이터를 반복해서 적재하면 최종적으로 수집 행렬을 조기에 작성 완료할 수 있으리라는 기대를 바탕으로 선택된 방법론이다. 1월 18일 데이터를 시작으로 수집 행렬을 작성하는 과정 중 첫 6개의 데이터를 수집하는 과정을 Table 5(a)에 도시하였다. 첫 1,012개의 데이터가 비유효 처리되어 Time index가 1013부터 시작하고 있으며 10분 평균 풍속을 적재하기 때문에 이상적으로는 Time index의 간격이 10이 되어야 하지만, 비유효 데이터로 인해 데이터 간격이 균일하지 않아 3번째와 4번째 데이터 간격은 950(~16시간)에 이르기도 한다.

본 예시에서 7번째 데이터로 선택될 수 있는 다음 후보군은 6번째 데이터의 10분 후인 Table 5(b)의 1월 19일 11시 32분부터 41분사이의 데이터이다. 단순 적재 방식은 이 중 첫 번째 데이터를 선택하며, 후보군의 집합을 A라고 할 때 다음과 같이 표현된다.

단순 적재 방식으로 수집 행렬을 만들었을 때 시간 소요를 선분할 방식과 비교하여 Table 6에 정리하였다. 선분할 방식에 비해 데이터를 평균 2일 23시간, 최대 7일 21시간 덜 사용하였다.

수집 행렬에서 원하는 데이터가 수집 가능한 데이터의 후보군의 맨 처음에 등장하지 않을 경우 수집 행렬이 완결되지 않는 단점이 있다. 이를 보완하기 위해 수집 행렬의 현재 미완 상태를 분석해서 가장 완성되지 못한 구간을 우선적으로 선택하는 방식을 최소 빈도 방식이라 한다. 수집 행렬의 어떤 구간 i의 목표값을 CM_t,i, 비유효 데이터를 삭제한 유효 데이터 집합을 D_v, 유효 데이터 집합 중 구간 i에 해당하는 부분집합을 D_v,i라고 하면 각 구간의 데이터 밀도는 아래와 같이 정의된다.

각 구간의 데이터 밀도가 낮을수록 수집 행렬을 구성하기 어려운 구간이므로, 이를 보완하기 위해 데이터 밀도가 낮은 구간을 우선적으로 선택한다.

Table 5의 예시에 최소 빈도 방식을 적용하면, 수집 행렬의 2번째 구간(5~6 m/s, ρ₂ = 84.9)에 해당하는 후보들보다 1번째 구간(4~5 m/s, ρ₁ = 56.7)에 해당하는 후보를 우선적으로 선택하며, 이 중 가장 앞선 3번 후보를 다음 데이터로 확정한다. 최소 빈도 방식에서는 선분할 방식에 비해 평균적으로 4일 7시간 가량의 데이터를 덜 요구하였다.

풍속 데이터 자체를 활용한 수집 행렬 최적화 알고리즘을 구현하고자 강화학습을 적용하였다. 본 연구에 적용한 Q-Learning은 특정 단계(t)에서 채택한 데이터 선택을 상태(S_t)로 정의하고, 이 단계에서 다음 데이터를 선택하는 행위를 동작(A_t)이라 할 때, S_t 에서 A_t 수행에 따라 발생하는 효용의 기대값을 Q(S_t,A_t)라고 정의할 수 있다. 수집 행렬을 완성했을 때 주어지는 보상을 R_t라고 하면, Q에 대한 방정식은 다음과 같이 주어진다^[3].

본 연구에서 학습률(learning rate) α = 0.5, 감쇠율(decaying rate) γ = 0.9를 적용하였다. 보상은 단순 적재 방식에 비해 단축된 시간의 지수 함수로 정의하여 수집 행렬 작성 완료 시간을 단축했을 때 보상을 크게 인가하도록 설계하였다. 단순 적재 방식과 Q-Learning 방식의 수집 행렬 작성 완료 시간을 각기 t_f,SS, t_f,QL라고 할 때 보상은 다음과 같다.

Q-Learning은 매 순간의 보상이 높은 선택지를 따라가는 방식이기 때문에 국부 최소해(local minima)에 쉽게 빠지는 단점이 있다. 이를 해소하기 위해 기존의 경로를 최적화하는 탐색(exploitation)에 새로운 경로를 개척하는 탐험(exploration)을 특정 확률(ϵ)로 수행하되 확률이 점차 감소하는 decayed ϵ–greedy를 적용했다. ϵ는 반복 횟수에 반비례하여 1,000회 반복수행 후에는 0.1%로 탐험하도록 설정하였다.

Q-Learning을 통한 학습과정을 Fig. 4에 도시하였다. 수집 행렬 완성 시각 단축에 보상을 주었으므로 반복수행에 따라 수집 행렬 완성 시점(a)과 수집 행렬에 소요된 데이터 수(b)는 우하향을 그릴 것으로 예상되고, 반면 Q 행렬 점유율(c)은 학습을 시작할 때는 아무런 정보가 없지만 학습이 진행되면서 점차적으로 채워지는 우상향을 보일 것으로 예상이 되며, 실제로 전체적으로 이러한 거동을 보이고 있다. 그러나 Fig. 4(a)를 보면 반복수행에 따라 최적점을 찾아가는 모습이 잡음에 가려 잘 드러나지 않는다.

Fig. 4. 
Process of Q-Learning, starting from 26^th Jan. (a) Time index when capture matrix construction is finalized, (b) number of total data for capture matrix construction, and (c) occupation rate of Q(s, a) matrix.

최대 30,000회까지 진행된 반복수행 이후에도 Q-Learning이 수렴하지 못하고 계속 진동하는 모습이 보이는데, 반복수행 최대 횟수를 훨씬 많이 늘려도 마찬가지 양상을 보인다. 비슷한 수준의 해를 여러 다른 경로를 통해 얻을 수 있고, 이들의 경로가 서로 크게 얽혀 있음으로 인해 발생하는 현상이다. 반복수행이 많이 진행되어 탐험 확률이 0에 가깝게 낮아져 있다 하더라도 Q 행렬이 많이 채워져 있기 때문에, 탐험으로 인해 발생한 국부 최적해로부터 전파되어 채워진 Q 행렬로 인해 전역 최적해로부터 멀어지는 결과를 가져온다.

이는 Q-Learning의 본질적 한계로, 마르코프 상태(Markov state)를 전제 조건으로 가지기 때문이다^[3,7]. s_t+1는 오직 s_t에만 영향을 받으며 그 이전의 상태로부터는 영향을 받지 않는다는 의미로, 현재는 과거와 무관하다는 말로 정리할 수 있다. 그러나 1분 단위로 수집된 시계열 데이터를 10분 단위로 묶어 선택하는 수집 행렬 작성 과정의 특성상 과거 데이터에 대한 의존성이 매우 높기 때문에 국부 최소해에 의한 지속적인 학습 방해는 불가피한 현상으로 판단된다.

Q-Learning에 의한 수집 행렬 작성시 선분할 방식 대비 평균 2일 11시간, 최대 6일 55시간 가량의 데이터 절감 효과가 확인되었다(Table 8).

입자 군집 방법론은 새나 곤충 무리의 사회적 행동에서 영감을 얻어 주어진 공간을 병렬적으로 탐색하기 위한 기법이다^[4,5]. 공간에 분포하는 입자들은 각자의 속도와 방향을 가지고 공간을 훑으며 각자 획득한 개별 최적해(particle optimum)의 정보를 종합하여 전역 최적해(global optimum)를 찾는 방식이다. 이를 위해 각 반복마다 입자들이 알고 있는 개별 최소해의 위치를 교환하고 이들 중 가장 낮은 값을 가진 전역 최소해를 선정하여 사전에 정의된 가중치를 개별 최소해 방향, 전역 최소해 방향, 기존 단계 속도 벡터를 합산하여 새로운 공간을 탐색한다.

본 연구에서 수집 행렬의 첫 데이터를 포함하여 수집 행렬이 완결되기까지의 데이터 선택으로 구성된 벡터를 하나의 입자로 정의하였다. 수집 행렬 작성 과정을 모두 담을 수 있도록 최대 차원 N은 충분히 큰 값인 1,000으로 설정하였다. 수집 행렬 작성이 n<N 단계에서 완료되면 이후의 데이터는 nan 값으로 처리했으며, t 단계에서의 i 번째 입자 벡터는 다음과 같이 표현된다.

입자 벡터는 N 단계에서 Q-Learning에서 수집 행렬이 완성된 뒤 행동들의 집합과 동일하나, Q-Learning은 수집 행렬 반복 작성시 행렬에 저장된 Q 값을 기반으로 처음부터 수행하는데 반해 입자 군집은 현재의 위치를 바탕으로 주변 공간을 탐색한다. 단순 적재 방식으로 작성한 수집 행렬을 입자 벡터의 초기값으로 설정하고, 초기 벡터를 임의의 값으로 설정하여 입자들이 다른 방향으로 움직이도록 하였다.

Fig. 5에 50개의 입자를 이용한 수집 행렬 최적화 과정(t≤100)을 도시하였다. 초기값에서부터 단계별로 더 낮은 국부 최소해를 찾아가는 한편 일부 입자들은 다른 공간을 탐색하는 모습을 볼 수 있다. 그래프에 도시된 입자들이 전체 입자 수에 비해 적은데, 많은 입자들이 수집 행렬 작성에 실패하여 그래프에 표시되지 못하였다.

Fig. 5. 
Particle swarm optimization process of 50 particles with 100 iteration

벡터 공간을 탐색하는 입자의 수와 반복 횟수가 많을수록 최소값 탐색이 유리하나 계산 시간 및 국소 최소해 문제를 최소화하기 위해 입자 군집 최적화를 반복하여 적용하는 방식을 채택하였다. 주어진 입자의 수와 반복 횟수에서 시스템 전체의 전역 최소값을 찾을 확률을 p_g, 입자 군집 최적화 횟수(repeat)를 m이라고 할 때 전역 최소값을 찾을 확률 P = 1-(1-p_g)^m이다. 본 연구에 적용했듯 m = 10일 때 p_g = 0.3일 경우 P = 0.97, p_g = 0.1에 불과하더라도 P = 0.65가 되어 전역 최소값 탐색 능력이 크게 상승한다.

Fig. 6에 도시한 입자군집 최적화 10회 반복 과정에서 반복 수행의 이점을 확인할 수 있다. 화살표로 표시한 Fig. 5의 사례를 포함하여 많은 경우 Time index가 29520 부근일 때를 최적해로 판단하고 있으나 적은 수가 29512를 달성하였다. 한편, 단순 적재 방식에 비해 입자 군집 최적화 적용시 수집 행렬 작성 데이터량이 크게 감소한다. 수집 행렬 최적화 후, 10분 단위 데이터 개수 기준으로 선분할 방식과 비교하여 평균적으로 100개 가량, 최대 약 152개(1월 26일)까지 줄어들었음을 확인하였다(Fig. 7).

Fig. 6. 
Particle swarm optimization processes of 10 repeats. The colors of the line stands for trajectory of each repeat. The optimization process shown on Fig. 5 is marked with an arrow.

Fig. 7. 
Distribution of dimension reduction, during particle swarm optimization process. The bar presents histogram with kernel density estimation (solid line), as the ticks denote each data