[한-캐] 연수 프로젝트: Wishart-Gamma Random Effect Model

✔️ 다변량 동적 임의 모형인
Wishart - Gamma Random Effect Model에 대해 알아보자

 

[process]

[Random Effect Model] - [Wishart-Gamma Random Effect Model]

 

1. Random Effect Model

 

random effect model 동적임의 모형이란, 설명변수외의 다른 임의 변수를 고려한 회귀 모형을 의미한다. 

다시 말해, 기존의 회귀 모형인 $Y_i = X_i \cdot \beta + \epsilon_i$, $\epsilon \sim N(0, \sigma_i)$의 모형에서 

독립변수인 $Y_i$에 임의 효과를 부여해 임의 효과에 대한 모형 가정을 통해 설명 변수에 포함되진 않지만 독립변수에 영향을 주는 요인을 다루는 모형이다. 주로 경제에서 많이 사용되며, 특히 보험 분야에서 많이 사용되는 방법론이다. 

 

선형 회귀의 경우, 아래와 같이 표현되며 

$$Y_i = X_i \cdot \beta + \epsilon_i + \theta_i$$

where $\theta_i \sim F_{\theta}$.

 

$$Y_i \vert \theta_i \sim^{iid} F_{y}$$ given $$\theta_i \sim F_{\theta}$$ 

로 표현되기도 한다. 

중요한 건 기존 선형 회귀 모형의 경우 분포 가정이 독립 변수 하나에 대해 작용하지만 Random Effect Model의 경우 독립 변수가 파생되는 분포 가정을 기반으로 독립변수에 대한 가정이 이뤄진다는 점에서 차이가 있다. 

 

다시 말해, 하나의 고유 특성을 동적 임의 효과라고 보고 이에 대해 각 타겟 ($Y_i$)들이 관측되는 경우라고 볼 수 있다. 

동적 임의 효과 모형 모식도

 

위와 같은 모형으로 관측값들이 도출된다고 볼 수 있다. 

 

1-1. State Space Model

 

그러나, Random Effect Model의 경우 보다시피 N개의 관측값에 대해 모두 같은 임의 효과에서 파생되어 나옴을 알 수 있다. 다시 말해서 N개의 obeservation에 대해 시간의 영향을 받지 않는 것이 Random effect model이라고 할 수 있다. 다시말해 y들의 순서를 바꿔도 기대값에 영향을 주지 않는다. 물론 시간 별로 독립 변수가 달라질 경우 y의 순서를 바꿨을 때의 각각 기대값이 완전히 같다고 할 순 없지만, 독립변수가 고정되어 있다면 완전히 같은 값이 산출됨을 알 수 있다.

 

그러나, 최근 y값이 중요하게 여겨지는 경우 순서가 바뀌면 기대값도 바뀌는 것이 옳을 것이다.

이런 아이디어로 나온 것이 시간 별로 임의효과를 다르게 주는 것이 바로 State Space Model 이다. 그러므로 State Space Model 의 경우 Random Effect Model의 확장 개념으로 볼 수 있다.

 

특히 AR(1)의 경우 sequence가 RNN의 structure와 완전히 동치 관계임을 알 수 있다.

 

 

2. Wishart-Gamma Random Effect Model

 

Wishart-Gamma REM의 경우 다변량 예측 모형으로 $Y$들의 joint function이 explicit한 laplace transform 꼴로 규명할 수 있다는 장점을 지닌다.

해당 derive 과정의 경우 Yang Lu 교수님이 이전 2021 JS에 기재했지만 다변량의 수가 커진 경우 다시말해 Wishart distn의 $\Sigma$ 파라미터의 dimension이 커진 경우는 다루지 않았다.

 

본 연구는 행렬 계산을 이용해 dimension이 증가했을 때의 $\Sigma$ 추정 방법에 대해 상세히 설명하고 있다.

 

또, 각 distn parameter 추정치에 대한 결과를 simulation과 real data analysis를 통해 설명한다. 

특히, 추정된 $\Sigma$ matrix를 결정하는 방법을 D-similar method를 활용해 computation을 낮추고 각 estimated signed $\Sigma$에 대해 샘플링을 해 joint distribution log-likelihood(defined as eq.1 in study)에 대한 approximation을 이용해 true $\Sigma$를 잘 추정함을 보였음에 의의가 있다. 

 

 

Wishart parameter를 추정하기 위해선 다음과 같은 과정을 거쳐야 한다.

 

• to estimate the diagonal terms of the Wishart distn by using marginal log-likelihood (actually NB distn)

 

• to estimate the off diagonal terms of the Wishart distn by using joint log-likelihood from laplace transformation

• Finally, to determine which one is the best signed $\Sigma$ for true $\Sigma$

만일, 처음 시뮬레이션의 3x3 matrix인 $\Sigma$가 모두 양수값을 갖는 다면 [2,3] element가 음수값을 갖는 $\Sigma$보다 더 큰 joint log-likelihood approximation 값을 가질 것이다. 

 

 

2.1 여러 년에 걸쳐서 관측된 경우엔?

만약 policyholder가 여러 년에 걸쳐 관측된 경우엔 각 policyholder의 $\lambda$ 추정치와 N 값들을 시간에 대해 합치면 된다. 다시 말해 2003년 2004년 2개년도가 관측되었다면 각 사람 별로 2개년도의 값을 합치면 되는 것이다.

 

관련된 자세한 증명과정은 아래 pdf 파일을 확인하면 된다.

 

Sigma추정.pdf

1.11MB