[한-캐] The concept of D-similar matrix

✔️ Wishart distn 모수인 추정치 $\Sigma$를 결정짓는 방법인 D-similar matrix를 알아보자!

 

[process]

[Concept] - [Method]

 

1. Concept

 

D-similar matrix라는 개념은 

만약 SPD matrix라면 Signed Diagonal matrix를 곱해도 여전히 nonnegative symmetric하며 D를 곱해 구해진 두 matrix는 D-similar라고 부른다. 다시말해,  D-similar matrix의 경우 eigenvalue가 같다.

↔︎ 

즉 SPD를 만족하는 한 matrix는 각 class별로 $2^n$개의 같은 D-similar matrix가 나온다.

 

 

예를 들어 다음과 같은 A matrix가 있을 때, D:= diag(-1,1,1)라면 두 matrix는 같은 eigenvalue를 갖는다. eigenvalue를 구하는 방법은 det(A - lambda*I) where I = identity matrix(n)을 풀면 된다. 어려우면 R에서 matrix를 정의하고 eigen(A)를 써도 된다. 

 

특히 D를 곱할 때, diag(-1,1,1)을 곱하는 의미는 원래 기존 A 행렬에 대해, 1행 1열의 부호를 바꾸라는 뜻이다. 

그렇다면 원래 nxn matrix의 경우 D-similar matrix를 고려할 때, $2^n$ 개의 같은 eigenvalue를 갖는 matrices가 있음을 알 수 있다. 

 

그런데, D = -D이므로, 우리가 추정해야하는 matrices 수는 $2^{n-1}$이다.

 

 

예를 들어 앞선 A matrix를 고려해보면, D := diag(-1,1,1) ↔︎ D:= diag(1,-1,-1)의 결과를 보인다는 뜻이다.

 D := diag(-1,1,1) 의 경우 1행 1열을 바꾸고,  D:= diag(1,-1,-1) 경우 2행 2열 & 3행 3열의 부호를 바꾸면 두 행렬이 동치관계임을 쉽게 보일 수 있다. 

 

n=3일 땐, 아래 같은 셋들이 pair를 이뤄서 4개의 D-similar matrix를 보인다.  $# = 2^{3-1}$ 총 4개

 

 

n=4 일땐,

아래 matricese들이 동치 관계에 있다. $# = 2^{4-1}$, 총 8개

 

$\Sigma$의 dimesion, n=4일 때 D-similar set.

 

 

2. Method

 

Wishart-Gamma의 parameter인 $\Sigma$를 추정할 때, 절대값으로 추정되는 $\Sigma$의 추정치 중 어느 $\Sigma$가 잘 추정된 $\Sigma$인지 class 를 나눌 때 유용하게 사용되는 개념이다. 

 

다시말해, Wishart estimation의 결과는 true $\Sigma$값이 있을 때, 기존의 $\Sigma$에 절대값이 취해진 값이 추정되기 때문에 어떤 sign을 줄 지 결정해야 한다. 

 

추정될 $\Sigma$의 형태는 기존 true의 abs를 취한 값으로 추정됨.

 

그런데 각 $\Sigma$는 D-similar한 개수만큼 같은 eigenvalue를 가지므로, 다른 eigenvalue를 가진, 다시말해 non D-similar matrix의 대표값을 추정해서 어떤 $\Sigma$ 추정치가 joint distribution($U_i, U_j$)의 log-likelihood 값을 잘 대표하는 지 찾아주면 된다. 

(그래서 추후 페이퍼에선 joint log-likelihood 값을 이용해서 어떤 추정치가 더 나은 추정치인지 보여준다)

 

 

그러려면 추정해야하는 class의 개수와 각 class 별 D-similar matrices의 수를 아는 것이 중요하다. 

앞서, nxn matrix에 대해서 한 sign matrix에 대해 D-similar matrix의 총 개수는 $2^{n-1}$라고 했다. 

그렇다면, 각 matrix element의 부호를 바꾸면 각 부호 별로 D-similar matrix가 총 $2^{n-1}$개 씩 있을 것이다. 

 

 

그렇다면 총 고려해야 할 signed matrix는 몇 개일 까?

 

이때, Wishart distn parameter $\Sigma$의 경우 Symmetric하므로 diagonal과 upper diagonal term의 부호만 바꾼 걸 고려하면 되므로, 총 $2^{\frac{n(n-1)}{2}}$ 개의 부호만 고려하면 된다.

 

고려해야할 부호 경우의 수

 

다시말해, sign이 바뀌는 경우를 고려해보면, Symmetric이므로 upper diagonal(or lower diagonal)의 값만 sign이 바뀌는 경우를 고려하면 되므로 총 $2^{\frac{n(n-1)}{2}}$개의 distinguishable matrices class가 있는 것을 알 수 있다.

 

 

그리고 각 class의 수 $2^{\frac{n(n-1)}{2}}$는 항상 각 class 별 element 수인 $2^{d-1}$보다 크므로, 결국 앞서 정의한 matrix의 sign이 바뀌는 경우 각 sign당 총 추정해야하는 class는 $2^{\frac{(d-1)(d-2)}{2}}$임을 알 수 있다. 

The total estimated number for absoluted $\Sigma$

 

 

 

그렇다면 각 class를 나누는 matrices는 어떻게 추정할까? 다시말해, $2^{\frac{(d-1)(d-2)}{2}$에 대한 matrices set은 어떻게 찾을 수 있을까?

 

사실 이 방법은 thm으로 정의된 것이 아니라 양루 교수님께서 알려주신 방법인데 어떻게 찾으신 건지 모르겠다. 어떻게 아래 방법이 D-similar의 각 representative 값을 찾는 방법이 되는 지 궁금하다. 

여쭤봤는 데 명확히 설명해주시지 않더라 다음에 차분히 증명을 해봐야겠다. 아니면 너무 쉽게 derive 되는 건가

 

정말 쉽게 첫번째 행은 nonegative 값으로 고정하고 그 뒤로 그 아래 행 중 upper diagonal term에 sign을 주는 경우를 고려하면 된다.

예를 들어 dimesion = 3인 경우 [2,3]의 element가 +인지 -인지만 distinguishable matrix(eigenvalue가 다른 행렬)이 되는 거다.

 

 

이렇게 Wishart parameter의 비교셋을 구하고 앞서 말했듯 joint log-likelihood approximation (defined as eq.1 in study)로 최적 $\Sigma$를 결정 지으면 된다.