Image Representation, Filters

• Image Representation

1. Vectorize the Image pixels

 

이미지는 각 픽셀값이 0~1 사이의 값을 갖고있다(정규화한 경우). 이를 벡터화 시키면 HxW 차원의 벡터를 얻게 된다.

 

그러나 이는 값의 변화에 민감하며, 이미지 resolution이 클 수록, 차원이 높기때문에, data의 차원이 커지게 됨에 따라 성능이 안 좋아지게 된다. 차원이 높아지게 됨에 따라 연산량은 exponetial 하게 커지는 차원의 저주가 발생할 수 있음. 이를 해결하려면 데이터 수를 늘리거나 차원을 줄여야한다.

 

 

 

2. Histogram

 

색상의 분포를 나타냄으로써, 같은 color인 경우 군집되어 있는 분포를 확인 할 수 있다.

R,G,B 3 채널은 서로 다른 형태의 분포를 띄고 있는 것을 볼 수가 있다. Color Value는 roation이나 deformation 같은 변화에 민감하지가 않다. 그러나 색상 변화에는 역시 sensitive하며, 이미지 정보를 컬러로만 표현을 하기에 물체의 shape이나 texture를 잡아내기에는 어렵다.

 

 

 

3. Local Image feature

Local image feature 란 Edgs 혹은 작은 이미지 패치와 같이 이미지에서 발견되는 패턴 또는 고유한 구조처럼 이미지 특징을 나타내는데, 좋은 local feature라 함은 shape, color 등 이미지를 잘 설명할 수 있는 패치를 일컫는다.

일반적으로는 여러 부분에서 반복적으로 나오는 feature 부분이 representation이 좋다고한다.

 

- filtering

이미지 행렬과 필터 행렬 간의 linear operation을 하는 것인데, 이것의 특징은 필터를 이용해서 이미지 모든 region에 적용시킴에 따라 모든 region을 반영 할 수가 있다. 그러나 여기서 문제는 이미지의 가장자리 부분 픽셀은 어떻게 처리 하느냐인데 이를 해결하기 위한 방법으로는 zero padding, warp, mirroring 등이 있는데, zero padding을 제일 보편적으로 사용한다.

필터링 에는 noise 제거하는 필터도 있고, 스무딩 및 샤프닝 등의 다양한 필터가 존재하는데,  smoothing에는 가우시안 필터가 유명하다.

가우시안 분포는 평균과 표준편차에 따라 분포 모양이 달라지는데, 보통은 평균이 0 편차가 1이다. 위의 경우에는 2차원일때의 가우시안 분포를 나타낸다. 이 필터의 특징은 중앙 부분은 큰값을 가지고, 가장자리고 갈 수록 0에 가까운 작은 값을 가진다. 이로써 필터를 적용할 때, 해당 부분의 중심부에는 가중치를 높게 주고 가장자리는 작게 주는 weighted average 방식을 따르게 된다.

 

그리고 또 하나의 특징은 Separability인데 2D 가우시안 필터를 아래와 같이 1D , 1D 필터로 분리할 수가 있다.

 

- Edge detect

Edge : boundary of two distinictive regions

Edge는 x나 y축으로 확 변경되는 부분을 일컫는다. 즉 이는 픽셀값이 급격하게 변경되는 부분이다.

엣지를 찾아내기 위해서는 픽셀 값의 변화율을 구해서 변화율이 큰 부분을 선택해야 한다.

2차원 이미지에 대해서 적용하기 위해선 x, y축 모두 편미분을 해주어야 한다.

각각 편미분을 해주고 이를 그레디언트 벡터로 나타내주는데, magnitude(크기)와 phase(방향) 성분으로 표현한다.

여기서 gradient vector와 수직인 벡터 방향을 edge direction이라고 한다.

 

- Corner detection

Corner는 해당 patch 부분에서 어떠한 방향으로든 차이가 존재하는데 이를 이용해 찾는다고 한다.

Window function을 적용해서 (u, v)만큼 움직인 변화량을 통해 윈도우 내의 픽셀 값들의 차이의 제곱의 합을 구한다.