2. 디지털 영상 기초(5)

2.6.4 집합 연산과 논리 연산

기본 집합 연산과 논리 연산은 따로 정리 안함

1. 퍼지 집합

   요소가 집합의 멤버인지 아닌지를 따지는 것은 크리스프 개념들이다.

   이러한 개념들에는 한계가 있다.

   예) 모든 사람들을 젊음, 젊지 않음으로 분류하려고 한다. U는 모든 사람들에 대한 집합, A는 젊은 사람들의 집합인 U의 부분 집합이다. 부분집합 A를 만들기 위해 A에 속하는 지 아닌지를 판별할 수 있는 1 또는 0을 부여하는 U의 각 요소에 대한 멤버쉽 함수가 필요하다. 멤버쉽 함수는 threshold이며 이 값보다 작은지 큰 지를 통해 사람이 젊은지 안 젊은지 판단한다. 20살 이하면 젊다고 할 때, 20년 1초를 산 사람은 젊지 않은 집합의 멤버가 된다. 크리스프 개념들은 이러한 문제를 갖는다. "젊음"이라는 기준에 점진적인 이행을 필요로 하게 되는데, 퍼지 집합 이론을 통해 구현할 수 있다. 더 자세한 내용은 3.8절에서 설명함.

2.6.5 공간 연산

공간 연산은 영상의 화소들에 직접 실행된다. 다음 세 가지 부류로 분류할 수 있다.

1. 단일-화소 연산

2. 이웃 연산

3. 기하적 공간 변환

1. 단일 화소 연산

가장 간단한 연산은 개별 화소들의 값들을 밝기에 기반해서 바꾸는 것이다.

$s=T(z)$

z는 원래 화소의 밝기이고, s는 T라는 변환 함수가 적용된 화소의 결과 밝기이다.

2. 이웃 연산

영상의 임의의 점 (x,y)를 중심으로 하는 이웃의 좌표들의 집합을 $S_{xy}$ 라고 할 때, 이웃 처리는 출력 영상 g의 같은 좌표에 상응하는 화소를 만들어준다.

$g(x,y)=\frac{1}{mn}\sum_{(r,c)\in{S_{xy}}}f(r,c)$

위 수식은 임의의 점 (x,y)를 중심으로하는 m×n 크기의 이웃에 있는 화소들의 평균값을 계산하는 연산을 나타낸 것이다. r과 c는 좌표들이 $S_{xy}$ 멤버인 화소들의 행, 열 좌표들이다. g는 이웃의 중심이 f에서 한 화소만큼 이동하도록 좌표를 바꾸고 이동한 새로운 위치에서 이웃 연산을 반복해서 만들어진다(sliding).

큰 예시가 blurring이다.

3. 기하적 공간 변환과 영상 정합

3-1. 기하 변환은 화소 간 공간 관계를 수정한다. 기하 변환은 두가지 기본 연산으로 구성됨.

• 좌표의 공간 변환

• 공간적으로 변환된 화소에 밝기 값을 부여하는 밝기 보간

좌표 변환은 원래 화소 좌표 (v,w)에서 변환 함수 T를 적용한 결과 좌표 (x,y)로 표현할 수 있다.

$(x,y)=T\{(v,w)\}$

가장 많이 사용되는 공간 좌표 변환은 affine transformation이다.

• 항등

  $x=v\\y=w\\\begin{bmatrix}1&0&0\\0&1&0\\0&0&1 \end{bmatrix}$

• 스케일링

  $x=c_xv\\y=c_yw\\\begin{bmatrix}c_x&0&0\\0&c_y&0\\0&0&1 \end{bmatrix}$

• 회전

  $x=v\cos\theta-w\sin\theta\\y=v\cos\theta+w\sin\theta\\\begin{bmatrix}\cos\theta&\sin\theta&0\\-\sin\theta&\cos\theta&0\\0&0&1 \end{bmatrix}$

• 이동

  $x=v+t_x\\y=w+t_y\\\begin{bmatrix}1&0&0\\0&1&0\\t_x&t_y&1 \end{bmatrix}$

• 수직 왜곡

  $x=v+s_vw\\y=w\\\begin{bmatrix}1&0&0\\s_v&1&0\\0&0&1 \end{bmatrix}$

• 수평 왜곡

  $x=v\\y=s_hv+w\\\begin{bmatrix}1&s_h&0\\0&1&0\\0&0&1 \end{bmatrix}$

매트릭스 T의 요소들로 선정된 값에 따라 변환이 일어난다.

$\begin{bmatrix}x&y&1\end{bmatrix}=\begin{bmatrix}v&w&1\end{bmatrix}\bold{T}=\begin{bmatrix}v&w&1\end{bmatrix}\begin{bmatrix}t_{11}&t_{12}&0\\t_{21}&t_{22}&0\\t_{31}&t_{32}&1\end{bmatrix}$

이 식은 두 가지 방법으로 사용할 수 있는데 하나는 순방향 매핑이다. 순방향 매핑은 기존에 하던 방식대로 화소 스캔하고 각 위치에서 위 식을 적용하여 계산하는 것이다. 순방향 매핑의 문제점은 여러 출력 값들이 한 출력 화소로 합쳐질 수 있다는 것이다. 둘 이상의 화소들이 출력 영상에서 같은 위치로 변환될 수 있다는 것이고, 이에 따라서 여러 출력 값들을 하나의 화소로 어떻게 결합시킬지를 정해야 한다. 그리고 어떤 위치에서는 아예 화소가 할당되지 않을 수도 있다.

두 번째 방법은 역방향 매핑이다. 출력 화소 위치를 스캔하고 각 위치에서 $(v,w)=\bold{T}^{-1}(x,y)$ 를 계산하여 입력 영상의 대응 위치를 알아낸다. 그 후 최근접 입력 화소들에 대해 보간을 사용하여 출력 화소 값을 결정한다. 역방향이 순방향보다 구현에 더 효율적이다.

3-2. 영상 정합은 같은 장면의 둘 이상의 영상들을 정합시키는데 사용하는 응용이다. 서로 다른 영상을 변형하여 하나의 좌표계에서 표현하는 것이다. 입력영상은 변환시키길 원하는 영상이고 참고영상은 입력을 정합시킬 대상인 영상이다.

예) 같은 때에 촬영되었으나 MRI 스캐너와 PET 스캐너 같이 다른 영상화 시스템을 사용해서 촬영된 두 장 이상의 영상들을 정합시키려고 하거나, 같은 위치에서 특정 시간 간격으로 촬영된 영상들을 합치려고 할 수 있다. 이 때 발생하는 영상간의 촬영 각도, 거리, 방향, 센서 해상도, 객체 위치 이동 등 차이로 인해 발생한 기하적 왜곡을 보정해야 한다.

이러한 문제들을 해결하기 위한 접근법 중 하나가 입력 영상과 참고 영상에서 위치가 정확하게 알려진 대응점들인 매듭점을 사용하는 것이다. 이 매듭점을 찾는 방법은 대화식도 있고, 자동 검출 알고리즘 등 다양함.

2.6.6 벡터 연산과 매트릭스 연산

영상이 RGB 컬러 공간에서 형성될 때, 하나의 화소 z는 열 벡터로 표현된다.

$\bold{z}=\begin{bmatrix}z_1\\z_2\\z_3\end{bmatrix}$

M×N 크기의 RGB 컬러 이미지는 총 M*N개의 3차원 벡터로 표현할 수 있다. 화소를 벡터로 표현할 수 있게 되면, 다양한 벡터-매트릭스 이론에 적용할 수 있다. 예를 들어, n-D 공간에서 화소 벡터 z와 임의의 점 a 간 유클리드 거리 D를 정의할 수 있다.

$D(\bold{z},\bold{a})=[(\bold{z}-\bold{a})^T(\bold{z}-\bold{a})]^{\frac{1}{2}}$

이 식은 2D Euclid Distance의 일반화이다. vector norm이라고도 한다.

• Norm?

  • Norm은 크기의 일반화를 표현하는 것으로 $||\bold{x}||$ 로 표현한다.

  • 대표 Norm
    1. absolute-value norm 다 알고 있는 절댓값 $|x|$ 는 1차원 유클리드 공간에서의 Norm이다.
    2. p-norm

       $p\geq1,\\||\bold{x}||_p=\sqrt[p]{|x_1|^p+|x_2|^p+...+|x_n|^p}=\begin{pmatrix}\sum^{n}_{k=1}|x_k|^p\end{pmatrix}^\frac{1}{p}$

    3. Euclidean norm

       p-norm에서 p=2인 경우이다. 우리가 일반적으로 평면 또는 공간 좌표에서 원점으로부터의 거리를 구하기 위해 사용하는 함수이다.

       $||\bold{x}||_2=\sqrt{|x_1|^2+|x_2|^2+...+|x_n|^2}=\sqrt{\sum_{k=1}^{n}{x_k^2}}$

    4. Manhattan norm(taxicab norm)

       p-norm에서 p=1인 경우. 격자 모양의 거리를 계산하기 위한 함수. L1 Regularization, L1 Distance 등에서 볼 수 있다.

       $||\bold{x}||_1 = |x_1|+|x_2|+...+|x_n|=\sum_{k=1}^{n}|x_k|$

    5. Infinity norm

       $||\bold{x}||_\infin =\max( |x_1|,|x_2|,...,|x_n|)$

       주어진 성분 중 최대값을 갖는 함수

화소 벡터의 중요한 이점은 선형 변환이다.

$\bold{w}=\bold{A}(\bold{z}-\bold{a})$

A는 m×n 매트릭스이고 z, a는 n×1 column vector이다.

영상에 적용되는 수 많은 선형 프로세스들을 다음으로 나타낼 수 있다.

$\bold{g}=\bold{Hf}+\bold{n}$

f = 입력영상(MN×1), n = 노이즈 패턴의 벡터 (MN×1), g는 처리된 영상(MN×1), H는 선형 프로세스 (MN×MN) 매트릭스다.

2.6.7 영상 변환

지금까지는 입력 영상의 화소를 직접 계산하였다. 이 경우는 직접 공간 도메인에서 작용한다. 어떤 경우에는 변환한 후, 변환 도메인에서 작업을 수행한 뒤 공간 도메인으로 돌아오기 위한 역변환을 거친다. 변환의 종류는 다양하다. $T(u,v)$ 로 표기되는 중요한 2D 선형 변환 부류가 아래 수식으로 일반화될 수 있다.

$T(u,v)=\sum_{x=0}^{M-1}\sum_{y=0}^{N-1}f(x,y)r(x,y,u,v)$

$f(x,y)$ 는 입력영상, $r(x,y,u,v)$ 는 순방향 변환 커널이다. u, v는 변환 변수라고 부른다. 순방향 변환을 통해 구한 $T(u,v)$ 의 역반환을 사용해 $f(x,y)$ 를 복구할 수 있다.

$f(x,y)=\sum_{u=0}^{M-1}\sum_{v=0}^{N-1}T(u,v)s(x,y,u,v)$

s가 역방향 변환 커널이 된다. 위 두 식은 변환 쌍으로 불린다.

순방향 변환 커널이 아래와 같으면 분리가능하다고 한다.

$r(x,y,u,v)=r_1(x,u)r_2(y,v)$

만약 $r_1$ 이 $r_2$ 와 함수적으로 같다면 이 커널은 대칭적이다. 순방향 변환 커널을 역방향으로 바꾸어도 적용된다.

2차원 푸리에 변환은 아래의 순방향, 역방향 커널을 갖는다. 여기서 j는 $\sqrt{-1}$ 이며 따라서 커널은 복소수가 된다.

$r(x,y,u,v)=e^{-j2\pi(ux/M+vy/N)}\\\frac{1}{MN}e^{j2\pi(ux/M+vy/N)}$

위 커널을 앞서 봤던 일반 변환 공식에 대입하면 이산 푸리에 변환 쌍을 얻을 수 있다.

$T(u,v)=\sum_{x=0}^{M-1}\sum_{y=0}^{N-1}f(x,y)e^{-j2\pi(ux/M+vy/N)}\\f(x,y)=\frac{1}{MN}\sum_{u=0}^{M-1}\sum_{v=0}^{N-1}T(u,v)e^{j2\pi(ux/M+vy/N)}$

푸리에 변환에 대해서는 링크 참고(어렵다..)

푸리에 변환 외에도 Walsh, Hadamard, Haar, 이산 코싸인, 경사 변환 등 중요한 변환들이 있다. 뒤에서 다룸.

2.6.8 확률적 방법

확률은 영상 처리 알고리즘을 개발하는데 중요하게 사용된다. 확률과 매트릭스 공식을 이용한 복원 알고리즘을 다루고, 확률 공식을 기반으로 최적 객체 인식 기법을 유도한다.

Uploaded by Notion2Tistory v1.0.0