Harris Corner paper

Abstract

이미지 edge filtering은 3D 이미해석을 위해 중요하다. corner, edge detector는 local auto-correlation fucntion 기반이 사용된다.

 

Introduction

움직이는 단안 카메라로 컴퓨터비전 기반 움직임 분석하는 것을 목표로 한다. 이미지 features을 tracking하기 위해서는 featrues는 분리되어야 함으로 corner와 feature-point를 중점으로 연구를 해왔다.

그러나 feature-point의 연결성 제한은, 고차원적 분석에 제한이됨으로 edge또한 이용해야한다.

 

THE EDGE TRACKING PROBLEM

stereo camera에서 edge images는 epi-polar camera geometry로 매칭할 수 있다.

epi-polar camera geometry란

두 카메라간의 R|t를 알면 변환을 통해 image를 변환할 수 있으며, 이정보를 기반으로 tracking할 수 있다.

반대로 camera motion을 모른다면 할 수없기에 이를 해결하고자 한다. aperture problem도 해결해야한다.

그리고 edge pixel을 tracking해야하고 3d location을 추정 해야한다.

 

edge tracking이 되면, edge의 connetctivity가 확보되면 corner와 edge로 wire-frame을 만들고 이를 통해 surface까지 판단할 수 있다.

 

기존의 Canny는 edge검출은 잘되지만 조금의 변형이 있다면 검출한게 이전 것과 달라 매칭이 어렵다. 즉 edges와 corners를 통해 line을 만드는 방법을 사용해야한다.

 

MORAVEC REVISTIED

moravec에서 고려되야하는 것은 아래와 같다.

A. flat에서는 window의 변화에 값의 변화가 없다.

B. edge에서는 window의 변화가 edge의 방향과 일치하면 변화가 없으며 다르면 변화가 크다.

C. corner에서는 window변화에 항상 변화가 있다.

Error값은 아래와 같다.

window의 (1,0), (1,1), (0,1), (-1,1) 방향으로 sift한다.

 

AUTO-CORRELATION DETECTOR

a, b, c는 moravec, beaudet, kitchen & rosenfeld 방식으로 결과가 좋지않다.(d는 harris)

잘 안된 이유 분석

1. 결과가 뱡향성을 가지고있다. -> window의 sift가 특정 방향으로 편향되어 있다.

    => 모든 방향이 필요하다(canny)

X, Y = dI/dx, dI/dy를 의미하며 X = I x (-1,0,1) = dI/dx 로, 즉 sobel filter를 적용한다.

-> 수식이 옛날 방식이라 직관적이지 않음(새 수식 만들기 귀찮음)

2. 결과물에 noise가 있다. -> windw가 이진적인 사각형이기 때문

    => smooth circular window 사용 gaussian 같은

3. operator가 edge에 너무 민감하다

    => error 수식 변형

E는 window를 잘 표현하고 있으며, window의 중심 즉 target pixcel이 어떤 shape인지 판단할 수 있다.

α, β를 M의 eigenvalue로 하면 α, β로 구별한다.

A. α, β가 모두 작을때: flat, 모든방향이 다 낮다

B. α, β중 하나가 높고, 다른것은 낮을때: edge, edge 방향이 낮다

C. α, β둘다 높을때: corner, 모든 방향이 다 높다.

CORNER/EDGE RESPONSE FUNCTION

추가로 strong edge인지 weak edge인지 판단이 필요하다.

Tr, det를 구하기 위해 eigenvalue decomposition을 하지 않고 위의 식으로 approximate 한다.

즉 R이 양수면 corner, 음수면 edge, 절대값이 작으면 flat이다.

 

이때는 혁신적이였으나 요즘은 잘 안씀.