5. SIFT part 3: Local Description SIFT

Mở đầu

Tiếp sau bài viết về Corner Detection tại:

https://hoanglong187.blogspot.com/2022/09/sift-part-1-corner-detection.html

Và bài viết về Image Processing Pyramid và Scale-Invariant Interest point dectector tại: https://hoanglong187.blogspot.com/2022/09/4-sift-part-2-scale-invariant-interest.html

Ta tiếp tục nghiên cứu về SIFT và làm sao áp dụng Corner Detection và những kiến thức khác

Scale-Invariant feature transform SIFT ( chuyển đổi feature theo đối tượng bất biến về kích thước) là 1 algorithm dùng để detect local features trong ảnh số (Lowe-2004). Nó xác định các key points (image region) và các thông tin định lượng cho object recognition

Local Features: SIFT descriptor vector

Ta đã có:

- Harris corner detector đại diện cho phép quay (rotation)
- Scale invariant interest points đại diện cho phép biến đổi tỉ lệ (scale)

- Translation (tịnh tiến) invariant dựa vào window tiệm cận của điểm

Với invariances của 3 transformation trên, ta xây dựng SIFT Desctiptor

1. Scale invariant interest point detector cho ta mỗi scale p hợp lí nhất cho mỗi ketpoint

2. Từ đó, với mỗi keypoint, ta lấy Gaussian-blurred image tương ứng scale p

3. Tính gradient magnitude and orientation (độ lớn gradient và hướng vector) với neighborhood của mỗi keypoint

4. Tính dominant orientation của mỗi keypoint

- Tính histogram (biểu đồ) of gradient orientations , chia theo các tập 10^o để

giảm bớt khối lượng tính toán không cần thiết

- Ta thấy rằng những điểm càng gần keypoint càng nên được chú ý hơn, nên ta thêm vào bảng weight (trọng lượng)

Từ đó ta chọn dominant orientation là highest peak trong histogram

5. Để cân bằng độ chính xác và độ phức tạp, ta cần tính 128 dimensional descriptor: trong 4x4 grid cell mỗi cell lại tính histogram của 8 tập hướng dựa trên dominant orientation (tính bước 4 128 lần)

- Tính orientations relative to dominant orientation

- Từ 4x4 grid cell. Mỗi grid cell tính histogram của 8 tập hướng

- Thêm weight vào, ta có 1 vector cho 128D feature

Kết quả của 128 non-negative values này là raw version của SIFT descriptor vector

6. Ta có thể giảm thiểu ảnh hưởng của biến số bằng cách normalize:

Hoặc làm tròn đến 0.2 rồi renormalize cho nhwungx bài toán lớn hơn như photometric variations

Có 2 biến thể thường dùng là:

- PCA-SIFT: dùng PCA (hoặc linear dimensionality reduction khác) giảm 128D còn 10D

- Gradient location-orientation histogram (GLOH)

Image Features: Matching the Local Descriptors
Cách đơn giản: Compare them all (bởi Euclidean distance). Tìm closest match (match gần nhất) (min distance) và cặp gần thứ 2 (second closest match). Nếu cặp đầu nhỏ hơn nhiều cặp thứ 2 thì là match reliable ( có thể so sánh bằng tính tỉ lệ)

Để tránh quá nhiều, ta bỏ bớt false positives (incorrect matches being returned) và false negatives (correct matches being missed) bằng cách sử dụng threshold