A Method of Dog Recognition using Nose Print and Landmarks

Abstract

본 논문은 비문과 반려견의 랜드마크를 설정하여 개체를 식별하는 방법에 대해 제안한다. 최근 반려견을 유기하는 현상이 점차 늘어나고 있는 추세이며 유기된 개체 수도 급증하고 있다. 이 유기된 반려견은 야생화가 되어 사람들의 일상생활에 많은 피해를 주고 있어 심각한 문제를 발생시키고 있다. 이에 대한 해결 방법으로 동물등록제가 시행되고 있으나 일부 반려견 주인들은 칩을 삽입하는 등록 방법에 대해 기피하는 현상이 있어 완전한 등록제가 정착되지 않고 있다. 반려견을 등록할 때에 반려견주들의 혐오감이나 기피 현상을 제거하는 것이 반려동물등록제를 정착시킬 수 있을 것이다. 본 논문에서는 이러한 기피 현상을 없애고 반려견주들이 친근하게 반려견을 등록할 수 있도록 비문과 반려견의 랜드마크를 설정하여 개체를 식별하는 방법을 제안하였다.

In this paper, We propose a method for identifying objects by setting inscriptions and landmarks of dogs. The phenomenon of abandoning dogs is on the rise, and the number of abandoned individuals is also rapidly increasing. These abandoned dogs are becoming wild animals, causing a lot of damage to people's daily life, causing serious problems. As a solution to this problem, the animal registration system is being implemented, but there is a phenomenon that some dog owners avoid the registration method that inserts a chip, so the complete registration system is not settled. When registering a dog, removing the avoidance of dog owners will help establish the companion animal registration system. In this paper, we present a technique to identify objects by setting inscriptions and landmarks of dogs so that dog owners can register their dogs in a friendly way to eliminate this avoidance phenomenon.

I. Introduction

국내 반려동물 관련 시장(표 1 참조)은 3년 동안 연평균 14.1%씩 성장하였고, 2017년 약 2조 3, 300억 원을 상회하였으며, 2017년에는 양육 가구가 전체 가구의 29.2%로 추정되고 있다. 국내 반려동물 등 관련 시장은 매년 10% 이상의 성장세가 유지되고 있으며, 2023년 4조 6천 억 원에서 2027년에는 6조 원 규모의 시장을 기대하고 있다.

Table 1. raising companion animals [1]

최근 반려견을 입양하여 함께 생활하는 가정이 급속하게 늘어나고 있으며, 반려동물과 관련된 산업도 빠른 속도로 확대 발전되고 있다. 그러나 반려동물 시장의 급성장은 반려견 학대와 반려견의 공중위생상을 위해 등의 문제와 함께 유기·유실견 처리비용으로 지방자치단체가 연간 200 억 이상을 지출하는 등 사회 경제적 문제를 동반하고 있다. 이처럼 반려견 입양 가정이 늘고 관련 산업이 발전하는 가운데에서도 다른 한편으로는 유기되는 반려견 들이 야생성을 갖추고 무리화 되면서 주민들의 일상생활에 위협이 되고 있으며, 이러한 유기견의 무리화 및 야생성에 대한 끊임없는 민원이 제기되고 있다.

이에 정부(농림축산식품부/ 농림축산검역원)에서는 광견병 등 인수공통전염 관리, 공중위생상 유해 및 유기·유실 동물 발생 방지를 하여 동물등록제를 추진하고 있다. 그림 1은 반려견 등록 누계 현황을 보여주고 있다. 2020년까지 등록된 반려견의 숫자는 232만 1, 701마리이며, 신규 등록된 반려견은 23만 5, 637마리이다.

Fig. 1. Accumulated dog registration status(number of animals)[2]

II. Preliminaries

1. Related works

1.1 Pet dog Trends

최근 농림축산식품부 보고서에 의하면, 2017년 약 10만 마리의 유기 동물이 발생했다고 보고되어 있으며, <2021 동물복지 정책개선 방향에 대한 국민인식조사> 설문조사 보고서[3]에 따르면 반려동물을 유기하는 이유는 '반려동물을 기르는 사람의 책임 인식이 부족해서'(76.5%)로 가장 많고, 반려동물 보험 등의 부재로 인해 진료비가 높은 이유 등 '반려동물 의료 시스템, 동반 시설 등 반려동물과 함께 잘 살 수 있는 사회적 기반이 부족해서'(27.7%)로 조사되고 있다(Fig. 2 참고)[3].

Fig. 2. Reasons for the occurrence of abandoned animals

관련 부처나 각 자치단체에서도 유기견들에 대한 대책을 세워 대응하고 있고, 농림축산식품부에서는 반려동물 및 반려동물의 소유자에 대한 정보를 등록하고, 관리함으로써 반려동물을 잃어버린 경우, 빠르게 주인을 찾을 수 있도록 하고, 관련 동물 소유주의 책임 의식을 높여 동물 유기 행위를 억제 근절하도록 노력하고 있다. 2014년 시행된 반려동물 등록제는 2004년 전국으로 시행되어, 등록 마릿수는 계속 증가하고 있다. 등록 반려견은 무선식별 장치(내장형및 외장형) 형태로 발급받을 수 있으며, 반려견 소유자의 58.9% 정도가 내장형 무선식별장치를 선호한 것으로 나타났다. 이와 같은 노력의 일환으로 반려동물등록제가 시행되고는 있으나 현재의 등록시스템은 반려동물에게 마이크로칩(RFID, 무선전자개체식별장치)을 삽입하여 등록하는 방법으로 진행되고 있다. 이 방법은 칩 삽입을 위해 시술이 필요한데, 이 시술 부위에 종양이 발생하는 경우가 있어 소유주로부터 많은 거부감을 불러오고 있어 동물등록제가 정착되지 못하고 있다. 또한 이러한 마이크로칩은 향후 반려동물이 동물병원에서 MRI 등의 장비로 진단을 위해 촬영을 하는 경우에는 반드시 제거하고 촬영해야 하는 불편함이 존재한다.

Fig. 3. Registration rate.(New)[2]

1.2 Wireless Identification Device Trend

내장형 무선식별 장치(Fig. 3 참고)는 소와 돼지처럼 농장으로부터 도축, 가공 및 도매 등 유통과정을 파악하기 위한 것이었으나, 이러한 식별 장치는 반려견 보호단체의 거부 운동(Fig. 4 참고))으로 이어졌다.

Fig. 4. MBN News [4]

외장형 무선식별 장치는 목에 거는 방식으로, 반려동물에 대한 정보가 기록된 칩을 통해 반려동물의 정보를 리더기를 통해 분석할 수 있지만, 리더기의 정보가 제대로 인식되지 못하는 경우를 대비해서 리더기에 등록번호를 기재하는 방식이다. 이 방법은 반려견 분실 이후, 외장형 무선식별 장치를 고의로 제거하는 경우에는 식별할 수 없다는 단점이 있다.

반려견 얼굴인식을 사용하는 경우에는 반려견 분실 시에 반려견의 체중 감소와 같은 신체 변화와 타 개체로부터의 공격 또는 사고로 인해서 신체가 훼손되는 경우가 발생할 경우, 서버에 저장된 개체별 랜드마크와 분실 이후의 랜드마크가 상이하여 인식률이 떨어지는 문제가 발생하게 된다.

1.3 Pet dog database

이를 보완하려는 방법으로 반려견 데이터베이스를 사용하게 된다. 전 세계에서 가장 많이 사용되는 Pet Facial Recognition 애플리케이션인 Finding Rover에 등록된 반려견 숫자가 70만 마리에 불과하다. (Finding Rover CEO John Polimeno 2019년 7월 News and Tribune 인터뷰) 이는 미국 반려견 숫자 7천 7백만 마리, 일본 1천 1 백만 마리, 영국 8백만 마리, 독일 5백8십만 마리 등으로 전 세계 1억5천만 마리(농협경제연구소 NHERI리포트 제 215호)의 0.4%에도 미치지 못하는 결과이다.

반려견 얼굴인식 기술을 이용하여 유기·유실된 반려견을 찾기 위해서는 기술적인 정확도와 함께 반려견 개체별 얼굴 랜드마크의 데이터베이스 확보(예를 들면, 1천만 마리 이상)가 사업 성공의 핵심 요소이나, 현재 견주가 반려견의 사진을 업로드하는 방식은 지정된 각도에서 촬영하지 않는 경우, 얼굴에서 랜드마크 추출이 어려움이 있다. 예를 들면, 페이스북처럼 누구나 알고 있을 정도로 유명해야만 모든 보호자가 애플리케이션을 다운로드하고, 보호하고 있는 반려견의 사진을 업로드하여 반려견 얼굴 랜드마크 데이터베이스 구축 가능하다는 단점이 있다.

Table 2. Comparison of dog face recognition devices

그러므로 반려견이 동물병원 내원 시 보호자의 동의하에 반려견을 체중 측정용 케이지에 올려놓으면, 케이지에서 자동으로 반려견의 얼굴 랜드마크와 비문을 촬영하고 동물병원 EMR 차트에 저장된 개체별 데이터베이스와 즉시 연동되는 방식이 필요. 또한, 가정에서는 반려견용 웨어러블을 통해서 수집된 생애주기별 음성데이터가 동물병원 전자 차트에 추가로 연동됨으로써, 생애주기별 생체인식 기술을 이용한 반려견 인식 데이터베이스 구축이 필요하다.

1.4 Nose print of dogs

사람의 지문이 고유한 식별자인 것처럼 모든 개나 소에는 고유한 코 지문이 있다. 캘거리 휴메인 소사이어티 (Calgary Humane Society)에 따르면 1938년부터 Canadian Kennel Club은 코 지문을 개의 고유한 식별수단 중 하나로 받아들이고 있다[7]. 또한, 모든 사람의 지문 패턴이 고유한 것처럼 생후 2개월에 코 무늬 패턴이 확립되고, 생후 1년 동안에는 패턴에 변화가 없는 것으로 보고되어 있으며, 개의 rhinarium(개의 코끝에 있는 맨살 부분)에는 보조개, 점 및 융기 부분의 독특한 디자인이 있으며, 그 콧구멍 모양은 다른 모든 개 중에서 한 개를 결정적으로 식별할 수 있을 만큼 충분히 독특한 표시를 만드는 것으로 알려져 있다[8].

Fig. 5. Nose print – Normal image & Edge detection

반려견의 비문을 안전하게 확인하기 위해서는 다양한 방법들이 있는 첫 번째는 종이 수건 형태로 제작된 비문용 수건에 식용 색소를 대고 부드러운 전용 용지를 사용하여 색소를 바르는 방법, 두 번째는 최근 가장 많이 연구하고 있는 카메라 이미지를 사용하는 방법이 있다.

Fig. 6. A method of taking a nose print on a glass

첫 번째 방법은 실제로 비문용 전용 용지에 반려견의 코 문 양을 정확히 찍는 것이 어려워 여러 번의 시도가 필요한 단점이 있으며, 두 번째 이미지 방법은 반려견들이 카메라에 대해 거부감을 가지고 있어 정확한 초점을 맞추기가 어렵다는 단점이 있다. 그러나 이미지 촬영 방법은 현재 편리하게 가장 많이 사용되고 있는 방법이나 촬영 방법에 대한 개선이 필요하다. 또한, 최근에는 딥러닝을 이용하여 동물 및 반려견에 대한 인식을 높이는 방법들이 소개되고 있다[9, 10, 11].

본 논문에서는 소유주에게도 거부감을 주지 않고 특별한 재료를 들이지 않고 반려견의 비문 이미지와 설정된 반려견들만의 특징점을 인식하여 추출한 랜드마크 정보만을 가지고 반려견을 위한 개체 식별 방법을 제안하였다. 본 논문의 2장에서 관련 연구와 기술 동향에 대하여 서술하고, 3장에서는 개체 식별 방법을 설명하였으며, 그에 대한 실험 결과를 기술하였다. 끝으로 4장에서는 결론을 맺었다.

III. The Proposed Scheme

본 논문에서는 기존의 비문 인식으로만 적용하여 반려견 개체 인식하는 방법의 단점을 보완할 수 있도록 반려견의 비문과 얼굴 랜드마크를 요소별로 결합 비교하여 유사도를 산출하여 식별하는 방법을 적용한다.

기존의 bag-of-feature 모델은 기본 수준의 범주 분류를 처리하는 데에는 효과적이지만 동일한 기본 범주 내에서 클래스 간의 미묘한 차이를 포착하는 데는 효율이 떨어진다[9, 10]. 이러한 약점을 고려하여 개 품종 분류와 관련된 연구에서는 외모와 기하학 정보를 결합하여 등급을 유추하고 있다[14].

3.1. Method of nose print recognition

반려견의 비문 인식 방법은 다양한 기법들이 사용되고 있다. SURF(Speeded-up Robust Features) 특징점 추출, FREAK(Fasr REtinA Keypoint) 특징 기술자(feature descriptor)와 매치시키는 방법, RANSAC(RANdom Sampling Consensus) 알고리즘 등이 있다[15, 16, 17, 18].

본 논문에서는 [M. Lee, 2015][15]에서 제시한 ROI( Region Of Interest) 방법을 개선하여 사용하였다.

Fig. 7. Set of ROI

일반적인 개체 인식 알고리즘에서 전형적인 이미지로 사용하는 객체는 주로 강체이다. 반려견의 코는 냄새를 맡는 작은 동작으로도 모양의 변형이 발생할 수 있다. Fig. 4 에서 보인 바와 같이 반려견의 코는 강체가 아니기 때문에 코 부분 중에서 근육의 움직임이 거의 없는 콧구멍 사이의 부분을 아무런 압력이 가해지지 않았다는 가정하에 ROI 영역으로 선정했다. Fig. 7에서 (1)과 (2) 부분은 코 부위 중 가장 많은 움직임이 발생할 수 있는 부분이기 때문에 ROI에서 배제하였다.

비문 인식을 위한 처리 흐름은 Fig. 8과 같다.

Fig. 8. Flow diagram for nose print recognition

이 ROI 영역이 반려견 코의 면적 대비 매우 작은 영역이기 때문에 최대한 많은 특징점을 찾아내는 것이 관건이다. 이를 위하여 [M. Lee, 2015][15]에서 제시한 근사 고속 헤이시안 행렬의 행렬식 판별 값은 0, median filter size는 3으로 설정하여 처리하였다. 최대 수렴 값 좌표와 특징점과의 거리는 두 점이 동일한 점인지를 판단하는 데에 사용되는데, 설정한 값보다 작으면 동일한 점으로 판단하고 제거한다. RANSAC inlier 임계치는 일반적인 설정을 따랐다. Fig. 9는 프로그램을 통하여 비문의 패턴을 찾아낸 결과를 보여주고 있다.

Fig. 9. Noseprint pattern extraction

Fig. 10은 대상견 50마리에 대해 최상의 화질로 확보된 기본 이미지에서 비문을 추출하여 데이터베이스에 저장한 기준값과 각 대상견의 비문을 다시 보통의 방법으로 3번씩 촬영하여 비교한 결과를 보인 것이다. 전체적으로 80% 이상의 높은 인식률을 보이나, 일부 개체들은 코의 상처나 병변으로 인해 다소 훼손되어 깨끗하지 않은 이미지로 발견되었다.

Fig. 10. Noseprint recognition rate for 50 dogs

3.2 Set of landmarks

반려견의 안면 형태나 특징을 추출하기 위해서는 랜드마크의 설정이 필요하다. 일반적으로 랜드마크의 설정은 각 개체를 식별하는 데에 기준이 되는 위치를 설정하여 그 위치들 간의 상호관계를 파악함으로써 가능하다. 본 논문에서는 우선 개체를 식별하기 위한 랜드마크를 설정하기 위해 반려견에서 측정 가능한 다양한 요소들을 Fig. 11과같이 도출하였다.

Fig. 11. Set of possible measurement factors to set landmarks

Fig. 11에서 나열한 측정 가능한 요소들 중에서 안면 인식을 위한 정면 랜드마크를 Fig. 12(a)에서 보인 바와 같이 안면에 F-① ~ F-⑤의 5가지의 길이 측정값에 대한 Table 3에 기술한 비율로 비교한다.

Table 3. Types of application ratio using landmarks

Fig. 12(a)에서의 눈과 코의 삼각형에 대한 중심점(Fig. 9(a)의 C)을 기준점으로 사용하여 비율에 대한 각 요소에 대한 관계를 산출하여 유사도를 비교하였다. 또 안면 정면에 대한 비교 요소만으로는 충분하지 않을 수 있어서 측면에 대한 길이 비율(Fig. 12(b))도 동시에 고려하여 비교하였다.

Fig. 12. Selection of recognition location using set landmark

3.3 Experiment and evaluation

3.1과 3.2에서 제시한 비문 인식과 랜드마크 인식 방법을 함께 적용하여 제주유기견센터에서 보호하고 있는 50 마리의 대상견들에 대하여 비문과 안면 랜드마크 등을 촬영한 사진을 이용하여 측정하였다. Fig. 13에서는 일부 대상견들의 랜드마크 측정 예를 보였다.

Fig. 13. Measurement using landmarks for the target dogs

Fig. 10에서 보인 측정 사진들은 일부 대상견들의 정면 사진이 아니기 때문에 이미지를 정면으로 보정하여 그 비율을 산출하는 것이 필요하다. 따라서 원본 이미지에서 두 눈과 코의 위치를 중심으로 하고 이미지를 보정하여 보정된 비율을 산출하였다.

랜드마크를 이용하여 각각의 비율을 저장하고 대상견들 모두에 대해 3회씩 재촬영하여 Fig. 11과 같은 절차를 통하여 촬영된 이미지에서 비율을 계산하여 비교하였다.

Fig. 14. The procedure for measuring using landmarks

Fig. 14는 제안된 랜드마크를 이용하여 인식하는 방법을 사용했을 때 비문의 경우와 동일한 대상견 50마리에 대해 처리한 결과를 보인 것이다.

이 결과에서는 전체적인 평균 인식률은 비문보다는 다소 낮다는 것을 알 수 있다.

Fig. 15은 비문 인식과 랜드마크 인식 결과를 비율별로 가중치를 적용하여 처리한 결과를 보인 것이다.

Fig. 15. Landmark recognition rate for 50 dogs

Fig. 16에서 보인 바와 같이 대상견들의 비문으로 인식한 평균값의 65%를 적용하고, 랜드마크를 이용해 인식한 인식률의 40%를 적용하여 두 요소를 합산한 결과(Nose print+Landmark weight)를 인식률로 정의하였다.

Fig. 16. Result of applying Nose Print 65% + Landmark 40%

이 결과에서 보면 평균적으로 비문으로만 인식한 경우보다 인식률이 높다는 것을 알 수 있다. 다만, 비문 인식률이 랜드마크 인식률보다 인식률이 높아 비문 인식률 값의 65%를 취하고, 랜드마크 인식률 값을 45%만 취하여 합산하여 적용하였다. 이 경우 적용 비율을 합산했을 때 105% 가 되는데 실제 평균 인식률이 95%를 넘지 않기 때문에 105%를 적용해도 100%를 넘지 않기 때문이다. 대상견 50 마리를 대상으로 한 이 실험의 경우 비문과 랜드마크를 동시에 이용한 방법을 적용하면 평균적으로 비문 인식만을 적용했을 때보다 우수한 인식률을 보인다.

IV. Conclusions

최근 반려견과 함께 생활하는 세대의 급속한 증가로 인해 긍정적인 측면도 있지만 반대로 반려동물 산업이 급성장하면서 학대나 유기·유실에 대한 다양한 문제점도 노출되고 있다. 이러한 문제를 해결하기 위해 동물등록제를 시행하고 있으나 반려견주들의 부정적인 시각 때문에 완전히 정착되지 못하고 있다.

따라서 반려견주들에게 친근하면서도 편리한 등록 방법들이 제시되고 있는데 그 한 방법이 비문 인식이었다. 그러나 비문 인식만으로는 한계가 있어 랜드마크 정보를 추가로 이용하여 인식률을 높이는 방법을 제안하였다. 앞의 실험에서 보인 바와 같이 비문 인식만을 했을 때보다 랜드마크 정보를 이용하여 혼합해서 인식하는 방법을 적용하면 비문 인식률만 적용했을 때보다 평균 인식률이 높아지는 것을 알 수 있었다.

본 논문에서는 실험을 위해 비문과 랜드마크 인식율 적용에 있어 65%+40%를 적용했으나 향후에는 더 많은 개체를 대상으로 실험하여 비율에 대한 조정을 더 연구할 필요가 있다. 또 본 논문에서 제시한 랜드마크만의 인식률이 비문 인식률보다 다소 낮은 결과를 보이고 있는데 반려견에 대한 랜드마크를 견종별로 구분하여 좀 더 개발하고 정의하여 적용해 볼 필요가 있다.