컴퓨터 비전 분야의 국제대회 소개

컴퓨터 비전 분야의 국제대회 소개

컴퓨터 비전(computer vision) 또는 영상처리 분야에서 있어서 가장 유명한 국제대회 3가지를 소개합니다. 자신이 개발한 알고리즘을 가지고 여러 국제대회에 도전해 보는 것도 좋은 경험이 되리라 생각합니다.

1. 파스칼 VOC 챌린지 (PASCAL Visual Object Classes Challenge)

URL: http://pascallin.ecs.soton.ac.uk/challenges/VOC/

파스칼 VOC 챌린지는 컴퓨터 비전 분야의 기술 중 물체 클래스 인식(object class recognition) 기술을 겨루는 국제대회로 2005년부터 2012년까지 총 8회에 걸쳐서 매년 진행되었습니다. 좀더 정확하게는 입력 영상에서 특정 종류의 물체를 검출해 내는 성능을 겨룬 대회인데, 다음의 총 20가지 물체 각각에 대해서 우승자를 가립니다(테스트 데이타 셋 및 ground truth 다운로드 가능). 참고로 PASCAL은 Pattern Analysis, Statistical Modeling and Computational Learning의 약자입니다.

• 사람: 사람
• 동물: 새, 고양이, 소, 개, 말, 양
• 탈것: 비행기, 자전거, 보트, 버스, 승용차, 오토바이, 기차
• 사물: 병, 의자, 식탁, 화초, 소파, 모니터

샘플 그림에서 보는 바와 같이 문제 난이도가 매우 높기 때문에 우승자라 하더라고 검출 성공률이 10 ~ 20% 내외밖에 안됩니다. 파스칼 VOC 챌린지는 컴퓨터 비전 분야에서 영상 물체 인식 (object detection) 기술로서 새로운 획을 그을만한 대표적인 방법들은 모두 이 대회 출신일 정도로 유명한 대회입니다. 파스칼 VOC 챌린지는 Mark Everingham란 사람에 의해 주도되어 왔는데, 그의 사망에 따라 2012년 대회를 마지막으로 챌린지를 종료하게 되었습니다 (2012년 대회에서는 그를 추모하기 위한 추모식도 같이 열렸습니다). 하지만 평가 서버는 계속 열어 둔다고 하니 자신이 개발한 알고리즘의 성능을 기존 우승자들과 비교해 보는 것은 여전히 가능합니다.

2. ACM 멀티미디어 그랜드 챌린지 (ACM Multimedia Grand Challenge)

URL: http://acmmm13.org/submissions/call-for-multimedia-grand-challenge-solutions/

ACM 멀티미디어 그랜드 챌린지는 ACM 멀티미디어 국제 컨퍼런스(학회)의 일부로서 컨퍼런스와 함께 열리는 국제 대회로 2009년부터 시작하여 올해로 5번째를 맞이하고 있습니다. MM 그랜드 챌린지에는 구글, 야후, 마이크로소프트사와 같은 세계 유수의 기업들이 참가하여 향후 3~5년 이내 이슈가 될 만한 기술이나 업계에서 필요로 하는 도전적인 기술들을 주제로 참가자들을 모집합니다. 선정된 방법론에 대해서는 MM 컨퍼런스 기간 동안에 시상 및 발표가 이루어집니다.

MM 챌린지에 나오는 문제들은 주로 이미지나 비디오와 같은 멀티미디어 데이터를 분석하고 분류 및 검색하는 문제들인데, MM 챌린지에 참가하지 않더라도 MM 챌린지에 나오는 문제들을 한번 쯤 살펴보는 것은 관련 분야 종사자들에게는 매우 유익하리라 생각됩니다. 왜냐하면 MM 챌린지에 나오는 문제들은 요즘 업계에서 정말 필요로 하는, 그리고 향후 이 부분에 대해서 연구개발 투자가 이루어지려고 하는 핵심 문제들이기 때문입니다.

3. PETS (Performance Evaluation of Tracking and Surveillance)

URL: http://pets2013.net/

PETS는 매년 개최되는 영상 보안 모니터링 분야의 대표적인 국제 워크샵입니다. PETS에서는 총 3가지 종류의 데이터 셋(1. people counting / density estimation, 2. people tracking, 3. flow detection / event detection)을 제공하고 이 데이터 셋에 대해 개발한 알고리즘을 평가하여 결과를 발표하는 것입니다.

엄밀히 말하면 대회는 아니지만 동일한 데이터 셋에 대해 결과를 내고 기존의 다른 방법들과 성능을 비교해 볼 수 있습니다. 만일 보행자 영상추적이나 보행자 카운팅 등의 연구를 수행하고 있다면 PETS 데이터 셋을 이용하여 자신의 알고리즘을 평가해 보고 나아가서 PETS에 직접 참가하는 것도 좋을 것입니다.