OpenCV (C ++ / Python)를 사용한 딥 러닝 기반 휴먼 포즈 추정

http://34.210.74.193/deep-learning-based-human-pose-estimation-using-opencv-cpp-python/

이 튜토리얼에서는 OpenCV에서 인간 포즈 추정을 수행하기 위해 Deep Neural Net 모델을 사용하는 방법에 대해 설명합니다. 2016 년 COCO 키포인트 도전 과제를 수상한 사전 훈련 된 Caffe 모델을 사용하는 방법에 대해 자세히 설명합니다. 우리는 간단히 아키텍처를 살펴보고 후드 아래에서 무슨 일이 일어나고 있는지에 대한 아이디어를 얻습니다.
참고 : 코드를 실행하려면 OpenCV 버전 3.4.1 이상이 필요합니다.

1. 포즈 추정 (일명 키포인트 감지)

포즈 추정은 컴퓨터 비전에서 물체의 위치와 방향을 감지하는 일반적인 문제입니다. 이것은 일반적으로 객체를 설명하는 키포인트 위치를 감지하는 것을 의미합니다.
예를 들어, 얼굴 포즈 추정 (일명 얼굴 랜드 마크 검출)의 문제에서, 우리는 인간 얼굴의 랜드 마크를 검출합니다. 우리는 주제에 대해 광범위하게 글을 썼습니다. (에 우리의 문서를 참조하십시오 얼굴 랜드 마크 감지 사용을 OpenCV 와 Dlib를 사용하여 얼굴 랜드 마크 감지 )
이와 관련된 문제는 얼굴 랜드 마크를 사용하여 카메라에 대한 사람 머리의 3D 방향을 얻는 헤드 포즈 추정 입니다.
이 기사에서는 신체의 주요 부분 / 관절 (예 : 어깨, 발목, 무릎, 손목 등)을 감지하고 국소화해야하는 인간 자세 추정에 중점을 둘 것입니다.
Tony stark가 제스처를 사용하여 Iron Man 슈트를 입는 장면을 기억하십니까?
그러한 복장이 만들어지면 인간 자세 추정이 필요합니다!
하지만이 기사의 목적을 위해 우리는 야심을 조금 낮추고 신체의 키포인트를 감지하는 간단한 문제를 해결합니다. 포즈 감지기의 일반적인 출력은 다음과 같습니다.

1.1. 키포인트 감지 데이터 세트

최근까지는 고품질 데이터 세트가 없기 때문에 포즈 추정에 거의 진전이 없었습니다. AI에 대한 열정은 요즘 사람들은 모든 문제가 철거되는 것보다 좋은 데이터 세트라고 생각합니다. 지난 몇 년 동안 일부 까다로운 데이터 세트가 발표되어 연구원들이 모든 지적 능력으로 문제를 쉽게 공격 할 수있었습니다.
일부 데이터 세트는 다음과 같습니다.
  1. 코코 키포인트 챌린지
  2. MPII 인간 포즈 데이터 세트
  3. VGG 포즈 데이터 셋
중요한 데이터 집합을 놓친 경우 의견에 언급 해 주시면이 목록에 기꺼이 추가하겠습니다.

2. 다자 포즈 추정 모델

이 튜토리얼에 사용 된 모델 은 Carnegie Mellon University의 Perceptual Computing Lab이 작성한 다중 인물 포즈 추정 논문을 기반으로합니다 . 이 논문의 저자는이 작업을 위해 매우 깊은 신경망을 훈련시킵니다. 사전 훈련 된 모델을 사용하는 방법을 설명하기 전에 아키텍처를 간단히 살펴 보겠습니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

OpenPose를 이용한 사람의 움직임 감지(Human Pose Estimation)

이미지
OpenPose를 이용한 사람의 움직임 감지(Human Pose Estimation) file:///D:/01-Tomato/work/work_AI/Posenet/Real-Time-Human-Pose-detection-in-browser-master/Real-Time-Human-Pose-detection-in-browser-master/poseNet%20with%20webcam/index.html 기존의 머신러닝을 사용하기 전에는 영상 내에서 인간의 움직임을 감지하기 위해서 Xbox의 "키넥트 센서"와 같은 전용 기기를 사용하여, 인간의 몸짓을 비롯한 제스처를 인식할 수 있었다. ​ 이번 포스팅에서는, 이러한 인간의 몸짓을 감지하기 위한 특수한 센서가 없이 순수하게 영상 데이터만으로 인간의 움직임을 추정하고 감지할 수 있는 Open Pose DNN에 대해 알아보고 이걸 이용해 간단하게 실습을 수행해보자. ​ 움직임 추정(Keypoint Detection) OpenPose는 딥러닝의 CNN 기반으로 이미지 혹은 영상을 입력 값으로 하여 객체의 위치 및 방향을 감지한다. OpenPose가 작동되는 신경망 아키텍처는 다음과 같다. 1. 좌측단의 입력 데이터를 VGGNet - 19 ​ 를 통해 수행된 Output 데이터의 특징(feature)을 강조한 상태로 출력하게 된다. ​ 2. 1번에서 출력된 Output을 2번의 분기를 통해 전파를 수행하게 되는데, 첫 번째 분기점에서는 전반적인 신체 부위의 특정(팔꿈치, 무릎 등)에 사용된다. ​ 3. 반복되는 Stage에 따라 가지를 거쳐서 confidence map 과 affinity field 를 구하게 되는데, 여기서 confidence map 은 인간의 관절 구조 등을 찾는데 사용되며, affinity field 는 추출된 관절 구조가 어떤 객체의 것인가에 대해 알아는데 사용된다. ​ 예를 들어
자세한 내용 보기

[라즈베리파이] Openssl 설치 1.0.1

openssl Install openssl 의   경우는   기존  apt-get 으로   가져오는   것이   아니라   소스를   가져온다음  make 를   해주는   방식입니다 . $ wget https://www.openssl.org/source/old/1.0.1/openssl-1.0.1t.tar.gz $ cd openssl-1.0.1t $ tar xvf openssl-1.0.1t.tar.gz $ $ ./config --prefix=/usr --openssldir=/usr/local/openssl shared $ make $ sudo make install $ openssl version 참고로  openssl site 에   들어가보면   최신   버전은  1.1.0 입니다 .  해당   버전으로   설치시  openssl version  을   입력하면  error 라고   나옵니다 .  되도록   사용하지   않는   것이   좋아   보이네요 . openssl old release link https://www.openssl.org/source/old 컴파일   방법 tester.cpp #include <stdio.h>        int  main( int  argc,  char  *argv[])   {       printf( "Hello, world\n" );        return  0;   }   build.sh #!/bin/sh   OUT_NAME="tester1"   LIB_PATH="../../build/linux/extLibs"   g++ *.cpp -D_DEBUG -g -o $OUT_NAME \           -L$LIB_PATH \           -L/usr/local/lib \           -lwiri
자세한 내용 보기

라즈베리파이-QT5 설치

이미지
Raspberry Pi - Qt5 설치 Raspberry Pi 3에 Qt5 설치 - 멈춤보단 천천히라도 - 티스토리 GitHub - dimitry-ishenko-casparcg/oscpack GitHub - dimitry-ishenko-casparcg/timer: Timer application for CasparCG Qt5 설치 X user@localhost:~ [user@localhost]$  sudo apt-get update [user@localhost]$  sudo apt-get install qt5-default qtbase5-dev qtdeclarative5-dev qt5-qmake qtcreator libqt5gui5 qtscript5-dev qtmultimedia5-dev libqt5multimedia5-plugins qtquickcontrols2-5-dev libqt5network5 cmake build-essential [user@localhost]$  sudo apt-get install libqt5svg5-dev oscpack 라이브러리 oscpack 라이브러리 다운로드 X user@localhost:~ [user@localhost]$  git clone https://github.com/dimitry-ishenko-casparcg/oscpack.git Cloning into 'oscpack'... remote: Counting objects: 511, done. remote: Total 511 (delta 0), reused 0 (delta 0), pack-reused 511 Receiving objects: 100% (511/511), 110.97 KiB | 0 bytes/s, done. Resolving deltas: 100% (377/377), done. oscpack 라이브러리 설치 X
자세한 내용 보기