댄스퍼스트 유니티

유저 웹캠으로 입력받는 사용자 신체 동작과 가장 유사한 포즈 이미지를 실시간 매칭하여 보여주는 Move Mirror에 대한 소개 및 설명글. 2018년에 구글 Creative Lab이 수행한 실험성 프로젝트였으나, TensorFlow.js를 이용하여 실시간성을 담보하는 포즈 매칭에 대한 중요한 내용들을 담고 있기에 번역하여 소개한다. Move Mirror를 크게 세 부분으로 나누어 설명. 인체 동작을 포함하는 Pose image dataset 포즈 이미지 데이터셋에 대한 Searching algorithm Pose matching 알고리즘 Move Mirror: An AI Experiment with Pose Estimation in the Browser using TensorFlow.js By Jane..

Experiment220428_PCA, K-Means, Linear Interpolation Experiment220428_PCA, K-Means, Linear Interpolation ### Context. * 기본적으로 3D 키프레임 제작은 주요 동작을 생성한 뒤, 선형보간으로 사이 프레임을 메꾸는 방식 * 선형보간을 통해 연속적인 키프레임 포즈 데이터에 대한 보간이 가능하다 ### Expe dancefirst.tistory.com 이전 실험 대비, 동일 데이터에 대해 더 엄격한 기준을 적용하여 PCA component 갯수 및 cluster 갯수 파라미터를 설정, [이전 실험 파라미터] n_components = 5, n_clusters = 6 [본 실험 파라미터] n_components = 14,..

### Context. * 기본적으로 3D 키프레임 제작은 주요 동작을 생성한 뒤, 선형보간으로 사이 프레임을 메꾸는 방식 * 선형보간을 통해 연속적인 키프레임 포즈 데이터에 대한 보간이 가능하다 ### Experiment. * ROMP - OneEuro 결과물에 대해 PCA Clustering 수행 * 핵심이 되는 / 다른 군집과 차별되는 n개의 pose keyframe 및 해당 키프레임 인덱스 추출 * 인덱스 사이에 빠져 있는 키프레임을 high order interpolation으로 보간 해당 실험에 사용할 모션 데이터를 추출한 원본 비디오, 및 모션 데이터 리타겟팅 샘플은 아래와 같다. 아래 영상은 33fps 기준 총 242개의 프레임으로 구성되었으며, 모션 데이터 또한 동일하다. import o..

Overview ROMP를 비롯하여, 현재 공개되는 대부분의 Human Pose Estimation 인공지능 모델은 추정된 포즈 데이터 포맷으로 SMPL을 채택하고 있다. ROMP 출력 결과를 블렌더에 임포트하는 QuickMocap의 경우, 'poses' / 'betas' / 'cam' 데이터를 활용하는데, 이러한 데이터가 정확히 무엇을 의미하는지를 이해하는 것은 노이즈 필터 적용을 위한 초석이 된다. Objectives SMPL Human Model Introduction 포스트를 번역하여 아래 내용을 파악하고 이해한다. * 3D 오브젝트를 표현하는 방식 및 데이터 구성요소 * SMPL 휴먼 오브젝트 합성 파이프라인 상세 Takeaways / Further Questions [1] SMPL은 크게 3단..

Overview ROMP는 입력 비디오에 대해 SMPL 포맷에 따라 24개 관절부(joint)로 구분되어 모션 데이터를 추출한다. 기본 추출 데이터에는 상당한 수준의 노이즈가 포함되어 있으며, 이에 대한 후처리가 필수적이다. ROMP의 경우 One Euro Filter 필터를 제공하고 있지만, 각 joint 별 모션 데이터의 개별 특성을 고려하지 않고 일괄 적용하는 방식으로 개선의 여지가 있다. 개선 방향을 수립하기 위하여, 우선적으로 as is 상태에서의 모션 추출 결과물을 시각적인 수준에서 확인, 문제를 분석해 본다. Objectives * 모션을 추출하고자 하는 원본 인체동작 비디오의 특성을 확인한다. * ROMP 모델에서 추출한 모션 추출 결과(후처리X)를 블렌더 렌더링하여 모션 품질 관련 특성을..