댄스퍼스트 유니티

Experiment220428_PCA, K-Means, Linear Interpolation Experiment220428_PCA, K-Means, Linear Interpolation ### Context. * 기본적으로 3D 키프레임 제작은 주요 동작을 생성한 뒤, 선형보간으로 사이 프레임을 메꾸는 방식 * 선형보간을 통해 연속적인 키프레임 포즈 데이터에 대한 보간이 가능하다 ### Expe dancefirst.tistory.com 이전 실험 대비, 동일 데이터에 대해 더 엄격한 기준을 적용하여 PCA component 갯수 및 cluster 갯수 파라미터를 설정, [이전 실험 파라미터] n_components = 5, n_clusters = 6 [본 실험 파라미터] n_components = 14,..

### Context. * 기본적으로 3D 키프레임 제작은 주요 동작을 생성한 뒤, 선형보간으로 사이 프레임을 메꾸는 방식 * 선형보간을 통해 연속적인 키프레임 포즈 데이터에 대한 보간이 가능하다 ### Experiment. * ROMP - OneEuro 결과물에 대해 PCA Clustering 수행 * 핵심이 되는 / 다른 군집과 차별되는 n개의 pose keyframe 및 해당 키프레임 인덱스 추출 * 인덱스 사이에 빠져 있는 키프레임을 high order interpolation으로 보간 해당 실험에 사용할 모션 데이터를 추출한 원본 비디오, 및 모션 데이터 리타겟팅 샘플은 아래와 같다. 아래 영상은 33fps 기준 총 242개의 프레임으로 구성되었으며, 모션 데이터 또한 동일하다. import o..

Overview ROMP는 입력 비디오에 대해 SMPL 포맷에 따라 24개 관절부(joint)로 구분되어 모션 데이터를 추출한다. 기본 추출 데이터에는 상당한 수준의 노이즈가 포함되어 있으며, 이에 대한 후처리가 필수적이다. ROMP의 경우 One Euro Filter 필터를 제공하고 있지만, 각 joint 별 모션 데이터의 개별 특성을 고려하지 않고 일괄 적용하는 방식으로 개선의 여지가 있다. 개선 방향을 수립하기 위하여, 우선적으로 as is 상태에서의 모션 추출 결과물을 시각적인 수준에서 확인, 문제를 분석해 본다. Objectives * 모션을 추출하고자 하는 원본 인체동작 비디오의 특성을 확인한다. * ROMP 모델에서 추출한 모션 추출 결과(후처리X)를 블렌더 렌더링하여 모션 품질 관련 특성을..