申请试用
HOT
登录
注册
 
基于自监督的人体姿态估计、模拟与生成的协同进化研究
基于自监督的人体姿态估计、模拟与生成的协同进化研究

基于自监督的人体姿态估计、模拟与生成的协同进化研究

白玉兰开源
/
发布于
/
88
人观看

现有的自监督三维人体姿势估计方法在很大程度上依赖于consistency loss等弱监督来指导学习,这不可避免地导致在真实场景中,对没有见过的pose的结果较差。在本文中,作者提出了一种新的自监督方法,该方法允许通过self-enhancing dual-loop学习框架显式生成2D-3D pose pair来增强监督。这可以通过引入基于强化学习的imitator来实现,该imitator与pose estimator和pose hallucinator一起学习,这三个组件在训练过程中形成两个循环,相互补充和加强。具体来说,姿态估计器(pose estimator)将输入的2D pose序列转换为低质量的3D pose输出,然后由实施物理约束的imitator进行优化增强。经过优化的3D pose随后被输入到pose hallucinator,以产生更加多样化的数据,而这些数据又被imitator强化,并进一步用于训练姿态估计器。在实践中,这种协同进化方案能够在不依赖任何给定3D数据的情况下,根据自生成的运动数据训练姿势估计器。在各种基准的广泛实验表明,作者的方法产生的结果显著优于现有自监督技术,并且在某些情况下,甚至与完全监督方法的结果一致。

龚克洪,新加坡国立大学电子与计算机工程学院在读博士生,指导老师是王鑫超老师。主要研究兴趣是人体姿态估计与动作生成,以及基于强化学习的动作模拟、基于数据增强的模型泛化性研究。 目前以一作身份发表论文两篇, 分别是CVPR2021的PoseAug (Oral, Best Paper Candidate)和CVPR2022的PoseTriplet (Oral)。

0 点赞
0 收藏
0下载
确认
3秒后跳转登录页面
去登陆