TMR-SOMA-RP-v1NVIDIA革命性文本到动作检索模型完全指南【免费下载链接】TMR-SOMA-RP-v1项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/TMR-SOMA-RP-v1TMR-SOMA-RP-v1是NVIDIA推出的革命性文本到动作检索Text-to-Motion Retrieval模型它通过将文本提示和人类动作片段嵌入到共享的 latent 空间实现了高效的动作检索和评估功能。这款模型基于Transformer架构构建特别适用于角色动画和类人机器人领域为开发者提供了强大的动作生成评估工具。什么是TMR-SOMA-RP-v1TMR-SOMA-RP-v1是一个多模态动作与语言模型采用双编码器架构能够将文本和动作数据转换为256维的 latent 嵌入向量。该模型在Bones Rigplay数据集上训练使用SOMA骨骼结构非常适合评估如Kimodo Motion Diffusion Model等动作生成模型。核心功能亮点文本到动作检索通过文本描述快速搜索大型人类动作数据库动作生成评估支持R-precision和FID等评估指标计算高效嵌入系统将文本和动作数据映射到共享向量空间多领域适用性适用于角色动画、游戏开发和机器人技术技术架构解析TMR-SOMA-RP-v1采用先进的Transformer架构包含两个核心编码器模型规格动作编码器4.8M参数处理三维关节位置矩阵文本编码器5.8M参数处理文本描述字符串输出维度256维 latent 嵌入向量最大动作时长10秒300帧30帧/秒输入输出格式输入类型文本字符串格式一维动作关节位置矩阵三维num_frames x 30 x 3输出类型文本嵌入向量256维动作嵌入向量256维快速开始使用指南环境要求TMR-SOMA-RP-v1需要以下环境支持运行时引擎PyTorch支持操作系统Linux、Windows推荐硬件NVIDIA GPUAmpere、Blackwell或Lovelace架构获取模型要开始使用TMR-SOMA-RP-v1首先克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/TMR-SOMA-RP-v1模型文件位于项目目录中动作解码器last_weights/motion_decoder.pt动作编码器last_weights/motion_encoder.pt文本编码器last_weights/text_encoder.pt配置文件说明模型配置存储在config.yaml中关键参数包括latent_dim: 256- 嵌入向量维度num_layers: 6- Transformer层数num_heads: 4- 注意力头数量stats_path- 统计数据路径指向stats/motion/目录实际应用场景TMR-SOMA-RP-v1在多个领域展现出强大的应用价值动作生成模型评估作为Kimodo Motion Generation Benchmark的一部分TMR-SOMA-RP-v1提供了客观的评估指标帮助开发者量化动作生成模型的性能。动画数据库检索通过文本描述快速检索大型动作数据库例如walking forwardwaving right handjumping high机器人动作规划为类人机器人提供动作理解能力通过自然语言指令检索和执行预设动作。训练与评估数据训练数据集TMR-SOMA-RP-v1在专有Bones Rigplay数据集上训练文本数据少于10亿tokens动作捕捉700小时人类动作骨骼结构SOMA骨架标注方法自动/传感器与人工混合标注评估表现模型在包含约5k个独特动作的内部评估数据集上表现优异特别适合评估仅在训练集上训练的动作生成模型。局限性与注意事项尽管TMR-SOMA-RP-v1功能强大但仍有一些局限性需要注意对动作细节的敏感性有限例如可能难以区分挥右手和挥左手仅针对特定类型动作优化如移动、手势、战斗、舞蹈和日常活动特定于SOMA骨架和单一身体比例许可证信息TMR-SOMA-RP-v1发布于NVIDIA Open Model License下支持商业使用。引用与参考文献如果您在研究中使用TMR-SOMA-RP-v1请引用以下论文TMR: Text-to-Motion Retrieval Using Contrastive 3D Human Motion Synthesis, Petrovich et al., ICCV 2023更多信息请访问Kimodo项目网页。总结TMR-SOMA-RP-v1代表了文本到动作检索技术的重大进步为开发者和研究人员提供了一个强大的工具用于评估动作生成模型和构建基于文本的动作检索系统。其高效的双编码器架构和广泛的硬件支持使其成为动画制作、游戏开发和机器人技术领域的理想选择。无论您是开发角色动画系统还是构建先进的机器人动作规划平台TMR-SOMA-RP-v1都能为您的项目带来革命性的文本到动作检索能力。【免费下载链接】TMR-SOMA-RP-v1项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/TMR-SOMA-RP-v1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考