青色木偶科技拥有国内领先的图像算法技术和实时渲染平台工具，是一家以卷积神经网络和深度神经网络算法为核心打造自研AI模型架构，实现虚拟与现实世界驱动协作的技术公司。自研CYAN.AI平台结合NVIDIA GPU 算力，实现2D视频生成3D动作数据，具备真正的三维空间自由人体运动，为全球用户提供AI无穿戴技术、全身互动技术、3D制作工具、三维空间预演技术。
数字化身的低成本实时驱动成为一大挑战
“将是一种前所未有的大规模参与式媒介，所有用户都可以参与、创造、分享并从中获利，而用户的虚拟数字化身（Avatar）可以自由地在不同平台之间穿梭”。随着AI算力和计算机图形渲染技术的蓬勃发展， 人类对于自由在不同数字平台中穿梭，随时进入虚拟世界的数字化身AVATAR提出了更高的要求，如何轻便快捷的让数字化身真实的表达人类的动作意愿，人类的情感，将人类的动作实时迁移至虚拟化身上成了关键挑战之一。
1）复杂的技术流程
从面部表情、手指动作、肢体动作每个模块往往需要不同的技术方案构成，数据的同步性，流程的一体化构建面临巨大的技术投入和人力成本
2）高昂的捕捉成本
体验与成本不可兼得，市面上效果较为一般的半身视觉无法满足AVATAR的技术要求，而较为精准的与惯性捕捉动辄数十万的投入使得AVATAR成本居高不下，较高的成本让普通民众无法参与数字内容体系的建设，也无法享受技术时代带来的新体验
3）割裂的数字孤岛
虚拟化身的骨骼标准难以统一，不同的制作软件、绑定系统、图形渲染引擎、形成割裂的对个数字孤岛，每次虚拟化身穿梭到不同平台带来的资产迁移成本很高，难以形成一个整体性的虚拟化身世界
4）糟糕的捕捉体验
身上穿戴着复杂且繁重的动作捕捉传感器使得数字化身的使用体检较为糟糕，长时代穿戴带来的不适感与疲惫感也让元宇宙成为难以进入的宇宙
NVIDIA 助力CyanPuppets打造AI驱动模型赋能AVATAR发展
基于以上挑战，CYANPUPPETS选择NVIDIA平台多个产品提供支持，在多张3080ti的算力支持下参考主流AI框架TensorFlow、PyTorch、Caffe等，对COCO、ORGBD等数据集进行长期训练，在硬件终端上采用 GeForce RTX 3060 /3070/3080等系列硬件给软件系统带来了稳定性保障和流畅体验感。使用Deep Learning Super Sampling这项AI深度学习技术为用户提供极致的画面渲染效果
在 NVIDIA GPU 赋能下，CYAN.AI以CNN和DNN为底层核心训练了近万小时的数据集，在同步的2D视频流中提取人体动作的关键特征做人体姿态识别，追踪人体超过208个关键点，结合动力学、生物力学生成人体运动的建模算法，一体化完成面部、表情、肢体208点无穿戴无标记的高精度捕捉。
CYAN.AI构建了一个全新的骨骼系统，通过合成数据算法对主流的Unreal Skeleton Asset、Daz、CC、Unity avatar、metahuman的模型骨骼系统进行匹配映射，让虚拟化身的全身驱动不再是一个个割裂的数字孤岛。
在硬件优化环节，通过对NVIDIA GPU算力进行分布式的算力调配，仅需成本数百元的RGB摄像头获取视频流进行插值异构即可实现更低延迟的数据信息吞吐与数据画面合成。
结合NVIDIA GPU算力支持，算法模型的以低至0.1s的延迟实现了超低延时的视觉动作捕捉，同时辅助动捕特征平滑算法、图像识别多目协同算法、空间检测及定位算法、重定向算法等多种算法，即时在复杂、狭小、充满干扰物的使用环境中，CYAN.AI依然可以稳定高效的高精度的动作捕捉迁移。
“AIGC行业是当前最受关注的人工智能领域之一，算力与算法带来的生产力提升让每个个体都切实感受到新时代的来临，传统的行业纷纷拥抱AI生成科技进行产业升级，从文字生成图片，图片生成视频再到视频生成3D，这是一个长久进化的趋势，CYANPUPPETS处于2D生成3D的关键环节。NVIDIA 提供的 GPU 解决方案解决了深度学习和机器学习的技术难题、使得我们可以持续不断的创新算法模型、拓宽应用场景、通过CYAN.AI平台为全球不同行业不同场景的用户搭建虚拟现实协作的桥梁、虚拟化身的实时驱动方案” 青色木偶科技CEO李宗兴表示
