具有情感检测功能的面部跟随机器人手臂桐城
2022-09-30 01:58:30 明乐娱乐网
具有情感检测功能的面部跟随机器人手臂
巴塞罗那自治大学的研究人员最近开发了一种具有面部表情的机器人手臂，该机器人手臂受到了皮克斯动画工作室的Luxo Jr. lamp的启发。
这个机器人是由弗农士丹利Albayeros杜阿尔特，在UAB计算机专业毕业的介绍，在他的最后的论文。
“我们的机器人背后的思想主要是基于皮克斯的Luxo Jr.灯短裤，” Albayeros Duarte告诉TechXplore“
我想制造一个模仿灯在短裤中的行为的机器人。我对制造商的场景非常感兴趣，并且已经进行了3D打印几年。
所以我着手制造一种“宠物”来演示一些有趣的人机交互，这就是整个“面部跟随/情感检测”主题的来历，因为灯很难像皮克斯短裤那样跳动，但仍然保留了“宠物玩具”的感觉关于该项目。”
由于这项研究是Albayeros Duarte课程的一部分，因此他必须满足UAB概述的某些要求。例如，论文的主要目的是让学生了解Google的云服务，以及如何将其用于在计算能力不强的项目中卸载计算资源。
Raspberry Pi是一款体积小巧且价格适中的计算机，它在计算上有很大的限制。这些限制使其成为探索将Google的云平台用于计算密集型任务的理想人选。
因此，Albayeros Duarte决定使用Raspberry Pi开发具有情感检测功能的小型机器人。他的机器人主体是LittleArm 2C，它是由Slant Concepts创始人Gabe Bentz创建的机器人手臂。
阿尔巴耶罗斯·杜阿尔特说：“我与Slant Concepts取得了联系，要求他们修改其机械臂，使其末端可以容纳一个摄像头，然后创建电子设备外壳并自行安装。”
由Albayeros Duarte设计的机器人从左到右“扫视”相机，捕获照片，并使用OpenCV来检测其框架内的面部。当机器人到达任一侧的末端时，它会将摄像机升高或降低几度，并继续其扫掠运动。
阿尔巴耶罗斯·杜阿尔特开发的面部跟踪机器人。
Albayeros Duarte解释说：“当找到面部时，机器人会停止扫掠动作，并检查面部是否在视野内停留了不止几个帧。”
“这确保了它不会在面部检测中误报。如果机器人确认实际上已经找到了面部，它将切换到算法的'面部跟随'部分，在此过程中尝试保持脸以其视场为中心。要做到这一点，它会根据被观察者的动作来平移和倾斜。”
当机器人在其视野中跟踪人的动作时，它会拍摄他们的脸部照片并将其发送到Google的Cloud Vision API。
Google平台随后分析图像并检测其中人的当前情绪状态，将其分类为5种情绪状态之一：欢乐，愤怒，悲伤，惊奇或中立。
Albayeros Duarte说：“当机器人收到分析结果时，它将模仿用户所处的任何情绪状态。”
“为了欢喜，它跳了一下；由于愤怒，它被小小的摇晃，不赞成；为了悲伤，它下垂到了地面，抬头仰望着你；令人惊讶的是，它向后移动。机器人还具有一个能够完整的RGB色域，用于补充这些动作。”
根据其检测到的情绪，机器人的“清扫行为”会发生变化。如果它检测到欢乐，它的扫打速度会更快一些；如果愤怒，它会尽可能快地移动；如果感到悲伤，它会扫成向下或“下垂”的位置，而令人惊讶的是，它在扫动时会随机摇动。
在每种“模式”下，机器人都会在其RGB LED环上闪烁不同的颜色：黄色和暖色代表喜悦，鲜红色代表愤怒，蓝色和冷色代表悲伤，黄色和绿色混合代表惊喜。
“我相信'宠物式'机器人有巨大的潜力尚未开发，”阿尔巴耶罗斯·杜阿尔特说。“从使诸如亚马逊的Alexa和Google助理之类的个人助理变得更具互动性和自然感觉，到潜在地帮助残疾人通过他们的帮助变得更加自给自足。
拥有一个能够对您当前的情绪状态做出反应的机器人可以对例如，能够识别情绪困扰的老年人助手可以在需要卫生帮助时发出预警，而用于帮助运动受损儿童发展运动技能的机器人可以检测到该儿童是否正在流失感兴趣或正在从事一项活动并相应地调整其难度。”
除了是如何使用Google的云平台卸载计算资源的绝佳示例之外，Albayeros Duarte的项目还提供了一套用于3D打印的模型，这些模型可用于重现他的机器人或对其进行改编，以及必要的材料。
目前，该研究人员还与计算机视觉中心副主任兼欧洲生活实验室网络总裁FernandoVilari?o合作，开展了一个旨在激励年轻一代在硅谷寻求职业的项目。 STEM，以及在UAB上建立物理计算社区的目标，都是针对有兴趣创建自己的项目的每个人。
阿尔巴耶罗斯·杜阿尔特说：“我们参加了巴塞罗那青年流动音乐节，这是与世界移动通信大会由同一人组织的面向青年的移动世界大会。”
“将脚趾浸入这样的交互式机器人中是一种很好的方式，既可以构建可以在这些活动中立即引起学校团体注意的东西，又可以向我们教会更多有关消费者的机器人技术，而不是工业级的机器人技术。 ”