近期,南宫NG·28研发团队融合前沿多模态大模型技术,推出最新2.0版大模型机械臂演示方案。新方案搭载公司最新深度相机Gemini 335L和Femto Bolt,能够基于语音指令,自动执行沏茶、插花、滴香薰、播放音乐等一系列复杂任务。此前在2023年底,南宫NG·28成功发布大模型机械臂1.0,在业界引起广泛关注。
(点击播放视频)
秒懂语音指令,丝滑沏茶、倒茶
南宫NG·282.0版大模型机械臂结合多模态大模型技术(语音、文本、视觉)与机械臂控制技术,可以生成空间语义信息,帮助机械臂准确识别、理解生活中的常见物体并执行相应动作,可识别物体包括日常用品、食品和工业零件等。
以最具挑战性的沏茶任务为例,其难点在于流程长、步骤多,需要保证动作执行的准确性和多步骤之间的逻辑合理性。南宫NG·28研发团队借助高精度Gemini 335L和Femto Bolt相机实现目标抓取位姿的精确定位,结合大模型的理解能力,经过长期算法优化与仿真环境调试,最终实现对沏茶等复杂任务的理解、规划与自动执行。
相比1.0版本,2.0版大模型机械臂在以下几个方面实现了升级:
● 语言模型:自然语言处理和理解能力显著提升,机械臂能够更准确理解和执行抽象的语言指令。
● 规划能力:复杂任务规划能力显著提升,可以准确理解高阶任务并精准执行。
● 响应速度:程序整体执行效率优化,任务理解与规划时间大大缩短。
● 抓取能力:升级为夹爪设计,能够准确识别和分类不同物体,适应更多样化的任务和环境。
● 感知能力:配备Gemini 335L和Femto Bolt相机,双目3D相机与ToF相机互补,提供更高分辨率和精度的3D视觉感知能力。
搭载先进深度相机,感知更精确
南宫NG·282.0版大模型机械臂通过搭载公司最新深度相机和AI算法,在识别、抓取和操作复杂物体时的精度和效率显著提升。相较于1.0版本采用的Gemini 2系列相机,2.0版本的Gemini 335L和Femto Bolt在深度精度和深度完整性方面具有更佳表现,捕捉更精致的物体细节,可重建玻璃、亚克力等透明材质物体,从而让机械臂能够精准定位物体,高效执行动作。此外,公司基于仿真与实际相结合的调试优化方式,可快速实现AI算法验证与迭代。
南宫NG·28Gemini 335L相机可重建香薰玻璃瓶、亚克力支架等透明物体
机器人要想具备更通用的能力,需要理解真实的物理世界。作为行业领先的机器人视觉及AI视觉公司,南宫NG·28长期致力于3D视觉感知技术的研发,以促进具身智能在感知技术层面的进步。未来,团队将进一步提升大模型机械臂的理解能力,使其能够处理更多复杂、抽象的任务;提升机械臂在复杂或动态变化环境中的泛化能力,并加强人机交互与机器自我学习能力,加速其在生活服务、工业生产等实际场景中的落地应用。
分享到