多智能体应用测试用例设计:意图识别与协同精度验证

记录多智能体平台的测试用例设计:绑定通用聊天、故障检测与按姓名查询三个子智能体的意图识别应用,给出多智能体协同精度不低于 75%、单智能体意图识别与工具调用精度不低于 82% 的验收标准与典型用例。

  1. 多智能体应用的平台化构建,多智能体(智能体大类任务3个内,且类别间无明显语义重叠)推理(用户完整和清晰的指令下多智能体协同完成任务的准确性,完成数/指令数)精度≥75%;
  2. 单智能体(智能体意图识别/工具调用类别6个内,且类别间无明显语义重叠)推理(用户完整和清晰的指令下智能体完成任务的准确性,完成数/指令数)精度≥82%;

应用详情

应用环境:测试环境

应用名称:多智能体—意图识别—swarm

应用地址:http://aigc-chat.test.zoomlion.com/app/f9de27ca-4728-4cc7-9983-4ba54d870c7a

智能体名称:绑定三个子智能体,子智能体分别为:通用聊天智能体『联网搜索工具、腾讯地理信息服务(reverseGeocoder、geocoder)、云谷时区转换服务(convert_timezone、get_current_time)』、故障检测智能体『ZTC500A562-3故障维修方案、ZTC500A562-3故障排查方案』、根据姓名查询信息智能体『根据用户姓名查询用户信息』

应用测试用例

通用聊天智能体

直接回答

1
2
3
4
5
你好,你是谁?
帮我写一份给客户的问候邮件。
牛顿第一定律具体讲的是什么?
你喜欢听什么类型的音乐?
最新的 iPhone 发布了吗?新功能有哪些?

联网搜索工具

1
2
3
4
5
中国有多少个省级行政区,以及多少个市?
2025 年诺贝尔奖颁给了谁?
中国队在巴黎奥运会上金牌排第几?
世界上最长的河流是哪个?
有什么高效学习英语的办法?

腾讯地理信息服务(reverseGeocoder、geocoder)

1
2
3
4
5
6
7
8
9
10
11
12
中联重科总部的经纬度是多少?
北京天安门广场的坐标是多少?
湖南长沙麓谷工业园的纬度和经度是多少?
我想查一下“中联科技园”具体的经纬度是多少?
地址“中国湖南省长沙市银盆南路361号”对应的地理坐标是什么?


纬度28.190868,经度112.813716是哪里?
位置(31.2304, 121.4737)对应的地址是什么?
你能帮我查一下纬度39.908823,经度116.397470所对应的地点名称吗?
经度113.324520,纬度23.137540是哪个地标或者区域?
坐标点(22.543096, 114.057865)是深圳的哪个区域?

云谷时区转换服务(convert_timezone、get_current_time)

1
2
3
4
5
6
7
8
9
10
11
东五区的时间现在是多少?
美国纽约的时间现在是几点
北京时间早上9点,对应旧金山几点?
如果我在东京是晚上8点,纽约是什么时间?
芝加哥的中午12点,对应北京时间是多少?

伦敦时间晚上10点,北京时间是几点?
如果现在是北京时间上午10点,洛杉矶是什么时间?
我想安排一场在伦敦时间下午3点的会议,北京时间应该是几点?
如果客户在洛杉矶,我们几点打电话合适?
我要在纽约时间早上9点发邮件,上海时间是几点?

故障检测智能体

ZTC500A562-3故障维修方案

1
2
3
4
ZTC500A562-3起重机变幅系统下放无动作的主阀故障维修方案
ZTC500A562-3起重机伸缩系统缩无动作的伸缩平衡阀故障维修方案
ZTC500A562-3起重机伸缩系统缩无动作的伸缩油缸故障维修方案
ZTC500A562-3起重机卷扬起升无动作的主阀故障维修方案

ZTC500A562-3故障排查方案

1
2
3
4
5
6
ZTC500A562-3起重机卷扬下放无动作的故障排查方案
ZTC500副卷扬只有起升没有下放
ZAT1600V变幅无动作
ZTC1300VS863的上车电气原理图
ZTC300V532变幅下放无动作
ZTC500A562-3卷扬下放无动作的主阀故障

根据姓名查询信息智能体

根据用户姓名查询用户信息

1
2
3
4
5
6
7
8
9
10
11
查下李坤的工号和职位。
给我看看李坤的联系方式。
我想确认戈孔明是不是我们技术中心的?
李坤联系方式有吗?
帮我找找张三的联系方式和所在部门。

公司里叫“李杰”的有几个?
有个软件开发室的“李杰”,工号是多少?
查一下戈孔明,最好能带上他的工号、职位和所属区域。
有几个叫“李凯”的,我要的是那个在智能制造中心的。
给我列出所有在长沙工作的“李凯”。
本文结束 感谢您的阅读