给AI挖坑 | 实测New Bing能否回答员工那些刁钻的问题?

狂飙160天,世界已经不是之前的样子 。
新建了人工智能中文站
每天给大家更新可用的国内可用资源
之前玩,发现这玩意很擅长胡说八道,比如你让它写一段发言稿,并引用鲁迅名言,于是它写下了这样一句:
在这里,我想引用鲁迅先生的名言:“立足于现在,放眼未来”
这自信地瞎掰,堪比中学时我们在作文中写下”西方有一位哲人曾经说过“ 。
不联网,它的答案是编的,而不是搜的,这其实使它不太适合作为一个问询机器人,特别是回答企业内部的一些问询 。
而New Bing,是联网的!
它会用它的理解能力理解问题,去搜索,再重新组织语言 。
联网的GPT能有多强?会不会掉入陷阱?
我设计了三个员工问询的场景,来做演示和验证:
休假政策问询
加班费计算问询
辞退相关法律咨询
从结果来看,现在的AI并不止善于组织语言,对文字的“理解能力”也是很超乎想象的!(AI并不一定是真正的理解了,但能给出我们喜欢的答案,让我们相信它懂得起)
场景1:育儿假政策咨询
√ 正确判断是要找育儿假的政策
√ 正确判断应该找工作地,而非户籍地的政策
× 故意选了超龄的情况,它掉坑里,并认为我的条件符合政策
√ 我反问它,它重新拿我给的条件和政策做了比较,发现并承认了之前的错误 。
√ 它理解双胞胎是2个人
√ 它理解了我是想问能不能叠加
√ 对比了搜索结果和我给的条件,告诉了我答案
√ 它记得我前面说过上海户口
√ 它理解到了上海户口就是户籍所在地为上海
√ 它理解回上海工作,要搜上海的政策
√ 它理解“扣钱”说的是扣工资
× 这个回答还是很官方,并没有直接告诉我答案
场景2:加班费的计算
√ 它理解深圳相应的是中国的法规
× 今年的4月30日是休息日,不应按平日加班计算
× 第二天是五一,有可能要按节假日加班算,它没考虑到
√ 能够将搜到的文字转化为数学公式
√ 能够理解公式中的参数,能把值带入参数计算
× 我说过加班时间,不过确实说得比较隐晦,它没理解
√ 能够根据对时间的文字描述计算出时长
× 照着公式算错了
× 咋还就算不对了呢
√ 了解了节假日加班费不同!
√ 知道五一是节假日,有两下子
√ 这次算对了
场景3:劳动法规相关咨询

给AI挖坑 | 实测New Bing能否回答员工那些刁钻的问题?

文章插图
√ 明白了我是想问迟到扣工资是否合法
× 一、二句是矛盾的
× 没有考虑低于最低工资的问题
× 没理解我其实是想问,这是依据的什么法条
√ 多解释了一下,它懂了
【给AI挖坑 | 实测New Bing能否回答员工那些刁钻的问题?】√ 它懂“法条”是什么意思
√ 它搜对了
√ 它理解“到手”是在说工资
√ 联系前文,它知道我在说最低工资标准
?给了一个谨慎的结论(你们觉得这样回答回更好吗?)
√ 我只能说,有点东西!
√ 知道要用4年来算(这是什么原理?)
√ 理解了这个问题实际是在问前文中的违法解除
需要说明的是,由于每次问答GPT都要重新组织语言,因此会有同一个问题给出的回答不一致的情况 。在测试中,还有更多回答错误、不妥的情况,没有贴出来 。
如果作为企业内部的员工问询机器人,对于政策、法规相关的问题,其实是不容有失的,GPT也许暂时还不完全适用 。
GPT有多强?能干什么?希望能帮助大家有些更直观、更深入工作场景的认识和感受 。