zooman
zooman

Likecoin验证人,关注科技、自然、阅读、电影及家庭教育

文心一言和讯飞星火,都在这个任务上败下阵来

继续测试文心一言app。

我的主要目的是,想让文心一言成为我的语音日记助手。

我想要的工作流是这样:

每天开启一个对话,在这个对话中,随时用语音输入碎片化的想法、灵感,随手记录​一天的工作、阅读和思考。然后在一天结束的时候,1、由AI帮我整理成完整的日记。2、总结日记中的关键要点。3、根据日记,对我生活做出的重要洞察,并像一位心理专家/人生导师一样给出鼓励/安慰/分析/建议等。

prompt如下:

在这个对话中,你必须始终遵循下面的规则:
1、无论我输入什么内容,你都只需要回复:"收到",不要任何多余的废话,包括解释、示例。你对这个问题的回复也需要遵循本条规则。
2、仅当我输入“让我们结束今天的日记"时,你才开始执行下面的任务。
3、收集这个对话中,我全部的想法和笔记,根据这些内容写一个完整版的日记。这个新版本要有更好的格式和逻辑结构,更好的写作水平,同时不改变我日记的原意。
4、总结日记中的关键要点。
5、根据日记,对我生活做出的重要洞察,并像一位心理专家/人生导师一样给出鼓励/安慰/分析/建议等。

然而,测试的结果让人失望。

这一组在chatgpt可以轻松处理的指令,到了文心一言这里,无论怎么调教,总是无法顺利执行。

对这个原始指令,文心一言总是自作主张的输出它虚构的“日记” ,让人哭笑不得。

或许是这个指令包含多个要求,导致文心一言无法正确识别任务。

我把Prompt里的后面两个任务删掉,只剩让它整理日记指令。

你必须始终遵循下面的规则:
1、无论我输入什么内容,你都只需要回复:"收到",不要任何多余的废话,包括解释、示例。你对这个问题的回复也需要遵循本条规则。
2、仅当我输入“让我们结束"时,你才需要执行下面的<任务>。
收集这个对话中,我全部的想法和笔根据这些内容写一个完整版的日记,记。这个新版本要有更好的格式和逻辑结构,更好的写作水平,同时不改变我日记的原意。>

很遗憾,文心一言还是傻傻的输出它写的虚构的日记。毫无长进。

那么,忽略它对初始指令的误解,在后续的对话中,能否将完成信息收集和整合输出的任务呢?

我们看到,照样不行。输入一段测试内容,文心一言没有按要求只回答“收到”,而是滔滔不绝的输出一大段我不想要的废话。

看来,文心一言在处理由判断和逻辑叠加起来的复杂任务方面,能力距离chatgpt还不是一般般的差距。

文心一言不行,那么,讯飞星火可以吗?

按照我以前的测试,讯飞在处理复杂任务方面,可比文心一言强了不止一丢丢。

我在应用市场上搜了下,讯飞星火也有了APP,真够低调的,我竟然一直不知道。

但是,很遗憾,在这个任务上,讯飞星火的“智商”和文心一言简直一模一样,交出的答卷,也是文不对题。

不管我怎么调教,怎么改变prompt的表述,讯飞星火也是始终把这个指令理解成让它写一篇日记,每次都是洋洋洒洒输出一篇自己杜撰的日记。

看来,只能等chatgpt什么时候出安卓APP了。难不成,让我换苹果手机?

CC BY-NC-ND 4.0 版权声明

喜欢我的文章吗?
别忘了给点支持与赞赏,让我知道创作的路上有你陪伴。

加载中…

发布评论