2
1
0
这个讨论有意思，Yann LeCun 原推的观点是自回归式 LLM 终将“走向末路”，因为输出不可控，无法真正做到完全事实性、无毒性，以及可控性，那就意味着如果生成的时候错一点点，最终也会呈现指数级的偏离。
Eric Xu
IT技术
(
twitter.com
)
由
宝玉
提交
这个讨论有意思，Yann LeCun 原推的观点是自回归式 LLM 终将“走向末路”，因为输出不可控，无法真正做到完全事实性、无毒性，以及可控性，那就意味着如果生成的时候错一点点，最终也会呈现指数级的偏离。
Eric Xu 则不认同，举了一个例子：按照牛顿力学，如果只看小行星不时撞击月球，那么最终月球会越偏越远，但实际上因为地球的约束，月球的轨道并不会受小行星冲击而偏离轨道。
对于 LLM 来说，会通过注意力机制对已生成的内容与提示信息进行再评估，从而在一定程度上修正或控制后续输出，具备一定的自我纠正或上下文一致性能力，而不必然是错误“越滚越大”。
比如 GPT-4o 就能纠正错误。
***
从我自己的使用经验来看，现在越是高级的模型，比如GPT-4o、o1这些，虽然也有幻觉，但大部分时候都是能纠错的，比一些人类还值得信赖一些
点击图片查看原图
Markdown支持
评论加载中...
您可能感兴趣的：
更多
1
2
1
1
2
2
1
1
6
2
1
1
7
2
1
1
