askender

创造和分享 Creative Commons: When we share, everyone wins anwen.cc

【黑客社区报名】在不确定的世界里怀念贝叶斯

贝叶斯定理, 一个简单的缘起(可跳过这一段)

1.0 有两种不确定,一种是量子力学里的不确定性原理、波粒二象性、波函数...。 另一种就是掷骰子🎲(概率)。  在这里我们不考虑量子力学,因果不存在、一件事情处于真和假的叠加态会让人晕掉。我们还是先讨论被我们的观察导致坍塌的世界。

1.1    以下概率简写为p。 条件概率记为p(A|B): B条件下A事件发生的概率。 符号什么的多看看就熟悉了。如果你B条件好,你做成A事情的可能性就大,如果你控制不了B,也不要感伤,你想要的也不一定是A。

1.2   联合概率 p(A and B): A事件和B事件同时发生的概率。 给出第一个(不一定正确的)公式 p(A and B)=p(A)*p(B) (仅当A事件和B事件之间八竿子打不着,即互相独立) 很简单,两个独立的概率低的事情一起发生的概率就更低了。 通常,万事万物是相关的。 p(A and B)=p(A)*p(B|A)   

1.3   出一个高中题。两个箱子,甲箱有30个红球和10个黑球,乙箱有红球黑球各20个。 闭着眼随机摸到一个箱子并摸到一个球,睁开眼一看是红球。问:是从甲箱摸到红球的概率。

答:p(红球)=1/2 * 3/4+1/2 * 1/2=5/8 ;  p(红球|甲箱)=3/4 ;   p(甲箱|红球)=? 这是需要求解的

因为p(A and B)=p(A)p(B|A)   ,  得到  p(B|A)=p(A and B)/p(A)=p(B)p(A|B)/p(A)  

p(甲箱|红球)=p(甲箱)p(红球|甲箱)/p(红球)=(1/2 * 3/4) / 5/8= 3/5  做出来了(●—●)

贝叶斯定理来了  p(B|A)=p(B)*p(A|B)/p(A)

1.5  历时诠释。   

假定B是历史事件,p(B)称为 「先验概率」 ,毕竟我们掌握的历史不一定对。

假定A是当前事件,我们能综合全部的历史可能性得出它发生的概率,p(A)称为「标准化常量」。     p(A|B) 是在我们以为的历史事件下当前事件发生的概率,称为「似然度」。     

p(B|A) 称为后验概率,得到了当前事件的信息后,我们回溯更准确的历史事件发生的概率。常常需要更新我们的历史观。 p(B|A)=p(B)p(A|B)/p(A)

由此引发了一系列故事,比如贝叶斯推断。我们先预估一个"先验概率",然后加入实验结果,看这个实验到底是增强还是削弱了"先验概率",由此得到更接近事实的"后验概率"。 人工智能流派之一的贝叶斯学派Bayesians也源于此。 

当下的困境

人工智能有三个主要学派:

符号主义(我把贝叶斯派也归类到这里):起源是数学、逻辑学、统计学。注重研究知识表达和逻辑推理(我比较喜欢这个)。代表成果有:编程语言(lisp、prolog...)、专家系统、贝叶斯网络、知识图谱、probabilistic programming。 号称是能告诉你为什么。

联结主义:起源是仿生学。注重用简洁方法(神经元的堆叠)解决感知任务(目前的职业)。缺陷是不可解释。代表成果是神经网络、深度学习。更具体则是图像识别与合成、语音识别与合成、语言方面的少量成果。号称是能拟合一切函数。

行为主义(我把进化主义、类比主义也归类到这里):起源是工程学。注重实现最终结果(相信进化论)。代表成果有:控制论、机器人(波士顿狗)、强化学习、AlphaGo。号称能玩通所有的游戏。

三者不是完全独立的,发展也有渐渐融合的趋势。

比如目前深度强化学习(行为主义)是构建于深度学习(连接主义)的基础之上的。

也有论文将贝叶斯因果网络(符号主义)与深度强化学习进行融合,参考《Relational inductive bias for physical construction in humans and machines》

危机1: 符号主义难以实用化,AI进入漫长的低增长期

- 符号主义在完成对计算机和编程语言的底层贡献之后,其作用一直是停留在理论分析和一些特殊场景。即使是和其他学派结合目前也只是小幅提升效果。看看pyro.ai以及知识图谱现在能做到的就知道了。 当低垂的果实采摘完了,将会进入漫长的AI低增长期。这个危机目前没有看到解除的希望。不过我仍然期待GNN的后续进展。

危机2:联结主义和行为主义成果的中心化

- 身在某企业研究院,我觉得任何学术研究成果获利最大的还是巨型企业。即使论文和算法目前是开放的,但其他方面比如计算资源、数据、积累等方面贫富差距只会越来越大。极权政治体最终会在历史长河里消失,但巨头经济体的影响力只会越来越大。

危机3:去中心化的程度和影响力不明

- 目前的去中心化的最大驱动力还是其经济激励,实用层面除了货币,其他方面发展较慢,储存的去中心化在进行中,但计算力去中心化却发展缓慢。

- 去中心化可以作为一个社会学实验具有一定影响力,但在实体经济层面占比不大的情况下(没有指数增加人类整体的生产力),其过程也估计是不停震荡中极其缓慢的改进的。


然后呢。。。

本文无法深入讨论解决方案,毕竟思考和考察都还不够深入。先简单说说目前想法:

- 对于危机1: 研究总是有小幅进展且令人乐观的。但如果更多人失去信念,只投入确定有回报的事情,长期来看是不好的趋势。毕竟可控核聚变还是要一定程度依靠广义的符号主义来支撑的。

- 对于危机2: 开源会一定程度持续,毕竟中心化的控制者也是希望一定程度借助去中心化的智慧来保持自己的活力的。就看是否会有一种平衡来让两者保持微妙的合作关系了

- 对于危机3: 这个问题不是特别严重。毕竟长期来看,未来的去中心化肯定是比当下好的。一切都是技术问题,除非网络被彻底切断。


写本文的动机在于个人的信念问题。有些事情萦绕心头,不吐不快,就当做一篇自白书吧。

危机都是暂时的,当对于处于危机中的人来说,很多问题对于个体是无法解决的。

对于我来说,三个学派的说法也是一种思考工具,类似马洛斯需求层次。

- 联结主义,解决感知问题,其实也是生存问题。大多数人都还在这个层面挣扎。根本问题是如何面对资源受限的世界。

- 行为主义,解决社会问题,其实也是分配和交流问题。Matters上很多人能对社会问题发表观点,既是对当下社会的关注,也是对与他者交流的关注。

- 符号主义,解决心理问题,其实也是未来问题。短暂脱离当下的生存生活环境,面对好奇心和自己的信念不断调整(看书写字行动等),根本问题是如何面对有限的自我和无限的宇宙。

更具体一点,对于我来说:联结主义(自然语言处理)是活下来的饭碗问题;行为主义(最近才开始的社区写作)是希望在交流中认识朋友推进计划;符号主义(学习并构建一个理想中的东西(以后的文章会描述),此前一直用较少时间在做)是当世界其他部分暂时消失之后自己最想做的。

你的最大担忧是什么呢?你的初心又是什么呢?


回到本文标题

「在不确定的世界里怀念贝叶斯」是3年前的一篇文章同名重写。 由于某种恶趣味,看到有Matters文章标题也包含「在不确定的」,于是也对齐了前缀,发起一个活动【黑客社区报名】。 

黑客的含义来自《黑客与画家》,所以也欢迎「画家」参与。(有好奇「星」的人既是黑客也是画家。)

报名方式: https://t.me/Hackers_and_Painters

【台北活動報名】在不確定的時代,如何面對他者?

2010s到2020s,深渊上的火和海伯利安

發佈評論

看不過癮?

一鍵登入,即可加入全球最優質中文創作社區