载入中...  
载入中...
时 间 记 忆
载入中...
最 新 评 论
载入中...
专 题 分 类
载入中...
最 新 日 志
载入中...
最 新 留 言
载入中...
搜 索
用 户 登 录
载入中...
友 情 连 接
博 客 信 息
载入中...


 
意识RNN与AGI
[ 2018-7-16 9:09:00 | By: alice ]
 


关于自由意志是否存在,人类已经争论了几千年。越来越多的神经科学家通过实验,得出结论认为人类对于自由,或者说“自我掌控”的主观体验,可能只是一种错觉。等等,为什么我们要在这里说自由意志?

深度学习三巨头之一的Yoshua Bengio,昨天在arXiv上传了一篇论文,不长,只有4页,而且署名只有他一人。作为伟大(出名)科学家的好处(往往也是坏处),可能就是你的一举一动都随时有人关注。所以,我们今天将介绍这篇论文。

Reddit网友评论称,谁没有过这样的体验——晚上喝高了狂书4页纸宣泄完一个让自己感觉好到爆的概念,然后上传到arXiv?还有人说,这篇论文有着很多上世纪80年代论文那样模糊、大胆和明晰的语言,那时候的人还无所畏惧,毫不担心自己会因为研究AGI(通用人工智能)而出丑。

总之,让我们来看这篇论文。但在此之前,还是先把自由意志的话题说完,因为这确实与Bengio的论文有关。

准备电位:潜意识引发自发行为

20世纪60年代中期,德国科学家Hans Helmut Kornhuber和Lüder Deecke发现,大脑在产生意识知觉前的瞬间会进入一种特殊的状态,他们将其称为“bereitschaftspotential”(BP),也即“准备电位”。

实验中,Kornhuber和Deecke要求参与者动一下手指(自发行为),但脑电图(EEG)扫描却显示,在这个动作发生前,大脑运动皮层出现了一个缓慢的负电位变化。这个观察结果完全出乎意料而且违反直觉。他们不得不得出结论认为,潜意识会引起自发行为。

后来的神经科学家使用更先进的方法和工具,设计更完备的实验,也得出了类似的结果。

总之,在人行动前,还有一个存在于意识的阶段,能够影响乃至决定这些行动;甚至在意识形成前,还有一个无意识的阶段,能够影响人类的决策。但,这就说得太远了。

意识先验:抽象空间的意识表征

Bengio的论文与意识和行动有关。他在论文中提出了一个“意识先验”(Consciousness Prior),认为在实际行动之前的抽象空间里,也应该有一个低维向量来表征意识,这对之后在像素空间发生的行为有预测作用。

Bengio在论文中对他的意识先验理论做了介绍。假设在时间 观察到的状态是 st,ht则是从 s推演得到的高级表征,那么 h可能是某种RNN的输出.

在这里函数F 被称为表征RNN(representation RNN),h为表征状态(representation state)。表征RNN可以被视为大脑在时间t的几乎全部内容,表征状态 h则是非常高维(并且稀疏)的向量,是智能体能够获取的所有信息的抽象表征。

然后,定义意识状态 ctc是低维向量,使用注意力机制从 ht  推演而来, c与前一个时间点 ct-1 有关。这时,z是随机噪音源。

c的值对应思维的内容,也是我们在无意识中获取的信息的一个很小的子集,但在注意力机制的影响下被带入了意识中。函数C 是意识RNN(consciousness RNN),在随机噪音输入的影响下,随机在注意力作用下的几个要素中进行选择。意识RNN可用于探究对未来的规划或预测,还可以用来隔离出个别高级抽象,并从中抽取信息。


为了确保假设成立,即有意识的思想能够完整地包含对未来状态的陈述,论文引入了验证网络(verifier network),将过往意识状态 ct-k 与当前表征状态 h匹配:



V(ht, ct-k) 表明在给定 h估计对应状态概率为真。


最后,鉴于语言是意识最佳也是最方便的一种载体,Bengio还用另一个RNN来描述意识状态到言语的映射:



这样,使用语言的学习智能体就有了额外的信息。Bengio还写道,这项研究打开了将深度学习与经典符号AI和认知科学联系起来的大门,并将深度学习从感知转移到更高层次的认知和知识表征。当然,这并不是说我们要回归到符号主义,而是“去考虑由深度学习智能体所捕获的那些表征的一种正则化形式,可以具有许多经典AI事实和规则的属性,同时也为在这个拥有各种不确定和非离散方面的世界中进行推理和规划提供更加丰富的表征”。

Dngio在论文中讨论了如何针对意识先验设计实验,像他常说的那样,要从toy experiment开始。但更多内容,你还是直接看论文吧~

论文:意识先验

论文地址:https://arxiv.org/pdf/1709.08568.pdf

 
  • 标签:深度学习 
  • 专题:人工智能 
  • 发表评论:
    载入中...
    @Oblog科学与宗教研究