22.08.12 Lecture: Yanchao Bi

Bio

北京师范大学认知神经科学与学习国家重点实验室、IDG/麦戈文脑科学研究院教授、PI。2006 年于哈佛大学心理学系认知-脑-行为专业获得博士学位。核心研究兴趣为语义记忆、知识表征和物体表征的认知神经基础。长江学者特聘教授、国家基金委杰青、优青、973 青年专项首席科学家。任 Elife, Cognition, Neurobiology of Language, Cognitive Neuropsychology 等杂志编委；Fulbright scholar；获美国心理学会 Observer 新星奖(Rising Star)等奖项。

Title

Knowledge representation in the human brain–The tales of sensorimotor and language experiences

Abstract

Human brain stores tremendous amount of knowledge about this world, which is the foundation of language, thought, and reasoning. What’s the neural codes of knowledge representation? Is the knowledge “roses are red” simply the memory trace of perceiving the color of roses, stored in the brain circuits within color-sensitive neurons? The knowledge of objects the composition of their multi-sensory attributes? What about knowledge that is not directly perceived by senses, such as “freedom” or “rationality”? I will present some work from my lab that addresses this issue using cognitive, neuroimaging, and neuropsychological methods with healthy subjects, individuals with sensory deprivation (blind and deaf) or with brain damage. The findings point to a highly distributed system incorporating two forms of representations: sensory-derived (embodied) and language-derived (symbolic), spanning across different neural systems.

Replay (需要科学上网和观看密码)

Slides

• PDF

小朱老师按

毕老师是学生们公认的“集美貌与智慧于一身的女神老板”；毕业于哈佛大学，师从研究人类语言和概念在大脑神经系统中表示的领军人物 Alfonso Caramazza。毕老师深耕于语义表征、概念知识的认知神经机制的研究，首次通过实验系统性地讲清楚了人脑表示知识的两个独立系统—感官发展的知识（具身）和语言发展的知识（符号），能够告诉我们为什么先天性盲人可以习得颜色。毕老师以 Dual coding of knowledge in the human brain 为题总结了这一系列工作，发表在 Trends in Cognitive Sciences（人类智能和人工智能研究者心目中共同的顶刊），并入选年度综述。希望童鞋们能在这次人类智能与人工智能的对话中看到思想碰撞产生的火花。

Photos

Poster

Notes

Organized by Wenjuan Han.

此次课的目标：对心理学、脑科学理解人智能有部分基本思路上的入门了解。

• 人的思维与智能等心理学问题非常古老，但作为一门科学非常年轻。一个很大的挑战在于每个人经常觉得自己知道、可以意识到自己的想法，但其实这部分自省的了解是很不准确的，很多过程不被意识所捕获，意识所体验的也包括极多的诠释和建构。近些年可以将认知问题与对产生各种心理功能与智能的器官–大脑的生物学研究结合，是一个很好的机遇，很多不同的学科开始真正在这里汇聚，也确实不断发现了一些内在结构的规律与机制并随之产生更多新的问题。
• 作为跨学科与通班本科生同学的一次交流，目标不是传达很多知识点，而是通过一些研究的问题、思路、实证例子，获得些直观感受–“还可以从这个角度研究人类智能与大脑功能“，希望能对大家有所启发。

本讲座可以用“三个主题”来贯穿，分别是:

1. What’s the question
2. How to study it
3. What’s the question again

What’s the question?—Knowledge structure

Science 杂志曾公布世界前沿的125个科学问题，其中25个最突出的重点问题之一是“记忆如何存储和提取”，文中对记忆有个科普性的介绍描述—大脑中存储着我们所知道的一切。关于世界的一般性的知识，自己的个人经历，所会的所有技能。对应着一种对记忆的分类—语义记忆、情景记忆、程序性记忆。

有多种证据这些不同的记忆内容中大脑中的存储/处理有一定程度分离，又高度交互。比如，我们刚分享的几个脑损伤病人不同类型记忆损伤的认知模式。这就是我们的基本对象问题。什么样的信号处理机制、内在计算模块、学习机制，使得我们大脑可以习得、存储、使用这些不同类型的记忆（知识）信息？

我们今天以第一种记忆信息—对于世界的一般性知识，比如非常简单的关于物体的形状、功能、如何使用的信息，大脑如何处理与存储，来加以讨论。

大脑作为一个复杂系统，可以从非常多不同层级加以研究。比如有些神经科学的研究人员主要做微观层级研究，解析不同神经元类型的分子遗传或者病变机制。有些集中于特定脑区的局部结构与功能，比如视网膜是如何处理光信号的。对于特定认知功能哪个层次是有效单元本身就是开放问题，因此需要多个层次、多个手段、多个路径的研究加以解析。

How to study it?

研究方式包括很多：theorize（理论）, measure（测试）, activate（激发）, disturb（扰动）, break（破坏）, simulate（模拟）等，结合归纳和演绎综合发展理论与理解。比如目前有多模态核磁共振成像、脑电图等无损的方法可以直接或者间接测量偏宏观尺度神经活动、也可以对实验动物或者在特定医疗需要情况下直接用电极对单个细胞的活动进行记录；可以有TMS 或者TDCS等设备对特定脑区给予无损磁或者电刺激；也可以在特定情景下对皮层或者深部脑区进行电刺激，或者对特别基因进行操纵。也可以通过认知行为实验范式对内在认知结构加以测量和操纵。

这个过程中获得的大脑的一些基本组织规律也约束我们对智能理论的发展。比如大脑的一个结构之一，就是对不同类型信号的感知系统的分离与整合。人类有五个感官通道（视、听、触、味、嗅），不同的外周感受器将相关信号投射到大脑不同区域；此外输出信号最终作用于运动皮层加以调动各种肌肉产生运动反应。这些发现来源于多种神经信号的记录、刺激、损伤等多方面证据。而通过分析运动皮层的信号，就可以解码人想产生的运动模式（乃至解码想说的话–语音）。

A few milestones 关于物体相关知识存储机制的一些发现与思路

1. 在这种大脑的结构特点框架下，关于世界的一般性知识（记忆）的一类假设就是其基于相关感觉信号的加工痕迹。1990年代无损脑成像的发展，提供了系列支持性的证据。

   • 激活：比如发现人类想到物体的不同类型信息时，相应的感知空间也会被激发，例如提到苹果‘颜色’，虽然没有当前的颜色刺激，但颜色感知脑区被激发（如图中蓝色高亮区域）。

     

   • 损伤[4]：脑损伤可导致特定感觉通道相关知识，比如选择性的物体颜色知识损伤。

     

2. 另外一些证据则表明有与不同感觉通道信息所交互的另外个维度信息（重要的进化意义范畴）。生物体的感知系统不仅是为了“看到”，最终是与进化适应性反应相关。损伤体现在不是一类感觉通道知识而是一个特殊范畴的普遍性知识[5]。神经活动也体现出重要的范畴性组织，比如中、高级视觉皮层的物体范畴组织模块。

   

除了面孔区的很多有趣发现，另一个有趣的范畴是工具。人类一个标志性认知功能是对复杂工具的制造和使用，我们也发现人脑对于工具类信息的处理网络的一些 – 比如与操作相关的运动皮层（额叶和顶叶）对工具的视觉信号也响应，而且与相关视觉敏感的脑区（颞枕叶皮层）有功能和结构连接[6,7]。而这些网络连接模式在新生儿中就已经能观察到，虽然新生儿还并没有任何个体工具物体操作经验，而已经有丰富物体抓握经验的猕猴大脑中有所区别，表明可能是与人类部分进化相关的特定结构。

3. 感知信息与符号化系统。人似乎能建构独立于感觉经验的抽象符号关系。对于先天性的盲人，通过 language derived 方式（通过符号知识/语言交流学习）仍然能学习到颜色知识空间。通过探索先天盲人颜色关系的脑活动解码研究，识别人脑中有两套不同的系统来表征‘知识’[8]（比如颜色知识）: 感官衍生表示（sensor derived representation）和（语言）符号衍生表示 （language derived representation ;sensor-independent representation)，于不同的脑系统来表征。

   

   而且语言符号关系信息与这个以颞叶为主的“语言”脑网络既有必要也有充分的关系。

通过词汇关系模型（language model；language derived only）和人脑对词汇响应模式的检测，可以激发在语言皮层的显著相关性。

What’s the question again?

人脑知识表征的感觉与符号双编码神经框架为很多经典的哲学争论提供了初步实证性的答案。也引发出很多新的问题。特别是符号关系表示的神经系统机制，我们目前还知之甚少：

• 感官和语言衍生的知识表示之间有什么关系？它们是否整合以形成整体表示？
• 这两种知识表示在各种认知任务中的功能作用是什么，包括相对基本的认知任务，如感知和识别，以及高级的认知任务，如推理和决策？
• 语言和感官倾向以及经验方面的个体差异是否会系统地影响知识表示？
• 跨语言差异会导致知识表示的系统差异吗？说两种或多种语言如何影响知识表示？
• 这些不同的知识表征系统的发展轨迹和机制是什么？
• 人脑中的两个知识编码系统与人工智能中的计算感觉模型（例如，视觉、多模态集成）和语言模型之间有什么关系？

参考文献

1. Smith, K. (2013). Reading minds. Nature, 502(7472), 428.
2. Martin et al., Science, 1995
3. Fernandino et al., Cer Cor, 2015
4. Miceli et al, Nature Neuroscience, 2001
5. Grill-Spector & Weiner, 2017
6. Wen et al., Neuroimage, 2022
7. Fu et al., Cer Cor, 2022
8. Bi et al., Trends in Cog Sci 2016
9. Bi Y., Trends in Cog Sci, 2021