8月10日晚20點(diǎn)，中國科學(xué)院心理研究所杜憶研究員作為腦客中國科研第67位講者為大家?guī)碇黝}為《多模態(tài)言語感知與理解的腦環(huán)路機(jī)制》的報(bào)告。以下為報(bào)告部分內(nèi)容：

1言語感知和理解的特點(diǎn)

我們先介紹一些言語感知和理解的背景知識。

1.言語感知與理解極具挑戰(zhàn)性：在日常生活中，我們都是在一些復(fù)雜的環(huán)境下進(jìn)行言語感知，比如有背景噪音、背景音樂、甚至其他人同時(shí)在說話。比較著名的就是雞尾酒會(huì)問題，如下圖所示：

如果我們關(guān)心的是說話人B的語音，但是到達(dá)耳朵的其實(shí)是好多人聲整合在一起的語音，如何提取出我們關(guān)心的目標(biāo)語音信號其實(shí)是一件很難的事情。現(xiàn)在我們遇到過的一些語音識別軟件在這方面能力做的不是很好，但人腦其實(shí)可以很簡單做到這樣一件事，是因?yàn)榇嬖谶x擇性的注意機(jī)制。

2.言語感知的腦區(qū)不是模塊化的：我們知道大腦存在對于人臉加工的特異腦區(qū)，對位置加工的特異腦區(qū)，但并沒有一個(gè)腦區(qū)在特意的加工語音。

3.言語感知是多通道并行的：如同視覺通路一樣，言語感知同樣也是分成背側(cè)通路和腹側(cè)通路。

4.言語感知與理解是層級化的：語音有不同的時(shí)間尺度，不同的層級，從詞到短語、句子，最后組成一個(gè)篇章。所以你可以看到大腦對于這樣的一個(gè)不同時(shí)間尺度的語音信號的加工，它其實(shí)是存在著層次性的編碼。

5.言語感知與理解是多模態(tài)的：比較著名的一個(gè)現(xiàn)象McGurk Effrct，視覺信息會(huì)嚴(yán)重地影響到你的聽覺感知。語音信號放的是/ba/，唇動(dòng)信息給出的是/ga/；如果你睜開眼看到這個(gè)視頻，聽語音的話，你的知覺應(yīng)該是聽到的是一個(gè)/da/，而閉上眼睛就會(huì)只聽到/ba/。

6.言語感知與理解是預(yù)測式的：如言語感知和理解是將具有復(fù)雜動(dòng)態(tài)結(jié)構(gòu)的聲學(xué)信號投射到詞義表征的過程。聽者可以利用先驗(yàn)知識和約束（包括語法、句法、轉(zhuǎn)移概率、視覺運(yùn)動(dòng)線索等）來預(yù)測下一時(shí)刻的語音輸入，該過程可被貝葉斯推理模擬。

2言語感知與理解和言語生成密切相關(guān)

言語感知與理解和言語生成具有密切的關(guān)系。比如左邊這個(gè)甲骨文文字，它的左部分是耳朵的意思，下面部分代表的是口，它表示的是我們現(xiàn)在的“聽”字。這說明在我們聽的過程中，其實(shí)存在聽覺系統(tǒng)跟運(yùn)動(dòng)系統(tǒng)之間的一個(gè)整合。一個(gè)人說話時(shí)，他也能夠聽到自己的實(shí)時(shí)聲音，這樣的一個(gè)聽覺反饋是有利于他更好地去控制他的發(fā)音動(dòng)作。另外對于聽者而言，當(dāng)聽到語音信號時(shí)，他不僅會(huì)利用到他的聽覺系統(tǒng)，他自己跟發(fā)音相關(guān)的那些言語運(yùn)動(dòng)系統(tǒng)也會(huì)主動(dòng)地模擬說話人的發(fā)音，來預(yù)測說話人的發(fā)音。

這樣的過程其實(shí)是跟大腦內(nèi)的鏡像神經(jīng)元系統(tǒng)密切相關(guān)的。大家知道鏡像神經(jīng)元系統(tǒng)最早是在猴腦上發(fā)現(xiàn)的，獼猴在執(zhí)行一個(gè)動(dòng)作或者是在觀看他人執(zhí)行一個(gè)動(dòng)作的時(shí)候，會(huì)有一群神經(jīng)元被激活，位于額葉的地方。這個(gè)腦區(qū)對應(yīng)到我們?nèi)四X上，其實(shí)就是跟我們發(fā)音密切相關(guān)的布洛卡區(qū)和腹側(cè)前運(yùn)動(dòng)皮層。近代有很多的腦成像研究也已經(jīng)發(fā)現(xiàn)，我們的言語生成和言語感知功能區(qū)具有很多重疊的腦區(qū)，包括這些藍(lán)色重疊的腦區(qū)其實(shí)都是鏡像神經(jīng)元所在的地方。

因此提出了一個(gè)語音加工的雙流通路模型，合成分析理論認(rèn)為：在嘈雜、不穩(wěn)定的情境下，言語運(yùn)動(dòng)系統(tǒng)會(huì)生成發(fā)音預(yù)期以限定和輔助語音信號的解析。

另外會(huì)有人發(fā)現(xiàn)，當(dāng)我們在聽到一些動(dòng)作詞的時(shí)候，我們會(huì)特意地去激活跟控制這些動(dòng)作所屬的身體部位相關(guān)的運(yùn)動(dòng)區(qū)。比如說你聽到一些跟腿相關(guān)的運(yùn)動(dòng)區(qū)詞匯時(shí)，你會(huì)激活控制腿部相關(guān)的運(yùn)動(dòng)區(qū)；如果你聽到是跟面部發(fā)音相關(guān)的詞匯時(shí)，你會(huì)激活更加腹側(cè)的運(yùn)動(dòng)區(qū)域。

3三個(gè)相關(guān)研究

基于以上背景，和大家介紹一下我們實(shí)驗(yàn)室所做的三個(gè)研究。

第一個(gè)研究是關(guān)心視覺唇動(dòng)促進(jìn)噪音下言語感知的神經(jīng)機(jī)制，用到的技術(shù)手段包括磁共振的結(jié)構(gòu)和功能成像。它的語音尺度是在音位，一個(gè)聲母的層級，很短的一個(gè)時(shí)間單元。

研究二是關(guān)心言語和手勢語義整合的動(dòng)態(tài)腦環(huán)路機(jī)制。我們用到的技術(shù)手段是經(jīng)顱磁刺激TMS，它的語音尺度是在字詞。

第三個(gè)研究關(guān)心的是運(yùn)動(dòng)皮層和聽皮層對言語感知的協(xié)同貢獻(xiàn)。用到的技術(shù)手段是一個(gè)經(jīng)交流電刺激TACS，它的語音層級是在一個(gè)語句的層級上進(jìn)行的。

可以看到三個(gè)研究分別用了不同的技術(shù)，關(guān)心的語音尺度也是不一樣的，一個(gè)比一個(gè)更長。

觀看本期及往期精彩視頻內(nèi)容請掃描下方二維碼觀看。

掃描二維碼

觀看完整視頻

END

點(diǎn)擊此處，觀看最新直播及回放。