根據(jù)世衛(wèi)組織估算，全球有超過(guò)3.5億抑郁癥患者，基本上每20人中就有1人遭受抑郁癥的折磨。在重度抑郁癥患者中，有20%-30%的難治性抑郁癥患者面臨無(wú)藥可用、無(wú)醫(yī)可治的困境。

近日，上海交通大學(xué)智能交互與認(rèn)知工程上海高校重點(diǎn)實(shí)驗(yàn)室呂寶糧團(tuán)隊(duì)與上海零唯一思科技有限公司聯(lián)合推出的情緒“x”光機(jī)，或許意味著未來(lái)人類可以像測(cè)體溫或量血壓那樣，客觀、定量地檢測(cè)自己日常的情緒狀態(tài)。

當(dāng)你坐在電腦前，戴上專用的腦電帽，根據(jù)屏幕上的程序提示觀看視頻、油畫、人臉照片等情緒誘發(fā)素材，通過(guò)專門開發(fā)的多模態(tài)情緒識(shí)別模型，便可以科學(xué)地評(píng)估自己的情緒狀態(tài)，并提供抑郁狀態(tài)的預(yù)警。

腦機(jī)接口技術(shù)會(huì)在抑郁癥的幽暗隧道中投下微光嗎？

情感腦機(jī)接口究竟是什么？

它將如何改變我們的生活？

如何利用情感腦機(jī)接口技術(shù)

提升抑郁癥的診斷效果？

以下是我們與呂寶糧的對(duì)話。

01

破解“薛定諤的情緒”

@上?？萍?/p>

情緒“x”光機(jī)通過(guò)采集和解碼腦電信號(hào)和眼動(dòng)信號(hào)，幫助人們科學(xué)地判斷情緒好壞，預(yù)警抑郁狀態(tài)。我們的情緒類型這么豐富，都可以從這些信號(hào)里解讀出來(lái)嗎？

@呂寶糧

神經(jīng)科學(xué)研究表明，情緒非常復(fù)雜，沒(méi)有單一的生理指標(biāo)能夠精確地描述人的情緒。在學(xué)術(shù)界和工業(yè)界，傳統(tǒng)研究往往集中于將面部表情作為情緒表達(dá)的窗口，但我認(rèn)為這種方法存在局限性。面部表情雖然與情緒有一定的關(guān)聯(lián)，但不足以作為表征情緒狀態(tài)的可靠的生物標(biāo)志物。比如你即使內(nèi)心很焦慮，也能表面假裝很平靜。心率、皮膚阻抗、呼吸等其他的生理信號(hào)，也與情緒有關(guān)，但是它們與情緒的關(guān)聯(lián)性都不如腦電信號(hào)。

情緒“x”光機(jī)的研究目標(biāo)是利用多模態(tài)情感腦機(jī)接口技術(shù)實(shí)現(xiàn)對(duì)抑郁癥的客觀評(píng)估，其核心技術(shù)是開發(fā)高效的情緒誘發(fā)范式和情緒誘發(fā)素材，通過(guò)采集患者和正常人的大規(guī)模多模態(tài)生理數(shù)據(jù)，尋找抑郁癥客觀評(píng)估的數(shù)字生物標(biāo)記物。目前的情緒“x”光機(jī)采用了深度學(xué)習(xí)算法和腦電大模型，能夠自動(dòng)識(shí)別六種基本情緒，即高興、悲傷、恐懼、憤怒、厭惡和驚訝，以及中性情緒。

@上海科技

將腦電信號(hào)與眼動(dòng)信號(hào)融合的情緒識(shí)別方法，是您及團(tuán)隊(duì)2014年首次提出的一種新的多模態(tài)情感腦機(jī)接口框架。為什么選用腦電信號(hào)和眼動(dòng)信號(hào)融合？二者的結(jié)合，為什么可以顯著提升情緒識(shí)別的準(zhǔn)確率？

@呂寶糧

情緒是在外界刺激條件下人的復(fù)雜生理、物理變化過(guò)程，單一模態(tài)的生理信號(hào)難以捕捉到復(fù)雜的情緒變化。單一的腦電或眼動(dòng)信號(hào)往往受限于噪聲和表征能力的限制，可能無(wú)法準(zhǔn)確地區(qū)分各種不同的情緒狀態(tài)。針對(duì)這一問(wèn)題，我們提出了多模態(tài)融合的情緒識(shí)別框架。通過(guò)融合腦電和眼動(dòng)這兩種生理信號(hào)，我們可以從不同的視角表征復(fù)雜的情緒狀態(tài)，從而顯著地提升了情緒識(shí)別的精度和可靠性。

我們的實(shí)驗(yàn)結(jié)果表明，腦電信號(hào)和眼動(dòng)信號(hào)對(duì)三類情緒識(shí)別有明顯的互補(bǔ)特性，腦電信號(hào)對(duì)高興這類正向情緒比眼動(dòng)信號(hào)有更高的識(shí)別率，而眼動(dòng)信號(hào)對(duì)悲傷這類負(fù)向情緒比腦電信號(hào)具有更強(qiáng)的區(qū)分能力。

02

如何“讀懂”你的情緒？

@上?？萍?/p>

多模態(tài)數(shù)據(jù)的分析對(duì)于精準(zhǔn)醫(yī)療至關(guān)重要。您在研究中，是如何利用多模態(tài)數(shù)據(jù)的？

@呂寶糧

多模態(tài)數(shù)據(jù)主要包括腦電、眼動(dòng)、心率、面部表情、語(yǔ)音等生理和非生理信號(hào)，這些數(shù)據(jù)可以綜合反映患者的情緒和認(rèn)知狀態(tài)。我們通過(guò)多模態(tài)深度學(xué)習(xí)算法綜合分析這些數(shù)據(jù)，不僅可以識(shí)別出抑郁癥患者的情緒波動(dòng)，還能觀察到不同治療方法對(duì)患者情緒狀態(tài)的具體影響。這種方法的優(yōu)勢(shì)在于能夠?qū)崟r(shí)、動(dòng)態(tài)地監(jiān)測(cè)患者的情緒狀態(tài)，為臨床提供決策支持，特別是有助于制訂個(gè)性化的治療方案。

@上?？萍?/p>

情緒識(shí)別與情緒調(diào)控研究面臨哪些困難和挑戰(zhàn)？下一步，您和團(tuán)隊(duì)的研究計(jì)劃是什么？

@呂寶糧

情緒是一個(gè)復(fù)雜而多維的概念，不同的人對(duì)同一情緒的表達(dá)和體驗(yàn)可能存在差異。

與運(yùn)動(dòng)腦機(jī)接口不同，患者的個(gè)體差異可能受性別、年齡、職業(yè)和文化程度等多種因素影響，如何準(zhǔn)確地識(shí)別和理解不同個(gè)體的情緒狀態(tài)仍然是一個(gè)重要的研究方向。因此，我們要設(shè)計(jì)適合于不同人群的情緒誘發(fā)范式，要構(gòu)筑高精度的情緒識(shí)別模型。另外，情緒調(diào)控需要考慮到倫理和隱私等問(wèn)題，并確保技術(shù)的安全性。

我們目前的研究側(cè)重于情緒識(shí)別，未來(lái)我們將在精準(zhǔn)情緒識(shí)別的基礎(chǔ)上，開發(fā)高效的情緒調(diào)控技術(shù)。

03

探求抑郁癥“密碼”

@上海科技

為什么選擇抑郁癥客觀評(píng)估作為情感腦機(jī)接口技術(shù)的研究方向？

@呂寶糧

抑郁癥在我國(guó)的發(fā)病率不斷上升，2019年就報(bào)道有9500萬(wàn)抑郁癥患者。一方面，我國(guó)出生人口出現(xiàn)下滑，政策鼓勵(lì)生育，但產(chǎn)后抑郁的患病率大約有20%-30%。另一方面，抑郁癥患者年齡下降，青少年發(fā)病率升高，而國(guó)內(nèi)精神科醫(yī)生嚴(yán)重不足，遠(yuǎn)低于發(fā)達(dá)國(guó)家的水平。

目前，抑郁癥的診斷基本依賴精神科醫(yī)生的主觀判斷和各類量表，缺乏客觀生物標(biāo)記物，這導(dǎo)致診斷不僅耗時(shí)而且準(zhǔn)確率不高。因此，我們探索基于多模態(tài)情感腦機(jī)接口技術(shù)的抑郁癥客觀評(píng)估方法，以提高抑郁癥的診斷效率和準(zhǔn)確率。

@上海科技

情緒“x”光機(jī)如何輔助精神科醫(yī)生診斷抑郁癥？

@呂寶糧

我們的情緒“x”光機(jī)利用先進(jìn)的傳感技術(shù)、可穿戴設(shè)備、深度學(xué)習(xí)算法和腦電大模型，通過(guò)分析用戶的腦電和眼動(dòng)等多模態(tài)數(shù)據(jù)識(shí)別患者的抑郁癥狀?；颊咧恍柙谇榫w“x”機(jī)上做10分鐘的測(cè)試，機(jī)器就會(huì)自動(dòng)生成一個(gè)診斷報(bào)告。

該報(bào)告從抑郁癥狀的角度，給出患者偏離正常值的程度。相較于傳統(tǒng)的抑郁癥診斷方法，情緒“x”光機(jī)可以提供自動(dòng)化、快速、客觀的定量分析，進(jìn)而使精神科醫(yī)生能為患者提供更為個(gè)性化和精準(zhǔn)的治療方案。

@上?？萍?/p>

情緒“x”光機(jī)的抑郁癥客觀評(píng)估系統(tǒng)的應(yīng)用前景如何？在您看來(lái)，它最終的呈現(xiàn)模式和適用范圍是什么？

@呂寶糧

我認(rèn)為未來(lái)每位臨床精神科醫(yī)生都需要配備一臺(tái)情緒“x”光機(jī)，以實(shí)現(xiàn)抑郁癥的個(gè)性化、精準(zhǔn)治療，提高醫(yī)生的工作效率，減輕醫(yī)生的工作負(fù)擔(dān)。除了醫(yī)院之外，情緒“x”光機(jī)也可以應(yīng)用于各種崗位的抑郁癥篩查和早期預(yù)警。隨著情感腦機(jī)接口技術(shù)的不斷成熟和關(guān)鍵設(shè)備價(jià)格的降低，未來(lái)將會(huì)有家庭版情緒“x”光機(jī)。在家里就像量血壓、測(cè)體溫一樣，可以方便地檢測(cè)自己的情緒狀態(tài)是否出現(xiàn)了異常，以調(diào)整生活和工作節(jié)奏，及時(shí)就醫(yī)。

情感腦機(jī)接口技術(shù)在未來(lái)抑郁癥等情感障礙疾病的診療中具有極大的發(fā)展?jié)摿?，我深信情感腦機(jī)接口技術(shù)將引領(lǐng)一場(chǎng)關(guān)于情感障礙疾病治療和管理的革命。隨著技術(shù)的不斷進(jìn)步和精細(xì)化，我們能夠更準(zhǔn)確地識(shí)別和監(jiān)測(cè)抑郁癥患者的癥狀變化，為他們提供及時(shí)且個(gè)性化的治療方案。

未來(lái)，這項(xiàng)技術(shù)將會(huì)與更多的智能設(shè)備和應(yīng)用程序集成，與增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、大模型等其他創(chuàng)新技術(shù)相結(jié)合，形成一個(gè)多方位的治療平臺(tái)，從而更全面地支持患者的治療和康復(fù)過(guò)程，實(shí)現(xiàn)更廣泛的個(gè)性化醫(yī)療解決方案。此外，隨著大模型技術(shù)的進(jìn)一步發(fā)展，我們能夠通過(guò)大數(shù)據(jù)分析預(yù)測(cè)疾病的發(fā)展趨勢(shì)，進(jìn)行更為主動(dòng)的干預(yù)。

@上?？萍?/p>

從您的專業(yè)視角來(lái)看，腦機(jī)接口作為未來(lái)產(chǎn)業(yè)如何供給新質(zhì)生產(chǎn)力？

@呂寶糧

腦機(jī)接口技術(shù)是一種典型的新質(zhì)生產(chǎn)力，不僅符合新質(zhì)生產(chǎn)力的定義，而且開創(chuàng)了一種全新的人與機(jī)器的自然交互方式。

我國(guó)腦機(jī)接口市場(chǎng)正在孕育發(fā)展過(guò)程中，已經(jīng)受到了社會(huì)各界的廣泛關(guān)注。腦機(jī)接口技術(shù)是一項(xiàng)底層技術(shù)，它將來(lái)能在方方面面賦能百業(yè)，會(huì)對(duì)普通人的日常生活產(chǎn)生巨大的影響。(上觀新聞“上?？萍肌弊髡?藍(lán)悅 圖片/新華社 張建松 企業(yè)及專家觀點(diǎn)不代表官方立場(chǎng))