清華大學(xué)深圳國際研究生院、騰訊人工智能實(shí)驗(yàn)室(AI Lab)和鵬城實(shí)驗(yàn)室的研究人員近日發(fā)表論文稱,研究團(tuán)隊(duì)開發(fā)了一個(gè)名為DreamDiffusion的圖像生成模型,該模型可以直接通過腦電圖(EEG)信號(hào)生成高質(zhì)量圖像。相關(guān)論文發(fā)表于美國康奈爾大學(xué)旗下在線學(xué)術(shù)論文平臺(tái)arXiv上。
目前已有不少團(tuán)隊(duì)研究了使用文本到圖像的擴(kuò)散模型從人腦生成圖像的方法,但大多數(shù)采用的都是功能性磁共振成像(fMRI)技術(shù)捕捉大腦活動(dòng)從而生成圖像。這種技術(shù)缺乏實(shí)用性,因?yàn)樗枰獙<也僮鞑⑶倚枰嘿F且難以攜帶的fMRI設(shè)備。
相比之下,腦電圖是一種記錄大腦電波活動(dòng)的非侵入性、低成本方法,且已有一些便攜式商業(yè)產(chǎn)品可以輕松采集腦電圖信號(hào)。于是,研究團(tuán)隊(duì)提出了一種“穩(wěn)定擴(kuò)散”的圖像生成方法,能夠減少腦電圖信號(hào)的噪聲干預(yù),使擴(kuò)散模型的預(yù)訓(xùn)練更穩(wěn)定有效。
研究團(tuán)隊(duì)向6位受試者展示了屬于40個(gè)不同對(duì)象類別的2000張圖像,進(jìn)而通過采集受試者的腦電圖信號(hào)來生成高質(zhì)量圖像。下圖中每組左邊標(biāo)有GT的是原始圖像,右邊的Sample圖像為腦電圖生成圖像。
為了評(píng)估該方法的準(zhǔn)確性,研究團(tuán)隊(duì)將其與最近的另一項(xiàng)類似研究Brain2Image進(jìn)行了定性比較,結(jié)果證實(shí),其準(zhǔn)確率明顯高于Brain2Image生成的圖像,從而證明了該方法的有效性。
關(guān)于我們| 客服中心| 廣告服務(wù)| 建站服務(wù)| 聯(lián)系我們
中國焦點(diǎn)日?qǐng)?bào)網(wǎng) 版權(quán)所有 滬ICP備2022005074號(hào)-20,未經(jīng)授權(quán),請(qǐng)勿轉(zhuǎn)載或建立鏡像,違者依法必究。