記者從北京大學(xué)未來技術(shù)學(xué)院獲悉,，北京大學(xué)與溫州醫(yī)科大學(xué)的研究團(tuán)隊(duì)建立一種生成式多模態(tài)跨器官醫(yī)學(xué)影像基礎(chǔ)模型(MINIM),，可基于文本指令以及多器官的多種成像方式，合成海量的高質(zhì)量醫(yī)學(xué)影像數(shù)據(jù),，為醫(yī)學(xué)影像大模型的訓(xùn)練,、精準(zhǔn)醫(yī)療及個性化診療等提供有力技術(shù)支持。該成果已于近期在國際權(quán)威期刊《自然·醫(yī)學(xué)》上在線發(fā)表,。

　　醫(yī)學(xué)影像大模型是利用深度學(xué)習(xí)和大規(guī)模數(shù)據(jù)訓(xùn)練的AI通用模型,，可自動分析醫(yī)學(xué)影像以輔助診斷和治療規(guī)劃。但要提升大模型的性能,，就需要大量數(shù)據(jù)不斷進(jìn)行訓(xùn)練,。然而，由于患者隱私保護(hù),、高昂的數(shù)據(jù)標(biāo)注成本等多種因素,，要獲得高質(zhì)量、多樣化的醫(yī)學(xué)影像數(shù)據(jù)往往存在障礙,。為此,，近年來，研究者們開始探索使用生成式AI技術(shù)合成醫(yī)學(xué)影像數(shù)據(jù),，以此來擴(kuò)充數(shù)據(jù),。

　　“目前公開的醫(yī)學(xué)影像數(shù)據(jù)非常有限，我們建立的生成式模型有望解決訓(xùn)練數(shù)據(jù)不夠的問題,?！北本┐髮W(xué)未來技術(shù)學(xué)院助理研究員王勁卓說，研究團(tuán)隊(duì)利用多種器官在CT,、X光,、磁共振等不同成像方式下的高質(zhì)量影像文本配對數(shù)據(jù)進(jìn)行訓(xùn)練，最終生成海量的醫(yī)學(xué)合成影像,，其在圖像特征,、細(xì)節(jié)呈現(xiàn)等多方面都與真實(shí)醫(yī)學(xué)圖像高度一致。

　　實(shí)驗(yàn)結(jié)果顯示,，MINIM生成的合成數(shù)據(jù)在醫(yī)生主觀評測指標(biāo)和多項(xiàng)客觀檢驗(yàn)標(biāo)準(zhǔn)方面達(dá)國際領(lǐng)先水平,，在臨床應(yīng)用中具有重要參考價值,。在真實(shí)數(shù)據(jù)基礎(chǔ)上，使用20倍合成數(shù)據(jù)在眼科,、胸科,、腦科和乳腺科的多個醫(yī)學(xué)任務(wù)準(zhǔn)確率平均可提升12%至17%,。

　　王勁卓表示,，MINIM產(chǎn)生的合成數(shù)據(jù)具有廣泛應(yīng)用前景，可單獨(dú)作為訓(xùn)練集來構(gòu)建醫(yī)學(xué)影像大模型,，也可與真實(shí)數(shù)據(jù)結(jié)合使用,，提高模型在實(shí)際任務(wù)中的性能，推動AI在醫(yī)學(xué)和健康領(lǐng)域更廣泛應(yīng)用,。目前,，在疾病診斷、醫(yī)學(xué)報告生成和自監(jiān)督學(xué)習(xí)等關(guān)鍵領(lǐng)域,，利用MINIM合成數(shù)據(jù)進(jìn)行訓(xùn)練已展現(xiàn)出顯著的性能提升,。(記者 魏夢佳)

編輯：周大為