近日，溫州大學(xué)計(jì)算機(jī)與人工智能學(xué)院教授團(tuán)隊(duì)在國(guó)際著名期刊IEEE Transactions on Visualization and Computer Graphics上發(fā)表了題為《FACEMUG: A Multimodal Generative and Fusion Framework for Local Facial Editing》的學(xué)術(shù)論文（DOI：10.1109/TVCG.2024.3434386）。該團(tuán)隊(duì)在論文中提到，他們成功研發(fā)設(shè)計(jì)了一種名為FACEMUG的新穎的多模態(tài)生成融合框架系統(tǒng)，能夠處理語(yǔ)義、顏色、參考圖、素描線(xiàn)條、文本提示詞等多種模態(tài)數(shù)據(jù)，利用生成式AI技術(shù)實(shí)現(xiàn)在非編輯區(qū)域視覺(jué)屬性保持不變的同時(shí)生成一張自然逼真的新人臉圖像。

據(jù)悉，IEEE Transactions on Visualization and Computer Graphics是可視化與計(jì)算機(jī)圖形學(xué)領(lǐng)域國(guó)際頂級(jí)期刊、中國(guó)計(jì)算機(jī)學(xué)會(huì)CCF-A類(lèi)推薦期刊、中國(guó)科學(xué)院期刊分區(qū)計(jì)算機(jī)科學(xué)領(lǐng)域SCI-1區(qū)TOP期刊。本次也是溫州高校首次在該頂級(jí)刊物上發(fā)表論文，標(biāo)志著溫州在該AI圖像生成領(lǐng)域的研究工作取得了顯著的進(jìn)展和國(guó)際同行的認(rèn)可。

近年來(lái)，隨著互聯(lián)網(wǎng)、移動(dòng)智能設(shè)備和人工智能技術(shù)的迅速發(fā)展，人臉圖像在各類(lèi)應(yīng)用場(chǎng)景中隨處可見(jiàn)并廣泛使用。人臉編輯研究在數(shù)字文化遺產(chǎn)保護(hù)、醫(yī)學(xué)成像、公安刑偵、社交媒體、時(shí)尚設(shè)計(jì)、影視特效等諸多領(lǐng)域有著重要的應(yīng)用價(jià)值。盡管當(dāng)前人臉編輯技術(shù)已經(jīng)取得了長(zhǎng)足進(jìn)步，但在多模態(tài)支持和局部可控性等方面仍存在不足，尤其是在經(jīng)過(guò)多次編輯后，編輯區(qū)域之外的其他圖像部位會(huì)被反復(fù)重新生成，導(dǎo)致很多時(shí)候并不能生成用戶(hù)想要的編輯效果。實(shí)驗(yàn)結(jié)果表明，由溫州科研團(tuán)隊(duì)研發(fā)的FACEMUG在操作靈活性、局部可控性以及生成質(zhì)量等方面性能表現(xiàn)優(yōu)越。

（經(jīng)過(guò)FACEMUG增量式局部人臉編輯操作后能夠生成自然逼真的新人臉圖像）

據(jù)介紹，溫州大學(xué)為該論文第一單位和通訊單位，趙漢理教授為通訊作者（博士畢業(yè)于浙江大學(xué)CAD&CG國(guó)家重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)期以來(lái)致力于人工智能、計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)圖像分析等方面的研究和教學(xué)工作）。其在加拿大紐芬蘭紀(jì)念大學(xué)聯(lián)合培養(yǎng)的博士研究生盧望龍為第一作者，合作作者包括浙江大學(xué)金小剛教授和紐芬蘭紀(jì)念大學(xué)姜賢塔教授。

相關(guān)鏈接：https://wdapp.wzrb.com.cn/app_pub/xw/jy/202407/t20240730_502111.html?docId=502111