數字人有多接近真人?全國首個高校大模型元宇宙科創大賽將迎來大比拼
-
收藏
0
隨著大模型元宇宙熱潮日漸高漲,虛擬主播、虛擬客服等數字人已從科幻走進現實。他們的語言、動作、表情等都十分接近真人。這樣的虛擬數字人是如何打造出來的?5月19日舉行的全國首個高校大模型元宇宙科創大賽——第四屆“天馬杯”全國高校科技創新大賽(簡稱“天馬杯”)決賽將為大家揭秘。
圖注:“天馬杯”大賽海報資料圖。馬上消費提供
據大賽主辦方馬上消費金融股份有限公司(下稱“馬上消費”) 副總經理兼首席信息官蔣寧介紹,本次大賽將賽道集中在前沿科技領域,以元宇宙為核心,設置了2D數字人驅動、3D數字人驅動、NLP(自然語言處理,屬于人工智能的一個子領域) 三個賽道。
其中,2D數字人驅動賽道的賽題為“語音驅動數字人口型生成”,3D數字人驅動賽題為“視頻驅動人臉生成”,NLP賽道賽題為“數字人播報資訊內容生成”。在前期的預賽中,參賽團隊圍繞這三大賽題進行開發,取得了讓數字人具備“人的行為模式”的創新成果。決賽中,他們將通過現場演示、答辯,展示這些創新成果。
譬如,在2D數字人驅動賽道中,主辦方提供了一系列真人錄制的音畫同步的短視頻,以及對應的其中人臉的3DMM參數(這個參數用來表示人臉關鍵點位的空間坐標和形變)。有賽隊基于這些數據開展建模訓練,實現了通過分析語音信號中的語調、語速、情感等信息來預測說話人的面部表情。據此,可以一張圖片和通過語音生成的表情參數作為輸入,生成與輸入語音同步的說話人人臉視頻。
在3D數字人驅動賽道中,主辦方提供了一系列真人錄制的人臉短視頻,以及對應的其中人臉的BlendShape參數(用于描述人體表面形狀變化的參數)。有賽隊基于這些數據,根據輸入人臉提取的關鍵點信息與基準的人臉關鍵點計算差值,然后用差值加上額外計算參數輸入模型去預測人臉表情變化。據此,僅通過攝像頭就能捕捉面部表情并構建3D人臉模型。
在NLP賽道中,主辦方提供了一系列基于真實新聞得到的素材——新聞以及與之相關的訓練數據和測試數據。有賽隊基于其中的訓練數據,探索多種可行的預訓練模型并最終選定一種模型,打造出了數字人新聞播音員。該數字人新聞播音員能夠基于關鍵新聞素材(如時間、地點、人物、事件等)生成一段通暢、易讀的資訊新聞。
蔣寧表示,隨著大模型概念火爆,各種虛擬數字人如潮水般涌現。而另一方面,元宇宙又對虛擬數字人的語言、動作、表情等提出了更高的要求,需要虛擬數字人像真人一樣“動起來”。在此背景下,“天馬杯”決賽設置上述三大賽道,旨在以比賽促進數字人技術創新發展,探索讓數字人能真實還原真人表情、語言和動作的新方法、新路徑。
“參加本次比賽之前,我們團隊也在研究數字人,但往往更偏重理論,實用性不大。而本次比賽和我們平時的研究有一定的相關性,有利于我們將所學理論知識與實踐相結合,提高團隊開發數字人的技術水平?!眳①愱牬鞺STC-Qingbo賽隊隊長李弘毅說。
免責聲明:本網站所有文章僅作為資訊傳播使用,既不代表任何觀點導向,也不構成任何投資建議?!?/div>
猜你喜歡
數字人有多接近真人?全國首個高校大模型元宇宙科創大賽將迎來大比拼
隨著大模型元宇宙熱潮日漸高漲,虛擬主播、虛擬客服等數字人已從科幻走進現實。他們的語言、動作、表情等都十分接近真人。