▲運用生成式AI技術讓管風琴演奏家余曉怡化身虛擬人像，搭配GAI語音轉動畫自動生成與工研院語音風格轉化技術，只要提供文稿或一段語音，虛擬偶像便會以各種不同的造型及聲音，呈現多樣的風貌。（圖／工研院提供）
【勁報記者羅蔚舟/新竹報導】
工研院顛覆古典音樂會的體驗！工研院宣布與知名福爾摩沙管風琴演奏家余曉怡合作，運用生成式AI技術（Generative AI；GAI）讓演奏家化身虛擬人像，在11月1日登場的「2023 福爾摩沙國際管風琴藝術節閉幕音樂會」，管風琴演奏家余曉怡的虛擬偶像造型將首度亮相外，在亞洲最大管風琴音樂廳衛武營的舞台上，透過GAI隨樂曲變換生成不同動畫，打造與古典音樂高度融合的影像體驗，帶來視覺與聽覺的雙重享受，跳脫傳統音樂會的模式與框架。
▲工研院宣布與知名福爾摩沙管風琴演奏家余曉怡合作，結合生成式AI,打造與古典音樂高度融合的影像體驗。左起為工研院服科中心經理施香蘭、波蘭管風琴音樂家納洛赫Bogdan Narloch、福爾摩沙管風琴音樂家余曉怡。（圖／工研院提供）
工研院產業科技國際策略發展所所長林昭憲表示，隨著AI人工智慧的普及以及Covid-19疫情期間的催化，消費者在虛擬世界花費時間愈來愈長、數位原生虛擬作品愈來愈受大眾歡迎，虛擬世界的創作已不再只是文化產業的陪襯。如何透過AI化簡馭繁，讓數位藝術家專心創作，這是一個不可忽略的產業趨勢，甚至刺激文化及創新科技發展。以虛擬偶像為例，不僅數位原生的虛擬偶像受歡迎，真人偶像如足球明星Neymar、NBA明星球員Luka Dončić、美國歌手小賈斯汀和Ariana Grande、韓國女團aespa都打造了虛擬化身，在MV、虛擬演唱會、社群網站、時裝展和NFT中亮相，在虛擬世界替代本身，擴大與粉絲的互動。
隨著虛擬產製生態更為成熟，虛擬世界服務體驗平台將大幅擴展。根據自主移動機器人全球市場研究報告（AMR）顯示，預期虛擬人的市值規模將從2022年的113億美元成長到2030年的2,951億美元，年複合成長率（CAGR）超過四成，虛擬人可作為虛擬偶像、虛擬助手、虛擬教師、虛擬客服等場景，主要應用在遊戲、零售、教育和汽車產業。
▲此次音樂會部分曲目演奏時，由GAI所生成適合樂曲意境的景象，讓觀眾享受樂曲的同時可看到更具意象的畫面，提升沈浸感。（圖／工研院提供）
工研院服務系統科技中心執行長鄭仁傑表示，工研院持續以科技力支持藝術文化產業前進，搭上現在當紅的生成式AI，再次讓科技與藝術有不一樣的結合。這次工研院與福爾摩沙管風琴演奏家余曉怡合作，將 GAI文生圖（Text to Image）實際應用到音樂表演現場，主要可分為兩個部分，一是在前台設置透明投影螢幕，讓演奏家余曉怡虛擬分身，透過大量照片訓練後，由AI生成專屬於余曉怡且像她的虛擬模型，搭配GAI語音轉動畫自動生成與工研院前瞻計畫的語音風格轉化技術，只要提供文稿或一段語音，虛擬偶像便會以各種不同的造型及聲音，呈現多樣的風貌，提供觀眾更豐富的視覺享受。
另一亮點在舞台上，過去演奏家表演時，舞台背景顯示的音景通常是與畫家配合，針對演奏曲目去挑選或創作合適意境的畫，而這次工研院針對古典樂特性，去對GAI下指令（prompt）生成相對應的景象，並顯示在管風琴的後上方，讓觀眾享受樂曲的同時可以看到更具意象的畫面，進而提升沈浸感。
工研院積極擘劃的「2035技術策略與藍圖」，其中在「智慧化致能技術」範疇內，致力發展「人工智慧與資安」、「半導體晶片」、「通訊」、「智慧感測」等四大智慧化致能技術，以此有效支持四大應用領域發展，搭配相關應用需求展現創新系統及應用服務之價值，厚植我國產業實力。本次透過系統整合服務突破傳統框架，在音樂會上運用GAI科技元素，融入粉絲互動及表演舞台，發揮臺灣科技研發的價值，發展相對應的先進技術並與國際接軌，持續以科技力支持藝術文化產業前進，打造產業未來競爭力。
臺灣當代指標性與知名管風琴演奏家余曉怡以獨奏家身份活躍於樂壇，受邀演出足跡包括維也納、加州、德國、波蘭、捷克等國際知名藝術節。從經典曲目到跨界、從巴洛克到現代，建構極具個人風格的演奏美學。曾出版三張管風琴演奏專輯，獲傳藝金曲獎與市場肯定。余曉怡更致力於跨領域的藝術美學推廣，2021-2024年受國家音樂廳之邀，擔任國家管風琴推廣音樂會總策劃與演出。