借助AI的力量打造特展多媒體互動節目


石器時代地窯畫面AI生成(圖:陳奕廷)

2023年是AI革新技術的重要一年,深刻改變我們的生活方式。從人性化的問答機器人到自動繪圖的視覺化工具,AI的潛力無窮無盡。科博館將在「同火的日子:人與火的故事」特展中首次嘗試利用AI協助打造多媒體節目。本文分享其製作歷程和挑戰。

「同火的日子:人與火的故事」特展多媒體節目

火,不僅僅是早期和現代人類生存的必要工具,因此在人類學中的考古學、民族學,都對其有一定的研究。在「同火的日子:人與火的故事」特展中,為了以更豐富、有趣的方式詮釋人類與火的關係,故打造了「溫度魔法師」以及「尋火冒險:勇氣與傳承的故事」兩個多媒體互動節目。

「溫度魔法師」: 主要探索石器時代、鐵器時代,以及近代,如何運用火來製造工具,並從中了解其知識。透過還原當時各時空下的地窯、煉爐與燒窯,讓參觀者藉由闖關方式,選擇材料並控制溫度。同時結合現場實體的展示物品,讓參觀者能在體驗中學習,寓教於樂。

「尋火冒險:勇氣與傳承的故事」: 臺灣原住民的取火神話,常常與洪水緊密相連,故事中,動物也常成為火種起源的主角。透過互動式動畫繪本,觀眾可選擇不同動物角色,開啟各種故事支線,每種故事線都包含了不同的冒險和挑戰,讓參觀者親身體驗和探索豐富且引人入勝的原住民神話。

兩個互動遊戲合併圖(圖: 陳奕廷、林家妤)
兩個互動遊戲合併圖。(圖 / 陳奕廷、林家妤)

在多媒體互動節目的初期設計過程中,我們遇到了幾項挑戰。首先,在「溫度魔法師」中,需要精確地重現古代的場景與窯爐。由於僅有手繪插畫可做為參考,因此決定運用AI的生成繪圖功能來重塑這些場景。同時也與本館考古專家密切合作,對AI產生的圖像進行鑑定,以確保其準確性。

另一方面,「尋火冒險:勇氣與傳承的故事」各故事線又有各自的場景設計,需要超過40個場景,這對動畫素材製作是極大的挑戰。若僅依靠人力進行描繪,所需的時間與資源遠遠超出本次特展的預算。因此,決定運用AI繪圖的能力來生成豐富的背景素材,因此,我們可以專注在角色與動物的設計及動畫製作。

AI繪圖技術介紹

AI繪圖技術主要利用深度學習(Deep Learning)的方法自動創建或修改圖像。最常運用的模型為”Diffusion model” ,其工作方式,可以想像為AI拿到一張充滿隨機圖像的滿版畫布,然後慢慢地進行調整,透過學習其他畫作的特徵與模式,逐漸將這幅充滿雜訊的畫變得越來越清晰,過程中不斷地逐步進行調整,最終產生出我們想要的圖像。這種方式不僅可以用於生成全新的圖像,也可以用於增強或修改現有的圖像。

Diffusion model過程示意圖(圖: 陳奕廷、林家妤)
Diffusion model過程示意圖。(圖 / 陳奕廷、林家妤)

然而,AI要如何知道畫出怎麼樣的畫作?這當然需要透過人類下指令(Prompt),並且搭配大量的圖像資料庫,來完成這樣的任務,因此給予明確的指示、畫風、風格和意象,才能更有效的讓AI產生出想要的結果,以下是本次特展使用到的3種AI繪圖程式,我們分別依據其特性,來產生出不同效果的素材。

本次特展使用到的AI繪圖工具比較:

名稱特色生成費 用
Midjourney 利用深度學習技術生成圖像,讓藝術家直接與 AI 系統互動的工具。是,
訂閱制
DALL-E由 OpenAI 開發的繪圖系統,基於語言描述的圖像生成系統,創造出逼真的圖像。是,
點數制
Bing Image Creator可視為免費版的DALL-E,同樣透過Prompt來產生圖像。無法免費

AI繪圖重塑古早爐窯之應用

在「溫度魔法師」的製作過程中,我們遇到了首要的任務—如何精確地再現石器時代、鐵器時代以及近代的燒窯場景。為了確保圖像的逼真度,我們採用DALL-E創造出符合特定描述的圖像,依據策展人提供的參考文獻和插圖,首先利用 DALL-E 生成爐窯的局部畫面,然後再藉助其延伸畫面功能,整合各局部畫面,進而產出一幅完整且栩栩如生的燒窯場景畫面。

以石器時代為例,策展人給予的最初敘述如下,經過調整成適合DALL-E的Prompt後,進一步慢慢變成一張符合時代場景的圖像,同時也根據專家的檢視不斷修正,確保其正確性。

「石器時代人群的爐火,以地穴坑燒為主。也就是在地上挖一個淺坑,燃料和燒製物品同時放入其中。背景是靠近海邊的茅草屋,而該爐火置於畫面正中間。」

石器時代地窯畫面AI生成(圖:陳奕廷)
石器時代地窯畫面AI生成。(圖 / 陳奕廷)

在重現鐵器時代的部分,我們投入大量時間去精細塑造干欄式竹木茅屋的後製場景,讓整個環境背景貼切地呼應該時代的特色。

「一個金屬器時代的高筒形爐子,由泥塊和石頭建成,外部塗泥提升保溫。爐底有火口供點燃木炭並排出鐵渣,還有連接鼓風機的入風口。背景為干欄式竹木茅屋」

鐵器時代燒窯畫面AI生成(圖:陳奕廷)
鐵器時代燒窯畫面AI生成。(圖 / 陳奕廷)

在呈現近代玻璃窯爐的部分,由於窯爐的細節需要精準呈現,AI生成的圖像並未能達到專家對其復原的精確期待。因此,我們在這一階段大量使用人工修圖,以一步一步精細地重現當代窯爐的各種細節。

「新型爐窯的內部結構,包括火膛(燃燒室)、火牆(火柵)、窯室(燒成室)、煙道(排煙口),使用耐火磚堆疊的窯體,具有良好的保溫性和空氣流通性,火柵確保熱能均勻傳導,提高熱效率。」

近代燒製玻璃窯爐AI生成(圖:陳奕廷)
近代燒製玻璃窯爐AI生成。(圖 / 陳奕廷)

AI繪圖打造動畫背景素材

「尋火冒險:勇氣與傳承的故事」的特性是以繪本動畫風格為主,與「溫度魔法師」有所不同,因此並未追求高度精準的圖像,而是更重視藝術插畫風格的呈現。這樣的需求讓Midjourney成為理想的選擇。在這個創作過程中,我們請具有美術專業背景的插畫師,下指令來創作和角色風格匹配的背景素材,並利用AI繪圖的強大能力,生成一系列獨特而多元的背景圖像,讓整個遊戲畫面更為豐富與多元。

「尋火冒險:勇氣與傳承的故事」部分背景素材(圖:林家妤)
「尋火冒險:勇氣與傳承的故事」部分背景素材。(圖 / 林家妤)
「尋火冒險:勇氣與傳承的故事」背景素材製作過程(圖:林家妤)
「尋火冒險:勇氣與傳承的故事」背景素材製作過程。(圖 / 林家妤)

在使用Midjourney的過程中,首先由插畫師提供一系列的基礎畫面,這些畫面囊括了整個故事需要的各種元素,如森林、山丘、河流、火焰等。接著,將這些基礎畫面輸入Midjourney中。從這些生成的圖像中,選擇最適合的畫面,加以微調、修正不合理處與補充細節,完成整個繪本動畫的背景製作。透過AI繪圖與人工修繪的結合,我們成功創造出一個既獨特又豐富的視覺世界,使整個故事更具沉浸感和吸引力。

人類與AI協作創造完美融合

實際上,AI繪圖的結果,並不能馬上套用於互動多媒體或展覽的圖像上,其中的許多細節,仍需要人工進行修改和確認,甚至AI會出現錯誤與不合理之處,也需要經過逐一地審視和確認。這種流程可以被視為一種人機協作,讓AI和人類工作者共同努力,各自發揮長處。AI提供了初步的視覺藍圖,而人類則為這些藍圖注入生命,添加關於科學、敘事和情感的元素,這些都是AI目前尚無法達到的。

以下的例子將說明這點:在呈現近代的玻璃燒製窯爐時,策展人對於窯爐細節有著嚴格的要求,包括窯爐周圍的磚塊、爐口的寬度,以及窯內鍋爐的燒焦程度等等。這些微妙而關鍵的細節是AI尚無法精準掌握的,因此我們轉而採取人工修圖的方式,以確保展出的窯爐能夠達到學術的正確性。

結合人工後製修圖,達到最符合專業的結果(圖:陳奕廷)
結合人工後製修圖,達到最符合專業的結果。(圖 / 陳奕廷)

結語

AI繪圖技術的應用範圍非常廣泛,從藝術創作、遊戲或動畫的背景製作,都能見其蹤影。根據McKinsey Global Institute的2023年最新報告指出,生成式AI的主要功能並非要取代人類,而是改變並提升工作結構的效能,不僅提升了個體工作者的生產力,更進一步實現了工作的自動化,特別是在知識密集型的工作中。

在本次「同火的日子:人與火的故事」特展中,我們首次將AI繪圖技術融入多媒體節目的製作,不僅節省了人力和成本,也帶來許多新的想法與啟發。我們也從中認識到,AI並非萬能,但是一旦我們能好好利用AI的長處,就能在工作中創造更大的價值,並開啟創新的可能性。這有如特展中所述,古人以「火」改變生活,引領人類進步,現在,AI或許就是我們的新「火」,幫助我們探索未來的無窮可能。也誠摯地邀請大家前來一同體驗這場人與火,與AI的知識之旅。

本文結束分隔線

本著作由本館研究人員所提供,博學多文團隊編輯製作,以創用CC 姓名標示–非商業性– 禁止改作 4.0 國際 (CC BY-NC-ND 4.0) 授權條款釋出。若需要使用本篇的文字、圖像等,請洽本館出版室。

博物館幕後的精彩-「蒐藏庫大開箱」活動

互動式科普繪本製作過程中的重要元素與挑戰

排灣族祖靈柱的歸宿?婚姻結盟嫁入博物館!國寶登錄的多元敘事