不出手則已,一出手就是橫掃市場!OpenAI繼2022年11月底發表文字生成式AI「ChatGPT」,相隔才短短15個月,2月16日又推出影片生成AI模型「Sora」,一舉將AI應用從文字升級到影片,立馬驚艷全球,市場甚至對一分鐘以內短影片的動畫及廣告產業,湧現唱衰聲浪。
對於「Sora」的橫空出世,有網友在推特上發文,「gg Pixar(皮克斯動畫工作室)」,而特斯拉執行長馬斯克更直接回文表示,「gg humans」(意指AI將取代人類)。
而就在OpenAI發布「Sora」的前幾個小時,Google也在15日發表了最新的Gemini 1.5模型,可一次處理大量資訊,包括1小時的影片,不過經過網友們的測試,Gemini 1.5最後生成的產品一定都會「種族多元化」,遭到 Google暫時下架。
其實在2023年,也有數個影像生成軟體出現,包括RUNWAY Gen-2在6月推出,11月又有Stable Video Diffusion、Pika等模型推出,不過這些模型的影片生成能力,大多僅約3、4秒左右,最長不超過10秒。
而OpenAI的「Sora」一亮相,就立刻震撼全市場。「Sora 是一個AI模型,可根據文字指令創建現實且富有想像的場景,產生長達一分鐘的視頻,同時保持視覺品質並遵守用戶的提示。」也就是說,只要輸入「Prompt(提示)」文字敘述下指令,Sora就可以生成最長約1分鐘的真實度不低的影片。
OpenAI展示數十個由Sora所生成的影片,內容擬真度極高,像是「一名穿著時尚的女子走在充滿溫暖霓虹燈及招牌的東京街頭。她身著黑色皮夾克、紅色長裙及黑色靴子,拎著一個黑色包包,戴著太陽眼鏡,擦著紅色口紅,走起路來自信又隨性。潮濕的街道反射出七彩燈光,行人熙來攘往。」但影片也出現謬誤,例如「一個人在跑步機上跑步的場景,以35毫米拍攝的電影膠片。跑者卻是逆向在跑步機上跑步。」
對此,OpenAI解釋,「我們正在教授人工智慧理解和模擬運動中的物理世界,目標是訓練模型幫助人們解決需要現實世界互動的問題。」「現實的物理原理及因果關係,仍是Sora最大的問題所在。」
儘管仍不盡完美,「相較於之前的影片生成AI,幾乎是小學生對於比大學生。」有Youtuber如此形容。
M觀點主持人Mulia認為,「Sora」的出現,勢必嚴重衝擊動畫及廣告產業,尤其廣告,一般頂多就是30秒左右,剛好就是「Sora」可處理的長度,他甚至預期,5年後,也許小說家可透過ChatGPT,將小說內容生成劇本,再透過Sora生成一小時影片。
知識力科技執行長曲建仲指出,目前OpenAI對於原理公開並不多,基本上就是使用了「變換模型(Transformer model)」及「擴散模型(Diffusion model)」來對影片結構做了全面創新。擴散模型(Diffusion model)是將真實圖片逐漸加入雜訊(Noise),讓圖片慢慢變成完全的雜訊圖片,再反轉這個過程,逐漸去除雜訊(Denoise),讓圖片回復為原來的樣子,叫做反向過程(Reverse process)。
「ChatGPT利用token(類似單詞的文字語意)來進行文字接龍,產生連續且具有意義的句子及文章,Sora就是利用圖片版的token也就是Patch,來創造出具有連貫性的圖片。」Youtube頻道泛科學院解釋道。「這也是AI變成人的里程碑。」
對於Sora的出現,「Sora對於動畫產業的影響,並非是全面衝擊,反而應該要這樣來看,畢竟AI的內容基礎,還是由照片來生成,也就是說,如果是紀實類的影片,例如人物類,由於AI已經很容易收集到相關內容所需資料,影響程度就會比較大,至於是創作型的影片,那Sora反倒是一個不錯的工具。」動畫導演蕭永生告訴CTWANT記者說。
Youtube頻道中二見習中製作人Raymond表示,很多影片在正式拍攝之前,都會有分鏡師先進行分鏡,最後再由導演來決定如何拍攝,Sora的出現,對於分鏡的作業將會有明顯的衝擊,但是對於編劇及導演來說,則是一個很好用的工具。「對於很多講述性質的Youtube頻道來說,Sora可以生成很多不同段的影片,讓他們的影片更加豐富。」
至於Sora需要多少的算力,來生成一則長度約60秒的影片?目前在論壇Reddit就有網友在討論,也有引用到外媒《Wired》的報導,推估,Sora生成一個1分鐘長度的影片,認為大約需要一個小時。這也說明了目前Sora並沒有開放給一般民眾使用,而是僅給OpenAI內部及部分的動畫家、導演等來測試。
而Sora何時會像ChatGPT一樣普及?目前OpenAI並沒有時間表。OpenAI正在跟「錯誤訊息、仇恨內容和偏見等領域的領域專家」對模型進行對抗性測試,另外也在建立工具來幫助偵測誤導性內容,例如偵測分類器,以判斷Sora何時產生影片。
更多 CTWANT 報導
發表意見
當您使用本網站留言服務時,視為已承諾願意遵守中華民國相關法令及一切使用網際網路之國際慣例。若您是中華民國以外之使用者,並同意遵守所屬國家或地域之法令。
您同意並保證不得利用本留言服務從事侵害本公司或他人權益及相關違法或未經本公司事前同意之行為(以下簡稱禁止行為),否則您除應自負文責外,並同意本公司逕行移除或修訂您的留言內容或限制您的留言權利或封鎖您的帳號,絕無異議。前述禁止之行為,包括但不限於: