Google เปิดตัวโมเดล AI สร้างวิดีโอตัวใหม่ ชื่อ Lumiere

เป็นโมเดล AI สร้างวิดีโอในระดับ state-of-the-art สุดๆ ชื่อว่า Lumiere

จากเดิมที Google มีตัวสร้างวิดีโอที่ชื่อว่า VideoPoet อยู่แล้ว

กับตัวสร้างรูปชื่อ ImageGen

แต่ Lumiere ออกมา นี่ดูเจ๋งกว่าตัวเดิมมาก สามารถสร้าง Short-form Video คุณภาพสูงได้เลย

Lumiere ถูกเทรนด้วยชุดข้อมูลเป็นวิดีโอกว่า 30 ล้านวิดีโอ ความยาว 80 เฟรม พร้อมการใส่ text caption เข้าไปเพื่อฝึกมัน
สามารถสร้างวิดีโอได้ 16 เฟรม ต่อวินาที
ซึ่งไม่มีการบอกว่าเอาวิดีโอ 30 ล้านวิดีโอนี่ มีแหล่งที่มาจากไหนเหมือนกัน

ผลงานนี้ เป็นงานวิจัยร่วมกันระหว่างทีมงาน Google Research และมหาวิทยาลัยชั้นนำด้านเทคโนโลยีของอิสราเอล คือ

Lumiere มีฟีเจอร์เด็ดอยู่ 4 อย่าง คือ

Video Editing หรือการแก้ไขวิดีโอ - แก้ได้ด้วยการ Prompt คำสั่งเข้าไปเลย (ง่ายแต่เทพมาก)

Stylized Generation - สามารถสร้างวิดีโอจาก reference ที่เราให้ได้เลย (ให้ ref เป็นรูปภาพหรือวิดีโอก็ได้) - โมเดลจะเรียนรู้สไตล์ที่ใส่ไป แล้วสร้างวิดีโอออกมาใช้สไตล์นั้น เทพไปอีกกกกก’

Image & Text to Video - ไม่ใช่แค่ใส่ Prompt เป็นข้อความนะ โยนรูปภาพใส่เข้าไป มันเจนเป็นวิดีโอให้โดยใช้รูปนั้นอีก เช่น โยนรูปเราหน้านิ่งๆเข้าไป แล้วสั่งให้มันสร้างรูปเรากำลังหัวเราะ มันทำได้ เทพเกินไปละ