ไทยลิปซิงค์:การจับคู่การเคลื่อนไหวของริมฝีปากตามเสียงพูดภาษาไทย (Thai Lip-sync : Mapping Lip Movement to Thai Speech)

Abstract

ในปัจจุบันการสร้างแอนิเมชันได้ก้าวหน้าขึ้นเป็นอย่างมาก งานวิจัยนี้นำเสนอการเพิ่มประสิทธิภาพและการลดเวลาและค่าใช้จ่ายในการทำงานของขั้นตอนการสร้างการเคลื่อนไหวริมฝีปากของตัวละครให้สัมพันธ์กับเสียงที่พูด (Lip-sync) ซึ่งในการทำแอนิเมชั่นจะใช้เวลาในการสร้างและค่าใช้จ่ายในการจ้างศิลปิน งานวิจัยนี้จึงนำเสนอแอพพลิเคชั่นในการสร้างการเคลื่อนไหวของริมฝีปากตามเสียงพูด โดยพิจารณาแยกเป็นส่วนงานสำคัญได้สองส่วนคือ ส่วนแรกคือการระบุระยะเวลาของแต่ละหน่วยเสียง (force-alignment) ซึ่งจะได้ค่าเป็นหน่วยเสียง (phoneme) และเวลาเริ่มต้นและสิ้นสุดของหน่วยเสียง ส่วนที่สองคือส่วนของการสร้างการเคลื่อนไหวต่อเนื่องให้กับริมฝีปาก ซึ่งจะนำผลลัพธ์ที่ได้จากส่วนที่หนึ่งมาประมวลผลต่อ ซึ่งในส่วนนี้จะทำการสร้างโมเดลและทำการเชื่อมโยงกระดูกตามหลักการของการสร้างแบบจำลองหน้า (Facial animation) ซึ่งผลลัพธ์ของงานวิจัยคือ ตัวละครแอนิเมชั่นที่เคลื่อนไหวริมฝีปากได้สัมพันธ์กับเสียงพูดและ และสามารถนำไปพัฒนาใช้ในการสร้างแอนิเมชันต่อไปได้

Abstract 

Nowadays, the animation industry is growing drastically. This results in increasing demand for better performance and reduction of process time and cost. One of the most important processes is Lip-synchronization. Generally, in creating an animation, this process can cost a lot of time and expenses. In this project, we will research about how to create the Lips Synchronization model.  There are two main parts that we will focus. First, the force-alignment which is used to analyst wave files and generate them with the length of time used in each phoneme separately. Second, creating the animation, the label output from force-alignment will be collected and used as an input to this part. In this process, we will develop an object model, link armatures to it by using the facial animation method as a reference.The output result of this project is the animation model that the viseme can move synchronously with the sound waves and the length of time used in each phoneme. Therefore, this model can be used to develop the Lip-synchronization process and will also help improving the animation industry in the future.