Bahasa isyarat, dengan perpaduan unik antara isyarat, ekspresi, dan gerakan tubuh, memiliki fonetik, kosakata, dan tata bahasa tersendiri yang berbeda dari bahasa lisan.
Untuk mengakomodasi kerumitan ini, Alibaba Cloud mengumpulkan rangkaian data terjemahan bahasa isyarat China yang berisi 25.000 isyarat yang dikumpulkan dan diberi keterangan dari praktisi bahasa isyarat dan orang-orang dengan gangguan pendengaran di seluruh provinsi Zhejiang di China.
Alibaba Cloud memanfaatkan algoritma pengenalan visual yang canggih dan kemampuan pelacakan gerakannya untuk menangkap gerakan orang dengan gangguan pendengaran dan menerjemahkan bahasa isyarat ke dalam bahasa alami dengan model penerjemahan bahasa yang canggih.
Untuk mengubah bahasa alami menjadi bahasa isyarat, Alibaba Cloud juga mengembangkan jaringan neural mendalam dan modul pembangkit gerakan bibir, yang memungkinkan karakter virtual melakukan gerakan bahasa isyarat secara akurat.
“Inovasi ini bertujuan untuk membuat Asian Para Games menjadi lebih inklusif dan dapat diakses oleh mereka yang memiliki gangguan pendengaran,” ujar Zhang Bang, algorithm engineer dari Alibaba Cloud.
AI juru bahasa isyarat, Xiaomo, juga dimasukkan ke dalam saluran berita Asian Games untuk meningkatkan aksesibilitas pengumumannya.
Baca Juga:Gaet Alibaba Cloud, Bank BTN Perbarui Mobile Banking
Selama Asian Para Games, Xiaomo dapat membantu peserta dengan gangguan pendengaran untuk berinteraksi dengan sukarelawan di lokasi pertandingan untuk berbagai bantuan, termasuk menanyakan arah, mencari bantuan medis, dan mendapatkan bantuan untuk menonton pertandingan.
