好用A批批 智慧新世代

Google 新 AI 技術:可以偵測視訊影片中的「手語」並即時翻譯!

 

Google 透過 AI 技術,已經可以做到直接偵測影片中的語音內容,並即時轉譯成為字幕,以方便觀看者進一步了解影片中的語音表述的內容,而這樣的功能對於聽障人士來說也有一定的幫助。不過目前 Google 的 技術更進一步,甚至可以透過「動作偵測」技術,來辨識視訊影片中比劃「手語」的內容。

 

 

你可能對這個有興趣…

 

 

根據 Google 的工程師 Valentin Bazarevsky 與 Fan Zhang 的 AI Blog 發佈的內容所釋出的免費手部動作跟蹤技術,可以感知到視訊畫面內手的形狀與動作,作為理解手語的基礎。

 

 

這個系統透過一個名為 PoseNet 的模型來分析影音內容,透過模型來偵測每一幀畫面的身體與四肢的位置,並透過簡化後的視覺訊息發送給模型,並根據德國手語影片的姿勢數據進行訓練,再透過現場影片來進行驗證。

 

 

目前這個模型已經可以做到 80% 的確準率,未來透過優化將可讓準確率提升至 91.5%。

 




 

 

除了 Google,微軟與美國國家聾人技術研究所合作,使用教室中的桌上型主機,以即時翻譯器的應用,來協助有聽力障礙的學生,了解課堂上老師所講述的內容。此外,來自於肯定的 25 歲程式開發人員更自行開發了一副「觸覺手套」,可即時將手語透過 Android 應用程式,將手語轉換為語音。

 

 

 

 

你可能對這個有興趣…

 




 

相關連結:

Google sign language AI turns hand gestures into speech – BBC News
Google AI Blog: On-Device, Real-Time Hand Tracking with MediaPipe
AI technology helps students who are deaf learn – The AI Blog

 

歷史上的這一天,我還寫了…

You Might Also Like

No Comments

Leave a Reply