智慧新世代好用A批批 2020 年 10 月 04 日

Google 新 AI 技術：可以偵測視訊影片中的「手語」並即時翻譯！

Google 透過 AI 技術，已經可以做到直接偵測影片中的語音內容，並即時轉譯成為字幕，以方便觀看者進一步了解影片中的語音表述的內容，而這樣的功能對於聽障人士來說也有一定的幫助。不過目前 Google 的技術更進一步，甚至可以透過「動作偵測」技術，來辨識視訊影片中比劃「手語」的內容。

你可能對這個有興趣…

根據 Google 的工程師 Valentin Bazarevsky 與 Fan Zhang 的 AI Blog 發佈的內容所釋出的免費手部動作跟蹤技術，可以感知到視訊畫面內手的形狀與動作，作為理解手語的基礎。

這個系統透過一個名為 PoseNet 的模型來分析影音內容，透過模型來偵測每一幀畫面的身體與四肢的位置，並透過簡化後的視覺訊息發送給模型，並根據德國手語影片的姿勢數據進行訓練，再透過現場影片來進行驗證。

目前這個模型已經可以做到 80% 的確準率，未來透過優化將可讓準確率提升至 91.5%。

除了 Google，微軟與美國國家聾人技術研究所合作，使用教室中的桌上型主機，以即時翻譯器的應用，來協助有聽力障礙的學生，了解課堂上老師所講述的內容。此外，來自於肯定的 25 歲程式開發人員更自行開發了一副「觸覺手套」，可即時將手語透過 Android 應用程式，將手語轉換為語音。

你可能對這個有興趣…

歷史上的這一天，我還寫了…

阿祥

阿祥，本名秦庭祥（Axiang Chin），是一個專注於3C領域、尤其是行動通訊領域的部落客，自2004年10月開始經營部落格超過20年之久，長期關注3C產品資訊與應用－尤其聚焦於智慧型行動裝置、雲端服務應用、App評析與行銷、以及遊戲評測與產業趨勢…等議題。阿祥同時也是3C布政司共同創辦人，提供社群行銷、教學與體驗活動規劃…等服務，並曾擔任元智大學資訊傳播學系兼任講師、國立空中大學管理與資訊學系學科委員，並於三星學園長期擔任手機課程講師，也受邀前往多間大學、政府機關擔任講師，分享雲端與行動工具應用心得。 Google