猎小酷
猎小酷猎小酷
体育直播节目手语CG的自动生成

来源:广播与电视技术 时间:2020-09-18 09:15

摘要:NHK STRL目前正在开发一项技术,通过赛事承办方或其他机构实时提供的比赛数据,让听力受损的观众可以更容易地观看带有手语的体育直播节目。

  理想情况下,公共服务媒体应该为所有的节目提供手语翻译,使那些有听力障碍的观众也能够享受节目的方方面面。但是,为所有节目提供足够的手语翻译是不切实际的。这一情况促使NHK STRL(日本NHK放送技术研究所)研发了一种自动生成的手语计算机图形(CG)动画的系统。特别需要指出的是,在直播节目中提供手语CG动画是一项具有挑战性的任务。


  NHK STRL目前正在开发一项技术,通过赛事承办方或其他机构实时提供的比赛数据,让听力受损的观众可以更容易地观看带有手语的体育直播节目。


  一、技术特点


  该系统在接收到体育比赛数据后,将提取例如选手姓名、比赛时间、得分和处罚等数据,并插入到准备好的手语句子模板[1]中。然后,使用填充好的句子模板和预先录制的手语动作捕捉数据生成手语动画(图1)。这些步骤是实时完成的,能够同步传达比赛的状态和进度。手语动画与广播电视视频相结合,通过互联网发送到电脑Web浏览器或平板电脑应用程序上(图2)。视频、手语动画及相关比赛数据将显示在同一个屏幕上,使观众能够更清楚地查看相关信息。


  NHK STRL在冰球和冰壶比赛中对该系统进行了测试,并证实了自动手语CG能够使本地手语使用者更清楚地了解比赛进度。NHK STRL将继续对系统进行改进,使手语CG更易于理解。

 


  图1 体育节目中手语CG动画的生成过程

  23ca965b709f198876eb3d94ebf82e05.png


  图2 电脑浏览器和平板电脑应用程序上的手语演示

  二、展望未来


  NHK STRL正在努力提高CG人物的质量和表达能力,以提供更加自然、更加“人性化”的手语展现。在手语中,除了手指以外的其他动作(例如眼睛、眉毛和嘴部周围的轻微动作)也在表达中起着非常重要的作用。通过合成轻微动作和皮肤纹理,NHK STRL得到了改进后的手语CG人物(图3)。虽然目前无法实现实时渲染,但NHK STRL希望能够在未来的直播节目中提供这种高品质的手语CG。


  55cdba621e918c890d588dfd467a3456.png

  图3 改进后的手语CG人物

  注:


  手语句子模板,包含数字域和专有名词等变量的手语模板,可以用提供的比赛数据填充。



非特殊说明,本文版权归原作者所有,转载请注明出处 本文地址:https://www.lieku.cn/article/3/18830
0
点赞

打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮

微 博
沉浸阅读
返回顶部
更多精彩内容,关注广电猎酷微信号,或者关注猎小酷小程序
第一时间获取广电行业新鲜资讯和深度商业分析,请在微信公众账号中搜索「广电猎酷」或者「猎小酷」,或用手机扫描左方二维码,即可获得广电猎酷每日精华内容推送和最优搜索体验,并参与编辑活动。
广电猎酷公众号
广电猎酷公众号
猎小酷小程序
猎小酷小程序
© 2021 广电猎酷 Inc. 版权所有 京ICP备07500484
关于我们 | 技术支持:云智互联