支持影视飓风100小时荒岛直播!阿里升级Fun-ASR-Realtime实时识别:精度比肩离线模型

倚天百科 百科资讯 3

7月6日消息 ,今日,阿里升级语音实时识别大模型Fun-ASR-Realtime。

作为一款流式模型,其识别准确率接近离线模型,首字延迟在百毫秒级别,长句尾字延迟低,支持16种方言和30种语言。

在7月2日结束的影视飓风“重返荒岛”100小时直播节目中,实时字幕由Fun-ASR-Realtime全程提供支持,共识别出六万多条字幕,132万字。

全新升级的Fun-ASR-Realtime兼具速度和精度。在速度上,模型首字时延控制在百毫秒级别,话音刚落,文字即开始呈现,对于很长的句子,尾字输出的延迟也很低。

以“重返荒岛”100小时直播为例,多人两岛互动、说话人频繁切换,赛制复杂还遇上了暴雨,观众可即时看到Tim和中国boy等嘉宾的发言字幕,增强了观看体验。

在准确率上,Fun-ASR-Realtime接近其离线模型Fun-ASR-Flash,面向泛 Context(包含历史对话上下文和实时热词)进行了专项强化,具备上下文理解能力。

例如直播节目中Tim说出的“夜鹭”最初被误识为“叶鹿”,通过上下文补充“观鸟的朋友应该知道”后,立刻纠正。

相较于市面上的实时模型,Fun-ASR-Realtime支持的语音种类更加丰富,可识别出16种方言和30种语言。

在八大方言区的16 种方言识别测评中,Fun-ASR-Realtime 的字符准确率平均为88.62%,在12类方言中领先,超越火山与腾讯相关产品。

在5类工业中文和英文场景的语音识别测评中,针对复杂背景、远场嘈杂以及各种带口音的场景,Fun-ASR-Realtime依然表现良好,平均字符准确率分别为88.42%、91.58%,领先相关产品。

值得一提的是,Fun-ASR-Realtime的离线模式模型Fun-ASR-Flash也已于近期上线。在全球权威AI评测平台 Artificial Analysis,Fun-ASR-Flash(榜单上为该模型曾用名“Fun-realtime-ASR-preview”)错字率1.7%,位列全球第一。

两款模型均已上线阿里云百炼。

Fun-ASR-Realtime:

https://help.aliyun.com/zh/model-studio/real-time-speech-recognition-user-guide

Fun-ASR-Flash:

https://bailian.console.aliyun.com/cn-beijing#/doc/?type=model&url=2979031