Meta推出“无缝沟通”AI翻译模型,带来更自然的跨语言对话体验
日期:2023-12-04 18:45:41 / 人气:239
Meta推出“无缝沟通”AI翻译模型,带来更自然的跨语言对话体验。《It之家》12月4日报道。今年8月,Meta公司推出了其多模态人工智能翻译模型SeamlessM4T,支持近100种语言的文本和36种语言的声音。现在这个模型更新了“v2”架构,Meta称之为“无缝沟通”模型,可以让对话翻译更自然,更有表现力。
两个新功能中的第一个是“SeamlessExpressive”,顾名思义,它可以将你的语气转移到翻译的语音中,包括声调、音量、情绪色彩(激动、悲伤或耳语)、语速和停顿。考虑到目前翻译出来的语音听起来很机械,这个突破还是很值得期待的,对我们的日常生活和内容制作都有很大的帮助。目前,其支持的语言包括英语、西班牙语、德语、法语、意大利语和中文,但在撰写本文时,演示页面缺少意大利语和中文。
第二个功能是“SeamlessStreaming”,可以在说话人还在说话的时候开始翻译,让别人更快听到翻译。虽然还有不到两秒的短暂延迟,但至少不用等对方说完一句话。根据Meta的说法,最大的挑战是不同的语言有不同的句子结构,因此他们必须开发一种特殊的算法来研究一些音频输入,以决定是否有足够的上下文来开始生成翻译输出或是否继续收听。
IT之家注意到Meta还没有透露公众何时可以使用这些新功能,但可以预计Meta未来会将它们集成到其智能眼镜中,使其更加实用。"
两个新功能中的第一个是“SeamlessExpressive”,顾名思义,它可以将你的语气转移到翻译的语音中,包括声调、音量、情绪色彩(激动、悲伤或耳语)、语速和停顿。考虑到目前翻译出来的语音听起来很机械,这个突破还是很值得期待的,对我们的日常生活和内容制作都有很大的帮助。目前,其支持的语言包括英语、西班牙语、德语、法语、意大利语和中文,但在撰写本文时,演示页面缺少意大利语和中文。
第二个功能是“SeamlessStreaming”,可以在说话人还在说话的时候开始翻译,让别人更快听到翻译。虽然还有不到两秒的短暂延迟,但至少不用等对方说完一句话。根据Meta的说法,最大的挑战是不同的语言有不同的句子结构,因此他们必须开发一种特殊的算法来研究一些音频输入,以决定是否有足够的上下文来开始生成翻译输出或是否继续收听。
IT之家注意到Meta还没有透露公众何时可以使用这些新功能,但可以预计Meta未来会将它们集成到其智能眼镜中,使其更加实用。"
作者:新宝娱乐
新闻资讯 News
- 萧敬腾与51岁妻子大婚,男方父亲...10-15
- 杨紫蜕变惊艳时尚界,再创新高!10-15
- 杨紫机场穿搭惊艳:长款白色大衣...10-15
- 绿色羽绒时尚魅力揭秘:王一博独...10-15