AI热点 1月前 151 阅读 0 评论

苹果研究破解 AI“英语口音”难题,提升多语言自然性

作者头像

AI技术专栏作家 | 发布了 246 篇文章

苹果研究破解 AI“英语口音”难题,提升多语言自然性
苹果研究破解 AI“英语口音”难题,提升多语言自然性

IT之家 5 月 17 日消息,苹果与多国高校及研究院联合发布最新成果,揭示了大语言模型存在的“英语思维定式”问题,并提出创新解决方案。IT之家注意到,科研人员中不乏中国学者的存在。

研究人员针对非英语语种输出中普遍存在的语法与词汇偏差问题展开了深度剖析,测试覆盖中文、法语、英语(基于维基百科)语料。

测试发现,即使专为中文优化的 Qwen 模型,其母语表现仍落后人类水平;Meta 的 Llama 3.1 综合表现最佳,但自然度仍存在显著差距;所有模型在非英语输出中均残留英语语法结构。

换句话说,即使模型在用中文或法语进行对话,但它仍在用英语进行“思考”,而且非英语输出仍然遵循类似英语的语法和词汇模式。

针对大语言模型的遣词造句,研究团队提出两项量化指标:

  • 词汇自然性(Lexical Naturalness):评估 LLM 用词是否符合母语习惯

  • 句法自然性(Syntactic Naturalness):检验 LLM 语句是否贴合本土语法

为了缩小差距,研究人员通过“回译法”自动生成训练样本,将人工撰写的流畅中文内容先翻译成英文,再逆向翻译成带有 "翻译腔" 的“反面”样本。利用这类对比数据训练模型加强自然表达能力,在保持基准性能的前提下显著改善语言输出质量。

论文地址:

  • https://arxiv.org/abs/2410.15956

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!