搜索到25607篇“ 语言模型“的相关文章
- 与大型语言模型交互的编程语言
- 在示例中,提供软件包,该软件包提供接口,使得当软件被执行时,用户能够使用脚本语言提供自然语言提示,该脚本语言指导接口与大型语言模型(LLM)交互,将上下文信息添加到发送到LLM的提示。然后,接口还能够提取和评估由LLM生...
- D·昆兹
- 基于语言模型的自然语言处理方法和装置
- 本申请一个或多个实施例提供一种基于语言模型的自然语言处理方法和装置,所述方法包括:获取与待执行的自然语言处理任务对应的微调样本数据,并获取与所述自然语言处理任务对应的软提示参数;基于所述微调样本数据和所述软提示参数,生成...
- 王逸飞鲍梦瑶刘佳伟齐翔章鹏
- 语言模型训练方法、语言任务处理方法及系统
- 本发明提供一种语言模型训练方法、语言任务处理方法及系统,其中方法包括:根据样本语言数据和样本语言数据对应的样本语言任务的标注标签,获取大语言模型在当前周期的当前模型参数矩阵对应的原始增量矩阵;根据原始增量矩阵中各子矩阵的...
- 唐晨君王士进
- 影响预训练语言模型数据泄露的因素研究
- 2025年
- 当前广泛使用的预训练语言模型是从海量训练语料中学习通用的语言表示.自然语言处理领域的下游任务在使用预训练语言模型后性能得到显著提升,但是深度神经网络过拟合现象使得预训练语言模型可能存在泄露训练语料隐私的风险.选用T5,GPT-2,OPT等广泛使用的预训练语言模型作为研究对象,利用模型反演攻击探索影响预训练语言模型数据泄露的因素.实验过程中利用预训练语言模型生成大量样本,以困惑度等指标选取最有可能发生数据泄露风险的样本进行验证,证明了T5等不同模型均存在不同程度的数据泄露问题;同一种模型,模型规模越大数据泄露可能性越大;添加特定前缀更容易获取泄露数据等问题.对未来数据泄露问题及其防御方法进行了展望.
- 钱汉伟彭季天袁明高光亮刘晓迁王群朱景羽
- 关键词:自然语言处理模型架构
- 基于预训练语言模型的语言学习APP评价研究
- 2025年
- 在教育数字化转型的背景下,移动学习成为数字学习的新常态。语言学习移动应用程序(APP)已经成为外语学习者学习语言的重要工具。秉持“数据循证”的评价观,提出预训练语言模型和大数据挖掘相结合的教育APP评价技术方案,采集主流应用市场上下载量最高的20款语言学习APP的用户评论数据,并利用预训练语言模型计算出评论文本的情感分值。在文本信息的基础上,通过主题建模等技术分析学习者在使用APP辅助语言学习时的需求和偏好,并尝试从中提取出针对APP评价的多项指标。最后,综合各项分析结果建立一套准确、客观的语言学习APP评价体系,并对已采集评论信息的APP进行实例可视化分析,旨在发挥预训练语言模型和数据要素的价值,助力数字化语言教学资源的科学治理。
- 郑明鉴徐娟
- 关键词:APP语言学习数据挖掘情感分析
- 基于大语言模型的词典自动化编纂实验及思考
- 2025年
- 大语言模型的出现对词典自动化编纂产生了重大影响。基于词向量和权重参数优化等基本原理,广东外语外贸大学词典学研究中心研发的“百年来欧美外来词语言资源平台”系统,引入大语言模型对外来词语料库等进行训练和调优,同时建立完善的人工审核机制,历时4000余小时生成3万余条外来词自动释义、溯源和例句。通过平台自有模型和ChatGPT对外来词释义准确率的对比实验,证明该编纂方法的有效性和可行性,发现持续更新数据库、加强文献研究、丰富专用语料库、强化人工检查,将对生成高质量释义产生较大影响。大语言模型较之传统手工编纂有碾压性优势,其应用将冲击现有电子词典形态,改变未来的词典查询行为。词典编纂专家与人工智能专家需要协同合作,对模型输出的内容进行质量控制。而版权问题也将转化为数据归属权问题,需要各方专家共同制定相关规则。大语言模型在汉语词典自动化编纂方面的应用潜力不应被低估,预计它还能被扩展至其他语言和专业领域的词典编纂中,进一步促进词典学领域的新突破。
- 柳长青
- 关键词:词典编纂自动化外来词
- 预训练语言模型的训练方法、语言处理方法和装置
- 本公开提供了预训练语言模型的训练方法、语言处理方法和装置,涉及人工智能技术领域。实现方案为:获取预训练数据集;其中,预训练数据集包括:至少一种语言的单语言数据和至少一组两种语言的平行语言数据,平行语言数据包括第一语言数据...
- 柴业坤王硕寰孙宇
- 训练语言模型的方法、自然语言处理的方法及装置
- 本说明书提供一种训练语言模型的方法、自然语言处理的方法及装置。所述方法包括:利用语言模型对输入文本进行自然语言处理,得到输出文本;利用奖励模型对所述输出文本进行评分,得到原始分值;计算所述输出文本的重复度;根据所述原始分...
- 王明辉
- 乔姆斯基语言理论与大语言模型的博弈及思考
- 2025年
- 本文深入探讨了乔姆斯基语言理论与大语言模型(LLM)之间的理论张力,聚焦双方对语言本质与智能机理的核心分歧。通过梳理乔姆斯基对LLM的批判及LLM对乔氏理论的反向挑战,文章指出,二者争议的根源在于对内语言与外语言层面的不同侧重。基于此,本文提出语言学理论与LLM技术的互鉴路径:通过结合理性主义的符号逻辑与联结主义的数据驱动方法,弥合规则与统计的鸿沟;同时借助跨学科研究,揭示语言的复杂性与智能的本质。这一融合不仅为语言研究提供新视角,亦为人工智能向兼具解释性与泛化能力的认知模型发展指明方向。
- 俞建梁
- 关键词:语言理论
- 预训练语言模型的训练方法、装置、计算机设备和介质
- 本公开提供了一种预训练语言模型的训练方法、装置、计算机设备和介质。该方法包括:获得使用不同语言表达相同语义的训练数据组合;将训练数据组合输入具备不同语言理解能力的预训练语言模型,以使得预训练语言模型对训练数据组合进行预训...
- 刘家豪罗福莉黄松芳
相关作者
- 汪玉

- 作品数:183被引量:47H指数:3
- 供职机构:清华大学
- 研究主题:语言模型 存储介质 电子设备 电路 加速器
- 赵军

- 作品数:177被引量:707H指数:14
- 供职机构:中国科学院自动化研究所
- 研究主题:语言模型 存储介质 自然语言处理技术 文本 电子设备
- 余正涛

- 作品数:890被引量:1,254H指数:15
- 供职机构:昆明理工大学
- 研究主题:自然语言处理技术 越南语 机器翻译 语料 跨语言
- 刘康

- 作品数:150被引量:430H指数:12
- 供职机构:中国科学院自动化研究所
- 研究主题:语言模型 存储介质 文本 自然语言处理技术 电子设备
- 王东波

- 作品数:240被引量:1,524H指数:22
- 供职机构:南京农业大学
- 研究主题:语言模型 古籍 条件随机场 典籍 古文