汉语概率型上下文无关语法的自动推导 被引量：7

1

作者 周强 黄昌宁 《计算机学报》 EI CSCD 北大核心 1998年第5期385-392,共8页

本文提出了一种汉语概率型上下文无关语法（PCFG）的自动推导方法，它在匹配分析机制上实现了无指导的EM迭代训练算法，并通过对训练语料的自动短语界定预处理以及在集成不同知识源基础上构造合适的初始规则集，保证了训练算法能迅速收... 本文提出了一种汉语概率型上下文无关语法（PCFG）的自动推导方法，它在匹配分析机制上实现了无指导的EM迭代训练算法，并通过对训练语料的自动短语界定预处理以及在集成不同知识源基础上构造合适的初始规则集，保证了训练算法能迅速收敛于符合语言事实的规则概率分布状态．初步的实验结果显示出目前的算法在训练效率和训练结果可信度方面都是令人满意的． 展开更多

关键词 语法推导 pcfg 语料库语言学 语言信息处理

下载PDF 职称材料

基于Co-training协同训练的在线虚假评论识别研究 被引量：8

2

作者 张文 王强 +2 位作者 步超骐 李健 张思光 《系统工程理论与实践》 EI CSSCI CSCD 北大核心 2020年第10期2669-2683,共15页

本文基于协同训练模型(co-training)提出了一种新的在线虚假评论识别方法CoDeRI以解决虚假评论识别中模型训练数据不足的问题.对同一评论信息,本文通过构建两个特征视图相互学习以识别虚假评论信息:视图一的特征来自于评论文本的词项(Te... 本文基于协同训练模型(co-training)提出了一种新的在线虚假评论识别方法CoDeRI以解决虚假评论识别中模型训练数据不足的问题.对同一评论信息,本文通过构建两个特征视图相互学习以识别虚假评论信息:视图一的特征来自于评论文本的词项(Term);视图二的特征来自于对评论进行深度语法树分析之后得到的概率上下文无关语法规则(PCFG,probabilistic context-free grammars).利用朴素贝叶斯(na?ve Bayes)作为基分类器,本文提出了两种特定于CoDeRI方法的分类后样本选择策略:CoDeRI-C策略和CoDeRI-U策略.CoDeRI-C策略在对未标注信息进行标注之后,选取分类置信度最高的评论信息以扩大训练样本集;CoDeRI-U策略则随机均匀的选取标注之后的评论信息以扩大训练样本集.实验表明,CoDeRI算法在虚假评论信息识别上与现有方法相比能够取得较好的分类结果.并且,CoDeRI-U策略的虚假评论识别准确率优于CoDeRI-C策略.本文的研究为电子商务中的平台、商家和消费者如何识别在线虚假评论提供了一定的管理启示. 展开更多

关键词 协同训练 概率上下文无关文法 虚假评论 朴素贝叶斯 CoDeRI

原文传递

基于PCFG的藏文疑问句句法分析 被引量：5

3

作者 班玛宝 才智杰 拉玛扎西 《中文信息学报》 CSCD 北大核心 2019年第2期67-74,共8页

藏文疑问句的句法分析在藏文问答系统、搜索引擎、信息的抽取和检索等领域有着广泛的应用前景。该文通过分析藏文疑问句的构成特点,对藏文疑问句进行了分类,归纳了各类藏文疑问句的结构特征,进而利用PCFG对藏文疑问句进行了句法分析。... 藏文疑问句的句法分析在藏文问答系统、搜索引擎、信息的抽取和检索等领域有着广泛的应用前景。该文通过分析藏文疑问句的构成特点,对藏文疑问句进行了分类,归纳了各类藏文疑问句的结构特征,进而利用PCFG对藏文疑问句进行了句法分析。经测试,在封闭测试集上的准确率、召回率和F1值分别达97.6%、97.3%和97.4%,在开放测试集上的准确率、召回率和F1值分别达96.0%、95.4%和95.7%。 展开更多

关键词 藏文疑问句 疑问代词 句法分析 pcfg CYK

下载PDF 职称材料

由粗到精的哈萨克语短语结构句法分析研究 被引量：2

4

作者 梁金莲 古丽拉·阿东别克 《中文信息学报》 CSCD 北大核心 2018年第1期83-88,共6页

该文针对哈萨克语短语结构句法分两个阶段采用由粗到精的方法进行哈萨克语句法分析研究。第一阶段使用粗略的句法分析器生成20个最佳候选树;第二阶段采用感知机的方法训练,提取特征信息,并对第一阶段生成的20个最佳候选树进行重排序,最... 该文针对哈萨克语短语结构句法分两个阶段采用由粗到精的方法进行哈萨克语句法分析研究。第一阶段使用粗略的句法分析器生成20个最佳候选树;第二阶段采用感知机的方法训练,提取特征信息,并对第一阶段生成的20个最佳候选树进行重排序,最终解析结果是第一阶段产生的候选树的结果和重排序结果按照比例选取。该方法在两个阶段不仅可以获取到句子的结构信息,还可以提取到详细的特征信息,可以最大限度地对句子进行解析,获得了较好的句子解析结果,其句法分析正确率为71.4%。 展开更多

关键词 句法分析 pcfg 重排序

下载PDF 职称材料

基于内外概率算法的音乐节奏自动生成 被引量：2

5

作者 余立功 卜佳俊 陈纯 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2005年第12期1969-1972,1983,共5页

针对计算机音乐领域中音乐自动生成问题,提出了一种将音乐关系的基本元素分开进行建模、分析、生成、融合的研究方法.基于音乐节奏本身具有可被形式化的特性,定义了一个概率上下文无关文法(PCFG)系统来描述相对独立的音乐节奏元素.该系... 针对计算机音乐领域中音乐自动生成问题,提出了一种将音乐关系的基本元素分开进行建模、分析、生成、融合的研究方法.基于音乐节奏本身具有可被形式化的特性,定义了一个概率上下文无关文法(PCFG)系统来描述相对独立的音乐节奏元素.该系统对实际音乐作品进行分析学习,将音乐节奏转化为形式化的文法语句.采用内外概率算法得到文法系统每条文法语句被使用的概率值,利用PCFG指导计算机生成新的音乐节奏,并构建了音乐节奏自动生成的原型系统.结果表明,该方法生成的音乐节奏与被分析的音乐节奏类似. 展开更多

关键词 内外概率算法 概率上下文无关文法 节奏

下载PDF 职称材料

藏语判断句的句法结构树构建方法 被引量：3

6

作者 扎西吉 才智杰 拉玛扎西 《西北民族大学学报（自然科学版）》 2017年第4期24-27,共4页

句法分析的研究一直是中文信息处理的重要领域,也是自然语言处理中一个重要的基础性任务.在机器翻译、信息抽取、语义检索和问答系统等很多的领域都有着广泛的应用前景,并且对句法分析提出了迫切的需求.因此,文章通过分析藏语判断句的特... 句法分析的研究一直是中文信息处理的重要领域,也是自然语言处理中一个重要的基础性任务.在机器翻译、信息抽取、语义检索和问答系统等很多的领域都有着广泛的应用前景,并且对句法分析提出了迫切的需求.因此,文章通过分析藏语判断句的特征,构造了其句法树生成规则,并通过PCFG解决句法歧义问题,即从歧义中选择概率最大的句法结构,最后通过CYK算法进行解码自动生成判断句句法结构树. 展开更多

关键词 NLP pcfg 藏语判断句 句法结构树

下载PDF 职称材料

句法分析与消解PCFG改进

7

作者 金新生 《电子设计工程》 2012年第4期53-56,共4页

概率型的句法分析模型具有一定的消岐能力,PCFG的最大特点上下文无关,对于开放领域的自然语言分析来说具有较长的鲁棒性。但上下文无关假设不可能很好地表示语言的特点,难以解决需要上下文信息才可以消解的句法分析岐义,而且它只考虑了... 概率型的句法分析模型具有一定的消岐能力,PCFG的最大特点上下文无关,对于开放领域的自然语言分析来说具有较长的鲁棒性。但上下文无关假设不可能很好地表示语言的特点,难以解决需要上下文信息才可以消解的句法分析岐义,而且它只考虑了词类信息而没有考虑词汇或语义信息,所以对语言的描述也是粗粒度的。本文结合知网定义句子成分结构语义关联度,对PCFG分析结果改进,句法岐义有效改善。 展开更多

关键词 句法分析 pcfg 句子成分结构语义关联度 知网

下载PDF 职称材料

一种基于改进PCFG句法分析的需求模板符合性检查优化方法

8

作者 曹步展 王立松 +4 位作者 康介祥 高忠杰 王辉 尹伟 于梦元 《小型微型计算机系统》 CSCD 北大核心 2021年第9期1999-2003,共5页

需求模板是对需求的一种规范描述,能够减少自然语言需求中的歧义.在进行需求分析之前,检查需求是否符合模板显得尤为重要.由于传统的手工检查非常耗时,为此许多学者展开了相关研究,并提出了一些自动的需求模板符合性检查方法.然而,现有... 需求模板是对需求的一种规范描述,能够减少自然语言需求中的歧义.在进行需求分析之前,检查需求是否符合模板显得尤为重要.由于传统的手工检查非常耗时,为此许多学者展开了相关研究,并提出了一些自动的需求模板符合性检查方法.然而,现有的自动检查方法都是基于组块分析进行的,其召回率、精度均有待于提高.本文提出一种基于改进PCFG句法分析的需求模板符合性检查优化方法.该方法引入句法分析以提取出名词组块,进而达到提升需求模板符合性检查的精度、召回率的目的.最后,本文将该方法与现有的自动检查方法进行对比实验.实验结果表明相对于现有的检查方法,本文提出的方法在召回率、精度方面均有显著的提高. 展开更多

关键词 需求模板 pcfg 句法分析 符合性检查

下载PDF 职称材料

一种实用的PCFG多阶段全局寻优句法分析算法

9

作者 陈晓明 梁雄友 《长春理工大学学报（自然科学版）》 2010年第2期143-146,共4页

指出概率型上下文无关文法PCFG对句型消岐能力不足之处,利用知网等知识库和句子语境信息构造句子成分结构语义关联度,有效地解决一些常见的句子岐义。为了纠正"各层最优"时隐含的错误,在实验基础上,提出了全局寻优的思路,并结... 指出概率型上下文无关文法PCFG对句型消岐能力不足之处,利用知网等知识库和句子语境信息构造句子成分结构语义关联度,有效地解决一些常见的句子岐义。为了纠正"各层最优"时隐含的错误,在实验基础上,提出了全局寻优的思路,并结合N-最短路径粗切分法和未登录词的动态规划法、连环交集型、组合型、混合型岐义的分词消岐算法,N-最短路径Viterbi词类粗标注算法,基于知网的词义标注算法,以及改进过的PCFG算法,进行多阶段寻优,主要解决各阶段局部最优化时隐含的错误。 展开更多

关键词 pcfg 全局寻优 算法

下载PDF 职称材料

包层结构对光子晶体光纤光栅反射谱的影响 被引量：2

10

作者 刘耀辉 施伟华 吴昊 《光通信研究》 北大核心 2010年第6期29-31,50,共4页

利用RSoft软件对包层空气孔为正六边形对称结构的光子晶体光纤的模场进行了分析,并使用模式耦合理论和传输矩阵法对光子晶体光纤光栅(PCFG)特性进行了计算和仿真,对比了不同包层结构和纤芯尺寸的PCFG反射谱之间的差异。仿真结果显示,占... 利用RSoft软件对包层空气孔为正六边形对称结构的光子晶体光纤的模场进行了分析,并使用模式耦合理论和传输矩阵法对光子晶体光纤光栅(PCFG)特性进行了计算和仿真,对比了不同包层结构和纤芯尺寸的PCFG反射谱之间的差异。仿真结果显示,占空比和纤芯尺寸的大小可影响谐振峰的数量和谐振波长值的大小。 展开更多

关键词 光子晶体光纤光栅 反射谱 耦合模理论 传输矩阵法

下载PDF 职称材料

基于主题PCFG的口令猜测模型研究 被引量：1

11

作者 毕红军 谭儒 +1 位作者 赵建军 李昱甫 《信息网络安全》 CSCD 北大核心 2019年第8期1-7,共7页

口令是一种重要的身份认证方式,用户为了能够方便记住口令,常把一些与人相关的要素信息加入口令中。传统基于概率上下文无关文法(PCFG)算法进行的口令安全评估,并没有关注用户兴趣爱好、文化背景等与人相关的主题因素。文章基于传统PCF... 口令是一种重要的身份认证方式,用户为了能够方便记住口令,常把一些与人相关的要素信息加入口令中。传统基于概率上下文无关文法(PCFG)算法进行的口令安全评估,并没有关注用户兴趣爱好、文化背景等与人相关的主题因素。文章基于传统PCFG算法,重点针对口令字母字段进行分析研究,通过对所收集的数据库字母字段的对比,提取用户口令与主题的关系,进而提出基于主题PCFG的口令猜测模型--T-PCFG模型。文章围绕收集的7个数据库中的3300万口令数据集进行实验,结果显示,主题为兴趣爱好时口令的猜测成功率比普通口令的猜测成功率高2.37-8.2个百分点。 展开更多

关键词 概率上下文无关文法 口令 主题 口令猜测 口令安全

下载PDF 职称材料

一种基于朴素贝叶斯的Honeywords区分攻击方法 被引量：1

12

作者 陈玉雪 《网络安全技术与应用》 2022年第5期41-43,共3页

Honeywords是保护用户口令、检测口令文件是否泄露的有效方法,而Honeywords区分攻击能准确评估Honeywords的安全性。现有Honeywords区分攻击方法未完全利用口令中的语义信息、攻击成功率不够高,针对这两方面的不足,本文提出基于朴素贝... Honeywords是保护用户口令、检测口令文件是否泄露的有效方法,而Honeywords区分攻击能准确评估Honeywords的安全性。现有Honeywords区分攻击方法未完全利用口令中的语义信息、攻击成功率不够高,针对这两方面的不足,本文提出基于朴素贝叶斯的Honeywords攻击方法,记为Bayes-PW:通过改进PCFG结构,增加拼音、单词等语义字段,采用朴素贝叶斯分类器进行区分攻击,为防止分类器过拟合,对数据使用“+1”平滑方法。实验证明,Bayes-PW仅一次猜测的攻击成功率最高达到47%,远高于Top-PW攻击和基于PCFG的攻击,特别是训练集数据量较小的情况下,Bayes-PW比Top-PW多猜中测试集15%的真实口令,比PCFG多猜中11%。 展开更多

关键词 朴素贝叶斯 Honeywords Honeywords区分攻击 pcfg

原文传递

可调谐长周期光子晶体光纤光栅压力传感的实验研究 被引量：7

13

作者 侯尚林 韩佳巍 +3 位作者 张睿睿 黄永清 张霞 任晓敏 《光电子．激光》 EI CAS CSCD 北大核心 2010年第1期5-8,共4页

采用超连续谱做宽带光源和金属丝施加周期性压力,在高非线性光子晶体光纤(HNL-PCF)上产生了长周期光纤光栅(PLPG),测定了脉冲透射谱峰值和压力的关系。实验表明,在20～60N范围内,压力和透射谱峰值的线性度达到0.9953,灵敏度达到0.5dB/N。

关键词 压力传感 机械压力法 光子晶体光纤光栅(pcfg)

原文传递

基于LSTM与多头注意力机制的恶意域名检测算法 被引量：3

14

作者 黄偲琪 张冬梅 闫博 《软件》 2019年第2期83-90,共8页

DGA域名是一类由特定算法生成,用来与恶意C&C服务器进行通信的域名,针对DGA域名的检测一直是一个研究热点。有文献提出了基于PCFG模型的DGA域名生成算法,在现有DGA检测方法的测试下,它的抗检测效果非常显著。这是因为它由合法域名生... DGA域名是一类由特定算法生成,用来与恶意C&C服务器进行通信的域名,针对DGA域名的检测一直是一个研究热点。有文献提出了基于PCFG模型的DGA域名生成算法,在现有DGA检测方法的测试下,它的抗检测效果非常显著。这是因为它由合法域名生成,具备合法域名的统计特征。基于此,本文提出了将神经网络和自注意力机制相结合的检测模型M-LSTM,它利用Bi-LSTM实现字符序列编码以及初步特征提取,并结合多头注意力机制进行深度特征提取。实验结果表明,该算法在检测基于PCFG模型的域名上效果优异。 展开更多

关键词 域名检测 多头注意力机制 pcfg模型

下载PDF 职称材料

中心词驱动的汉语统计句法分析模型的改进 被引量：3

15

作者 何亮 戴新宇 +1 位作者 周俊生 陈家骏 《中文信息学报》 CSCD 北大核心 2008年第4期3-9,共7页

在对Dan Bikel基于Collins中心词驱动概率句法分析模型实现的句法分析器进行深入研究分析的基础上,对其进行了两个方面的改进。一是通过提供N-best词性候选序列,改进原模型在词性方面的处理,改善了句法分析的结果;二是在该模型中引进单... 在对Dan Bikel基于Collins中心词驱动概率句法分析模型实现的句法分析器进行深入研究分析的基础上,对其进行了两个方面的改进。一是通过提供N-best词性候选序列,改进原模型在词性方面的处理,改善了句法分析的结果;二是在该模型中引进单独的基本名词短语识别,从而降低句法分析的复杂度,提高了效率,其中,针对中文的特点,通过对BaseNP的概念进行一系列的扩展,深入研究了基于不同层次概念的BaseNP对句法分析的影响并探讨更适合中文句法分析的BaseNP定义。利用改进的句法分析模型进行中文句法分析实验,实验结果表明,改进模型可以缩短分析时间26%,提高F值4.4个百分点,交叉括号平均减少18%。 展开更多

关键词 计算机应用 中文信息处理 中心词驱动pcfg概率模型 基本名词短语 N-Best词性序列 汉语句法分析

下载PDF 职称材料

应用于掺铒超荧光光纤光源的滤波器研究 被引量：2

16

作者 赵淑平 王品红 张晓霞 《激光与光电子学进展》 CSCD 北大核心 2005年第12期46-49,共4页

介绍了应用于掺铒光纤光源的几种滤波器的研究状况,阐述了它们的优缺点,简述了长周期光纤光栅滤波器的 设计过程。指出现阶段使用均匀长周期光纤光栅作为掺铒光纤光源滤波器是比较理想的选择。

关键词 掺铒光纤光源 电介质薄膜滤光片 马赫-曾德尔滤波器 布拉格光纤光栅 长周期光纤光栅 聚合物分散液晶光栅 光子晶体光纤光栅

原文传递

明文口令生成模型研究综述 被引量：3

17

作者 周浩 王靖康 +3 位作者 王博 罗宇韬 马泽文 刘功申 《计算机工程与应用》 CSCD 北大核心 2018年第4期9-16,共8页

近些年来,针对明文口令的破解和恢复等技术展开了广泛而深刻的研究,总的来说,该领域的主流方法已经大大提升了口令破解和恢复的成功率,但多种方法之间缺少比较和内在关联的分析。着眼于明文口令字典的生成问题,总结了近十年来主流的明... 近些年来,针对明文口令的破解和恢复等技术展开了广泛而深刻的研究,总的来说,该领域的主流方法已经大大提升了口令破解和恢复的成功率,但多种方法之间缺少比较和内在关联的分析。着眼于明文口令字典的生成问题,总结了近十年来主流的明文口令生成模型:马尔可夫模型、概率上下文无关模型和神经网络模型。为了有效并客观地评估这三种主流模型,设计并进行了一系列性能验证实验,给出了三种模型各自适用的场合及优缺点,并从原理层面解释了三种模型存在缺陷的原因,给出了一些优化改进的思路。最后,认为神经网络将会成为未来最具潜力的模型,并指出该领域的进一步研究和发展依赖于规范数据集的建立和多种方法的结合运用。 展开更多

关键词 明文口令 口令生成 马尔可夫模型 概率上下文无关语法 神经网络

下载PDF 职称材料

基于GLR算法的新型概率句法分析器

18

作者 丁向民 徐斌 《计算机工程与应用》 CSCD 北大核心 2009年第32期130-132,136,共4页

为了提高句法分析器的分歧能力和分析准确率,结合上下文无关概率模型PCFG和头驱动概率模型HDSM各自的优点,提出了一种新型的概率模型PCFG_HDSM,并基于GLR算法,实现了一个新型的汉语句法分析器。在词性标注阶段,通过对助词的详细标注使... 为了提高句法分析器的分歧能力和分析准确率,结合上下文无关概率模型PCFG和头驱动概率模型HDSM各自的优点,提出了一种新型的概率模型PCFG_HDSM,并基于GLR算法,实现了一个新型的汉语句法分析器。在词性标注阶段,通过对助词的详细标注使部分歧义在规则阶段就被去除掉,提高了系统消歧的能力。经过开放测试,准确率和回归率分别达到82.8%、74.7%,与其他分析器分析结果比较有了较大提高,证明新模型PCFG_HDSM确实提高了分析器的分歧能力。 展开更多

关键词 GLR算法 上下文无关文法(pcfg) 头驱动的概率模型(HDSM) 概率句法分析

下载PDF 职称材料

基于改进PCFG算法的口令猜测方法

19

作者 李静雯 赵奎 《计算机工程》 CAS CSCD 北大核心 2023年第5期38-47,共10页

近年来口令泄露事件频出,有效的口令猜测方法是保障口令安全的重要手段,其中基于概率上下文无关文法(PCFG)的口令猜测方法效果尤为显著,然而仍存在无法生成新的口令字符子段、对生成口令的概率估计不准确等问题。以基于PCFG的口令猜测... 近年来口令泄露事件频出,有效的口令猜测方法是保障口令安全的重要手段,其中基于概率上下文无关文法(PCFG)的口令猜测方法效果尤为显著,然而仍存在无法生成新的口令字符子段、对生成口令的概率估计不准确等问题。以基于PCFG的口令猜测方法为研究对象,对其在口令构造过程中关键阶段的命中率进行分析,提出基于Backoff-RNN与概率平衡的改进PCFG口令猜测方法。在口令结构划分阶段,通过分析用户在构造口令时的行为与偏好,将口令从汉语拼音和英文单词两方面进行更细粒度的结构划分,提取口令更深层次的结构信息。在口令填充阶段,将Backoff思想应用于字符级RNN模型,生成子结构中长序列字符子段,提高模型准确性和泛化能力。在口令概率计算阶段,改进口令生成概率的计算方法,解决了使用传统计算规则时因口令结构长度不一致造成的概率不平衡问题。实验结果表明:在中英文两种语言环境交叉数据集上,该方法的漫步口令猜测攻击命中率相较于基于PCFG的口令猜测方法分别提升了20.6%和22.4%;在中文语言环境数据集上,定向口令攻击命中率相较于TarGuess-I模型提升了2.8%。 展开更多

关键词 口令猜测攻击 自然语言处理 概率上下文无关文法 深度学习 口令安全

下载PDF 职称材料

使用角色反演句法分析器RNA二级结构的预测

20

作者 党琰 张宇镭 +1 位作者 张冬茉 赵立平 《计算机工程》 EI CAS CSCD 北大核心 2006年第8期207-209,共3页

RNA二级结构预测问题是生物信息学的一个研究重点。该文主要利用自然语言理解中句法分析的方法来研究RNA二级结构预测。使用基于角色反演算法建立起来的,采用概率上下文无关文法进行分析的句法分析器,来预测RNA二级结构。结合传统Chart... RNA二级结构预测问题是生物信息学的一个研究重点。该文主要利用自然语言理解中句法分析的方法来研究RNA二级结构预测。使用基于角色反演算法建立起来的,采用概率上下文无关文法进行分析的句法分析器,来预测RNA二级结构。结合传统Chart算法分析器和广义LR算法分析器的优点,建立角色反演句法分析器;根据RNA二级结构的构建方法建立相应的概率上下文无关文法;给出对RNA二级结构进行预测的具体实例。 展开更多

关键词 RNA二级结构预测 句法分析 角色反演算法 概率上下文无关文法

下载PDF 职称材料