结合结构下文及词汇信息的汉语句法分析方法 被引量：6

1

作者 陈功 罗森林 +2 位作者 陈开江 冯扬 潘丽敏 《中文信息学报》 CSCD 北大核心 2012年第1期9-15,共7页

针对句法分析中上下文无关语法模型对句子信息利用的不足,通过融入结构下文和部分词汇信息,提出两种基于概率上下文无关语法模型的短语结构消歧方法,以达到消解结构歧义的目的;引入分层分析的算法,通过损失一定的时间效率使得在提高分... 针对句法分析中上下文无关语法模型对句子信息利用的不足,通过融入结构下文和部分词汇信息,提出两种基于概率上下文无关语法模型的短语结构消歧方法,以达到消解结构歧义的目的;引入分层分析的算法,通过损失一定的时间效率使得在提高分析准确率的同时保证分析结果的全面性。实验结果表明,融入结构下文及词汇信息的汉语句法分析方法,利用了更多的句子信息,与上下文无关语法相比有着更强的消歧能力。 展开更多

关键词 汉语句法分析 概率上下文无关语法 结构下文相关 词汇信息 分层分析

下载PDF 职称材料

基于PChart算法的哈萨克语句法分析 被引量：4

2

作者 尚文清 古丽拉.阿东别克 +1 位作者 牛娜 于智娟 《计算机工程与设计》 北大核心 2016年第3期832-836,共5页

为研究哈萨克语的句法分析,研究自然语言处理的统计方法的句法分析。根据概率上下无关文法模型和Chart算法的特点,将概率引入Chart算法,提出一种PChart算法。利用PChart算法对哈萨克语进行句法分析,解决句法分析中哈萨克文法的获取和歧... 为研究哈萨克语的句法分析,研究自然语言处理的统计方法的句法分析。根据概率上下无关文法模型和Chart算法的特点,将概率引入Chart算法,提出一种PChart算法。利用PChart算法对哈萨克语进行句法分析,解决句法分析中哈萨克文法的获取和歧义消解问题,实现一个基于PChart算法的哈萨克语句法分析器,识别正确的哈萨克语句子。实验结果表明,该分析器在准确率、召回率等方面的性能都有所提高。 展开更多

关键词 句法分析 自然语言处理 CHART 哈萨克语 统计 概率上下无关文法

下载PDF 职称材料

融合越南语语言特征与改进PCFG的越南语短语树库构建 被引量：4

3

作者 李英 郭剑毅 +2 位作者 余正涛 线岩团 陈玮 《南京大学学报（自然科学版）》 CAS CSCD 北大核心 2017年第2期357-367,共11页

短语树库是自然语言处理的研究和实际应用的重要资源,就越南语而言目前也缺乏这类树库资源,不利于汉越双语信息处理工作.提出一种融合越南语语法特征与改进PCFG(概率上下文无关文法)的越南语短语树库构建方法,能够自动分析出越南语的短... 短语树库是自然语言处理的研究和实际应用的重要资源,就越南语而言目前也缺乏这类树库资源,不利于汉越双语信息处理工作.提出一种融合越南语语法特征与改进PCFG(概率上下文无关文法)的越南语短语树库构建方法,能够自动分析出越南语的短语结构树,从而可解决了越南语短语树库的自动构建问题.首先通过分析越南语的语言特征,制定出越南语的语言特征集;然后利用Inside-Outside算法从人工标注的少量越南语短语树获取PCFG模型中的语法规则集;最后将语法特征集作为语法规则集的补充融入PCFG模型,用得到的新模型最终完成越南语短语树库的构建.实验结果表明,新的PCFG模型针对越南语短语树库构建的准确率达到了81.14%,相比传统PCFG模型以及基于最大熵的树库构建方法准确率明显提高了2%~3%. 展开更多

关键词 越南语 短语结构树 概率上下文无关文法 语法规则集 树库

下载PDF 职称材料

EM算法在统计自然语言处理中的应用 被引量：1

4

作者 王继曾 刘宽 +1 位作者 任浩征 罗恒 《计算机工程与设计》 CSCD 北大核心 2006年第19期3715-3717,共3页

在统计自然语言处理中会经常遇到一类参数估值问题,就是当观察数据为不完全数据时如何求解参数的最大似然估计,EM算法就是解决这类问题的经典算法。给出了EM算法的基本框架,结合HMM和PCFG模型给出如何应用EM算法求解参数的极大似然估计... 在统计自然语言处理中会经常遇到一类参数估值问题,就是当观察数据为不完全数据时如何求解参数的最大似然估计,EM算法就是解决这类问题的经典算法。给出了EM算法的基本框架,结合HMM和PCFG模型给出如何应用EM算法求解参数的极大似然估计,讨论了EM算法的优点和不足之处。 展开更多

关键词 自然语言 EM算法 参数估计 似然函数 隐马尔科夫模型 概率上下文无关文法

下载PDF 职称材料

基于改进PCFG的语言解释器模糊测试

5

作者 刘志昊 孙晓山 张阳 《计算机工程》 CAS CSCD 北大核心 2019年第8期22-24,30,共4页

为在语言解释器的模糊测试中构造符合语言规范的样本,并尽可能地得出异常测试结果以便发现漏洞,采用改进的概率上下文无关语法模型控制样本的变异过程,对变异结果中的未定义变量进行修正以提高符合语言规范的样本比率。在此基础上,对语... 为在语言解释器的模糊测试中构造符合语言规范的样本,并尽可能地得出异常测试结果以便发现漏洞,采用改进的概率上下文无关语法模型控制样本的变异过程,对变异结果中的未定义变量进行修正以提高符合语言规范的样本比率。在此基础上,对语言解释器进行模糊测试,结果表明,该测试所生成样本中符合语法、语义规范的比率高达96 %。 展开更多

关键词 模糊测试 马尔科夫模型 概率上下文无关语法 机器学习 语言解释器

下载PDF 职称材料

汉语概率型上下文无关语法的自动推导 被引量：7

6

作者 周强 黄昌宁 《计算机学报》 EI CSCD 北大核心 1998年第5期385-392,共8页

本文提出了一种汉语概率型上下文无关语法（PCFG）的自动推导方法，它在匹配分析机制上实现了无指导的EM迭代训练算法，并通过对训练语料的自动短语界定预处理以及在集成不同知识源基础上构造合适的初始规则集，保证了训练算法能迅速收... 本文提出了一种汉语概率型上下文无关语法（PCFG）的自动推导方法，它在匹配分析机制上实现了无指导的EM迭代训练算法，并通过对训练语料的自动短语界定预处理以及在集成不同知识源基础上构造合适的初始规则集，保证了训练算法能迅速收敛于符合语言事实的规则概率分布状态．初步的实验结果显示出目前的算法在训练效率和训练结果可信度方面都是令人满意的． 展开更多

关键词 语法推导 PCFG 语料库语言学 语言信息处理

下载PDF 职称材料

一种基于结构划分及字符串重组的口令攻击方法 被引量：6

7

作者 章梦礼 张启慧 +2 位作者 刘文芬 胡学先 魏江宏 《计算机学报》 EI CSCD 北大核心 2019年第4期913-928,共16页

身份认证是网络安全的一道重要防线,口令长期以来一直是身份认证的主流方式,口令攻击是口令安全研究的重要手段.基于概率上下文无关文法(Probabilistic Context-Free Grammar,PCFG)和基于Markov链的模型是目前效果最为显著的两类口令攻... 身份认证是网络安全的一道重要防线,口令长期以来一直是身份认证的主流方式,口令攻击是口令安全研究的重要手段.基于概率上下文无关文法(Probabilistic Context-Free Grammar,PCFG)和基于Markov链的模型是目前效果最为显著的两类口令攻击方法,它们分别从子结构组成层面和字符前后依赖层面对口令进行有效地建模刻画.该文中,作者在综合上述两类模型优点的基础上提出了一种基于结构划分及字符串重组的口令攻击方法,记为SPSR模型:首先将口令划分成抽象的子结构,然后利用改进的Markov链模型生成子结构中字符、数字和符号等构成的子串,以同时兼顾模型的准确性和泛化能力.此外,作者在结构划分阶段还额外引入了常用字符段,并加入了索引位对特殊字符在口令中的位置进行了明确地刻画;在字符串重组阶段,通过递归的思想减少子串概率计算中的重复计算,给出了一个改进的OMEN算法——Recursive-OMEN算法.为了验证SPSR模型的有效性,分别在6个真实的中英文口令集上进行了实验测试.结果表明,按概率递减顺序生成相同规模的猜测口令集时,新提出的Recursive-OMEN算法比OMEN算法用时缩短了10倍左右;在相同的猜测次数下考察攻击效果时,SPSR模型比基于Markov链的模型能多破解出40%～50%的口令,比基于PCFG的模型能多破解出20%左右的口令. 展开更多

关键词 口令攻击 概率上下文无关文法 OMEN算法 马尔可夫链 口令结构 字符串重组 常用字符集

下载PDF 职称材料

基于改进PCFG算法的口令猜测方法

8

作者 李静雯 赵奎 《计算机工程》 CAS CSCD 北大核心 2023年第5期38-47,共10页

近年来口令泄露事件频出,有效的口令猜测方法是保障口令安全的重要手段,其中基于概率上下文无关文法(PCFG)的口令猜测方法效果尤为显著,然而仍存在无法生成新的口令字符子段、对生成口令的概率估计不准确等问题。以基于PCFG的口令猜测... 近年来口令泄露事件频出,有效的口令猜测方法是保障口令安全的重要手段,其中基于概率上下文无关文法(PCFG)的口令猜测方法效果尤为显著,然而仍存在无法生成新的口令字符子段、对生成口令的概率估计不准确等问题。以基于PCFG的口令猜测方法为研究对象,对其在口令构造过程中关键阶段的命中率进行分析,提出基于Backoff-RNN与概率平衡的改进PCFG口令猜测方法。在口令结构划分阶段,通过分析用户在构造口令时的行为与偏好,将口令从汉语拼音和英文单词两方面进行更细粒度的结构划分,提取口令更深层次的结构信息。在口令填充阶段,将Backoff思想应用于字符级RNN模型,生成子结构中长序列字符子段,提高模型准确性和泛化能力。在口令概率计算阶段,改进口令生成概率的计算方法,解决了使用传统计算规则时因口令结构长度不一致造成的概率不平衡问题。实验结果表明:在中英文两种语言环境交叉数据集上,该方法的漫步口令猜测攻击命中率相较于基于PCFG的口令猜测方法分别提升了20.6%和22.4%;在中文语言环境数据集上,定向口令攻击命中率相较于TarGuess-I模型提升了2.8%。 展开更多

关键词 口令猜测攻击 自然语言处理 概率上下文无关文法 深度学习 口令安全

下载PDF 职称材料

参数化混合口令猜测方法 被引量：1

9

作者 韩伟力 张俊杰 +4 位作者 徐铭 王传旺 张浩东 何震瀛 陈虎 《计算机研究与发展》 EI CSCD 北大核心 2022年第12期2708-2722,共15页

基于文本口令的认证方法仍是当前用户身份认证的主流方式.为更好地研究口令安全性,研究人员提出了多种数据驱动的口令猜测方法,如概率上下文无关文法(probabilistic context-free grammars,PCFG)和马尔可夫(Markov)方法等.这些方法在猜... 基于文本口令的认证方法仍是当前用户身份认证的主流方式.为更好地研究口令安全性,研究人员提出了多种数据驱动的口令猜测方法,如概率上下文无关文法(probabilistic context-free grammars,PCFG)和马尔可夫(Markov)方法等.这些方法在猜测口令时有其独特的猜测优势,即能够以更小的猜测数猜中特定类型的口令.为充分利用这些优势以实现更优的猜测效率,提出了一个通用的参数化混合猜测框架.该框架由模型剪枝方法和理论证明最优的猜测数分配策略构成,能够混合不同数据驱动方法的猜测优势以生成更高效的猜测集.为了验证框架的通用性和最优性,通过分析并混合现有数据驱动猜测方法的不同优势,基于该框架设计了多个混合多元模型的参数化混合猜测方法(统称为hyPassGu)用于猜测实践.并且,还利用从真实网站泄露的4个大规模口令数据集(总共超过1.5亿条口令)对这些混合猜测方法进行了评估实验.实验结果表明,由不同方法组合构建的hyPassGu均表现出超越单一方法的猜测效率,且在10^(10)猜测数下超越了单一方法最优效率的1.52%~35.49%.此外,不同猜测数下的对比实验结果表明,提出的最优分配策略的猜测表现稳定,优于平均分配策略和随机分配策略,并在分布离散程度最大的口令数据集上有16.87%的相对提升,同时更多元的混合方法整体上也表现出更好的猜测效率. 展开更多

关键词 口令安全 数据驱动猜测 概率上下文无关文法 马尔可夫模型 混合模型

下载PDF 职称材料

使用角色反演句法分析器RNA二级结构的预测

10

作者 党琰 张宇镭 +1 位作者 张冬茉 赵立平 《计算机工程》 EI CAS CSCD 北大核心 2006年第8期207-209,共3页

RNA二级结构预测问题是生物信息学的一个研究重点。该文主要利用自然语言理解中句法分析的方法来研究RNA二级结构预测。使用基于角色反演算法建立起来的,采用概率上下文无关文法进行分析的句法分析器,来预测RNA二级结构。结合传统Chart... RNA二级结构预测问题是生物信息学的一个研究重点。该文主要利用自然语言理解中句法分析的方法来研究RNA二级结构预测。使用基于角色反演算法建立起来的,采用概率上下文无关文法进行分析的句法分析器,来预测RNA二级结构。结合传统Chart算法分析器和广义LR算法分析器的优点,建立角色反演句法分析器;根据RNA二级结构的构建方法建立相应的概率上下文无关文法;给出对RNA二级结构进行预测的具体实例。 展开更多

关键词 RNA二级结构预测 句法分析 角色反演算法 概率上下文无关文法

下载PDF 职称材料

基于结构文法的机器人模仿学习方法

11

作者 丛明 简继盼 +1 位作者 邹强 刘冬 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2021年第10期97-102,共6页

针对机器人模仿学习方法泛化性弱、对低级检测器准确率要求较高的问题,提出了一种基于结构文法的模仿学习方法.该方法通过视觉传感器提取场景的符号描述,形成含有噪声的符号基元序列;采用概率上下文无关文法(PCFG)对这些序列进行表征和... 针对机器人模仿学习方法泛化性弱、对低级检测器准确率要求较高的问题,提出了一种基于结构文法的模仿学习方法.该方法通过视觉传感器提取场景的符号描述,形成含有噪声的符号基元序列;采用概率上下文无关文法(PCFG)对这些序列进行表征和语法操作,从而形成语法空间;基于最小描述长度(MDL)准则对语法空间中的语法质量进行评价,用改进的Beam Search算法寻找最优语法,即演示活动的一般结构;获得的一般结构能够将含有噪声的符号基元序列进行解析,得到正确的序列.数据合成实验和汉诺塔实验的对比效果验证了该方法优秀的数据表达性能和良好的抗干扰性能,在高噪声环境下该方法的解析成功率约为90%. 展开更多

关键词 机器人 模仿学习 结构文法 概率上下文无关文法 最小描述长度准则

原文传递

基于GLR算法的新型概率句法分析器

12

作者 丁向民 徐斌 《计算机工程与应用》 CSCD 北大核心 2009年第32期130-132,136,共4页

为了提高句法分析器的分歧能力和分析准确率,结合上下文无关概率模型PCFG和头驱动概率模型HDSM各自的优点,提出了一种新型的概率模型PCFG_HDSM,并基于GLR算法,实现了一个新型的汉语句法分析器。在词性标注阶段,通过对助词的详细标注使... 为了提高句法分析器的分歧能力和分析准确率,结合上下文无关概率模型PCFG和头驱动概率模型HDSM各自的优点,提出了一种新型的概率模型PCFG_HDSM,并基于GLR算法,实现了一个新型的汉语句法分析器。在词性标注阶段,通过对助词的详细标注使部分歧义在规则阶段就被去除掉,提高了系统消歧的能力。经过开放测试,准确率和回归率分别达到82.8%、74.7%,与其他分析器分析结果比较有了较大提高,证明新模型PCFG_HDSM确实提高了分析器的分歧能力。 展开更多

关键词 GLR算法 上下文无关文法(PCFG) 头驱动的概率模型(HDSM) 概率句法分析

下载PDF 职称材料