基于改进的隐马尔科夫模型的词性标注方法 被引量：15

1

作者 袁里驰 《中南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2012年第8期3053-3057,共5页

针对隐马尔可夫(HMM)词性标注模型状态输出独立同分布等与语言实际特性不够协调的假设,对隐马尔可夫模型进行改进,引入马尔可夫族模型。,该模型用条件独立性假设取代HMM模型的独立性假设。将马尔可夫族模型应用于词性标注,并结合句法分... 针对隐马尔可夫(HMM)词性标注模型状态输出独立同分布等与语言实际特性不够协调的假设,对隐马尔可夫模型进行改进,引入马尔可夫族模型。,该模型用条件独立性假设取代HMM模型的独立性假设。将马尔可夫族模型应用于词性标注,并结合句法分析进行词性标注。用改进的隐马尔可夫模型进行词性标注实验。实验结果表明:与条件独立性假设相比,独立性假设是过强假设,因而基于马尔可夫族模型的语言模型更符合语言等实际物理过程;在相同的测试条件下,马尔可夫族模型明显好于隐马尔可夫模型,词性标注准确率从94.642%提高到97.126%。 展开更多

关键词 隐马尔可夫模型 马尔可夫族模型 词性标注 VITERBI算法

下载PDF 职称材料

一种新颖的词性标注模型 被引量：4

2

作者 袁里驰 钟义信 《微电子学与计算机》 CSCD 北大核心 2005年第9期1-2,6,共3页

文章首次提出一种统计模型,即马氏族模型,该模型假定一个词出现概率既与当前词的词性标记有关,也与它前面的词有关,但其前面的词和该词词性标记关于该词条件独立。将马氏族模型适当加以简化,能成功地用于词性标记,实验结果证明:在相同... 文章首次提出一种统计模型,即马氏族模型,该模型假定一个词出现概率既与当前词的词性标记有关,也与它前面的词有关,但其前面的词和该词词性标记关于该词条件独立。将马氏族模型适当加以简化,能成功地用于词性标记,实验结果证明:在相同的测试条件下,这种基于马氏族模型的词性标注方法标记成功率大大高于传统的基于隐马尔可夫模型的词性标注方法。马氏族模型在其它一些自然语言处理领域如分词、句法分析、语音识别、机器翻译也有广泛的应用前景。 展开更多

关键词 马氏族模型 词性标注 隐马尔可夫模型 VITERBI算法

下载PDF 职称材料

基于统计的句法分析方法 被引量：6

3

作者 袁里驰 《中南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2014年第8期2669-2675,共7页

句法分析是自然语言处理的一个基本问题,随着大规模标注树库的建立,基于树库的统计句法分析逐渐成为现代句法分析的主流技术。在介绍句法分析树库及句法分析性能评测方法的基础上,对主要句法分析统计模型和中文句法分析的研究现状进行... 句法分析是自然语言处理的一个基本问题,随着大规模标注树库的建立,基于树库的统计句法分析逐渐成为现代句法分析的主流技术。在介绍句法分析树库及句法分析性能评测方法的基础上,对主要句法分析统计模型和中文句法分析的研究现状进行简要综述和分析,并探讨和总结了基于统计的句法分析模型的不足之处和发展趋势,指出现有的汉语句法分析方法不适合汉语的特点,没有有效刻画出汉语的本质特性,导致目前汉语句法分析性能与英语相比相差较大;将语义信息融入句法分析,并在此基础上建立句法分析与语义角色标注联合学习统计模型,将是句法分析的一个重要研究方向。 展开更多

关键词 句法分析 统计模型 语义分析 自然语言处理

下载PDF 职称材料

基于相似度的词聚类算法 被引量：4

4

作者 袁里驰 钟义信 《微电子学与计算机》 CSCD 北大核心 2005年第8期93-95,共3页

基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法。传统的统计方法基于贪婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准。传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优。本文提出... 基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法。传统的统计方法基于贪婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准。传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优。本文提出了词相似度定义、词集合相似度定义,一种自下而上的分层聚类算法。这种方法不但能改善聚类效果,而且可根据不同的模型选择不同的相似度定义,从而提高聚类的使用效果。 展开更多

关键词 词相似度 词聚类 统计语言模型

下载PDF 职称材料

基于BiLSTM-CRF的中文分词和词性标注联合方法 被引量：2

5

作者 袁里驰 《中南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第8期3145-3153,共9页

针对中文分词、词性标注等序列标注任务,提出结合双向长短时记忆模型、条件随机场模型和马尔可夫族模型或树形概率构建的中文分词和词性标注联合方法。隐马尔可夫词性标注方法忽略了词本身到词性的发射概率。在基于马尔可夫族模型或树... 针对中文分词、词性标注等序列标注任务,提出结合双向长短时记忆模型、条件随机场模型和马尔可夫族模型或树形概率构建的中文分词和词性标注联合方法。隐马尔可夫词性标注方法忽略了词本身到词性的发射概率。在基于马尔可夫族模型或树形概率的词性标注中,当前词的词性不但与前面词的词性有关,而且与当前词本身有关。使用联合方法有助于使用词性标注信息实现分词,有机地将两者结合起来有利于消除歧义和提高分词、词性标注任务的准确率。实验结果表明:本文使用的中文分词和词性标注联合方法相比于通常的双向长短时记忆模型−条件随机场分词模型能够大幅度提高分词的准确率,并且相比于传统的隐马尔可夫词性标注方法能够大幅度提高词性标注的准确率。 展开更多

关键词 双向长短时记忆模型 中文分词 词性标注 马尔可夫族模型 树形概率

下载PDF 职称材料

基于BERT-BiLSTM-CRF的中文分词和词性标注联合方法 被引量：2

6

作者 袁里驰 《小型微型计算机系统》 CSCD 北大核心 2023年第9期1906-1911,共6页

针对中文分词、词性标注等序列标注任务,本文提出了结合BERT语言模型、BiLSTM(双向长短时记忆模型)、CRF(条件随机场模型)和马尔可夫族模型(MFM)或树形概率(TLP)构建的中文分词和词性标注联合方法.隐马尔可夫(HMM)词性标注方法忽略了词... 针对中文分词、词性标注等序列标注任务,本文提出了结合BERT语言模型、BiLSTM(双向长短时记忆模型)、CRF(条件随机场模型)和马尔可夫族模型(MFM)或树形概率(TLP)构建的中文分词和词性标注联合方法.隐马尔可夫(HMM)词性标注方法忽略了词本身到词性的发射概率,而在利用树形概率或马尔可夫族统计模型的词性标记中,一个词的词性不仅和该词前一个词的词性关联,且与该词自身关联.使用联合方法有助于使用词性信息帮助分词,将两者紧密结合能够帮助消除歧义和改进分词、词性标记的性能.实验结果表明本文使用的中文分词和词性标注联合方法与普通的BiLSTM-CRF分词算法相比,可以明显提升分词性能,而且相比于通常的隐马尔可夫词性标注方法能够大幅度提高词性标注的准确率. 展开更多

关键词 BERT 双向长短时记忆模型 中文分词 词性标注 马尔可夫族模型 树形概率

下载PDF 职称材料

利用配价信息的语义角色标注 被引量：4

7

作者 袁里驰 《电子学报》 EI CAS CSCD 北大核心 2017年第10期2533-2539,共7页

语义角色标注是一种浅层语义分析.现有的汉语语义分析方法和语义角色标注体系没有结合汉语的特点并有效刻画出汉语的本质特性,导致目前汉语语义角色标注性能与英语相比相差较大.在汉语中,配价结构可以较好地刻画汉语句子的句法结构和语... 语义角色标注是一种浅层语义分析.现有的汉语语义分析方法和语义角色标注体系没有结合汉语的特点并有效刻画出汉语的本质特性,导致目前汉语语义角色标注性能与英语相比相差较大.在汉语中,配价结构可以较好地刻画汉语句子的句法结构和语义构成关系,因此,我们在考察配价语法的基础上适当修改了语义角色标注体系并将谓词本身的配价信息融入语义角色标注.实验结果表明,配价信息的使用能够较大幅度提高动名词性谓词的语义角色标注性能:基于正确句法树和正确谓词识别,动词性谓词的SRL性能F1值达到93.69%;名词性谓词的SRL性能F1值达到79.23%;均优于目前国内外的同类系统. 展开更多

关键词 配价结构 动词性谓词 名词性谓词 语义角色标注

下载PDF 职称材料

一种基于互信息的词聚类算法 被引量：4

8

作者 袁里驰 《系统工程》 CSCD 北大核心 2008年第5期120-122,共3页

基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法。传统的统计聚类方法基于贪婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准。这种传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优。... 基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法。传统的统计聚类方法基于贪婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准。这种传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优。本文利用互信息定义了一种词相似度,在词相似度的基础上给出了词集合相似度的定义。基于相似度,提出了一种自下而上的分层聚类算法,这种方法不但能改善聚类效果,而且可根据不同的模型选择不同的相似度定义,因而提高聚类的使用效果。实验证明,该算法在计算复杂度和聚类效果上比传统的基于贪婪原则的统计聚类算法都有明显的改进。 展开更多

关键词 互信息 词相似度 聚类算法 统计语言模型

下载PDF 职称材料

利用语义信息的句法分析统计模型 被引量：3

9

作者 袁里驰 《小型微型计算机系统》 CSCD 北大核心 2019年第10期2125-2129,共5页

句法结构是句法形式和语义内容的结合.中文配价结构能够准确地描绘中文句子的语义联系及语法结构,本文利用配价结构有关语法理论探索了融合配价信息的语义角色标记,进而构建了语义角色标记与语法结构分析并行学习方法:在语法分析的进程... 句法结构是句法形式和语义内容的结合.中文配价结构能够准确地描绘中文句子的语义联系及语法结构,本文利用配价结构有关语法理论探索了融合配价信息的语义角色标记,进而构建了语义角色标记与语法结构分析并行学习方法:在语法分析的进程中,实施语义分析及标记;并把语义融入语法规则的概率计算.本文在语义信息标记基础上提出了基于语义类的句子语法结构分析模型,明显地提高了句法分析系统性能.句子语法结构分析试验数据说明,利用配价信息并基于词类的语义角色标记与句子语法结构分析联合学习方法,其召回率、精确率相应为88. 26%、88. 73%,综合指标相比头驱动句子语法结构分析方法提高了8. 39%. 展开更多

关键词 语义角色标记 配价结构 词聚类 头驱动 句子语法结构分析统计模型

下载PDF 职称材料

基于配价结构的词汇化句法分析模型 被引量：2

10

作者 袁里驰 《中南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2012年第5期1808-1813,共6页

基于"配价"是汉语词语的一个比较本质的特点,一旦1个词语的配价结构确定下来,它应该和怎样的词进行搭配就比较清楚,从而也可以比较直接地导出句子的结构,为此,结合中心词驱动句法分析模型,提出基于配价结构的词汇化句法分析模... 基于"配价"是汉语词语的一个比较本质的特点,一旦1个词语的配价结构确定下来,它应该和怎样的词进行搭配就比较清楚,从而也可以比较直接地导出句子的结构,为此,结合中心词驱动句法分析模型,提出基于配价结构的词汇化句法分析模型,引入丰富的语义信息如语义依存信息和配价结构等语义搭配信息,并用改进的句法分析模型进行句法分析实验。实验结果表明:模型的精确率和召回率分别为88.65%和87.26%,综合指标F与Collins的中心词驱动句法分析模型的相比提高6.51%。 展开更多

关键词 配价结构 语义依存关系 中心词驱动 句法分析模型

下载PDF 职称材料

一类半马氏过程的常返性与正常返性 被引量：1

11

作者 袁里驰 刘再明 李俊平 《数学理论与应用》 1999年第2期28-30,共3页

对于逗留时为正整数值的半马氏过程程｛ξ（ｔ）｝，本文研究了｛ξ（ｔ）｝、相应过程｛ξ（ｎ）｝、嵌入链｛ξ_ｎ｝的常返性和正常返性之间的关系．定理 ２．１证明了三过程的状态常返性是等价的．定理 ２．２证明了ξ（ｔ）、ξ（... 对于逗留时为正整数值的半马氏过程程｛ξ（ｔ）｝，本文研究了｛ξ（ｔ）｝、相应过程｛ξ（ｎ）｝、嵌入链｛ξ_ｎ｝的常返性和正常返性之间的关系．定理 ２．１证明了三过程的状态常返性是等价的．定理 ２．２证明了ξ（ｔ）、ξ（ｎ）的状态正常返性是等价的，ξ（ｔ）的状态正常返是嵌入链状态正常返的充分条件．定理２．３给出了ξ（ｎ）的状态正常返的充分条件．该条件在状态空间有限时也是必要条件． 展开更多

关键词 半马氏矩阵 半马氏过程 嵌入链 常返 正常返

下载PDF 职称材料

中心词驱动句法分析中的平滑技术 被引量：1

12

作者 袁里驰 《电子学报》 EI CAS CSCD 北大核心 2013年第7期1337-1342,共6页

解决数据稀疏问题是中心词驱动句法分析中的一个重要问题,基于词类的统计语言模型是解决统计模型数据稀疏问题的重要方法.本文在分析经典平滑算法的基础上,提出一种基于语义依存信息和互信息的词聚类算法,并利用绝对权重差分方法构造了... 解决数据稀疏问题是中心词驱动句法分析中的一个重要问题,基于词类的统计语言模型是解决统计模型数据稀疏问题的重要方法.本文在分析经典平滑算法的基础上,提出一种基于语义依存信息和互信息的词聚类算法,并利用绝对权重差分方法构造了一种可变长语言模型,即根据历史词对当前词预测所作的贡献不同,n值的大小也随之变化.进而提出了一种基于语义类和可变长模型的中心词驱动句法分析改进模型,既增强了句法分析模型的消歧能力,又解决了严重的数据稀疏问题.改进模型性能有了明显的提高,精确率和召回率分别为84.53%和82.41%,综合指标F值比Collins的中心词驱动句法分析模型提高了2.02个百分点. 展开更多

关键词 句法分析模型 平滑算法 中心词驱动句法分析 聚类算法

下载PDF 职称材料

几种基于统计的词聚类方法比较 被引量：1

13

作者 袁里驰 《中南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2016年第9期3079-3084,共6页

基于数据稀疏问题是影响语言统计模型系统性能的主要问题,而基于词类的语言统计模型是解决这一问题的主要方法之一,利用相邻词语的互信息定义一种词语相似度,在词语相似度的基础上定义词语集合的相似度,进而提出一种能得到全局最优结果... 基于数据稀疏问题是影响语言统计模型系统性能的主要问题,而基于词类的语言统计模型是解决这一问题的主要方法之一,利用相邻词语的互信息定义一种词语相似度,在词语相似度的基础上定义词语集合的相似度,进而提出一种能得到全局最优结果、自下而上的词聚类算法。研究结果表明:该词聚类算法执行效率高,聚类效果较好;根据该词聚类模型的结果所构造的基于词类和基于词语的线性插值模型,能较好地缓解统计语言模型中的数据稀疏问题。 展开更多

关键词 自然语言处理 词聚类 互信息 词相似度

下载PDF 职称材料

融合语义类信息的句法分析统计模型 被引量：1

14

作者 袁里驰 《数据采集与处理》 CSCD 北大核心 2017年第1期175-181,共7页

稀疏数据严重影响句子结构分析模型的结果,而句法结构是语义内容和句法分析形式的结合。本文在语义结构信息标注的基础上提出了一种基于语义搭配关系的词聚类模型和算法,建立基于语义类的头驱动句子结构分析统计模型。该语言模型不但比... 稀疏数据严重影响句子结构分析模型的结果,而句法结构是语义内容和句法分析形式的结合。本文在语义结构信息标注的基础上提出了一种基于语义搭配关系的词聚类模型和算法,建立基于语义类的头驱动句子结构分析统计模型。该语言模型不但比较成功地解决了数据稀疏问题,而且句子结构分析系统性能也有了明显的提高。句子结构分析实验结果表明,基于语义类的头驱动的句子结构分析统计模型,其召回率和精确率的值相应为88.26%和88.73%,综合指标改进了8.39%。 展开更多

关键词 句子结构分析统计模型 语义角色标注 词的自动聚类 头驱动

下载PDF 职称材料

利用深度神经网络并结合配价信息的语义角色标注

15

作者 袁里驰 《小型微型计算机系统》 CSCD 北大核心 2022年第9期1925-1930,共6页

语义角色标记被认为是实现自然语言理解的关键一步,并已被广泛研究.近年来,基于深度神经网络的端到端语义角色标记越来越受到关注.然而当前的语义角色标记方法使用没有语言特征的深度神经网络,配价结构可以较好地刻画句子的句法结构和... 语义角色标记被认为是实现自然语言理解的关键一步,并已被广泛研究.近年来,基于深度神经网络的端到端语义角色标记越来越受到关注.然而当前的语义角色标记方法使用没有语言特征的深度神经网络,配价结构可以较好地刻画句子的句法结构和语义构成关系,因此,本文提出了一种融合配价信息的深度神经网络模型,它有效地结合了丰富的语言配价信息以进行语义角色标记.本文在CoNLL-2005共享任务数据集和CoNLL-2012共享任务数据集上对融合配价信息的深度神经网络模型进行了评估,在两个基准语义角色标记数据集上比以前的工作取得了更好的结果. 展开更多

关键词 深度神经网络 语义角色标注 配价结构

下载PDF 职称材料

统计语言模型在语言信息处理中的应用

16

作者 袁里驰 钟义信 《四川大学学报（自然科学版）》 CAS CSCD 北大核心 2004年第z1期517-521,共5页

20年来中文信息处理取得了巨大成绩,这是有目共睹的.当前摆在学界面前的一个重要任务是确立全局的战略目标,并尽快在一些社会急需的发展方向上取得实质性的突破.本文首先对国内外自然语言处理技术的一些最重大成果作了一个简单的介绍,... 20年来中文信息处理取得了巨大成绩,这是有目共睹的.当前摆在学界面前的一个重要任务是确立全局的战略目标,并尽快在一些社会急需的发展方向上取得实质性的突破.本文首先对国内外自然语言处理技术的一些最重大成果作了一个简单的介绍,然后通过一些具体的实例来说明统计语言模型在自然语言处理中的广泛应用. 展开更多

关键词 自然语言处理 统计语言模型

下载PDF 职称材料

一种新颖的词聚类算法

17

作者 袁里驰 钟义信 《四川大学学报（自然科学版）》 CAS CSCD 北大核心 2004年第z1期522-525,共4页

基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法.传统的统计方法基于贪婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准.这种传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优.本文提出... 基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法.传统的统计方法基于贪婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准.这种传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优.本文提出了一种新颖的词相似度定义,在词相似度的基础上,还首次给出了词集合相似度的定义.基于相似度,提出了一种自下而上的分层聚类算法,这种方法不但能改善聚类效果,而且可根据不同的模型选择不同的相似度定义,因而提高聚类的使用效果.实验证明,该算法在计算复杂度和聚类效果上比传统的基于贪婪原则的统计聚类算法都有明显的改进. 展开更多

关键词 词相似度 词聚类 统计语言模型

下载PDF 职称材料

布朗生灭过程

18

作者 袁里驰 刘再明 +1 位作者 李俊平 侯振挺 《长沙铁道学院学报》 CSCD 北大核心 2001年第1期68-73,共6页

文献[1 ] 提到了布朗生灭过程的概念 ,本文明确地给出了一类布朗生灭过程的定义 ,讨论了其一维分布 ,积分型泛函的分布和矩 ,得到了次之递推计算公式 .此外 ,本文还得到了判断这类布朗生灭过程正则性的充要条件 .对于一类特殊的布朗生... 文献[1 ] 提到了布朗生灭过程的概念 ,本文明确地给出了一类布朗生灭过程的定义 ,讨论了其一维分布 ,积分型泛函的分布和矩 ,得到了次之递推计算公式 .此外 ,本文还得到了判断这类布朗生灭过程正则性的充要条件 .对于一类特殊的布朗生灭过程 。 展开更多

关键词 马尔可夫骨架过程 布朗生灭过程 一维分布 积分型泛函 正则性准则

下载PDF 职称材料

基于改进的隐马尔科夫模型的语音识别方法 被引量：19

19

作者 袁里驰 《中南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2008年第6期1303-1308,共6页

针对隐马尔可夫(HMM)语音识别模型状态输出独立同分布等与语音实际特性不够协调的假设以及在使用段长信息时存在的缺陷,对隐马尔可夫模型进行改进,提出马尔可夫族模型。马尔可夫族模型可看作一个数学上由多个马尔可夫链构成的多重随机过... 针对隐马尔可夫(HMM)语音识别模型状态输出独立同分布等与语音实际特性不够协调的假设以及在使用段长信息时存在的缺陷,对隐马尔可夫模型进行改进,提出马尔可夫族模型。马尔可夫族模型可看作一个数学上由多个马尔可夫链构成的多重随机过程,HMM模型则是双重随机过程,因而,HMM模型可视为马尔可夫族模型的特例。马尔可夫族模型用条件独立性假设取代了HMM模型的独立性假设。相对条件独立性假设,独立性假设是过强假设,因而,基于马尔可夫族模型的语音模型更符合语音实际物理过程。在马尔可夫族语音识别模型中引入状态段长信息,能自动根据语速对语音单元段长进行调整。非特定人连续语音实验结果表明,利用状态段长信息的改进语音识别模型比经典HMM模型的性能明显提高。 展开更多

关键词 隐马尔可夫模型 马尔可夫族模型 段长 语音识别

下载PDF 职称材料

基于依存关系的句法分析统计模型 被引量：12

20

作者 袁里驰 《中南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2009年第6期1630-1635,共6页

利用语义、语法等语言知识,建立一种基于依存关系的句法分析统计模型,并利用改进的句法分析模型进行句法分析实验。研究结果表明:利用依存关系、互信息对词聚类,能解决模型数据稀疏问题;模型可同时考虑几种语义依存关系;该模型是一个词... 利用语义、语法等语言知识,建立一种基于依存关系的句法分析统计模型,并利用改进的句法分析模型进行句法分析实验。研究结果表明:利用依存关系、互信息对词聚类,能解决模型数据稀疏问题;模型可同时考虑几种语义依存关系;该模型是一个词汇化的句法分析模型,能结合分词、词性标注进行句法分析;概率上下文无关语法中由概率的上下文无关性假设和祖先结点无关性假设引起的问题在该模型中得到有效解决;精确率和召回率分别为86.96%和85.25%,其综合指标F与Collins的头驱动句法分析模型的F相比提高4.75%。 展开更多

关键词 自然语言处理 词聚类 中心词驱动 句法分析统计模型

下载PDF 职称材料