1. 哈尔滨工业大学 计算机科学与技术学院,黑龙江,哈尔滨,150001
2. 哈尔滨理工大学 计算机科学与技术学院,黑龙江,哈尔滨,150080
3. 哈尔滨工业大学 计算机科学与技术学院黑龙江哈尔滨,150001
4. 哈尔滨理工大学 计算机科学与技术学院黑龙江哈尔滨,150080
纸质出版:2008
移动端阅览
孙广路, 王晓龙, 刘秉权, 等. 基于词聚类特征的统计中文组块分析模型[J]. 电子学报, 2008,36(12):2450-2453.
SUN Guang-lu, WANG Xiao-long, LIU Bing-quan, et al. Statistical Chinese Chunking Model Based on Word Clustering Features[J]. Acta Electronica Sinica, 2008, 36(12): 2450-2453.
提出了一种基于信息熵的层次词聚类算法
并将该算法产生的词簇作为特征应用到中文组块分析模型中.词聚类算法基于信息熵的理论
利用中文组块语料库中的词及其组块标记作为基本信息
采用二元层次聚类的方法形成具有一定句法功能的词簇.在聚类过程中
设计了优化算法节省聚类时间.用词簇特征代替传统的词性特征应用到组块分析模型中
并引入名实体和仿词识别模块
在此基础上构建了基于最大熵马尔科夫模型的中文组块分析系统.实验表明
本文的算法提升了聚类效率
产生的词簇特征有效地改进了中文组块分析系统的性能.
An entropy-based hierarchical word clustering algorithm is proposed.Word clusters generated by the clustering algorithm were used as features in Chinese chunking model.Based on words' chunk tags and the theory of entropy
a binary hierarchical clustering algorithm was applied to the words in Chinese chunking corpus.An accelerating algorithm was employed to save the clustering time.With the recognition of name entity and factoid
the new Chinese chunking system was constructed based on maximum entropy Markov models
while part-of-speech features were replaced with the entropy-based word clustering features.Experimental results show that the algorithm increases the efficiency of the word clustering
and the entropy-based word clustering features improve the performance of Chinese chunking effectively.
0
浏览量
1195
下载量
4
CSCD
关联资源
相关文章
相关作者
相关机构
京公网安备11010802024621