汉语信息熵和语言模型的复杂度

吴军; 王作英

您当前的位置：

首页 >

文章列表页 >

汉语信息熵和语言模型的复杂度

更新时间：2025-12-08

- 汉语信息熵和语言模型的复杂度
- The Entropy of Chinese and the Perplexity of the Language Models
- 电子学报 1996年第10期
- 作者机构：
  
  清华大学电子工程系
- 作者简介：
- 基金信息：
- DOI：
  中图分类号： TN912.3
- 纸质出版：1996
- 稿件说明：
移动端阅览
[1]吴军,王作英.汉语信息熵和语言模型的复杂度[J].电子学报,1996(10):69-71+86.

吴军, 王作英. The Entropy of Chinese and the Perplexity of the Language Models[J]. Acta Electronica Sinica, 1996, (10).
[1]吴军,王作英.汉语信息熵和语言模型的复杂度[J].电子学报,1996(10):69-71+86. DOI：

吴军, 王作英. The Entropy of Chinese and the Perplexity of the Language Models[J]. Acta Electronica Sinica, 1996, (10). DOI：

摘要

本文介绍了估计汉语信息摘的方法，井通过对大量语料的统计，给出了汉语信息熵的一个上界－５．１７比特／汉字。本文还以此为基础对统计语言模型的能力进行了定量的描述，比较了常用的统计语言模型的性能，并给出了一种用低阶语言模型逼近高阶模型的方法。

Abstract

In this paper

a method of estimating an upper bound of the entropy of printed Chinese is presented. A bound of 5. 17bits/character for the entropy is obtained by computing the entropy of the sample of Chinese corpus. The perplexity of several language models

which is a quantitative measurement for the ability of language models

is discussed. A new method of approximating high scale language model by the lower ones is also presented.

关键词

Keywords

references

浏览量

1870

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于脑电熵值特征和功能连接的不同线型道路下驾驶状态检测

基于深度强化学习的码率自适应算法研究

语音理解中的容错技术的研究

一种基于自适应加权的无线传感器网络室内能量均衡路由