利用EM算法估计隐含观测量的回馈神经网络学习新方法

戴宪华

您当前的位置：

首页 >

文章列表页 >

利用EM算法估计隐含观测量的回馈神经网络学习新方法

论文 | 更新时间：2025-07-16

- 利用EM算法估计隐含观测量的回馈神经网络学习新方法
- A New Method for Training RNN via Hidden Representation Estimated by EM Algorithm
- 电子学报 2000年28卷第10期页码：133-137
- 作者机构：
  
  1. 汕头大学电子工程系,汕头,515063
  2. 汕头大学电子工程系汕头,515063
- 作者简介：
- 基金信息：
  
  国家自然科学基金 (No.69872021);广东省自然科学基金 (No.980438)
- DOI：
  中图分类号： TP183
- 纸质出版：2000
- 稿件说明：
移动端阅览
戴宪华. 利用EM算法估计隐含观测量的回馈神经网络学习新方法[J]. 电子学报, 2000,28(10):133-137.

DAI Xian-hua. A New Method for Training RNN via Hidden Representation Estimated by EM Algorithm[J]. Acta Electronica Sinica, 2000, 28(10): 133-137.
戴宪华. 利用EM算法估计隐含观测量的回馈神经网络学习新方法[J]. 电子学报, 2000,28(10):133-137. DOI：

DAI Xian-hua. A New Method for Training RNN via Hidden Representation Estimated by EM Algorithm[J]. Acta Electronica Sinica, 2000, 28(10): 133-137. DOI：

摘要

研究回馈神经网络(RNN)参数估计的新方法.利用隐含观测量

将复杂RNN的训练分解为线性输出层和多个单隐元的参数估计.基于每个隐元激励函数的多点线性近似

RNN可利用统计混合专家网络模型(ME)描述

从而将RNN的参数估计转化为包含隐含观测量的线性系统的最大似然估计问题

最后利用期望最大化(EM)算法获得RNN的隐含观测量及其参数估计.

Abstract

A new method for training recurrent neural network (RNN) has been proposed.By introducing the hidden representation or hidden variables into RNN

training the complicated RNN is decomposed into training a set of single neurons and a linear output layer.Based on linear approximation of RNN hidden units

RNN is remodeled with a "mixture of experts"(ME) model.Morever

training RNN is also changed into a maximum likelihood estimation of the linear systems with hidden variables.Finally

training RNN is fulfilled with the expectation-maximization (EM) algorithm.

关键词

Keywords

references

浏览量

1384

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

高斯噪声中的参数盲估计

混合因子分析的重新抽样方法

基于累积量极值的非线性系统盲反卷积

基于EM算法的宽带信号DOA估计及盲分离

基于偏斜t混合模型的流式数据自动聚类方法研究