视频帧中复杂的环境背景、照明条件等与行为无关的视觉信息给行为空间特征带来了大量的冗余和噪声,一定程度上影响了行为识别的准确性.针对这一点,本文提出了一种循环区域关注单元以捕捉空间特征中与行为相关的区域视觉信息,并根据视频的时序特性又提出了循环区域关注模型.其次,本文又提出了一种能够突显整段行为视频序列中较为重要帧的视频帧关注模型,以减少异类行为视频序列间相似的前后关联给识别带来的干扰.最后,提出了一个能够端到端训练的网络模型:基于循环区域关注和视频帧关注的视频行为识别网络(Recurrent Region Attention and Video Frame Attention based video action recognition Network,RFANet).在两个视频行为识别基准UCF101数据集和HMDB51数据集上的实验表明,本文提出的端到端网络RFANet能够可靠地识别出视频中行为的所属类别.受双流结构启发,本文构建了双模态RFANet网络.在相同的训练环境下,双模态RFANet网络在两个数据集上达到了最优的性能.
流形学习方法可以发现嵌入于高维观测数据中的低维流形结构,但是传统的流形学习算法都是假设所有数据位于单一流形上,忽略了高维数据中不同的子集可能存在不同的流形.针对上述问题,本文提出一种监督多流形鉴别嵌入的维数约简方法,并应用于高光谱遥感影像分类.该方法首先利用样本数据的类别标签进行多子流形划分,在此基础上采用图嵌入理论构造流形内图和流形间图,然后通过最小化流形内距离同时最大化流形间距离以增强类内数据聚集性和类间数据分散性,提取低维鉴别特征,改善地物分类性能.在University of Pavia (PaviaU)和Kennedy Space Center (KSC)高光谱数据集上的实验表明,相较于其他单流形算法和多流形算法,该方法取得了更高的分类精度,在随机选取2%训练样本时,其总体分类精度分别达到88.04%和84.53%,有效提升了地物分类性能.
针对频分双工(Frequency Division Duplexing,FDD)大规模多入多出(Multiple-Input Multiple-Output,MIMO)系统中现有信道状态信息(Channel State Information,CSI)反馈方法复杂度高、反馈精度低的问题,本文提出一种基于深度学习的CSI压缩反馈方法.该方法首先采用卷积神经网络(Convolutional Neural Network,CNN)提取信道特征矢量,然后利用最大池化(Maxpooling)网络压缩CSI,最后考虑到大规模MIMO信道存在空间相关性的特点,分别对单用户和多用户场景使用双向长短期记忆(Bidirectional Long Short-Term Memory,Bi-LSTM)网络和双向卷积长短期记忆(Bidirectional Convolutional Long Short-Term Memory,Bi-ConvLSTM)网络对CSI进行重构.本文利用大规模MIMO信道数据对所提的深度学习网络进行离线训练,该网络学习到的信道信息能充分表征信道的状态.仿真结果表明,与已有的典型CSI反馈方法相比,本文所提方法反馈精度更高,运行时间更短,系统性能提升明显.
生成适应模型利用生成对抗网络实现模型结构,并在领域适应学习上取得了突破.但其部分网络结构缺少信息交互,且仅使用对抗学习不足以完全减小域间距离,从而使分类精度受到影响.为此,提出一种基于生成对抗网络的无监督域适应分类模型(Unsupervised Domain Adaptation classification model based on GAN,UDAG).该模型通过联合使用生成对抗网络和多核最大均值差异度量准则优化域间差异,并充分利用无监督对抗训练及监督分类训练之间的信息传递以学习源域分布和目标域分布之间的共享特征.通过在四种域适应情况下的实验结果表明,UDAG模型学习到更优的共享特征嵌入并实现了域适应图像分类,且分类精度有明显提高.