电子学报 ›› 2017, Vol. 45 ›› Issue (1): 238-245.DOI: 10.3969/j.issn.0372-2112.2017.01.033

• 综述评论 • 上一篇    下一篇

协方差矩阵自适应演化策略学习机制综述

李焕哲1,2, 吴志健1, 汪慎文2, 郭肇禄3   

  1. 1. 武汉大学计算机学院软件工程国家重点实验室, 湖北武汉 430072;
    2. 河北地质大学信息工程学院, 河北石家庄 050031;
    3. 江西理工大学理学院, 江西赣州 341000
  • 收稿日期:2015-10-10 修回日期:2016-03-27 出版日期:2017-01-25
    • 作者简介:
    • 李焕哲,男,1975年生,河北唐山人,武汉大学计算机学院博士研究生,研究方向:智能计算、机器学习.E-mail:lihuanzhe@whu.edu.cn;吴志健,男,1963年生,教授,博士生导师,武汉大学软件工程国家重点实验室副主任,研究方向:智能计算、并行计算和智能信息处理.E-mail:zhijianwu@whu.edu.cn;汪慎文,男,1979年生,副教授,博士后,研究方向为智能计算与机器学习等.E-mail:wangshenwen@whu.edu.cn;郭肇禄,男,1984年生,江西南康人,博士,研究方向为智能计算、并行计算和机器学习.E-mail:gzl@whu.edu.cn
    • 基金资助:
    • 国家自然科学基金 (No.61364025,No.61402481); 江西省自然科学基金 (No.20151BAB217010); 河北省自然科学基金 (No.F2015403046); 武汉大学软件工程国家重点实验室开放基金 (No.SKLSE2014-10-04); 河北省科学技术支撑项目 (No.12210319)

The Overview of Learning Mechanism of Covariance Matrix Adaptation Evolution Strategy

LI Huan-zhe1,2, WU Zhi-jian1, WANG Shen-wen2, GUO Zhao-lu3   

  1. 1. State Key Laboratory of Software Engineering, Computer School, Wuhan University, Wuhan, Hubei 430072, China;
    2. School of Information Engineering, Hebei GEO University, Shijiazhuang, Hebei 050031, China;
    3. School of Science, JiangXi University of Science and Technology, Ganzhou, Jiangxi 341000, China
  • Received:2015-10-10 Revised:2016-03-27 Online:2017-01-25 Published:2017-01-25

摘要:

基于协方差矩阵自适应(CMA)的演化策略算法(ES)是一种优秀的、不依赖于梯度信息的随机局部优化算法.基于CMA的学习机制使其对搜索空间的任意可逆线性变换具有不变性,对于病态的、高度不可分的问题有优秀的求解能力.CMA学习机制具有较强的数学理论基础,这对设计其他演化算法有很好的借鉴意义.本文旨在详细分析CMA-ES的各种学习机制,并给出其所依赖的主要理论基础.最后通过实验比较CMA-ES各种变体的优势与不足,并着重比较本文改进的CMA-ES变体与其它变体在性能上的差异.

关键词: 演化策略, 协方差矩阵自适应, 自适应学习, 多元正态分布

Abstract:

The evolution strategy (ES) based on covariance matrix adaptation (CMA) is an excellent,gradient-free stochastic local optimization method.The learning mechanism based on CMA enables evolution strategy algorithm to have invariance to any invertible linear transformation of the search space,and to have outstanding capability for solving the ill-conditioned and/or highly non-separable problems.The learning mechanism of CMA has a solid theoretical foundation in mathematics,which may have a certain reference significance to guide the design of other evolutionary algorithms.This paper aims at analyzing the learning mechanisms of CMA-ES in detail,and providing its main mathematical foundations.Finally,the advantages and disadvantages of various CMA-ES variants are compared by a series of experiments,and the difference in performance is compared seriously between our improved variant and other CMA-ES variants.

Key words: evolution strategy, covariance matrix adaptation, adaptive learning, multivariate normal distribution

中图分类号: