基于锚点的字符级甲骨图像自动标注算法研究

doi:10.12263/DZXB.20201191

摘要/Abstract

摘要：

甲骨文是中国最早的系统文字，是目前能见到的最早的成熟汉字.甲骨文的研究对历史探究和文化传承具有重要的意义.但是要实现字符级别的甲骨字符图像标注，在现有技术环境下，只能通过资深甲骨学专家进行人工标注，不仅耗费人力资源，而且效率低下.针对这一问题，在前期工作中的甲骨字符图像识别模型的基础上，本文提出了一种甲骨字符图像自动标注算法.该算法通过先分列后切割的思想，先将甲骨拓片上的每一个字符图像归结到某一个特定列，再以锚点甲骨字为参考点，根据空间近邻关系找到甲骨原文中的字所对应的甲骨字符图像，从而实现了甲骨字符图像的自动标注.同时，将标注好的甲骨字符图像添加到样本数据集，并利用增广后的数据集（增加6~10倍）重新训练甲骨字符图像识别模型，有利于提高基于深度学习的甲骨文识别算法的识别准确度；以较小的成本大幅增加样本数量，也可以节约专家大量的时间和人力.

关键词: 甲骨文, 图像标注, 数据增广, 锚点, 空间近邻, 模式识别

Abstract:

Oracle-Bone inscriptions are the earliest systematic and mature Chinese characters presently discovered. The study of Oracle-Bone inscriptions is of great significance to historical exploration and cultural inheritance. However, in order to realize character-level Oracle-Bone image annotation, in the existing technical environment, only experienced experts in Oracle-Bone inscriptions can carry out manual annotation, which not only consumes human resources, but also is inefficient. Aiming at this problem, based on the Oracle-Bone image recognition model in the previous work, this paper proposes an automatic annotation algorithm for Oracle-Bone character images. In this algorithm, each character image on the Oracle-Bone rubbings is first reduced to a specific column. Then, the Oracle-Bone character images corresponding to the characters in the original text are found by taking the anchor point as the reference point and according to the nearest neighbor relation of space, so as to realize the automatic labeling of the Oracle-Bone character images.At the same time, the labeled Oracle-Bone images are added to the sample data set, and the original Oracle-Bone character image recognition model is retrained by using the augmented data set（6-10 times increase）, which is conducive to improve the recognition accuracy of the Oracle-Bone character recognition algorithm based on deep learning. In this way, the number of samples can be greatly increased at a small cost, and a lot of time and manpower of experts can be saved.

Key words: Oracle-Bone inscriptions? image annotation? data augmentation? anchor point? spatial neighbor? pattern recognition

中图分类号:

TP311.5

史先进, 曹爽, 张重生, 陶月锋, 吕灵灵, 沈夏炯. 基于锚点的字符级甲骨图像自动标注算法研究[J]. 电子学报, 2021, 49(10): 2020-2031.

SHI Xian-jin, CAO Shuang, ZHANG Chong-sheng, TAO Yue-feng, LÜ Ling-ling, SHEN Xia-jiong. Research on Automatic Annotation Algorithm for Character-level Oracle-Bone Images Based on Anchor Points[J]. Acta Electronica Sinica, 2021, 49(10): 2020-2031.

图/表 11

图1 甲骨文拓片、甲骨字符图像、甲骨文原文、甲骨字符图像标注以及三元组关系示意图

图2 甲骨字符图像的坐标示意图

图3 甲骨字符图像分布示意图

图4 利用原文序列子句推断甲骨字符图像候选字示意图

表1 锚点字符图像TM邻近字符图像的识别结果

$T i$	$j$
$T i$	1	2	$⋯$	K
$T 1$	$Y 1 T 1$	$Y 2 T 1$	$⋯$	$Y K T 1$
$T 2$	$Y 1 T 2$	$Y 2 T 2$	$⋯$	$Y K T 2$
$⋮$	$⋮$	$⋮$	$⋱$	$⋮$
$T P$	$Y 1 T P$	$Y 2 T P$	$⋯$	$Y K T P$

表1 锚点字符图像TM邻近字符图像的识别结果

$T i$	$j$
$T i$	1	2	$⋯$	K
$T 1$	$Y 1 T 1$	$Y 2 T 1$	$⋯$	$Y K T 1$
$T 2$	$Y 1 T 2$	$Y 2 T 2$	$⋯$	$Y K T 2$
$⋮$	$⋮$	$⋮$	$⋱$	$⋮$
$T P$	$Y 1 T P$	$Y 2 T P$	$⋯$	$Y K T P$

表2 字符图像Tm邻近字符图像的识别结果

$T m$	$j$
$T m$	$1$	$2$	$⋯$	$K$
$T 1 m$	$Y 1 T 1 m$	$Y 2 T 1 m$	$⋯$	$Y K T 1 m$
$T 2 m$	$Y 1 T 2 m$	$Y 2 T 2 m$	$⋯$	$Y K T 2 m$
$⋮$	$⋮$	$⋮$	$⋱$	$⋮$
$T P m$	$Y 1 T P m$	$Y 2 T P m$	$⋯$	$Y K T P m$

表2 字符图像Tm邻近字符图像的识别结果

$T m$	$j$
$T m$	$1$	$2$	$⋯$	$K$
$T 1 m$	$Y 1 T 1 m$	$Y 2 T 1 m$	$⋯$	$Y K T 1 m$
$T 2 m$	$Y 1 T 2 m$	$Y 2 T 2 m$	$⋯$	$Y K T 2 m$
$⋮$	$⋮$	$⋮$	$⋱$	$⋮$
$T P m$	$Y 1 T P m$	$Y 2 T P m$	$⋯$	$Y K T P m$

表3 字符图像Tn邻近字符图像的识别结果

$T n$	$j$
$T n$	$1$	$2$	$⋯$	$K$
$T 1 n$	$Y 1 T 1 n$	$Y 2 T 1 n$	$⋯$	$Y K T 1 n$
$T 2 n$	$Y 1 T 2 n$	$Y 2 T 2 n$	$⋯$	$Y K T 2 n$
$⋮$	$⋮$	$⋮$	$⋱$	$⋮$
$T P n$	$Y 1 T P n$	$Y 2 T P n$	$⋯$	$Y K T P n$

表3 字符图像Tn邻近字符图像的识别结果

$T n$	$j$
$T n$	$1$	$2$	$⋯$	$K$
$T 1 n$	$Y 1 T 1 n$	$Y 2 T 1 n$	$⋯$	$Y K T 1 n$
$T 2 n$	$Y 1 T 2 n$	$Y 2 T 2 n$	$⋯$	$Y K T 2 n$
$⋮$	$⋮$	$⋮$	$⋱$	$⋮$
$T P n$	$Y 1 T P n$	$Y 2 T P n$	$⋯$	$Y K T P n$

图5 39329号拓片多级推导过程示意

图6 寻找下一个待识别甲骨字符图像的示意图

(a) (b)

表4 算法4在图像集2上的推断结果

推断级数			二级	三级	四级
P2	有推断结果的甲骨拓片数量		882	658	452
P3	P2拓片上的甲骨字符总数		9984	8312	6298
P4	可标注的甲骨字符图像个数		6313	4846	3668
P5	正确标注的甲骨字符图像个数		4931	3828	2894
P6	P2占图像总数的比例		0.88643	0.66131	0.45427
P7	召回率	Recall1	0.49389	0.46053	0.45951
P7	召回率	Recall2	0.53157	0.53725	0.56511
P8	精度	Precision1	0.78109	0.78993	0.78898
P8	精度	Precision2	0.85045	0.85678	0.85101

表5 中间缺失或不确定的图像的推断结果

推断级数			3m1	4m1
P2	有推断结果的甲骨拓片数量		840	709
P3	P2拓片上的甲骨字符总数		9736	8892
P4	可标注的甲骨字符图像个数		16599	14229
P5	正确标注的甲骨字符图像个数		6119	5523
P6	P2占图像总数的比例		0.84422	0.71256
P7	召回率	Recall1	0.62849	0.62112
P7	召回率	Recall2	0.66683	0.68566
P8	精度	Precision1	0.36864	0.38815
P8	精度	Precision2	0.54865	0.55955

参考文献 18

1	江铭虎, 邓北星, 廖盼盼, 等. 甲骨文字库与智能知识库的建立[J]. 计算机工程与应用, 2004, 40(4): 45－47, 60.
	Jiang M H, Deng B X, Liao P P, et al. Construction on word-base of oracle-bone inscriptions and its intelligent repository[J]. Computer Engineering and Applications, 2004, 40(4): 45－47, 60. (in Chinese)
2	顾绍通. 甲骨文数字化处理研究述评[J]. 西华大学学报(自然科学版), 2010, 29(5): 38－42, 48.
	Gu S T. Review on digitization processing of jiaguwen[J]. Journal of Xihua University (Natural Science Edition), 2010, 29(5): 38-42, 48. (in Chinese)
3	顾绍通. 基于分形几何的甲骨文字形识别方法[J]. 中文信息学报, 2018, 32(10): 138－142.
	Gu S T. Identification of oracle-bone script fonts based on fractal geometry[J]. Journal of Chinese Information Processing, 2018, 32(10): 138－142. (in Chinese)
4	李锋, 周新伦. 甲骨文自动识别的图论方法[J]. 电子科学学刊, 1996, 18(S1): 41－47.
	Li F, Zhou X L. Recohnition of Jia Gu Wen based on graph theory[J]. Journal of Electronics, 1996, 18(S1): 41－47. (in Chinese)
5	焦清局, 刘永革, 仇利萍, 等. 网络驱动的未识甲骨字特性及场景语义预测[J]. 浙江大学学报(理学版), 2020, 47(2): 142－150.
	Jiao Q J, Liu Y G, Qiu L P, et al. Network-driven prediction of unknown oracle character's features and scene semantics[J]. Journal of Zhejiang University (Science Edition), 2020, 47(2): 142－150. (in Chinese)
6	Long S B, He X, Yao C. Scene text detection and recognition: The deep learning era[J]. International Journal of Computer Vision, 2021, 129(1): 161－184.
7	Yin X C, Yin X W, Huang K Z, et al. Robust text detection in natural scene images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(5): 970－983.
8	Xu Y C, Wang Y K, Zhou W, et al. TextField: learning a deep direction field for irregular scene text detection[J]. IEEE Transactions on Image Processing, 2019, 28(11): 5566－5579.
9	Zhu Y X, Du J. TextMountain: Accurate scene text detection via instance segmentation[J]. Pattern Recognition, 2021, 110: 107336.
10	林景栋, 吴欣怡, 柴毅, 等. 卷积神经网络结构优化综述[J]. 自动化学报, 2020, 46(1): 24－37.
	Lin J D, Wu X Y, Chai Y, et al. Structure optimization of convolutional neural networks: A survey[J]. Acta Automatica Sinica, 2020, 46(1): 24－37. (in Chinese)
11	孟琭, 孙霄宇, 赵滨, 等. 基于卷积神经网络的铁轨路牌识别方法[J]. 自动化学报, 2020, 46(3): 518－530.
	Meng L, Sun X Y, Zhao B, et al. An identification method of high-speed railway sign based on convolutional neural network[J]. Acta Automatica Sinica, 2020, 46(3): 518－530. (in Chinese)
12	张鲁宁, 左信, 刘建伟. 零样本学习研究进展[J]. 自动化学报, 2020, 46(1): 1－23.
	Zhang L N, Zuo X, Liu J W. Research and development on zero-shot learning[J]. Acta Automatica Sinica, 2020, 46(1): 1－23. (in Chinese)
13	鲁绪正, 蔡恒进, 林莉. 基于Capsule网络的甲骨文构件识别方法[J]. 智能系统学报, 2020, 15(2): 243－254.
	Lu X Z, Cai H J, Lin L. Recognition of Oracle Radical based on the Capsule network[J]. CAAI Transactions on Intelligent Systems, 2020, 15(2): 243－254. (in Chinese)
14	Huang S P, Zhong Z Y, Jin L W, et al. DropRegion training of inception font network for high-performance Chinese font recognition[J]. Pattern Recognition, 2018, 77: 395－411.
15	Taigman Y, Yang M, Ranzato M, et al. DeepFace: Closing the gap to human-level performance in face verification[A]. 2014 IEEE Conference on Computer Vision and Pattern Recognition[C]. Columbus, OH, USA: IEEE, 2014. 1701－1708.
16	Schroff F, Kalenichenko D, Philbin J. FaceNet: A unified embedding for face recognition and clustering[A]. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)[C]. Boston, MA, USA: IEEE, 2015. 815－823.
17	Hestness J, Narang S R, Ardalani N, et al. Deep learning scaling is predictable, empirically[EB/OL]. , 2017.
18	Zhou X Y, Yao C, Wen H, et al. EAST: An efficient and accurate scene text detector[A]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)[C]. Honolulu, HI, USA: IEEE, 2017. 2642－2651.

[1]	张伟, 王沙飞, 林静然, 利强, 邵怀宗. 基于孪生网络的电磁目标跨模式识别算法[J]. 电子学报, 2022, 50(6): 1281-1290.
[2]	利强, 张伟, 金秋园, 姚欣. 基于知识原型网络的小样本多功能雷达工作模式识别[J]. 电子学报, 2022, 50(6): 1344-1350.
[3]	孙晨峰, 吕卫民, 戴洪德, 张浩晨. 一种基于TimeGAN和OCSVM的多元退化设备小子样数据增广方法[J]. 电子学报, 2022, 50(11): 2678-2687.
[4]	杨国为, 万鸣华, 赖志辉, 张凡龙, 黄伟强. 具有合适拒识机制的高正确识别率分类器设计[J]. 电子学报, 2021, 49(8): 1569-1576.
[5]	王丽, 杜鹏程, 许一鸣, 李必信. 基于分层架构模式识别的软件架构重构技术[J]. 电子学报, 2021, 49(1): 201-208.
[6]	张红斌, 蒋子良, 熊其鹏, 武晋鹏, 邬任重, 袁天, 姬东鸿. 基于改进的有效区域基因选择与跨模态语义挖掘的图像属性标注[J]. 电子学报, 2020, 48(4): 790-799.
[7]	孙曜, 文成林, 韦巍. 基于脑电和眼电的运动想象多尺度识别方法研究[J]. 电子学报, 2018, 46(3): 714-720.
[8]	刘斌, 高强. 基于双正交小波变换的矩不变量[J]. 电子学报, 2017, 45(4): 826-831.
[9]	席旭刚, 汤敏彦, 张自豪, 张启忠, 罗志增. 融合表面肌电和加速度信号的下肢运动模式识别研究[J]. 电子学报, 2017, 45(11): 2735-2741.
[10]	席旭刚, 左静, 罗志增. 肌电模糊熵特征的加权核FDA跌倒识别[J]. 电子学报, 2016, 44(6): 1376-1382.
[11]	王进, 刘彬, 张军, 陈乔松, 邓欣. 用于微阵列数据分类的子空间融合演化超网络[J]. 电子学报, 2016, 44(10): 2308-2313.
[12]	胡正平, 高红霄, 赵淑欢. 基于低秩分解的联合动态稀疏表示多观测样本分类算法[J]. 电子学报, 2015, 43(3): 440-446.
[13]	黄以华, 赵汝威, 陈小若. 一种具有阶段优势的无锚点定位算法[J]. 电子学报, 2015, 43(12): 2536-2541.
[14]	陈思宝, 许立仙, 罗斌. 基于多重核的稀疏表示分类[J]. 电子学报, 2014, 42(9): 1807-1811.
[15]	李兵, 董俊, 刘鹏远, 米双山. 模糊格构造型形态神经网络[J]. 电子学报, 2014, 42(2): 319-327.