双线阵无透镜超分辨率扫描成像方法研究

田典; 余宁梅; 周广霖; 李娜

doi:10.12263/DZXB.20210946

PDF(4082 KB)

电子学报 ›› 2022, Vol. 50 ›› Issue (10) : 2503-2516. DOI: 10.12263/DZXB.20210946

学术论文

双线阵无透镜超分辨率扫描成像方法研究

作者信息 +

Research on Super-Resolution Scanning Imaging Method for Lensless with Dual-Line Array

Author information +

文章历史 +

本文亮点

针对无透镜成像系统分辨率低和单线阵扫描成像中由于细胞流速不准确造成的图像重构畸变问题，本文提出了一种基于双线阵图像传感器的超分辨率扫描成像方法.通过引入第二个线阵，利用双线阵的时间空间关系，实现了细胞流动速度的实时测量，为扫描图像的重构提供了精准参数.综合考虑了光源、衍射光路、细胞样品瞬态流速、图像传感器像素尺寸、倾斜角度和帧频等系统特性，建立了线阵扫描成像系统的成像模型，深入分析了影响双线阵成像质量的因素，建立了基于坐标变换、扫描图像插值计算的双线阵扫描成像系统的图像重构模型.综合两种模型，以条形图案为仿真对象，分析了该方法的成像特性，并从理论上验证了双线阵扫描成像系统的可行性和有效性.仿真结果表明，双线阵扫描成像系统的空间分辨率相比面阵系统至少提升了2.8倍，并且结构相似性和峰值信噪比均有5%~15%的提升.在此基础上，搭建了双线阵扫描成像系统，并以微球、红细胞和白细胞作为测试对象，对系统进行了实际测试.结果表明，双线阵扫描成像系统解决了单线阵扫描成像图像重构畸变的问题，同时相比面阵成像系统，20 μm微球的直径均值误差为2.04%，红细胞和白细胞的特征更多、更明显.

HeighLight

Aiming at the problems of the low resolution in lensless imaging systems and the reconstruction distortion in single-line array scanning imaging systems, a super-resolution scanning imaging method is proposed for lensless using a dual-line array image sensor. The cell’s velocity can be measured in real-time using the space-time displacement of the dual-line array, which provides accurate parameters for the reconstruction. Considering the system characteristics of optical wavelength, diffraction light path, cell sample flow rate, pixel size of the image sensor, tilt angle, and frame rate, the scanning imaging model of the scanning imaging system is established. The factors affecting the imaging quality of the dual-line array are analyzed, and the image reconstruction model of the dual-line array scanning imaging system is established by coordinate transformation and scanned image interpolation calculation. By synthesizing the two models and taking the strip pattern as the simulation object, the imaging characteristics are analyzed, and the feasibility and effectiveness of the dual-line array scanning imaging system are verified theoretically. The simulation results show that the spatial resolution of the scanning imaging system with a dual-line array is at least 2.8 times higher than that of the system with an area array, and the SSIM and PSNR are improved by 5%~15%. On this basis, a scanning imaging system for lensless with a dual-line array was built, and the microspheres, red blood cells, and white blood cells were used as test objects to test the system. The results show that the problems of the reconstruction distortion in single-line array scanning imaging systems can be solved with a dual-line array scanning imaging. The mean diameter error of 20 μm microsphere is 2.04% between the scanning imaging system with dual-line array and the area array imaging system, and the characteristics of red blood cells and white blood cells are more obvious under the scanning imaging system with the dual-line array.

导出引用

田典 , 余宁梅 , 周广霖 , 李娜. 双线阵无透镜超分辨率扫描成像方法研究[J]. 电子学报, 2022, 50(10): 2503-2516. https://doi.org/10.12263/DZXB.20210946

TIAN Dian , YU Ning-mei , ZHOU Guang-lin , LI Na. Research on Super-Resolution Scanning Imaging Method for Lensless with Dual-Line Array[J]. Acta Electronica Sinica, 2022, 50(10): 2503-2516. https://doi.org/10.12263/DZXB.20210946

中图分类号： TN911.7

1 引言

2006年，Yang研究团队提出了无透镜光流体显微镜（OptoFluidic Microscope，OFM）的概念^［1］.该团队去掉了传统显微镜中的透镜和传感器表面的保护玻璃，将待测细胞样品紧密贴合在传感器的表面，并在传感器的正上方放置由LED和微孔组成的光源结构.当光透过细胞时，将在传感器表面形成细胞的投影.该方法打破了传统显微成像系统的结构，具有视野大、成本低、便携性好等特点，有望成为一种新型细胞图像采集及分析的即时检测（Point-Of-Care Testing，POCT）设备^{［2， 3］}.目前，国内外学者针对无透镜成像系统的应用研究颇多，如疾病检测^［4~10］、细胞培养监测^［11］、环境检测^［12］等.在无透镜成像技术的发展浪潮中，随着无透镜应用研究逐步深入，对无透镜超分辨率成像^［13~15］、无透镜三维层析成像^［16］、彩色成像^{［17，18］}、无透镜荧光成像^［19］等基础理论的研究格外重要.本文将针对无透镜成像方法的超分辨率成像问题进行深入研究.

图像传感器的像素尺寸与大多细胞的尺寸处于同一量级，因此直接采用无透镜成像的分辨率并不高^［15］.为此，学者们针对如何提高无透镜成像分辨率的问题，在基于传统图像超分辨率重建、神经网络、计算成像、亚像素位移等方面进行了大量研究.传统图像超分辨率方法一般通过傅里叶变换、小波变换等频域超分辨率算法^{［20，21］}，或者通过归一化卷积、凸集投影、最大后验概率等空域超分辨率算法^{［22，23］}，可将图像分辨率放大数倍.由于无透镜成像系统采集的原始图像分辨率较低，这些方法普遍难以恢复细节信息，并且计算复杂，实时性不高^［24］.文献［4］采用了2.2 μm的图像传感器，并去除了表面的保护玻璃，缩短成像物至传感器表面的距离，减少衍射影响.通过采集100帧低分辨率图像进行多帧超分辨率，实现了0.66 μm的光学分辨率.由于去除了图像传感器表面的保护玻璃，其像素单元在高帧频下的热量将影响细胞的活性，在活体细胞分析系统中并不适用.

相比而言，衍射成像不要求待测细胞与图像传感器紧密贴合，因此保留了表面的保护玻璃.该方法利用透过细胞的光与未透过细胞的光发生干涉所产生的衍射信息对细胞成像，采集的是包含细胞信息的衍射图像.该方法还可增大观测细胞与图像传感器的距离，提高细胞衍射图像的分辨率，以增大衍射恢复后细胞图像的分辨率.在计算成像方面，该方法也可改变系统中光波长、光照角度等光学参数，利用菲涅尔衍射理论、光传输方程、相位迭代等求解更精确的细胞相位信息，增大系统的空间分辨率^{［18，25］}.文献［25］基于多波长相位检索和多角度照明衍射层析成像技术，使用2.2 μm的图像传感器实现了3.72 μm的横向光学分辨率和5 μm的纵向光学分辨率.文献［16］则使用3.8 μm的图像传感器，采用双角度照明的方式，通过压缩数字全息模型实现了恢复物体最小单元为2.09

μ m

\times

2.17

μ m

\times

2.93

μ m

的三维图像.这些方法对系统的纵向空间分辨率提升明显，但对系统的横向空间分辨率的提升有限.

亚像素位移是指同一细胞在传感器上的多个像之间存在小于一个像素的位移，按照产生亚像素位移的不同，该方法可分为两类.第一类是细胞处于静置状态时，通过改变光路产生微位移，采集存在亚像素微位移的图像.文献［26］利用细胞在溶液中发生的不规则布朗运动，采集细胞的亚像素位移信息，并通过估计亚像素位移恢复细胞的高分辨率图像.文献［14］在光源与物体之间加入两个正交可偏转的玻璃片，通过调整玻璃片的偏转角度，实现细胞图像的亚像素位移，进而增强空间分辨率.第二类是细胞在运动过程中，采集细胞的扫描图像，然后对图像进行恢复重建.

本研究团队文献［15，27，28］通过微流控芯片控制细胞流动，并利用单线阵图像传感器对细胞进行扫描成像.为了同时提高扫描图像的横向和纵向的扫描分辨率，将线阵倾斜一定角度，使细胞在流动过程中同时存在横向和纵向的微位移.该方法易受细胞流动速度影响，当速度不稳定时，重建图像质量欠佳，存在畸变.针对单线阵扫描成像所存在的问题，本文提出了一种基于双线阵图像传感器的细胞流速实时可测的超分辨率扫描成像方法.该方法采用了两个互相平行的双线阵图像传感器，通过双线阵的时间空间关系，实现细胞瞬态流速的计算，为扫描图像重构提供准确的速度参数.同时双线阵与微流控芯片中微通道存在一定倾角（简称双线阵结构），通过高频扫描获取细胞的超分辨率扫描图像（简称扫描图像），并通过扫描图像重构模型及细胞准确的速度参数重构超分辨率衍射图像，最后经过衍射恢复得到细胞的超分辨率图像（简称衍射恢复图像）.本文具体工作如下：

（1）综合考虑光源、衍射光路、图像传感器像素尺寸、帧频、细胞瞬态流速等系统特性，建立了线阵超分辨率扫描成像模型，并以分段匀加速度运动拟合细胞流动状态，从而对模型进行了优化.

（2）基于细胞的多组瞬态流速，建立了细胞在分段匀加速流动下的扫描图像重构模型，并通过成像模型与重构模型的仿真，对成像方法进行了理论验证，经过与面阵成像对比，分析了双线阵扫描成像方法的有效性.

（3）搭建了双线阵超分辨率扫描成像方法的采集系统，通过微球、红细胞和白细胞等待测样品，分析了实际成像系统的成像特点，并验证了本文成像方法的有效性和准确性.

2 扫描成像模型的抽象与分析

在传统无透镜成像系统中，主要有光波长、目标物平面与像平面的距离以及像素尺寸等系统参数.在单线阵扫描成像中，只能获取流体的流速，因此模型中只有流体速度和线阵的帧频、大小、倾斜角度等线阵参数.实际上，流体的流速往往并不能代表细胞的流速，因此单线阵成像系统中对细胞流动控制精度要求极高，否则将导致图像重构畸形的问题.相比之下，双线阵扫描成像可以获取细胞的瞬时速度，因此可以以细胞流动速度、流动方向替换流体流速，使其更准确地模拟真实细胞流动.双线阵扫描成像正是因为可以计算细胞的瞬时流动速度，才能解决单线阵图像重构畸形的问题.

双线阵扫描成像系统的扫描成像模型可概括为如图1所示的流程图.其中，

I

为细胞的高分辨率图像，用以模拟细胞的真实图像；

R

为高分辨率细胞图像的衍射图像；

L

为线阵扫描采样的细胞扫描图像.首先，由于微流控芯片的玻璃基底和图像传感器表面的玻璃保护盖板，物面的细胞必然与成像面存在一定的距离，该距离比细胞的尺寸大一至两个数量级，因此成像面的图像是细胞的衍射图像^［29］.故在双线阵扫描成像模型中，第一个成像过程为物面的细胞图像传播至成像面的细胞衍射图像.其次，当物面的细胞流动时，其成像面的衍射图像也随之移动.假设细胞以分段加速度流过线阵，并且细胞流动的方向就是线阵倾斜的角度.因此计算细胞流动的位移，即成像面衍射图像的位移，是双线阵扫描成像的第二个成像过程.当图像传感器采集图像信息时，其采样率与图像传感器的尺寸相关.在实际成像过程中，衍射图像为连续二维信号.而在扫描成像模型中，将其离散化为极小像素尺寸的图像.考虑到硬件计算能力和计算速度，其像素尺寸可选择为图像传感器像素尺寸的1/10.因此，每一个图像传感器的像素对应一个二维数组，通过传感器的成像模型可以求解该像素的值.一般地，该成像模型可选择均值模型或高斯模型.因此双线阵扫描成像的最后一个成像过程可以概括为衍射图像的降采样.

图1 扫描成像模型的流程图

Full size|PPT slide

目前，针对无透镜成像衍射恢复的研究也颇多，主要有基于角谱理论、基于光强传输方程（Transport of Intensity Equation，TIE）^［30］、基于卷积^［31］、基于神经网络^［32~34］等算法.基于角谱理论的算法主要采用频域传输函数模拟光从物面传播到成像面的过程，并通过在物面施加约束以迭代物体相位信息^［35］.TIE一般用于衍射恢复算法中输入相位的初始预估，不参与描述成像过程.基于卷积的方法与角谱理论相似，但恢复效果严重受限于物面到成像面的距离^［30］.基于神经网络的算法主要用于衍射恢复，其需要建立大量数据集，并且算法原理不明确，不适合成像模型中使用.因此，为了同时模拟细胞的成像过程以及恢复过程，本文基于角谱理论中成像面与物面的传递函数实现衍射和衍射恢复过程.

2.1 成像过程的数学抽象

为了建立双线阵扫描成像模型，需要对上述三个成像过程进行数学抽象.如图2所示，为细胞图像与双线阵结构的初始位置，其中细胞图像的像素尺寸为

d_{R}

，线阵的像素尺寸为

d_{L}

d_{L} / d_{R}

影响图像传感器模拟成像的精度，值越大，精度越高，但计算量也越大，一般取值为10~20.以第一个线阵的最右侧像素为零点建立笛卡尔坐标系，

x^{'}

轴沿线阵指向线阵左侧，

y^{'}

轴垂直于线阵指向细胞流动方向.第二个线阵位于

y^{'}

轴正方向，与第一个线阵相距

d

.假设细胞以初速度

v

与加速度

a

匀加速流动，流动方向与

x^{'}

轴夹角为

θ

图2 细胞图像与双线阵的初始位置

Full size|PPT slide

细胞的流动过程可分解为横向和纵向的流动，令细胞的横向速度为

v_{x^{'}}

，横向加速度为

a_{x^{'}}

，纵向速度为

v_{y^{'}}

，纵向加速度为

a_{y^{'}}

，则存在如下关系式：

\{\begin{matrix} v_{x^{'}} = v \cdot c o s (θ) \\ a_{x^{'}} = a \cdot c o s (θ) \\ v_{y^{'}} = v \cdot s i n (θ) \\ a_{y^{'}} = a \cdot s i n (θ) \end{matrix}

（1）

假设在t时刻，细胞所处位置如图3所示，其横向位移

Δ x^{'}

和纵向位移

Δ y^{'}

可由式（2）计算：

\{\begin{matrix} Δ x^{'} = v_{x^{'}} t + \frac{1}{2} a_{x^{'}} t^{2} \\ Δ y^{'} = v_{y^{'}} t + \frac{1}{2} a_{y^{'}} t^{2} \end{matrix}

（2）

图3 细胞在t时刻所处的位置

Full size|PPT slide

2.2 边界条件

在计算横向和纵向的位移时，由于其尺寸的限制，需要考虑边界条件.如图4所示，为纵向边界条件示意图.为了方便说明，这里采用三个线阵采集衍射图像，以衍射图像的上边界为像素坐标纵向零点，并指向下边界.其中，

Δ h

为衍射图像的上边界到

x^{'}

坐标轴的像素坐标，

Δ h_{s}

为衍射图像的上边界到绿色线阵上边界的像素坐标，

Δ h_{e}

为衍射图像的上边界到绿色线阵下边界的像素坐标，

H

为衍射图像

R

的像素高度，

H_{r o i}

为衍射图像落在线阵传感器区域的像素高度.

H_{l}

为单线阵的像素高度，为

d_{L} / d_{R}

图4 纵向的四种边界情况示意图

Full size|PPT slide

根据纵向位移

Δ y^{'}

的大小，

H_{r o i}

会发生两种边界情况.第一种，当衍射图像的上边界未到达线阵的下边界时，如图4（a）所示，以及当衍射图像的下边界流过线阵的上边界时，如图4（d）所示，即

H_{r o i} = 0

，线阵未采集到衍射图像，其值为背景值.第二种，当衍射图像的上边界或下边界处于线阵中间时，如图4（b）~（c）所示，即

H_{r o i} < H_{l}

，线阵采集到部分衍射图像，其余部分为背景值.则纵向边界条件为

\{\begin{array}{l} Δ h_{s}^{'} = m i n (m a x (Δ h_{s}, 1), H) \\ Δ h_{e}^{'} = m i n (m a x (Δ h_{e}, 1), H) \\ H_{r o i}^{'} = H_{l} + (Δ h_{e}^{'} - Δ h_{e}) - (Δ h_{s}^{'} - Δ h_{s}) \end{array}

（3）

如图5所示，为横向边界条件示意图.衍射图像的左边界为像素横向坐标的零点，并指向右边界.

Δ w

为衍射图像的右边界到

x^{'}

坐标轴的像素坐标，

Δ w_{s}

为衍射图像的左边界到绿色线阵左边界的像素坐标，

W_{r o i}

为衍射图像落在线阵传感器区域的像素宽度，

W

为衍射图像

R

的像素宽度，

W_{l}

为线阵在衍射图像分辨率下的像素宽度.

图5 横向边界条件示意图

Full size|PPT slide

同理，根据纵向位移

Δ x^{'}

的大小，纵向会发生的两种边界情况.第一种，如图5（a）所示，当衍射图像被线阵传感器全部覆盖时，即

W_{r o i} = W

，线阵两边均有部分像素未采集到的衍射图像.第二种，如图5（b）所示，当衍射图像的左边界流过线阵的左边界时，即

W_{r o i} < W

，线阵右边有部分像素未采集到衍射图像.则横向边界条件为

\{\begin{array}{l} Δ w_{s}^{'} = m a x (Δ w_{s}, 1) \\ W_{r o i}^{'} = W_{l} - (Δ w_{s}^{'} - Δ w_{s}) - Δ w \end{array}

（4）

线阵提取到的采集区域

R_{r o i}

为

\{\begin{array}{l} R_{r o i} = R (x', y') \\ x' \in [Δ w_{s}^{'}, Δ w_{s}^{'} + W_{r o i}^{'}] \\ y' \in [Δ h_{s}^{'}, Δ h_{s}^{'} + H_{r o i}^{'}] \end{array}

（5）

同理，当细胞流动状态近似为K段分段定向、分段匀加速度流动时，在每一段区间内流动时，均有不同的初速度、加速度和流动方向.在该情况下，细胞衍射图像的计算部分不会受到影响，第k段的横向位移

Δ x^{'}

和纵向位移

Δ y^{'}

可由式（6）表示：

\{\begin{array}{l} Δ x_{k}^{'} = \sum_{m = 1}^{k - 1} Δ x_{m}^{'} + v_{x_{k}^{'}} Δ t_{k} + \frac{1}{2} a_{x_{k}^{'}} Δ t_{k}^{2} \\ Δ y_{k}^{'} = \sum_{m = 1}^{k - 1} Δ y_{m}^{'} + v_{y_{k}^{'}} Δ t_{k} + \frac{1}{2} a_{y_{k}^{'}} Δ t_{k}^{2} \end{array}

（6）

其中，

\{\begin{array}{l} Δ t_{k} = t_{k} - t_{k - 1} \\ Δ x_{- 1}^{'} = 0 \\ t_{- 1} = 0 \\ k = 1,2, \dots, K \end{array}

因此，第k个区间线阵采集区域

R_{r o i}^{k}

为

R_{r o i}^{k} = R (x^{'}, y^{'})

\{\begin{array}{l} x^{'} \in [Δ w_{s}^{'} (k), Δ w_{s}^{'} (k) + W_{r o i}^{'} (k)] \\ y^{'} \in [Δ h_{s}^{'} (k), Δ h_{s}^{'} (k) + H_{r o i}^{'} (k)] \end{array}

（7）

则由式（8）可得到图像传感器采集的扫描图像，其中

L_{i, j}

为第i个线阵上第j个像素的值，

R_{r o i} (i, j)

为覆盖在第i个线阵第j个像素区域上的图像，

P_{t}

为线阵第t时刻的扫描图像，即

\{\begin{array}{l} L_{i, j} = \bar{R_{r o i} (i, j)} \\ P_{t} = L_{i} (t) \end{array}

（8）

2.3 扫描成像模型的仿真

以11 μm实心圆图案为仿真对象，设置其像素尺寸

d_{R}

为0.11 μm，线阵的像素尺寸

d_{L}

为2.2 μm，线阵间距

d

为4.4 μm，光源波长

λ

为470 nm的单色光，物面与成像面的间距

z_{1}

为0.75 mm，对扫描成像模型进行初步的仿真.为了对比图形在不同流速情况下的扫描图像，本文对如表1所示的A组为匀速流动，B组为匀加速流动，C组为变加速、变方向流动的三种情况进行了仿真.

表1 流速对比仿真中圆形图案的流动参数

组号	时间t/s	初始速度 v/(μm/s)	加速度 a/(μm/s²)	流动方向θ/(°)
A	0~1	1 200	0	21
B	0 ~ 0.50	1 200	200	21
C	0 ~ 0.26	1 000	2 000	21
	0.26 ~ 0.30	-	5 000	21
	0.30 ~ 0.34	-	-5 000	21
	0.34 ~ 0.38	-	5 000	21
	0.38 ~ 0.50	-	-5 000	21

A组仿真的结果如图6（a）~（b）所示，在匀速流动且方向不变时，扫描图像每帧变化均匀，但在纵向存在轻微模糊.此外，衍射环的亮环和暗环分别在上下两个端点形成了尖角.相比于A组，B组的扫描图像并没有太大变化，如图6（c）~（d）所示.因此，匀加速流动对衍射图像的扫描影响很小.C组仿真结果如图6（e）~（f）所示，将各级衍射环端点的中点相连形成白色的中心线.相比于A组和B组，C组的图像和中心线都存在轻微的扭曲.

图6 圆形图案流速对比的仿真结果

Full size|PPT slide

此外，A组第二个暗环两端的横向位移和纵向帧差分别为73个像素和138帧，而B组第二个暗环两端的横向位移和纵向帧差分别为71个像素和129帧.可以发现，当速度越大时，线阵采集的帧数就越少，相邻两帧的相对位移就越大.横向位移是由于细胞的横向流速而产生的，但暗环两端的横向位移同时也受纵向的流速影响.在表1中A，B两组相对于线阵具有21度的倾角，B组相对于A组具有正向的加速度，因此B组的横向流速大于A组.如图6所示，B组从第二个暗环开始到结束采集了129帧，横向位移为71个像素，而A组从第二个暗环开始到129帧时，其横向位移为69个像素.在相同时间内，B组的横向位移大于A组的横向位移.综上所述，线阵的间距与细胞的流动速度应成正比.当图像传感器的帧频越大时，单位时间采集到的线阵图像越多，故线阵间距与图像传感器帧频成反比.

类似地，为了测试细胞流动方向对扫描图像的影响，对如表2所示的细胞流动状态进行了仿真.D组的仿真参数将A组参数中的流动方向改为30°，速度保持原来不变，以分析流动角度对扫描图像的影响.E组的仿真参数是将C组参数中的角度多次变化，初始速度、速度变化区间及各区间加速度与C组保持一致，以分析多变的流动方向对扫描图像的影响.

表2 流向对比仿真中圆形图案的流动参数

组号	时间t/s	初始速度v/(μm/s)	加速度a/(μm/s²)	流动方向θ/(°)
D	0 ~ 1	1 200	0	30
E	0 ~ 0.26	1 000	2 000	21
	0.26 ~ 0.30	-	5 000	25
	0.30 ~ 0.34	-	-5 000	18
	0.34 ~ 0.38	-	5 000	13
	0.38 ~ 0.50	-	-5 000	20

D组线阵1的仿真结果如图7（a）所示，D组第二个暗环两端的横向位移和纵向帧差分别为48个像素和95帧.因此相同流速下，当倾斜角度增大时，线阵扫描图像的横向位移和纵向帧差都会大幅变小.E组线阵1的仿真结果如图7（b）所示，与C组对比各级衍射环中点连接的中心线，可以发现，角度的变化对细胞图像横向位移和纵向帧差影响较大，表现为扫描图像的不规则扭曲.因此，细胞流动过程中，流向的多变会对扫描图像造成比较严重的扭曲影响.

图7 圆形图案流向对比的仿真结果

Full size|PPT slide

3 扫描图像重构模型

与扫描成像模型类似，在扫描图像重构模型中，也需要对图像重构过程进行数学抽象.由于细胞流动状态可近似为分段匀加速度流动，因此基于匀加速度流动建立图像重构模型，然后将其扩展至分段匀加速度流动下，即可求出模型通解.图8为扫描图像重构模型的流程图.首先，通过角点检测和角点匹配算法自动检测并计算各分段区间、速度以及加速度等信息.其次基于运动估计的方法计算细胞高分辨率衍射图像与扫描图像像素坐标的对应关系，求解细胞的高分辨率衍射图像，并进行衍射恢复，得到细胞的高分辨率图像.

图8 扫描图像重构过程的流程图

Full size|PPT slide

图9为各分段区间的自动检测算法流程图.首先，通过均值滤波和多阈值二值化提取亮暗衍射环.其次采用FAST特征检测算法^［36］，检测线阵1中的衍射环端点.经过筛选后，得到线阵1中的速度点，然后在线阵2中利用SSD特征匹配算法搜索匹配线阵1对应的速度点^［15］.线阵1和线阵2上相同特征点的帧差代表了细胞从线阵1流动到线阵2所用的时间，因此利用帧频、线阵间距等参数可以计算出细胞在每一个特征点的瞬时流速，进而计算出每一段的加速度.

图9 分段区间的自动检测算法流程图

Full size|PPT slide

以实心圆图案的扫描图像为例，检测其速度点确定区间范围.如图10所示，均值滤波后的多阈值二值化算法准确提取了衍射环的亮环区域和暗环区域，通过角点检测和筛选，基本保留了大部分衍射环的端点，并成功在线阵2中匹配了对应的速度点.

图10 实心圆图案扫描图像的速度点检测

Full size|PPT slide

3.1 坐标变换关系

如图11所示，以微流控通道方向为

y

轴，以垂直于微流控通道的方向为

x

轴，与线阵相交于零点处，建立笛卡尔坐标系.则在

x y

坐标系中，细胞图像的方向与线阵图像的方向相差

90 ° - θ

.令线阵的像素尺寸为

d_{L}

，线阵间距为

d

，线阵帧频为

f

图11 图像重构过程中坐标系的建立

Full size|PPT slide

假设线阵1上的特征点

(x_{i}^{'}, y_{i}^{'})

和

(x_{i + 1}^{'}, y_{i + 1}^{'})

，与线阵2上的特征点

(x_{m}^{'}, y_{m}^{'})

和

(x_{m + 1}^{'}, y_{m + 1}^{'})

相匹配，则细胞从线阵1到线阵2所用时长为

(y_{m}^{'} - y_{i}^{'}) / f

，横向移动了

x_{i}^{'} - x_{m}^{'}

.因此，由式（9）可以计算出细胞在特征点

(x_{i}^{'}, y_{i}^{'})

时刻的横向流速

V_{x_{i}^{'}}

与纵向流速

V_{y_{i}^{'}}

，即

\{\begin{array}{l} V_{x_{i}^{'}} = d_{L} \cdot f \cdot (x_{i}^{'} - x_{m}^{'}) / (y_{m}^{'} - y_{i}^{'}) \\ V_{y_{i}^{'}} = d \cdot f / (y_{m}^{'} - y_{i}^{'}) \end{array}

（9）

细胞从特征点

(x_{i}^{'}, y_{i}^{'})

到达特征点

(x_{i + 1}^{'}, y_{i + 1}^{'})

所用时间为

(y_{i + 1}^{'} - y_{i}^{'}) / f

，则细胞在特征点

(x_{i}^{'}, y_{i}^{'})

时刻的横向加速度

a_{x_{i}^{'}}

与纵向加速度

a_{y_{i}^{'}}

可以由式（10）计算：

\{\begin{matrix} a_{x_{i}^{'}} = f \cdot (V_{x_{i + 1}^{'}} - V_{x_{i}^{'}}) / (y_{i + 1}^{'} - y_{i}^{'}) \\ a_{y_{i}^{'}} = f \cdot (V_{y_{i + 1}^{'}} - V_{y_{i}^{'}}) / (y_{i + 1}^{'} - y_{i}^{'}) \end{matrix}

（10）

假设有一高为

H

且宽为

W

的长方体细胞图像，该长方体的右上角与坐标零点重合，并匀加速流过线阵.如图12所示，细胞上有一点

P_{1}

，其坐标为

(x, y)

，到

x

轴和

y

轴的距离分别为

S_{y}

和

S_{x}

图12 物体流过线阵的数学模型

Full size|PPT slide

当细胞的横向流速

V_{x}

为0时，线阵上的

L_{1}

像素将对该点进行成像.受到

V_{x}

的影响，实际是线阵的

L_{2}

像素对其成像，令由于

V_{x}

而产生的物体在

x

轴的位移为

S_{V_{x}}

.在线阵的扫描图像上，物体

P_{1}

点对应坐标为

(x^{'}, y^{'})

的

P_{2}

点，到

x^{'}

轴和

y^{'}

轴的距离分别为

S_{y^{'}}

和

S_{x^{'}}

.当物体的

P_{1}

运动到线阵的

L_{2}

点时，所采集的帧数为

y^{'}

，则细胞所经历的时间为

y^{'} / f

，位移

S_{y^{'}}

和

S_{V_{x}}

为

\{\begin{array}{l} S_{y^{'}} = \frac{y^{'}}{f} \cdot (V_{y} + \frac{y^{'}}{2 f} \cdot a_{y}) \\ S_{V_{x}} = \frac{y^{'}}{f} \cdot (V_{x} + \frac{y^{'}}{2 f} \cdot a_{x}) \end{array}

（11）

分别将物体在

x^{'} y^{'}

坐标系与

x y

坐标系的横向位移和纵向位移相对应可得式（12），经过推导，

x^{'} y^{'}

与

x y

坐标系坐标变换满足式（13），即

\{\begin{array}{l} S_{x^{'}} \cdot s i n θ = S_{x} + S_{V_{x}} \\ S_{y^{'}} = S_{y} + \frac{S_{x}}{t a n θ} + \frac{S_{V_{x}}}{t a n θ} \end{array}

（12）

\{\begin{array}{l} x^{'} = x + \frac{y^{'} \cdot (V_{x} + y^{'} \cdot \frac{a_{x}}{2 \cdot f})}{d \cdot f \cdot s i n θ} \\ A {y^{'}}^{2} + B y^{'} + C = 0 \end{array}

（13）

其中

\{\begin{array}{l} A = a_{y^{'}} / (2 f) \\ B = V_{y^{'}} \\ C = - d \cdot f \cdot s i n θ \cdot (y \cdot s i n θ + x \cdot c o s θ) \end{array}

由此可见，最终图像重构模型中

x^{'} y^{'}

与

x y

坐标系坐标变换关系为式（13）中一元二次方程的解.扩展至K个加速度区间，则第k个区间的最后时刻，线阵（

x^{'}

轴）与细胞图像右侧（

y

轴）的交点在

x y

坐标系中的纵坐标

y_{b_{k}}

为

y_{b_{k}} = \frac{S_{y_{k}}}{d_{y}} = \frac{S_{y_{k}^{'}}}{d \cdot s i n θ \cdot s i n θ} = \frac{S_{y_{k}^{'}}}{d \cdot s i n^{2} θ}

（14）

其中

S_{y_{k}^{'}} = V_{y_{k - 1}^{'}} \cdot \frac{y_{k}^{'} - y_{k - 1}^{'}}{f} + \frac{1}{2} \cdot a_{k - 1} \cdot {(\frac{y_{k}^{'} - y_{k - 1}^{'}}{f})}^{2}

此时线阵是该区域的边界直线，则第k个区间的边界直线方程为

y_{k} = - \frac{1}{t a n θ} \cdot x_{k} + y_{b_{k}} = - \frac{1}{t a n θ} \cdot x_{k} + \frac{S_{y_{k}^{'}}}{d \cdot s i n^{2} θ}

（15）

因此细胞分段匀加速流动时，

x^{'} y^{'}

与

x y

坐标系坐标变换的通式（13）只需限定各区间内的速度与加速度即可，如式（16）所示：

\{\begin{array}{l} a_{x} = a_{x_{k}} \\ V_{x} = V_{x_{k}} \\ a_{y^{'}} = a_{y_{k}^{'}} \\ V_{y^{'}} = V_{y_{k}^{'}} \end{array}

，

\begin{array}{l} y_{b_{k}} < x / t a n θ + y \leq y_{b_{k + 1}} \\ k = 1,2, \dots, K \end{array}

（16）

考虑到分段情况后，线阵扫描图像（

x^{'} y^{'}

坐标系）中第k个区间的坐标需修正为

\{\begin{array}{l} x^{″} = x^{'} \\ y^{″} = \sum_{i = 0}^{k} y_{i}^{'} \end{array}

（17）

3.2 像素值插值计算

当坐标

(x, y)

映射至坐标

(x^{'}, y^{'})

时，显然坐标

(x^{'}, y^{'})

为小数，即不会准确映射在线阵的像素中心，因此需要求解离映射点最近的四个像素.如图13所示，为线阵扫描图像像素中心的网格，其中a点坐标为

(x^{'}, y^{'})

，是物体上坐标

(x, y)

在当前时刻映射在线阵扫描图像上的一点.显然，a点的最近邻像素并非线阵扫描图像中最近的四个像素.

图13 物体上 $a$ 点在线阵扫描图像上的映射关系

Full size|PPT slide

令a点所处的帧数为

f_{a}

，则在第

⌊f_{a}⌋

帧时，a点在

x^{'}

方向上处于

a^{- 1}

点，与该点在

x^{'}

方向上最近右侧像素

l_{2}

的像素间距为

Δ x_{r^{- i}}^{'}

，与a点在

y^{'}

方向的距离为

Δ S_{y_{- i}^{'}}

.同理，在第

⌊f_{a}⌋ + 1

帧时，可找到

a^{+ 1}

点和左侧像素

l_{3}

，以及在

x^{'}

方向与

y^{'}

方向的间距

Δ x_{l^{+ i}}^{'}

和

Δ S_{y_{+ i}^{'}}

.考虑到线阵扫描图像的像素在横向的间距要大于在纵向上的间距，位于

a^{- 1}

点左侧的像素不一定为距离a点最近的像素.因此将上述过程进行数学抽象，令a点在第

⌊f_{a}⌋ - i + 1

帧时，

x^{'}

方向上的点为

a^{- i}

，距离该点左侧像素

l_{l^{- i}}

的像素间距为

Δ x_{l^{- i}}^{'}

，右侧像素

l_{r^{- i}}

的像素间距为

Δ x_{r^{- i}}^{'}

，与a点在

y^{'}

方向的距离为

Δ S_{y_{- i}^{'}}

.同理，令a点在第

⌊f_{a}⌋ + i

帧时

x^{'}

方向上的点为

a^{+ i}

，距离该点左侧像素

l_{l^{+ i}}

的像素间距为

Δ x_{l^{+ i}}^{'}

，右侧像素

l_{r^{+ i}}

的像素间距为

Δ x_{r^{+ i}}^{'}

，与a点在

y^{'}

方向的距离为

Δ S_{y_{+ i}^{'}}

.a点与

a^{- i}

的时间差

Δ t_{- i}

以及与

a^{+ i}

的时间差

Δ t_{+ i}

为

\{\begin{array}{l} Δ t_{- i} = (f_{a} - ⌊f_{a}⌋ + i - 1) / f \\ Δ t_{+ i} = (⌊f_{a}⌋ - f_{a} + i) / f \end{array}

（18）

令

a^{- i}

的横坐标为

x_{- i}^{'}

，

a^{+ i}

的横坐标为

x_{+ i}^{'}

，则

Δ x_{l^{\pm i}}^{'}

和

Δ x_{r^{\pm i}}^{'}

的值分别为

\{\begin{array}{l} Δ x_{l^{\pm i}}^{'} = x_{\pm i}^{'} - ⌊x_{\pm i}^{'}⌋ \\ Δ x_{r^{\pm i}}^{'} = ⌈x_{\pm i}^{'}⌉ + 1 - x_{\pm i}^{'} \end{array}

（19）

其中，

x_{\pm i}^{'} = x^{'} \mp \frac{v_{x^{'}} Δ t_{\pm i} \pm a_{x^{'}} Δ {t_{\pm i}}^{2} / 2}{d_{L}}

因此距离a点最近的四个像素

l_{1}

，

l_{2}

，

l_{3}

和

l_{4}

可由式（20）约束，即

\{\begin{array}{l} l_{1} = l_{l^{- i}} w h e r e \underset{i = 1}{m i n} ((Δ S_{x_{l^{- i}}^{'}})^{2} + (Δ S_{y_{- i}^{'}})^{2}) \\ l_{2} = l_{r^{- i}} w h e r e \underset{i = 1}{m i n} ((Δ S_{x_{r^{- i}}^{'}})^{2} + (Δ S_{y_{- i}^{'}})^{2}) \\ l_{3} = l_{l^{+ i}} w h e r e \underset{i = 1}{m i n} ((Δ S_{x_{l^{+ i}}^{'}})^{2} + (Δ S_{y_{+ i}^{'}})^{2}) \\ l_{4} = l_{r^{+ i}} w h e r e \underset{i = 1}{m i n} ((Δ S_{x_{r^{+ i}}^{'}})^{2} + (Δ S_{y_{+ i}^{'}})^{2}) \end{array}

（20）

其中，

\{\begin{array}{l} Δ S_{x_{l^{\pm i}}^{'}} = Δ x_{l^{\pm i}}^{'} \cdot d_{L} \\ Δ S_{x_{r^{\pm i}}^{'}} = Δ x_{r^{\pm i}}^{'} \cdot d_{L} \\ Δ S_{y_{\pm i}^{'}} = v_{y^{'}} Δ t_{- i} \pm a_{y^{'}} Δ {t_{\pm i}}^{2} / 2 \end{array}

通过式（20）所求解的

l_{1}

，

l_{2}

，

l_{3}

和

l_{4}

四个点，与a点在物体坐标系上的位置关系如图14所示.其中

(Δ S_{x_{1}^{'}}, Δ S_{y_{1}^{'}})

，

(Δ S_{x_{_{2}}^{'}}, Δ S_{y_{2}^{'}})

，

(Δ S_{x_{3}^{'}}, Δ S_{y_{3}^{'}})

和

(Δ S_{x_{4}^{'}}, Δ S_{y_{4}^{'}})

分别为点

l_{1}

，

l_{2}

，

l_{3}

和

l_{4}

与a点在

x^{'}

，

y^{'}

方向的间距.

图14 物体上a点最近的四点在物体图像映射关系

Full size|PPT slide

令

p_{a}

为a点的像素值，

p_{1}

，

p_{2}

，

p_{3}

和

p_{4}

分别为

l_{1}

，

l_{2}

，

l_{3}

和

l_{4}

点的像素值，则

p_{a}

为

p_{a} = \frac{γ_{1} p_{1} + γ_{2} p_{2} + γ_{3} p_{3} + γ_{4} p_{4}}{γ_{1} + γ_{2} + γ_{3} + γ_{4}}

（21）

其中，

γ_{i} = (1 - Δ S_{x_{i}^{'}} / d_{L}) (1 - Δ S_{y_{i}^{'}} / d_{L}), i = 1,2, 3,4 .

通过坐标变换和像素值插值计算两个步骤，即可重构细胞超分辨率衍射图像，然后通过文献［37］中基于角谱理论的衍射恢复算法以及文献［3］中的相位迭代算法恢复细胞的真实图像.

3.3 扫描图像重构模型的仿真

为了验证双线阵扫描成像的准确性，本文采用长为23 μm、宽为5 μm、间距为2 μm的线条图案作为真实图像，输入至扫描成像模型，计算该图案在双线阵超分辨率扫描成像下的扫描图像.然后由图像重构模型，重构该图像的衍射图像.同时，在相同像素尺寸下，计算面阵的衍射图像.通过计算两种方法的图案衍射图像的峰值信噪比、结构相似性等，评价其成像效果.最后将两种方法的衍射图像进行衍射恢复，再次对比衍射恢复后的效果.如表3所示，为本次仿真的基本参数.

表3 双线阵扫描成像仿真中的部分参数

参数	$d_{L} / μ m$	$d_{R} / μ m$	$d / μ m$	$λ / n m$	$z_{1} / m m$	ƒ	$θ / (°)$
数值	2.2	0.11	4.4	470	0.75	1 000	21

如图15所示，为线条图案的仿真测试结果.其中图15（a）、图15（b）分别为2.2 μm像素双线阵扫描成像方法采集的两个线阵扫描图像，图15（c）为重构的衍射图像，其等效像素大小为0.78 μm，图15（d）为2.2 μm像素面阵采集的衍射图像.相比之下，双线阵扫描成像系统的空间分辨率提高了2.8倍，并且重构的图案衍射图像细节远多于面阵图像.文献［14，38］中的方法对空间分辨率的提高不到2.2倍，因此本文方法具有一定的优越性.

图15 线条图案的仿真测试结果

Full size|PPT slide

将重构的衍射图像进行旋转，与面阵的衍射图像方向一致，并将面阵的衍射图像插值放大，与重构的衍射图像的分辨率保持一致.最后对两幅图形进行衍射恢复对比其恢复后的效果.如图15（e）~（f）所示，双线阵扫描的恢复图像在直角处存在细节的丢失，在直线处细节更清楚.因此双线阵扫描成像对物体直角、尖角等角度较大的地方成像会存在部分细节丢失，造成尖角成像模糊.分别取图15（c）~（f）中白线标记的中心行像素和黑线标记的中心列像素进行对比，如图15（g）~（j）所示，绿色曲线为理论模拟0.78 μm像素大小的面阵，红色曲面为双线阵扫描成像，蓝色曲线为面阵.可以看出，无论是衍射图像，还是衍射恢复图像，双线阵扫描成像的图像动态范围大于面阵图像的动态范围，在线条边缘和线条之间也有较高的斜率，与理论模拟的结果更为相似.分别计算双线阵和面阵图像相对于理论模拟图像的峰值信噪比（Peak Signal to Noise Ratio，PSNR）、结构相似性（Structural Similarity，SSIM）以及均方误差（Mean Square Error，MSE）等图像质量评价参数，对其进行客观评价.结果如表4所示，相比面阵成像，双线阵扫描成像方法在SSIM和PSNR等评价标准上均有显著提高，其中SSIM平均提高了13.94%，PSNR平均提高了10.76%.通过双线阵扫描成像模型和扫描图像重构模型的仿真测试，验证了本文双线阵扫描成像方法的可行性和有效性.

表4 双线阵和面阵系统下线条图案成像的客观评价

图像	SSIM	$\sqrt[]{M S E}$	PSNR/dB
面阵衍射图像	0.749 8	5.362 1	33.544 1
双线阵衍射图像	0.892 0	3.275 9	37.824 1
面阵衍射恢复图像	0.880 8	5.941 4	32.653 0
双线阵衍射恢复图像	0.959 4	4.275 0	35.512 0

4 验证与分析

4.1 双线阵扫描成像验证方案

为了测试双线阵扫描成像方法的效果，本文采用带有子窗口功能的图像传感器MT9P031，同时采集细胞的双线阵扫描图像和面阵图像.该传感器可设置硬件感兴趣区域（Region of Interest，ROI）模拟线阵采集，其像素尺寸为2.2 μm，子窗口下帧频可达1 000帧以上.如图16所示，为双线阵结构验证测试方案的示意图，传感器中黄色标记区域为双线阵结构的采集区域，微流控芯片相对图像传感器倾斜一定角度，实现双线阵与通道之间的倾角θ.

图16 双线阵扫描成像结构验证测试方案

Full size|PPT slide

如图17所示，为系统测试的实验平台，主要包含了3路机械泵微泵、405 nm的单色光光源、图像传感器、样本等部分.微流控芯片为具有聚焦功能的三叉通道，可将细胞聚焦在通道中间，避免了通道侧壁对成像的影响，同时稳定细胞的流向.

图17 系统测试的实验平台

Full size|PPT slide

本文分别采用了20 μm聚乙烯微球、红细胞和白细胞对双线阵扫描成像进行了验证测试，其中红细胞（图17（b））直径范围为5~7.5 μm，白细胞（图17（c））直径范围为10~18 μm.首先采用微球测试微流控芯片的聚焦效果，以染色剂标记侧通道的缓冲液，中间通道为未染色的20 μm聚乙烯微球样品溶液，设置缓冲液的流速为

10 μ L / m i n

，样品溶液的流速为

5 μ L / m i n

，观察缓冲液与样品溶液交汇处如图18所示.可以看到中间存在未染色的聚焦通道，并且微球在聚焦通道内稳定流动.

图18 染色标记下微球样品的二维聚焦

Full size|PPT slide

4.2 微球测试结果分析

当线阵倾斜角度为31度，流量为7 μL/min时，对20 μm微球进行测试.如图19所示，为微球的测试结果，其中图19（a）、图19（b）为双线阵扫描图像中速度点的检测和匹配结果，图19（c）为单线阵重构的衍射图像，图19（d）为双线阵重构的衍射图像.可以发现，该微球图像被划分为8个区间，每个区间都有微球在该区间的初始速度和加速度.单线阵中，由于只能得到流体流速，因此重构的图像存在一定畸变.而双线阵中，通过分段匀加速度流动模拟微球的真实流动情况，因此解决了单线阵中图像重构易畸变的问题.图19（e）、图19（f）分别为衍射恢复图像和对应的热力图，颜色越接近深蓝色代表灰度值越小，微球部分的图像基本呈现均匀的蓝色.通过统计处理的60个微球数据，分别计算其双线阵扫描成像系统下的直径和面阵系统下的直径，结果如图19（g）所示.左侧坐标为微球的尺寸，蓝色柱状图为双线阵系统的计算结果，红色柱状图为面阵系统的计算结果，其微球直径均值为20.763 μm，以橙色虚线标记.右侧坐标为面阵系统与双线阵系统采集同一微球直径的差值，其均值为0.423 μm，以紫色虚线标记.通过对比，双线阵系统计算的微球尺寸与面阵系统计算的微球尺寸相差无几，均值误差仅为2.04%.

图19 双线阵扫描成像系统下20μm微球的测试结果

Full size|PPT slide

4.3 红细胞及白细胞测试结果分析

分别以28

°

和30

°

的倾斜角度，7 μL/min的流量对红细胞和白细胞进行测试.如图20所示，为红细胞的测试结果，其中图20（a）、图20（b）为红细胞的双线阵扫描图像，其对比度明显低于微球的扫描图像，这主要是红细胞无核、双凹圆盘形状等特征决定的.对扫描图像进行重构，得到如图20（c）所示的衍射图像.与其面阵图像（d）相比，双线阵系统重构的红细胞衍射图像外围衍射环细节更清楚，噪声更小.经过衍射恢复后得到其衍射恢复图像图20（e）、图20（f），红细胞呈现了双凹圆盘形状.对比面阵系统的恢复效果发现，双线阵的衍射恢复图像边缘更清楚，双凹圆盘特征更明显.

图20 双线阵扫描成像系统下红细胞的成像结果

Full size|PPT slide

与红细胞不同，白细胞一般为无色有细胞核的球形细胞，体积比红细胞大，并且可变形.白细胞中中性粒细胞和淋巴细胞占比最高，中性粒细胞直径约为10~12 μm，淋巴细胞直径约为5~8 μm.如图21所示，为白细胞的测试结果，其中图21（a）、图21（b）为白细胞的双线阵扫描图像，图21（c）、图21（d）分别为重构的衍射图像和同一细胞的面阵图像.对该图像进行衍射恢复，得到如图21（e）、图21（f）所示的衍射恢复图像.可以发现该双线阵系统的衍射图像相比面阵系统，细节更多，噪声更小.衍射恢复后，面阵和双线阵系统的白细胞结构基本一致，但双线阵系统的细胞核图像对比度更高，细节更清楚，噪声更小.

图21 双线阵扫描成像系统下白细胞的成像结果

Full size|PPT slide

将红细胞和白细胞分别在双线阵系统和面阵系统下衍射恢复图像的热力图与其显微镜下图像进行对比，如图22所示.其中图22（a）、图22（d）为红细胞和白细胞的显微镜图像，图22（b）、图22（e）为双线阵重构后衍射恢复图像的热力图，图22（c）、图22（f）为面阵系统衍射恢复图像的热力图.在热力图对比下，两种细胞在双线阵系统重构后的衍射恢复图像相比面阵系统的衍射恢复图像成像效果提升更明显，具体表现为双线阵系统的噪声更小、边缘细节更清楚.

图22 双线阵系统和面阵系统下热力图对比

Full size|PPT slide

5 小结

本文提出了一种基于双线阵图像传感器的细胞流速实时可测的超分辨率扫描成像方法.该方法通过微流控芯片控制细胞流过双线阵结构，利用第一个线阵对细胞进行超分辨率扫描成像，利用第二个线阵计算细胞流过线阵时的多组瞬时速度和加速度，根据细胞的多组速度信息，重构细胞的超分辨率衍射图像并对其进行衍射恢复.首先综合考虑光源、衍射光路、图像传感器像素尺寸、帧频、细胞样品瞬态流速等系统特性，建立了线阵扫描成像方法的成像模型.其次建立了双线阵扫描图像的重构模型，并结合扫描成像模型，仿真分析了该成像方法的可行性和有效性.在对条形图案的仿真测试中，图像传感器像素尺寸为2.2 μm，倾斜角度为21°，图案流速为1 200 μm/s，双线阵系统的空间分辨率为面阵系统的2.8倍，双线阵系统重构恢复的图像相比面阵图像，结构相似性平均提高了5.4%，峰值信噪比平均提高了15.28%.在20 μm微球的测试中，双线阵系统与面阵系统下测得微球尺寸的均值误差为2.04%，验证了双线阵扫描成像方法的准确性.经过对比双线阵扫描成像方法、单线阵扫描成像方法与面阵成像方法下聚乙烯微球、红细胞和白细胞的成像结果，验证了双线阵扫描成像方法的优越性.

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序

1	HENGX, ERICKSOND, BAUGHL R, et al. Optofluidic microscopy-A method for implementing a high resolution optical microscope on a chip[J]. Lab Chip, 2006, 6(10): 1274-1276. 本文引用 [1]

2	张佳琳, 陈钱, 张翔宇, 等. 无透镜片上显微成像技术: 理论、发展与应用[J]. 红外与激光工程, 2019, 48(6): 121-153. ZHANGJ L, CHENQ, ZHANGX Y, et al. Lens-free on-chip microscopy: Theory, advances, and applications[J]. Infrared and Laser Engineering, 2019, 48(6): 121-153. (in Chinese) 本文引用 [1]

3	MUDANYALIO, TSENGD, OH C, et al. Compact, light-weight and cost-effective microscope based on lensless incoherent holography for telemedicine applications[J]. Lab on a Chip, 2010, 10(11): 1417-1428. 本文引用 [2]

4	LEES A, LEITAOR, ZHENGG, et al. Color capable sub-pixel resolving optofluidic microscope and its application to blood cell imaging for malaria diagnosis[J]. PLoS One, 2011, 6(10): e26127. 本文引用 [2]

5	ROYM, JING, PANJ, et al. Staining-free cell viability measurement technique using lens-free shadow imaging platform[J]. Sensors and Actuators, B: Chemical, 2016, 224: 577-583.

6	ROYM, JING, SEOD, et al. A simple and low-cost device performing blood cell counting based on lens-free shadow imaging technique[J]. Sensors and Actuators, B: Chemical, 2014, 201: 321-328.

7	HUANGX, LIY, XUX, et al. High-Precision Lensless Microscope on a Chip Based on In-Line Holographic Imaging[J]. SENSORS, 2021, 21(3): 720.

8	LIJ, DAIL, YUN, et al. Elliptocyte detection technology based on super-resolution algorithms for a lensless imaging system[J]. Measurement Science and Technology, 2021, 32(2): 025701.

9	LIJ, DAIL, YUN, et al. Red blood cell recognition and posture estimation in microfluidic chip based on lensless imaging[J]. Biomicrofluidics, 2021, 15(3): 34109.

10	LIS, DAIL, LIJ, et al. A Deep learning Feature Fusion Algorithm based on Lensless Cell detection system[C]// Proceedings of the IEEE 15th International Conference on Solid-State & Integrated Circuit Technology. Kunming: IEEE, 2020: 1-3. 本文引用 [1]

11	LIAOY, YUN, TIAND, et al. An intelligent low-power low-cost mobile lab-on-chip yeast cell culture platform[J]. IEEE Access, 2020, 8: 70733-70745. 本文引用 [1]

12	LIAOY, YUN, TIAND, et al. Toward embedded sensing automation and miniaturization for portable smart cost-effective algae monitor[J]. IEEE Sensors Journal, 2021, 21(4): 5230-5239. 本文引用 [1]

13	MUDANYALIO, BISHARAW, OZCANA. Lensfree super-resolution holographic microscopy using wetting films on a chip[J]. Optics Express, 2011, 19(18): 17378-17389. 本文引用 [1]

14	ZHANGJ, CHENQ, LIJ, et al. Lensfree dynamic super-resolved phase imaging based on active micro-scanning[J]. Optics Letters, 2018, 43(15): 3714. 本文引用 [2]

15	TIAND, YUN, LIZ, et al. A super-resolution scanning algorithm for lensless microfluidic imaging using the dual-line array image sensor[J]. PLoS One, 2020, 15(6): e235111. 本文引用 [4]

16	张华, 曹良才, 金国藩, 等. 基于压缩感知算法的无透镜数字全息成像研究[J]. 激光与光电子学进展, 2020, 57(8): 9-19. ZHANGH, CAOL C, JING F, et al. Progress on lensless digital holography imaging based on compressive holographic algorithm[J]. Laser & Optoelectronics Progress, 2020, 57(8): 9-19. (in Chinese) 本文引用 [2]

17	ZUOC, CHENQ, GUG, et al. Laplacian reconstruction of one single hologram using two different reconstruction distances or wavelengths[J]. Chinese Optics Letters, 2012, 10(6): 50-53. 本文引用 [1]

18	GUOC, ZHANGF, GENGY, et al. High-quality multi-wavelength lensfree microscopy based on nonlinear optimization[J]. Optics and Lasers in Engineering, 2021, 137(2): 10640. 本文引用 [2]

19	COSKUNA F, SENCANI, SUT, et al. Wide-field lensless fluorescent microscopy using a tapered fiber-optic faceplate on a chip[J]. The Analyst, 2011, 136(17): 3512. 本文引用 [1]

王相海, 赵晓阳, 毕晓昀, 等. 小波域多角度轮廓模板变分模型的单幅图像超分辨率重建[J]. 电子学报, 2018, 46(9): 2256-2262.

WANG

X H

, ZHAO

X Y

, BI

X Y

, et al. Single image super-resolution reconstruction approach based on multi-angle contour templates variational calculus model in wavelet domain[J]. Acta Electronica Sinica, 2018, 46(9): 2256-2262. (in Chinese)

本文引用 [1]

21	张成, 程鸿, 张芬, 等. 单次曝光频域振幅编码压缩成像[J]. 电子学报, 2014, 42(7): 1262-1267. ZHANGC, CHENGH, ZHANGF, et al. Single-exposure frequency-domain amplitude encoding compressive imaging[J]. Acta Electronica Sinica, 2014, 42(7): 1262-1267. (in Chinese) 本文引用 [1]

22	李展, 陈清亮, 彭青玉, 等. 基于MAP的单帧字符图像超分辨率重建[J]. 电子学报. 2015, 43(1): 191-197. LIZ, CHENQ L, PENGQ Y, et al. MAP-based single-frame super-resolution reconstruction for character image[J]. Acta Electronica Sinica, 2015, 43(1): 191-197. (in Chinese) 本文引用 [1]

23	任福全, 邱天爽, 韩军, 等. 基于二阶广义全变差的多帧图像超分辨率重建[J]. 电子学报, 2015, 43(7): 1275-1280. RENF Q, QIUT S, HANJ, et al. Multiframe image super resolution based on second order total generalized variation[J]. Acta Electronica Sinica, 2015, 43(7): 1275-1280. (in Chinese) 本文引用 [1]

24	唐艳秋, 潘泓, 朱亚平, 等. 图像超分辨率重建研究综述[J]. 电子学报. 2020, 48(7): 1407-1420. TANGY Q, PANH, ZHUY P, et al. A survey of image super-resolution reconstruction[J]. Acta Electronica Sinica, 2020, 48(7): 1407-1420. (in Chinese) 本文引用 [1]

25	ZUOC, SUNJ, ZHANGJ, et al. Lensless phase microscopy and diffraction tomography with multi-angle and multi-wavelength illuminations using a LED matrix[J]. Optics Express, 2015, 23(11): 14314. 本文引用 [2]

26	FANGY, YUN, JIANGY. Super-Resolution Lensless Imaging of Cells Using Brownian Motion[J]. APPLIED SCIENCES-BASEL, 2019, 9(10): 2080. 本文引用 [1]

27	DaiL, LiJ, YuN. Cell image reconstruction for a lens-free imaging system based on linear array sensor[C]//Proceedings of the IEEE International Conference on Electron Devices and Solid-State Circuits, Xi'an: IEEE, 2019: 1-3. 本文引用 [1]

28	王伍娟. 基于片上细胞检测系统的细胞图像超分辨率技术的研究[D]. 西安: 西安理工大学, 2018. WANGW J. Research on Cell Image Super-Resolution Technology Based on On-Chip Cell Detection System[D]. Xi'an: Xi'an University of Technology, 2018. 本文引用 [1]

29	方元. 无透镜显微成像及细胞检测关键技术研究[D]. 西安: 西安理工大学, 2019. FANGY. Research on The Key Techniques of Lens-Less Microscopic Imaging and Cell Detection[D]. Xi'an: Xi'an University of Technology, 2019. 本文引用 [1]

30	王广俊, 王大勇, 王华英. 数字全息显微中常见重建算法比较[J]. 激光与光电子学进展, 2010, 47(3): 83-88. WANGG J, WANGD Y, WANGH Y. Comparison of commonly used numerical reconstruction algorithms in digital holographic microscopy[J]. Laser & Optoelectronics Progress, 2010, 47(3): 83-88. (in Chinese) 本文引用 [2]

31	KUMARS, MAHADEVAPPAM, DUTTAP K. Lensless in-line holographic microscopy with light source of low spatio-temporal coherence[J]. IEEE Journal of Selected Topics in Quantum Electronics, 2021, 27(4): 1-8. 本文引用 [1]

32	CHENL, CHENX, CUIH, et al. Image enhancement in lensless inline holographic microscope by inter-modality learning with denoising convolutional neural network[J]. Optics Communications, 2021, 484 (2): 126682. 本文引用 [1]

33	WUJ, CAOL, BARBASTATHISG. DNN-FZA camera: A deep learning approach toward broadband FZA lensless imaging[J]. Optics Letters, 2021, 46(1): 130-133.

34	ZHOUH, FENGH, HUZ, et al. Lensless cameras using a mask based on almost perfect sequence through deep learning[J]. Optics Express, 2020, 28(20): 30248-30262. 本文引用 [1]

35	戎路, 王大勇, 王云新,等. 同轴数字全息中的相位恢复算法[J]. 中国激光, 2014, 41(2): 63-72. RONGL, WANGD Y, WANGY X, et al. Phase retrieval methods in in-line digital holography[J]. Chinese Journal of Lasers, 2014, 41(2): 63-72. (in Chinese) 本文引用 [1]

36	ROSTENE, DRUMMONDT. Machine learning for high-speed corner detection[C]//Proceedings of the 9th European Conference on Computer Vision. Graz: Springer, 2006: 430-443. 本文引用 [1]

37	FANGY, YUN, JIANGY, et al. High-precision lens-less flow cytometer on a chip[J]. Micromachines, 2018, 9(5): 227. 本文引用 [1]

38	ZHANGJ, SUNJ, CHENQ, et al. Adaptive pixel-super-resolved lensfree in-line digital holography for wide-field on-chip microscopy[J]. Scientific Reports, 2017, 7(1): 11715-11777. 本文引用 [1]

基金

国家自然科学基金(61771388)

PDF(4082 KB)

1383

Accesses

Citation

Detail

段落导航

本文亮点
HeighLight
关键词
Key words
引用本文
1 引言
2 扫描成像模型的抽象与分析
图1 扫描成像模型的流程图
2.1 成像过程的数学抽象
图2 细胞图像与双线阵的初始位置
图3 细胞在t时刻所处的位置
2.2 边界条件
图4 纵向的四种边界情况示意图
图5 横向边界条件示意图
2.3 扫描成像模型的仿真
表1 流速对比仿真中圆形图案的流动参数
图6 圆形图案流速对比的仿真结果
表2 流向对比仿真中圆形图案的流动参数
图7 圆形图案流向对比的仿真结果
3 扫描图像重构模型
图8 扫描图像重构过程的流程图
图9 分段区间的自动检测算法流程图
图10 实心圆图案扫描图像的速度点检测
3.1 坐标变换关系
图11 图像重构过程中坐标系的建立
图12 物体流过线阵的数学模型
3.2 像素值插值计算
图13 物体上a点在线阵扫描图像上的映射关系
图14 物体上a点最近的四点在物体图像映射关系
3.3 扫描图像重构模型的仿真
表3 双线阵扫描成像仿真中的部分参数
图15 线条图案的仿真测试结果
表4 双线阵和面阵系统下线条图案成像的客观评价
4 验证与分析
4.1 双线阵扫描成像验证方案
图16 双线阵扫描成像结构验证测试方案
图17 系统测试的实验平台
图18 染色标记下微球样品的二维聚焦
4.2 微球测试结果分析
图19 双线阵扫描成像系统下20μm微球的测试结果
4.3 红细胞及白细胞测试结果分析
图20 双线阵扫描成像系统下红细胞的成像结果
图21 双线阵扫描成像系统下白细胞的成像结果
图22 双线阵系统和面阵系统下热力图对比
5 小结
参考文献
基金

收稿日期	修回日期	出版日期
2021-07-19	2022-04-19	2022-10-25
在线预览日期	发布日期
2022-07-18	2022-10-11

模态框（Modal）标题

选择文件类型/文献管理软件名称

选择包含的内容

本文亮点

HeighLight

关键词

Key words

引用本文

1 引言

2 扫描成像模型的抽象与分析

图1 扫描成像模型的流程图

2.1 成像过程的数学抽象

图2 细胞图像与双线阵的初始位置

图3 细胞在t时刻所处的位置

2.2 边界条件

图4 纵向的四种边界情况示意图

图5 横向边界条件示意图

2.3 扫描成像模型的仿真

表1 流速对比仿真中圆形图案的流动参数

图6 圆形图案流速对比的仿真结果

表2 流向对比仿真中圆形图案的流动参数

图7 圆形图案流向对比的仿真结果

3 扫描图像重构模型

图8 扫描图像重构过程的流程图

图9 分段区间的自动检测算法流程图

图10 实心圆图案扫描图像的速度点检测

3.1 坐标变换关系

图11 图像重构过程中坐标系的建立

图12 物体流过线阵的数学模型

3.2 像素值插值计算

图13 物体上a点在线阵扫描图像上的映射关系

图14 物体上a点最近的四点在物体图像映射关系

3.3 扫描图像重构模型的仿真

表3 双线阵扫描成像仿真中的部分参数

图15 线条图案的仿真测试结果

表4 双线阵和面阵系统下线条图案成像的客观评价

4 验证与分析

4.1 双线阵扫描成像验证方案

图16 双线阵扫描成像结构验证测试方案

图17 系统测试的实验平台

图18 染色标记下微球样品的二维聚焦

4.2 微球测试结果分析

图19 双线阵扫描成像系统下20μm微球的测试结果

4.3 红细胞及白细胞测试结果分析

图20 双线阵扫描成像系统下红细胞的成像结果

图21 双线阵扫描成像系统下白细胞的成像结果

图22 双线阵系统和面阵系统下热力图对比

5 小结

{{custom_sec.title}}

{{custom_sec.title}}

参考文献

{{custom_fnGroup.title_cn}}

脚注

基金

图13 物体上 $a$ 点在线阵扫描图像上的映射关系