搜索

x

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于暗瞳图像的人眼视线估计

张太宁 孟春宁 刘润蓓 常胜江

引用本文:
Citation:

基于暗瞳图像的人眼视线估计

张太宁, 孟春宁, 刘润蓓, 常胜江

Eye gaze tracking based on dark pupil image

Zhang Tai-Ning, Meng Chun-Ning, Liu Run-Bei, Chang Sheng-Jiang
PDF
导出引用
  • 虹膜外边缘受眼睑遮挡较为严重时, 会给虹膜中心的准确提取造成很大的困难. 为此, 提出利用放置在相机轴外的红外光源产生的暗瞳图像估计瞳孔中心, 该方法避免了提取虹膜外边缘遇到的遮挡问题. 首先利用角膜反射光斑在相机像面中的位置估计角膜所在球体中心的三维空间坐标, 作为眼球的平动信息; 然后考察瞳孔中心与角膜球体中心在相机成像面投影位置的相对偏移, 作为眼球的转动信息; 最后利用人工神经网络完成视线特征向量与注视点坐标间的映射. 在人眼区域定位的问题上, 利用两部大视场相机, 采用自适应增强算法和主动表观模型算法实现眼部区域的准确定位, 该步骤可以将提取反射光斑和瞳孔中心需要考虑的图像区域限定在较小的范围内. 实验结果表明, 本文视线估计方法在水平方向上的平均误差为0.62, 在竖直方向上的平均误差为1.05, 是解决视线点估计的有效方法.
    The accurate localization of iris center is difficult since the outer boundary of iris is often occluded significantly by the eyelids. In order to solve this problem, an infrared light source un-coaxial with the camera is used to produce dark pupil image for pupil center estimation. Firstly, the 3D position of the center of cornea curvature, which is used as translational movement information of eyeball, is computed using two cameras and the coordinates of two cornea reflections on the cameras' imaging planes. Then, the relative displacement of pupil center from the projection of the cornea curvature center on 2D image is extracted, describing the rotational movement of the eyeball. Finally, the feature vector is mapped into coordinates of gazing point on the screen using artificial neural network. As for the eye region detection problem, two wide-view webcams are used, and adaptive boosting+active appearance model algorithm is adopted to limit the region of interest within a small area. The result of our experiment shows that the average root-mean-square error is 0.62 in horizontal direction and 1.05 in vertical direction, which demonstrates the effectiveness of our solution in eye gaze tracking.
    • 基金项目: 教育部博士点基金(批准号: 20090031110033)和国家自然科学基金(批准号: 61171027)资助的课题.
    • Funds: Project supported by the Ph.D. Programs Foundation of Ministry of Education of China (Grant No. 20090031110033), and the National Natural Science Foundation of China (Grant No. 61171027).
    [1]

    Liu S S, Rawicz A, Rezaei S, Ma T, Zhang C, Lin K, Wu E 2012 J. Med. Biol. Eng. 32 111

    [2]

    Lim C J, Kim D 2012 Sens. Actuators A: Phys. 185 151

    [3]

    Corcoran P M, Nanu F, Petrescu S, Bigioi P 2012 IEEE Trans. Consum. Electr. 58 347

    [4]

    Laura S S, Villanueva A, Cabeza R 2012 IEEE Trans. Biomed. Eng. 59 2235

    [5]

    Ebisawa Y 1998 IEEE Trans. Instrum. Meas. 47 948

    [6]

    Villanueva A, Cabeza R 2008 IEEE Trans. Biomed. Eng. 55 2812.

    [7]

    Nagamatsu T, Kamahara J, Iko T, Tanaka N 2008 Proceedings of the 2008 symposium on Eye tracking research & applications Savannah, Georgia, March 26-28, 2008 p95

    [8]

    Guestrin E D, Eizenman M 2006 IEEE Trans. Biomed. Eng. 53 1124

    [9]

    Zhu Z W, Ji Q 2007 IEEE Trans. Biomed. Eng. 54 2246

    [10]

    Nagamatsu T, Iwamoto Y, Kamahara J, Tanaka N, Yamamoto M 2010 Proceedings of the 2010 symposium on Eye tracking research & applications Austin, Texas, March 22-4, 2010 p255

    [11]

    Arun K S, Huang T S, Blostein S D 1987 IEEE Trans. Pattern Anal. 9 698

    [12]

    Pogalin E, Redert A, Patras I, Hendriks E A 2006 Proceedings of the 3rd International Symposium on 3D Data Processing, Visualization, and Transmission Chapel Hill, North Carolina, June 14-16, 2006 p57

    [13]

    Matthews I, Baker S 2004 Int. J. Comput. Vision 60 135

    [14]

    Zhang W, Cheng B, Zhang B 2012 Acta Phys. Sin. 61 060701 (in Chinese) [张伟, 成波, 张波 2012 物理学报 61 060701]

    [15]

    Zhang Z T, Zhang J S 2010 Chin. Phys. B 19 104601

    [16]

    Viola P, Jones M J 2004 Int. J. Comput. Vision 57 137

    [17]

    Zhang L, Chu R F, Xiang S M, Lian S C, Li S Z 2007 Proceedings of 2007 International Conference on Biometrics Seoul, Korea, August 27–29, 2007 p11

    [18]

    Wang J G, Sung E, Venkateswarlu R 2005 Comput. Vis. Image Und. 98 83

    [19]

    Zhang C, Chi J N, Zhang Z H, Wang Z L 2010 Acta Automatica Sinica 36 1051 (in Chinese) [张闯, 迟健男, 张朝晖, 王志良 2010 自动化学报 36 1051]

  • [1]

    Liu S S, Rawicz A, Rezaei S, Ma T, Zhang C, Lin K, Wu E 2012 J. Med. Biol. Eng. 32 111

    [2]

    Lim C J, Kim D 2012 Sens. Actuators A: Phys. 185 151

    [3]

    Corcoran P M, Nanu F, Petrescu S, Bigioi P 2012 IEEE Trans. Consum. Electr. 58 347

    [4]

    Laura S S, Villanueva A, Cabeza R 2012 IEEE Trans. Biomed. Eng. 59 2235

    [5]

    Ebisawa Y 1998 IEEE Trans. Instrum. Meas. 47 948

    [6]

    Villanueva A, Cabeza R 2008 IEEE Trans. Biomed. Eng. 55 2812.

    [7]

    Nagamatsu T, Kamahara J, Iko T, Tanaka N 2008 Proceedings of the 2008 symposium on Eye tracking research & applications Savannah, Georgia, March 26-28, 2008 p95

    [8]

    Guestrin E D, Eizenman M 2006 IEEE Trans. Biomed. Eng. 53 1124

    [9]

    Zhu Z W, Ji Q 2007 IEEE Trans. Biomed. Eng. 54 2246

    [10]

    Nagamatsu T, Iwamoto Y, Kamahara J, Tanaka N, Yamamoto M 2010 Proceedings of the 2010 symposium on Eye tracking research & applications Austin, Texas, March 22-4, 2010 p255

    [11]

    Arun K S, Huang T S, Blostein S D 1987 IEEE Trans. Pattern Anal. 9 698

    [12]

    Pogalin E, Redert A, Patras I, Hendriks E A 2006 Proceedings of the 3rd International Symposium on 3D Data Processing, Visualization, and Transmission Chapel Hill, North Carolina, June 14-16, 2006 p57

    [13]

    Matthews I, Baker S 2004 Int. J. Comput. Vision 60 135

    [14]

    Zhang W, Cheng B, Zhang B 2012 Acta Phys. Sin. 61 060701 (in Chinese) [张伟, 成波, 张波 2012 物理学报 61 060701]

    [15]

    Zhang Z T, Zhang J S 2010 Chin. Phys. B 19 104601

    [16]

    Viola P, Jones M J 2004 Int. J. Comput. Vision 57 137

    [17]

    Zhang L, Chu R F, Xiang S M, Lian S C, Li S Z 2007 Proceedings of 2007 International Conference on Biometrics Seoul, Korea, August 27–29, 2007 p11

    [18]

    Wang J G, Sung E, Venkateswarlu R 2005 Comput. Vis. Image Und. 98 83

    [19]

    Zhang C, Chi J N, Zhang Z H, Wang Z L 2010 Acta Automatica Sinica 36 1051 (in Chinese) [张闯, 迟健男, 张朝晖, 王志良 2010 自动化学报 36 1051]

  • [1] 魏连锁, 李华, 吴迪, 郭媛. 基于BP神经网络模型时钟同步误差补偿算法. 物理学报, 2021, 70(11): 114203. doi: 10.7498/aps.70.20201641
    [2] 陈江芷, 杨晨温, 任捷. 基于波动与扩散物理系统的机器学习. 物理学报, 2021, 70(14): 144204. doi: 10.7498/aps.70.20210879
    [3] 彭向凯, 吉经纬, 李琳, 任伟, 项静峰, 刘亢亢, 程鹤楠, 张镇, 屈求智, 李唐, 刘亮, 吕德胜. 基于人工神经网络在线学习方法优化磁屏蔽特性参数. 物理学报, 2019, 68(13): 130701. doi: 10.7498/aps.68.20190234
    [4] 院琳, 杨雪松, 王秉中. 基于经验知识遗传算法优化的神经网络模型实现时间反演信道预测. 物理学报, 2019, 68(17): 170503. doi: 10.7498/aps.68.20190327
    [5] 林飞飞, 曾喆昭. 不确定分数阶时滞混沌系统自适应神经网络同步控制. 物理学报, 2017, 66(9): 090504. doi: 10.7498/aps.66.090504
    [6] 郭业才, 周林锋. 基于脉冲耦合神经网络和图像熵的各向异性扩散模型研究. 物理学报, 2015, 64(19): 194204. doi: 10.7498/aps.64.194204
    [7] 赵永平, 王康康. 具有增加删除机制的正则化极端学习机的混沌时间序列预测. 物理学报, 2013, 62(24): 240509. doi: 10.7498/aps.62.240509
    [8] 李承, 石丹, 邹云屏. 一种具有正弦基函数权值的反馈型神经网络模型. 物理学报, 2012, 61(7): 070701. doi: 10.7498/aps.61.070701
    [9] 李盼池, 王海英, 戴庆, 肖红. 量子过程神经网络模型算法及应用. 物理学报, 2012, 61(16): 160303. doi: 10.7498/aps.61.160303
    [10] 缪志强, 王耀南. 基于径向小波神经网络的混沌系统鲁棒自适应反演控制. 物理学报, 2012, 61(3): 030503. doi: 10.7498/aps.61.030503
    [11] 赵海全, 张家树. 混沌通信系统中非线性信道的自适应组合神经网络均衡. 物理学报, 2008, 57(7): 3996-4006. doi: 10.7498/aps.57.3996
    [12] 王兴元, 赵 群. 一类不确定延迟神经网络的自适应投影同步. 物理学报, 2008, 57(5): 2812-2818. doi: 10.7498/aps.57.2812
    [13] 张 敏, 胡寿松. 不确定时滞混沌系统的自适应动态神经网络控制. 物理学报, 2008, 57(3): 1431-1438. doi: 10.7498/aps.57.1431
    [14] 王瑞敏, 赵 鸿. 神经元传输函数对人工神经网络动力学特性的影响. 物理学报, 2007, 56(2): 730-739. doi: 10.7498/aps.56.730
    [15] 崔万照, 朱长纯, 刘君华. 薄膜场发射开启电场的小波神经网络预测模型研究. 物理学报, 2004, 53(5): 1583-1587. doi: 10.7498/aps.53.1583
    [16] 谭 文, 王耀南. 不确定混沌系统的直接自适应模糊神经网络控制. 物理学报, 2004, 53(12): 4087-4091. doi: 10.7498/aps.53.4087
    [17] 关新平, 唐英干, 范正平, 王益群. 基于神经网络的混沌系统鲁棒自适应同步. 物理学报, 2001, 50(11): 2112-2115. doi: 10.7498/aps.50.2112
    [18] 神经网络的自适应删剪学习算法及其应用. 物理学报, 2001, 50(4): 674-681. doi: 10.7498/aps.50.674
    [19] 于丽娟, 朱长纯. 用人工神经网络预测场发射开启电场. 物理学报, 2000, 49(1): 170-173. doi: 10.7498/aps.49.170
    [20] 马余强, 张玥明, 龚昌德. Hopfield神经网络模型的恢复特性. 物理学报, 1993, 42(8): 1356-1360. doi: 10.7498/aps.42.1356
计量
  • 文章访问数:  3607
  • PDF下载量:  1186
  • 被引次数: 0
出版历程
  • 收稿日期:  2013-02-06
  • 修回日期:  2013-03-20
  • 刊出日期:  2013-07-05

基于暗瞳图像的人眼视线估计

  • 1. 南开大学现代光学研究所, 天津 300071
    基金项目: 教育部博士点基金(批准号: 20090031110033)和国家自然科学基金(批准号: 61171027)资助的课题.

摘要: 虹膜外边缘受眼睑遮挡较为严重时, 会给虹膜中心的准确提取造成很大的困难. 为此, 提出利用放置在相机轴外的红外光源产生的暗瞳图像估计瞳孔中心, 该方法避免了提取虹膜外边缘遇到的遮挡问题. 首先利用角膜反射光斑在相机像面中的位置估计角膜所在球体中心的三维空间坐标, 作为眼球的平动信息; 然后考察瞳孔中心与角膜球体中心在相机成像面投影位置的相对偏移, 作为眼球的转动信息; 最后利用人工神经网络完成视线特征向量与注视点坐标间的映射. 在人眼区域定位的问题上, 利用两部大视场相机, 采用自适应增强算法和主动表观模型算法实现眼部区域的准确定位, 该步骤可以将提取反射光斑和瞳孔中心需要考虑的图像区域限定在较小的范围内. 实验结果表明, 本文视线估计方法在水平方向上的平均误差为0.62, 在竖直方向上的平均误差为1.05, 是解决视线点估计的有效方法.

English Abstract

参考文献 (19)

目录

    /

    返回文章
    返回