1 绪论
1.1 研究背景及意义
当今体育行业,运动员竞技水平的提升使得仅凭人眼很难准确的对高速运动的球类赛事进行判罚,而鹰眼系统的出现使得这类高速运动的球类赛事的公平、公正性问题得以有效解决,比赛过程中若运动员对司线员的判罚提出异议,只需利用鹰眼系统的即时回放功能即可查证。据相关研究统计数据显示,高速运动的球类赛事中裁判误判率比其他常规比赛的误判率要高,而对于赛事主办方引入了鹰眼系用的比赛,误判率明显下降,且裁判和球员冲突发生的概率也大大降低了。
鹰眼系统对于那些高速球类比赛来讲,称得上是一次技术革命,它的出现使得这些球类比赛的司线员可以从巨大的压力中得到解脱,因为对于赛事参与的任何一方而言,鹰眼系统的判决不偏袒任何一方,它的判罚结果相对而言更具说服力,因为它完全依靠的计算机系统进行判断。鹰眼系统又称“即时回放系统”,最初它的使用主要是用于对赛事司线员和裁判业务能力的考评,随着系统的判定精度的不断提高,现如今在一些大型赛事上也开始出现鹰眼系统的身影。在运用了鹰眼的赛事中,对于运动员提出的异议,裁判当场就可以根据鹰眼系统记录的数据进行判罚,而在那些没有引入鹰眼系统的赛事中,运动员和裁判之间因为犯规问题以及边界求判罚问题经常产生争论,甚至导致时一些冲突发生进而造成不可预估的后果。
本文在基于对鹰眼系统的研究,设计并实现了一套基于高速摄像的鹰眼三维可视化系统,该系统具有良好的可移植性和平台兼容性,不仅能够以交互式的方式展示实时的比赛三维场景,辅助裁判对于边界球的判罚,而且能够帮助运动员训练时分析对手的击球方式和策略,提升网球比赛质量。
......................
1.2 计算机视觉技术
近年来计算机视觉技术发展迅速,其被广泛的应用与各个场景。其基本原理是运用计算机信息处理系统通过相应的程序和算法实现计算的数字化以及场景结构的定量分析,进而实现对图像的分析测量。它的发展经历了逐渐由二维到现在三维转变。
最初计算机视觉技术的研究重点主要在于对二维图像的识别和处理,希望通过计算机技术来模拟人体的感知,在视觉分类上大多采用模式识别的方法,如分析纤维图和航测图、识别光学特征以及检测产品表面质量等。这些早期研究为计算机视觉技术的迅猛发展奠定了一定的基础。
随后,计算机视觉技术的研究开始逐渐过渡到对复杂的物体研究分析上,在 20 世纪 60 年代,罗伯茨首次提出物体是由棱柱、立方体、楔子等多面体构成的,即他著名的三维场景“积木世界”理论[1-2]。基于这一理论,国内外相关研究人员在 20 世纪 70年代中期提出了较为系统的计算视觉理论,对计算机视觉技术领域产生了重要影响。该理论的主要是利用二维图像数据构建还原物体的三维形状,基于该理论系统,计算机视觉技术的研究取得许多具有重要影响的研究成果。在上世纪 80 年代早期,计算机视觉技术相关研究人员引入了信息论的观点,结合图像处理以及神经生理学领域的最新研究成果,进而构建了现代计算机视觉理论框架的雏形。
基于该理论可将计算机图像处理分为三个阶段:预处理、中期处理和后期处理(见图1.1)。在进行图像处理之前,利用图像滤波和边缘检测技术对输入系统的原始图像进行预处理,得出目标物体的相关图像数据;中期处理阶段主要是还原原始图像所处场景的2.5D 图像,比如轮廓、深度以及法线方向等;后期处理阶段主要是完成对原始图像的三维解析。然而,该理论构建的模型难以从相机拍摄的二维图像中恢复物体的三维形状状态,也无法量化物体运动科学的形式。
................................
2 系统架构设计
2.1 系统功能概述
鹰眼三维可视化系统对于网球场景而言,它具有以下的特点:
(1)利用网球的“鹰眼”三维可视化系统对边界球和争议球的三维场景再现,辅助裁判判罚;借助其三维可视化技术辅助运动员训练、分析对手击球策略提高比赛质量。
(2)系统的设计主要是基于计算机视觉技术,通过场地周围布置的摄像系统得到网球运动的三维空间信息,然后进行三维重建。用的主要技术包括摄像机标定技术、图像的处理技术、网球空间三维坐标精确求取技术以及三维重建技术等。
(3)系统总体包括体系结构搭建、现场规划、硬件结构调试安装、场地建模、算法设计以及最后的集成调试等。
(4)整套系统设计预期指标是准确跟踪和判断网球的着陆点,能够通过虚拟现实技术精确的再现网球运动轨迹。
.............................
2.2 系统整体方案设计
鹰眼三维可视化系统基于计算视觉技术实现,其主要步骤大致可分为以下几步:
1) 通过摄像机捕捉网球的运动二维图像。
2) 并对这些数据进行分析处理得到网球在成像平面上坐标数据。
3) 利用两幅或多幅图像得出的同一时刻网球在成像平面上的坐标数据还原演算出网球的世界坐标。
4) 将网球运动的空间三维坐标计算得出后存入数据库系统。
5) 利用 3D Max 搭建网球运动场地模型。
6) 然后将上述步骤得到的相关模型数据导入 Unity3D 引擎,搭建网球运动场景。
7) 通过挂载 C#脚本从数据库中将网球的世界坐标数据导入 Unity3D 引擎。8) 借助 Unity3D 平台的多相机视角功能,多方位展示网球落点。
9) 最后打包发布为包括网络云平台在内的各主流平台的客户端版本。
系统的具体开发流程如图 2.1 所示。

图 2.1 鹰眼三维可视化系统开发流程图
3 相机标定······································ 15
3.1 相机成像原理···························15
3.1.1 空间坐标系之间的关系···························16
3.1.2 相机理论成像模型··························· 20
4 网球运动二维图像检测及处理···························· 30
4.1 运动目标检测方法概述······································30
4.2 基于混合高斯模型的背景差分法······························31
4.3 图像去噪···························· 32
5 网球关键信息解算·······························36
5.1 网球成像圆心坐标精确求取························· 36
5.1.1 极线约束································ 36
5.1.2 特征提取与立体匹配··························37
6 三维可视化设计
6.1 网球场地建模
3D Max 是一款动画编辑和三维建模软件,目前已经在各行各业被广泛应用。网球场地的三维建模是整个系统的基础,利用 3D Max 进行场地建模的主要方法有基础建模法、多边形建模法、修改器建模法、复合对象建模法等。为使场地模型达到更加逼真的效果,采用的多边形建模法再配合其他建模法进行搭建,并利用光照烘焙和纹理贴图设置材质和渲染输出。网球场地三维模型如图 6.1 所示。

图 6.1 网球场地模型
7 总结与展望
7.1 总结
本文通过对鹰眼系统的研究,介绍国内外相关研究现状,重点探讨了相机标定技术、网球运动二维图像检测技术、网球成像圆心坐标的精确求取技术、网球空间三维坐标的求取以及网球运动轨迹曲线拟合,最后借助 3D Max、Unity3D 平台实现网球运动的三维可视化并分析了将其部署为网络云平台的关键技术要点。主要结论如下:
(1)利用相机标定技术、精确求取成像圆心技术及立体匹配技术的作为基础,求取网球成像二维球心坐标,得到了预期的实验结果。
(2)利用像素坐标系、图像坐标系、相机坐标系、世界坐标系及各坐标系之间的关系结合相关算法较为精确的求解网球相关数据,且提高了计算效率,为后续系统的实际应用奠定了一定的基础。
(3)基于张正友相机标定理论的棋盘格相机标定法对实验使用的相机进行标定,较为精确的求解出了相机的内外参数,提高了系统最后的计算精度。
(4)对相机采集到的实验数据运用基于混合高斯模型的背景差分法进行运动目标检测,得出的数据再对其进行图像去噪较好的完成了对图像数据的预处理。
(5)通过极线约束原理对二值化图像进行特征提取与匹配,进而将两部相机的同步帧图像再次进行去干扰处理,然后分析并消除求取网球成像圆心的主要误差来源,再根据求得二维图像的圆心坐标利用最小二乘法解算网球三维空间坐标,对网球运动曲线数据进行拟合,提高对图像数据的处理效率。
(6)得到网球的空间三维坐标及其运动轨迹数据以后,基于 Unity3D 平台实现“鹰眼”系统的三维可视化,最后介绍部署网络云平台的技术要点及原理,使系统能够让用户可以通过安装有浏览器的 PC 端和移动端来访问 Web 服务器在线体验该系统。
参考文献(略)