查询接口匹配技术中应用DeepWeb的研究

 

        问题提出目前Web技术不断发展，带来了信息的飞速增长，其中蕴含着海量的有价值信息。最新调查显示[’]，目前整个Web超过了200,000TB的信息量，而且仍在快速的增长。Web中的信息主要通过网页的形式对外发布，不同网页的形式和内容差异很大，而且分布在Internet网上任何一个角落，造成了Web数据的异质性和缺乏结构性。由于以上的这些原因，使得自动从海量的Web信息中获取有价值的信息和数据变成一项很具有挑战性的任务。在Web领域的研究目的在于发展新的技术可以有效地从Web中获取有用的信息。到目前为止，为了有效利用Web上信息，所涉及的Web技术有数据挖掘、机器学习、自然语言处理、统计分析、数据库和信息检索等。一图1.1存储在数据库中丰富的DeepWeb信息整个Web按照信息所蕴含的深度分为两类:SurfaceWeb和DeepWeboSurfaceWeb指能被普通搜索引擎利用爬虫程序通过超链接所检索到的信息，这些信息对搜索引擎是可见的。

 

        而对于DeepWeb而言，目前还没有一个统一的定义，一般是指Web中在线可访问的数据库，称为Web数据库。这些内容是由用户通过特定的查询接口提交查询，由后台数据库动态创建返回给访问者的，由于没有超链接指向这些动态页面，因而搜索引擎不能检索到。DeepWeb页面与SurfaceWeb页面在本质上有很大不同，DeepWeb页面内容存储在可访问的数据库中，如图1.1所示。DeepWeb之所以被人们备受关注，主要因为其信息的海量性和专业性。2000年7月，Brightplanet对DeepWeb做了一次较为全面的宏观统计，发布了DeepWeb的白皮书，指出整个Web中大约有43,000-96,000个Web数据库。UIUC大学在2004年4月对整个DeepWeb做了一次较为准确的估算[f21，推测整个Web中有307000个提供Web数据库的网站、450000个Web数据库，比Brightplanet在2000年估计的数据库网站数目增长了3-7倍。以下是从宏观上对DeepWeb做了定量的调查统计，结果表明:(1)整个DeepWeb覆盖了世界的各个领域，例如商业、教育、政府等。但就单个DeepWeb而言，有超过50%的DeepWeb内容是特定于某个领域的，即领域专一化;(2)DeepWeb中的后台数据库大多是结构化的，其中结构化的数据库是非结构化的3.4倍之多;(3)Web数据库查询接口往往位于站点浅层，94%之多的大量Web数据库查询接口可以在站点前3层发现;(4)对DeepWeb的数据访问量比SurfaceWeb要高出15%，其信息质量远远高于SurfaceWeb;(5)DeepWeb上95%的信息是可以公开访问的，即可以免费获取。

 

        目前一些DeepWeb目录服务已经开始索引Web数据库，但是它们的覆盖率比较小，仅为0.2%一15.6%0尽管DeepWeb信息具有如上众多优点，但是由于目前Web数据库存在规模大、自治性、异质性、动态性等问题，要想全面而准确地利用DeepWeb信息并不是一件容易的事，因此对于DeepWeb的研究日益成为研究热点。目前在DeepWeb这个领域，己经建立了一个DeepWeb信息集成系统框架。查询接口匹配是查询接口集成至关重要的一步，也是整个DeepWeb信息集成系统的基础，因此查询接口匹配技术在Deepweb研究领域有着重要地位。目前国内这方面的研究很少。