[01232315]基于关键字的大规模地理数据查询方法的研究

1. 课题来源与背景 随着基于地理位置服务的兴起,需要将许多位置信息和与位置相关的关键字信息结合在一起为用户提供各种定制化服务。空间数据库查询与处理得到了广泛和深入的研究,最近邻查询、反向最近邻查询等实际生活中有诸多应用的空间查询问题得到了解决,许多经典的算法被提出。同时空间数据增长迅速,传统的数据处理方式不能满足大量数据的分析处理需求,为了满足日益增长的信息需求,选择合适的大数据分析处理平台尤其重要。传统的数据处理系统将数据存储于外存中,再进行数据处理解决问题,当传统数据处理平台处理大数据时,其计算能力的不足会导致系统性能随着数据量的增大而急剧下降,在实际应用中并不适用。因此对于此类问题的研究已经成为一个具有重要科学意义和应用价值的研究课题。主要研究计划为空间近似反远邻查询方法研究和对空间范围查询的优化研究。 2.研究目的与意义 地理数据的应用呈现出下面两个特性：（1）应用多样性;（2）数据海量性。 作为基于位置服务的核心技术之一,空间数据的查询与处理一直是地理信息系统领域研究的热点。如相似性查询（similarity search）是地理数据上最基本的查询操作,得到了深入的研究。近年来由于各种新型基于位置服务的出现,一些新的相似性查询的变种也得到了广泛的研究。在目前的许多基于位置的服务中,除了考虑空间位置的信息外,有时还需要考虑其他一些属性。这些属性一般以关键字的形式保存成文本。在本项目中,我们把空间位置信息和以文本形式保存的属性信息统称为地理数据。 第二,地理数据的海量性。随着数据采集设备的多样化,自动化程度和精度的不断提高,许多地理数据被采集整合到基于位置的服务中来,数据量已经从TB级迅速发展到PB级甚至更高的数量级。对这些大规模数据的存储,查询和处理将给空间数据库和GIS的研究带来更大的挑战。 因此,如何拓展现有的地理数据查询的方法以提供更多新的基于位置的服务,如何应用现有的云计算和大数据技术解决海量地理数据的查询问题是一个具有重要科学意义和应用价值的研究课题。 3.主要论点与论据 本项目拟对地理数据三类查询问题进行系统地探索和研究,具体研究内容如下： 1)欧式空间的聚合相似性查询 2)路网上的聚合相似性查询 3)带有关键字的空间相似查询和连接 4.创见与创新 本项目将数据库领域的多种查询类型与大规模地理数据相结合,其中提到的结合关键字的欧式空间和路网兴趣点的聚合相似性查询、空间相似查询和连接等多个查询问题的定义都是本项目首次提出的。 本项目创新性的在文本结合空间数据查询处理引入云计算技术与方法,在存储和计算方面都要求新的研究方法以满足大规模数据处理的要求。此项目将为基于关键字的大规模地理数据查询奠定关键性的理论与应用基础。 5.社会经济效益,存在的问题 本项目中深入研究欧式空间和路网上的空间查询,带关键字的空间相似查询和连接,对于如何拓展现有的地理数据查询的方法以提供更多新的基于位置的服务,如何应用现有的云计算和大数据技术解决海量地理数据的查询问题进行深入研究, 在本项目中的研究,涉及到算法优化、系统优化等,所实现的研究方案,代表了时空数据库、计算机应用研究领域的发展方向。经过3年的攻关形成的研究成果,对研究时空数据库和空间范围查询具有进一步的研究价值,并逐步形成空间数据的研究思路。能够优化对于传统的数据处理系统的数据存储与数据处理能力有限,不能满足处理大量数据的需求等问题。充分发挥数据的价值,能够高效、高性能地处理大量数据集,研究提出基于Spark系统结合SIMBA的思路共同建立的大数据分析处理系统,基于SparkSQL的查询方式进行检索,在Spark中嵌入索引管理机制,将其封装在RDD内,用于提高查询效率;通过建立线段树存储数据的方式提高数据检索的效率。对于数据预处理时采用RangcPartitioner分区策略的方式对数据进行分区,基于全局过滤和局部索引进行查询。保证该系统在进行查询操作时能够保持高吞吐量和低延迟特性,提高查询效率。 6.历年获奖情况 无。 7.成果简介 基于位置的服务在人们的生产和生活各个领域得到了广泛的应用。此类应用除了需要处理空间位置信息外,还需要处理以关键字形式存在的文本信息。例如,位置社交网络服务允许用户查找距离当前位置一定范围内的并且包含用户感兴趣主题（关键字）的好友更新等。目前,对此类问题的研究还处于起步阶段。一方面,现存的查询和数据处理方法都是集中式的,不适合对大规模数据进行处理;另一方面,有很多新的应用需要设计新的查询算法。因此,这类问题已经成为一个具有重要科学意义和应用价值的研究课题。本项目以大规模地理数据为研究对象,将重点研究空间和文本数据的分布式索引结构,设计大规模地理数据的几类查询的分布式算法与选择性估算算法。