[00360596]大数据存储优化与复杂分析关键技术应用

该项目针对关系型数据库的扩展问题，展开大数据存储优化与复杂分析关键技术的研究，主要包括多结构数据的融合，高性能处理，复杂分析，融合平台架构设计，以及可靠应用等。解决的关键技术难题有： (1)融合非共享集群MPP和MapReduce架构，提出新的大数据统一分析平台体系结构，同时具有高性能、高扩展性、高容错性和非结构化数据处理能力，在各个类型数据之间建立必要的联系，对其进行联合分析，获得更全面的数据分析结果。 (2)设计MapReduce查询优化器，将Map函数和Reduce函数重写成优化的SQL查询语句，并利用数据库索引执行查询，大大提高查询执行效率。 (3)将内存分析技术引入高性能大数据分析系统中，大幅提升大数据分析系统的执行性能，为PB级数据的复杂分析提供技术保障。 该项目突破了传统技术的封锁和瓶颈，解决了非共享集群的融合架构问题，设计查询优化器以重写成优化的SQL查询语句，大大提高查询执行效率，同时将内存分析技术引入高性能大数据分析系统中，为数据的复杂分析提供技术保障。在各项关键技术研究的基础上，设计并实现基于大数据统一分析平台系统。其研究成果已经应用于住建和公安领域，经时间检验，社会效益和经济效益显著，具有极其广泛的市场推广价值。 该项目获得2个授权发明专利，3项软件著作权，围绕该项目发表8篇论文。