简介:随着网络技术的快速发展,存储网络中的海量数据已经超越了传统关系型数据库的负载能力.如何存储海量数据,以及如何基于海量数据提供高效的数据查询的能力,使得程序的使用者能够得到及时的回应等诸多问题是Google等网络服务供应商们所亟需解决的挑战.为了解决这些问题,Google研发了Coogle文件系统(GoogleFileSystem,GFS)、Bigtable以及很多其他相关的技术和算法.本文介绍了GoogleBigtable的数据模型,并且详细解释了Bigtable是如何提供可扩展性,如何提供高效率的读和写操作,以及Bigtable是如何控制并发事务的.读者通过阅读可以更加深刻地理解Bigtable的技术架构.
简介:本刊讯由谢长生、曹强、吴非、谭志虎、万继光、黄建忠等人组成的“进化海量存储系统关键技术与实现方法”项目组针对海量网络存储系统,在数据组织方式和组织策略上提出了多项发明技术。针对存储系统物理和逻辑的组织方式是一种静态组织结构,不能很好地刻画处于不断变化之中的系统,提出了一种进化存储系统及其进化方法、自适应数据存储优化分布和存储设备数据再生进化方法,获得3项发明专利;还提出了一种存储系统数据分布及互转换和一种基于连续度聚类和时间序列的IO区域预取的方法,申请2项发明专利。针对数据存储安全性,提出了一种在内核态文件系统层的加密读写和一种用于存储系统的全局缓存管理的方法,申请2项发明专利。以上技术都已投入使用,从多角度提高了网络存储系统的性能,提供了多种关键技术缓解I/O瓶颈的方法。采用部分上述技术和方法形成的“采用零拷贝技术的多协议磁盘阵列控制器”为国内首款具有自主知识产权的磁盘阵列硬件控制器,并已成功应用于军用加固磁盘阵列和民用磁盘阵列系统中。
简介:摘要:近年来,大数据处理技术和海量地理信息存储技术在测绘工程中得到了广泛的应用,在测绘工程中发挥着重要的作用。它们不仅能够提高数据的处理和存储效率,还能够提供更好的数据分析和应用支持。基于此,本文章对测绘工程中的大数据处理与海量地理信息存储技术进行探讨,以供参考。
简介:摘要:近年来,随着大数据处理技术与海量地理信息存储技术的不断发展和完善,其在测绘工程领域的应用已变得日益广泛,发挥着举足轻重的作用。这些技术的应用不仅显著提升了数据处理与存储的效率,更为测绘工程中的数据分析和实际应用提供了强有力的支持。鉴于此,本文将对测绘工程中涉及的大数据处理与海量地理信息存储技术进行深入探讨,以期为读者提供有益的参考与启示。