学科分类
/ 25
500 个结果
  • 简介:人们都说现在是信息时代,适逢其时,大家均以欣喜的心情迎接跨入21世纪的到来。信息是企业的重要资源,在这数字化的年代,数据就是信息,信息就是知识,掌握知识就有了力量,有了力量就可以占有市场,提高竞争能力。总结来说,数据的保存和备份就是整个企业的全部价值。而且,随着人们生活水平的不断提高,信息数据化的量也随之迅速膨胀发展,因此,就提出了一个“海量存储”的实施及数据备份和

  • 标签: 海量数据存储 备份方案 数据备份 信息时代 海量存储 竞争能力
  • 简介:船舶自动识别系统(AIS)数据具有海量性、时空性和小记录频繁更新等特性。面向海量AIS数据,提出了一种基于分布式集群的AIS数据存储方法。该方法对AIS数据存储索引结构进行了设计,通过对时间维按月切分,以及对空间范围聚类切分,构造了索引时空立方体,从而提升了时空查询效率。讨论了索引分片和副本设计与数据安全性和系统服务可靠性的关系,分析了时空立方体性能,并针对索引分片与副本数对索引性能的影响,进行了理论分析和试验验证。

  • 标签: 时空索引 船舶自动识别系统 轨迹压缩 数据集群
  • 简介:美国宾夕法尼亚大学研究人员开发出了一种新纳米器件,这种纳米器件能存储10万年的电脑数据,且检索数据的速度比现有的像闪存和微型硬盘之类的便携式存储设备快1000倍,同时比目前的内存技术更省电、存储空间更小。它在一个很小的内存器件中存储数百部高分辨电影,且不用等待数据缓冲就可以下载并播放它们,

  • 标签: 纳米器件 存储设备 内存技术 海量数据 美国宾夕法尼亚大学 研究人员
  • 简介:随着网络技术的快速发展,存储网络中的海量数据已经超越了传统关系型数据库的负载能力.如何存储海量数据,以及如何基于海量数据提供高效的数据查询的能力,使得程序的使用者能够得到及时的回应等诸多问题是Google等网络服务供应商们所亟需解决的挑战.为了解决这些问题,Google研发了Coogle文件系统(GoogleFileSystem,GFS)、Bigtable以及很多其他相关的技术和算法.本文介绍了GoogleBigtable的数据模型,并且详细解释了Bigtable是如何提供可扩展性,如何提供高效率的读和写操作,以及Bigtable是如何控制并发事务的.读者通过阅读可以更加深刻地理解Bigtable的技术架构.

  • 标签: BIGTABLE GFS 关系型数据库
  • 简介:摘 要:随着我国经济发展获得了越来越多显著的成绩,我国城市化建设也在不断地深入,为了更好地促进城市化建设的和谐稳定,国家对于环境保护工作也有了越来越高的要求,必须要提高环境污染治理措施,加强对于各类影响因素的防范能力,建立起有效的环境监测系统,全面提高环境监测水平,这其中建立起海量环境监测数据存储与共享平台将有着十分重要的意义[1]。本文将对海量环境监测数据存储与共享平台的建立的重要性、特点进行分析,并根据自身的工作经验,提出建设该平台的建议,以供业界人士参考。

  • 标签: 环境监测 海量数据 存储 共享 平台建设
  • 简介:为实现高效地存储和管理海量、无序和异构性的数据信息,在分析网络数据存储体系结构和网络数据特点的基础上,设计一种基于Hadoop技术的分布式海量网络数据存储系统平台。该系统平台包含业务接口层、数据服务层和数据数据访问层3层结构,通过使用linux集群技术、分布式并行数据处理技术、存储技术,可以实现高效率、低成本的存储海量数据功能,具有良好的安全性、经济性、易用性和可扩展性。

  • 标签: 海量数据 HADOOP 分布式存储 并行计算
  • 简介:摘要:计算是一种新型的基于互联网的商业计算模型,是多种技术混合演进的结果。具有安全可靠、海量信息存储、快溶方便等特点。图书馆利用云计算的分布式数据存储技术和与之相关的虚拟技术实现对海量数据存储,能降低存储和维护成本,具有所存数据安全可靠。轻松实现不同设备间的数据共享等特点。该文就云计算环境下的图书海量数据存储技术进行研究,剖析现代数字图书馆的主要特征,以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析,并且提出相应的指导性意见。

  • 标签: 云计算 图书馆 海量数据存储 安全性
  • 简介:摘要:基于场景内的物联信息结构及系统分析,本文通过在智能交通场景内(公路、桥梁、公交、停车场等)物联网技术能够自动检测并报告公路、桥梁的“健康状 况”的应用,以及在智能建筑场景内(绿色照明、安全检测等),物联网技术在建筑物照片方面能够实现节能环保的应用,总结出了一套物联网海量异构数据存储及共享的策略,包含知识密度、数据处理、数据分布等存储技术,以及标准化设计、平台共享、标识平台等共享策略。本文通 过总结,为物联网海量异构数据存储与共享的发展提供一份支持。

  • 标签: 物联网 异构数据 存储策略 共享策略
  • 简介:本刊讯由谢长生、曹强、吴非、谭志虎、万继光、黄建忠等人组成的“进化海量存储系统关键技术与实现方法”项目组针对海量网络存储系统,在数据组织方式和组织策略上提出了多项发明技术。针对存储系统物理和逻辑的组织方式是一种静态组织结构,不能很好地刻画处于不断变化之中的系统,提出了一种进化存储系统及其进化方法、自适应数据存储优化分布和存储设备数据再生进化方法,获得3项发明专利;还提出了一种存储系统数据分布及互转换和一种基于连续度聚类和时间序列的IO区域预取的方法,申请2项发明专利。针对数据存储安全性,提出了一种在内核态文件系统层的加密读写和一种用于存储系统的全局缓存管理的方法,申请2项发明专利。以上技术都已投入使用,从多角度提高了网络存储系统的性能,提供了多种关键技术缓解I/O瓶颈的方法。采用部分上述技术和方法形成的“采用零拷贝技术的多协议磁盘阵列控制器”为国内首款具有自主知识产权的磁盘阵列硬件控制器,并已成功应用于军用加固磁盘阵列和民用磁盘阵列系统中。

  • 标签: 海量存储系统 存储技术 进化方法 磁盘阵列控制器 网络存储系统 数据组织方式
  • 简介:本文主要是针对关系型数据库的信息管理系统在处理海量数据存储与检索方面的一些可选方案进行探讨与分析,并结合实际应用,分别从分布式数据存储、动态表、索引、查询语句优化等4个方面对海量数据存储与检索给出可行的优化配置解决方案。

  • 标签: 海量数据 分布式存储 检索 优化
  • 简介:随着电脑行业的飞速发展,存储领域经历着不断的革新——硬盘容量已经发展到250GB;转速从56400发展到10000rpm。当然,应用软件所需的存储空间也在不断攀升,3.5"软盘早已不能满足移动存储要求。那么目前市场上存在的移动存储方案到底哪种最适合你呢?

  • 标签: 硬盘容量 光盘 刻录机 刻录速度 闪盘 存储设备
  • 简介:评价信息系统好坏的首要标准是要保证安全。保障信息安全有很多技术手段,大部分技术方法都是预防性的。限制、预防的手段对于系统安全是不够的,一旦遇到问题必须要能够进行事后排查,追根溯源,数据审计就是一种事后审查的方法。信息系统要能够通过数据审计方法事后排查问题,必然要求在系统设计、开发和实施过程中。采取预先设置的技术方案。

  • 标签: 数据审计 信息数据 信息系统 信息安全 事后审查 预防性
  • 简介:CKV(CloudKeyValue)是腾讯自主研发的分布式存储系统,服务于QQ空间、朋友网、相册、音乐等核心业务,日访问量超过万亿次。本刊3月期《腾讯CKV海量分布式存储系统:日访问过万亿次背后的技术挑战》一文中,全面剖析7CKV的实现原理和技术挑战。本文则将从部署架构、质量、效率和成本四个方面来讲述CKV的运营实践。

  • 标签: 分布式存储系统 腾讯 运营 自主研发 QQ空间 核心业务
  • 简介:摘要:随着互联网的不断发展,数字信息正在呈爆炸式增长,如何高效地处理和存储海量数据成为一个亟待解决的问题。分布式文件系统 HDFS为当前众多主流的分布式应用提供了稳定的存储层服务,有着非常良好的扩展性和容错性.但是 HDFS 是为大文件的存储和流式访问而设计的,海量小文件的存储将会极大地消耗 NameNode 的内存从而影响性能。在查询性能上优于 HBase,高效地实现了 HDFS 下海量小文件的存储、管理和检索,MDCI 方案适用于需要在 HDFS 下存储、管理和查询包含多维元信息并且文件数随时间线性递增的海量小文件存储应用。

  • 标签: HDFS 海量小文件 索引
  • 简介:摘要随着信息技术特别是网络技术的飞速发展,人们收集、存贮、传输数据的能力不断提高。数据出现了爆炸性增长,与此形成鲜明对比的是对决策有价值的知识却非常匮乏。知识发现与数据挖掘技术正是在这一背景下诞生的一门新学科。数据挖掘要在实际应用中发挥作用,高性能挖掘算法和数据挖掘软件平台是重要的技术基础。文章以数据挖掘最基本问题、频繁模式与关联规则挖掘为切入点,研究高时间效率、高空间可伸缩性的挖掘算法和分布,异质、海量数据的协同挖掘软件模型,并探讨了数据挖掘过程中的隐私保护问题。

  • 标签: 信息技术 电子工程 数据挖掘 技术研究
  • 简介:摘要:近年来,大数据处理技术和海量地理信息存储技术在测绘工程中得到了广泛的应用,在测绘工程中发挥着重要的作用。它们不仅能够提高数据的处理和存储效率,还能够提供更好的数据分析和应用支持。基于此,本文章对测绘工程中的大数据处理与海量地理信息存储技术进行探讨,以供参考。

  • 标签: 测绘工程 大数据处理技术 海量地理信息存储技术
  • 简介:摘要:近年来,随着大数据处理技术与海量地理信息存储技术的不断发展和完善,其在测绘工程领域的应用已变得日益广泛,发挥着举足轻重的作用。这些技术的应用不仅显著提升了数据处理与存储的效率,更为测绘工程中的数据分析和实际应用提供了强有力的支持。鉴于此,本文将对测绘工程中涉及的大数据处理与海量地理信息存储技术进行深入探讨,以期为读者提供有益的参考与启示。

  • 标签: 测绘工程 大数据处理技术 海量地理信息存储技术
  • 简介:海量实时数据存储访问是实时报文存储处理系统存储性能的瓶颈。分析了实时报文的应用场景;构建了实时报文数据访问的时间耗费模型,探讨了系统的主要时间耗费因素;提出了分区存储、批量存取和分页查询三种数据存储访问策略;编程实现了报文数据访问引擎,运用线性回归方法拟合了数据的保存速率。验证表明,该引擎具有高效性、资源占有率低、伸缩性强和稳定可靠的特点。

  • 标签: 报文存储访问 存储性能 分区存储 批量存取 分页查询
  • 简介:远程教育资源具有数据量大,增长迅速的特点,对这些海量数据资源进行低成本存储和基于内容的高效检索,是远程教育云平台建设面临的一大难题。本文基于Hadoop设计了一套对远程教育海量资源进行存储和检索的方法,解决了这个难题。

  • 标签: 云计算 HADOOP 海量数据 远程教育
  • 简介:中国科学技术大学胡衍雷撰提出了一种在双偶氮苯聚合物薄膜中存储数据的新方法。该方法集成了偏振多元和多阶两种当今研究的热门技术,结合双光子技术的超高三维分辨优势,使数据存储由传统的二维发展到四维甚至五维,为信息存储密度向更高的方向发展提供了新思路。

  • 标签: 信息存储 中国科学技术大学 热门技术 光子技术 聚合物 密度