搜索到2305篇“ HADOOP分布式文件系统“的相关文章
- 在Hadoop分布式文件系统中存储数据的方法和设备
- 本公开的各实施例的目的是提供一种在Hadoop分布式文件系统中存储数据的方法、设备、计算机程序产品和计算机程序存储介质。其中，按照各表分区的数据访问频率，将其分为冷数据、温数据或热数据，其中，所述冷数据、所述温数据以及所...
- 叶壹力王强杨竞霜
- 一种基于Hadoop分布式文件系统的数据分发方法和装置
- 本发明涉及数据处理技术领域，提供了一种基于Hadoop分布式文件系统的数据分发方法和装置。方法包括：在每个周期开始时，计算已写入到服务器中的数据的大小，根据已写入到服务器中的数据的大小，计算服务器的空间占用率，根据各服务...
- 王化民 张本军 孙昌燕
- Hadoop分布式文件系统及其运行方法、修复方法
- 本发明的实施例提供一种Hadoop分布式文件系统及其运行方法、修复方法，数据处理技术领域，可以更高频且更多的保存元数据序列，增强数据的安全性。一种Hadoop分布式文件系统，包括：第一名称节点、与第一名称节点连接的第二名...
- 樊林
- 针对大数据分析的多hadoop分布式文件系统
- 本发明公开了针对大数据分析的多hadoop分布式文件系统，涉及信息技术行业数据库技术领域，在不改变用户环境下拥有的数个分散的原始HDFS文件存储系统的前提下，创立聚合节点HDFS文件存储系统，并且作为一个开放应用程序编程...
- 陈磊杨云峰
- 一种Hadoop分布式文件系统的服务访问白名单的方法及装置
- 本发明提供了一种Hadoop分布式文件系统的服务访问白名单的方法及装置，该方法通过链接注册器、白名单过滤器、链接检查器、链接拒绝器和链接创建器的协同作用，实现了对HDFS客户端访问的精细控制。在连接请求过程中，从客户端解...
- 陶钰昕王帅阳李航
- 一种针对Hadoop分布式文件系统的存储优化方法
- 本发明公开了一种针对Hadoop分布式文件系统的存储优化方法，具体为：首先，选取INFO级别日志文件，所选取的日志文件包含具体执行时间戳和文件名信息，获取INFO级别日志文件的访问记录和删除记录；将IFNO级别日志中所有...
- 王周恺贾乔马维纲王怀军曹霆李宇昕王侃
- 基于Hadoop分布式文件系统的地震勘探大数据样本采集及存储优化被引量：13
- 2022年
- 随着油气勘探开发智能化应用越来越成熟、应用场景越来越丰富,大规模应用日益临近,样本的分布式存储、高效采集及并行计算已成为油气勘探开发智能化应用的迫切需求。地震勘探的智能化是油气勘探开发智能化的重要组成部分。针对地震勘探数据具有的单一文件数据量大、非结构化的特点,在分析地震勘探大数据样本采集需求的基础上,提出基于Hadoop分布式文件系统(HDFS)的大文件分割和合并的解决方案,并对地震勘探数据生成3个不同维度的冗余存储,以提升地震勘探样本的采集效率。测试结果表明,基于HDFS的三倍冗余存储方案在数据量迅速增大的情况下,可以有效地提高地震勘探大数据样本的采集效率,从而满足地震勘探智能化应用需求。
- 杨河山张世明曹小朋李春雷姜兴兴
- 关键词：HDFS地震勘探大数据
- 一种数据管理方法及Hadoop分布式文件系统
- 本发明实施例提出一种数据管理方法及Hadoop分布式文件系统，涉及计算机技术领域。该数据管理方法及Hadoop分布式文件系统通过代理节点接收一客户端发起的数据处理请求，并在代理节点上基于预建立的哈希模型、数据处理请求确定...
- 张期莲
- 一种针对Hadoop分布式文件系统的存储优化方法
- 本发明公开了一种针对Hadoop分布式文件系统的存储优化方法，具体为：首先，选取INFO级别日志文件，所选取的日志文件包含具体执行时间戳和文件名信息，获取INFO级别日志文件的访问记录和删除记录；将IFNO级别日志中所有...
- 王周恺贾乔马维纲王怀军曹霆李宇昕王侃
- 基于Hadoop分布式文件系统的数据备份方法及系统
- 本发明公开了一种基于Hadoop分布式文件系统的数据备份方法及系统，方法包括通过HDFS客户端对文件夹通过快照的方式备份，通过客户端生成文件夹的时间点快照，文件夹内的数据存储至外部存储介质。系统包括HDFS系统以及与该系...
- 段军红靳丹张旭杨波王琼
