大数据-HBase

原创 于 2019-05-11 23:47:47 发布 · 323 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#HBase #安装HBase集群 #HBase架构图

HBase

Apache HBase是一个一个开源的，分布式的，可扩展的非关系数据库

HBase的集群角色：HMaster和HRegionServer

HBase架构图

在这里插入图片描述

  1. Client访问HBase上的数据并不需要HMaster参与
  2. 寻址访问ZooKeeper和HRegionServer
  3. 数据读写访问HRegionServer
  4. HMaster仅仅维护Table和Region的元数据信息
  5. Table的元数据信息保存在ZooKeeper上
  6. 一个HRegionServer会有多个HRegion和一个HLog
  7. HRegionServer中有基于LRU的Block Cache机制
  8. 每个Table一般只有一个HRegion，Table的每个Column对应一个Store，每个Store都会有一个MemStore和0或多个StoreFile，每个StoreFile都会对应一个HFile，HFile就是实际的存储文件
HMaster
  • 对RegionServer监控
  • 处理一些元数据的变更
  • 对RegionServer进行故障转移
  • 空闲时对数据进行负载均衡
  • 对region进行管理
  • HDFS上的垃圾文件回收
  • 发布位置到客户端借助于zookeeper
HRegionServer
  • 存储HBase实际的数据
  • 刷新缓存数据到HDFS
  • 处理Region
  • 可以进行压缩
  • 对Hlog进行维护
  • 对region分片
HRegion
  • 每个表一般只有一个HRegion
  • 当HRegion的某个ColumnFamily达到一个阀值（默认256M）时就会分成两个新的HRegion
Store
  • 每一个HRegion由一个或多个Store组成
  • 每个ColumnFamily对应一个Store
  • 一个Store由一个MemStore和0或者多个StoreFile组成
  • HBase以Store的大小来判断是否需要切分HRegion
MemStore
  • MemStore 是放在内存里，保存的数据格式为key-value
  • 当MemStore的大小达到一个阀值（默认64MB）时，MemStore会被Flush到StoreFile文件
StoreFile
  • MemStore内存中的数据溢出写到StoreFile文件
  • StoreFile底层是以HFile的格式保存
HFile

在这里插入图片描述

  • 二进制格式文件
  • 不定长的，长度固定的是Trailer和FileInfo
  • Trailer中有指针指向其他数据块的起始点
  • FileInfo记录了文件的一些meta信息，不能被压缩
  • 每个Data块的大小可以在创建一个Table的时候通过参数指定（默认块大小64KB）
  • 每个Data块除了开头的Magic，就是一个个Key-Value对拼接而成
  • Magic是一些随机数字，为了防止数据损坏
  • 大号的Block有利于顺序Scan，小号的Block利于随机查询
  • Data Block和Meta Block可以被压缩，大大减少网络IO和磁盘IO
HLog
  • HLog记录数据的操作
  • 一旦RegionServer宕机，就可以从Log中进行恢复
定位HRegion的三层结构
  1. 通过zk里的文件/hbase/rs得到-ROOT-表的位置。-ROOT-表只有一个region
  2. 通过-ROOT-表查找.META.表的第一个表中相应的HRegion位置。其实-ROOT-表是.META.表的第一个region，META.表中的每一个Region在-ROOT-表中都是一行记录
  3. 通过.META.表找到所要的用户表HRegion的位置。用户表的每个HRegion在.META.表中都是一行记录

安装HBase集群

（1）解压hbase-2.1.4-bin.tar.gz压缩包

tar -xvzf hbase-2.1.4-bin.tar.gz

（2）配置conf文件夹下的hbase-env.sh文件

export JAVA_HOME=/usr/local/java/jdk1.8.0_11
export HBASE_MANAGES_ZK=false

（3）配置conf文件夹下的hbase-site.xml文件

<configuration>
        <!-- 设置NameNode所在位置，通过rootdir设置，也就是设置HDFS中存放的路径 -->
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://hadoop1:9000/hbase</value>
        </property>
        <!-- 是否开启集群 -->
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <!-- 默认端口为60000 -->
        <property>
                <name>hbase.master.port</name>
                <value>16000</value>
        </property>
        <!-- zookeeper集群的位置 -->
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
        </property>
        <!-- hbase的云数据信息存储在zookeeper的位置 -->
        <property>
                <name>hbase.zookeeper.property.dataDir</name>
                <value>/usr/local/zookeeper/data</value>
        </property>
</configuration>

（4）配置conf文件夹下的regionservers文件

# 配置集群服务器名
hadoop1
hadoop2
hadoop3

（5）软链接core-site.xml和hdfs-site.xml

ln -s /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/core-site.xml
ln -s /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

（6）替换lib文件夹下的hadoop的jar包

原：

在这里插入图片描述

新：

# 移除lib文件夹下hadoop的jar包
rm -f hadoop-*

在这里插入图片描述

（7）ssh发送到其他服务器

scp -r hbase hadoop2:/usr/local/
scp -r hbase hadoop3:/usr/local/

（8）启动HBase

# 同时启动hmaster和regionserver
start-hbase.sh
# 单个启动
hbase-daemon.sh start master
hbase-daemon.sh start regionserver
# 交互式启动
hbase shell

（9）输入网址IP地址:16010

在这里插入图片描述

CentOs7网卡配置文件修改无效
06-28
代码转载自：https://pan.quark.cn/s/8ce4326d996e 对于在 CentOS 7 系统中修改网卡配置文件后无法使设置生效的情况，经过实践验证，可以通过使用 nmcli 命令来进行调整。完成修改之后，需要重新启动虚拟机以使更改生效，这样操作流程即告完成。如果设置仍然无法生效，则表明虚拟机在启动过程中所获取的 IP 地址配置并非针对 eth0，此时可以对其它网卡的配置文件进行修改或将其移除。在 CentOS 7 系统中，网络配置的管理机制与早期版本存在差异，主要体现为采用了 Network Manager 服务来负责网络接口的管理。在某些情形下，尽管修改了 `/etc/sysconfig/network-scripts` 目录下的 `ifcfg-eth0` 文件，但网络配置却未能即时生效。此类问题的发生通常源于 CentOS 7 采用了不同于以往的配置读取方法。接下来将具体阐述如何借助 nmcli 命令来处理这一挑战。 以 root 用户身份登录系统并打开终端界面。nmcli 是 Network Manager 提供的命令行界面工具，它支持在命令行环境下执行网络连接的建立、编辑、查询及管理任务。针对修改 eth0 网卡配置的需求，可以遵循以下步骤进行操作： 1. 导航至 `/etc/sysconfig/network-scripts` 目录： ``` cd /etc/sysconfig/network-scripts ``` 2. 检查该目录内是否存在 `ifcfg-eth0.bak` 文件，该备份文件可能是先前调整配置时遗留下来的，若存在可能造成冲突。若发现该文件，可以选择将其删除： ``` [root@localhost netw...
网络管理教程入门至精通软件.txt
06-28
代码转载自：https://pan.quark.cn/s/46fd08fb879c 网管教程 从入门到精通软件篇 ★一。★详尽的xp修复控制台指令及其应用!!! 放入xp（2000）的光盘，安装时选择R，执行修复！ Windows XP（涵盖 Windows 2000）的控制台指令是在系统遭遇某些意外状况时的一种极具效用的诊断、检测以及恢复系统功能的工具。笔者确实一直期望能够将这方面的指令进行归纳，此次由老范辛苦整理了这份极具价值的秘籍。 Bootcfg bootcfg 命令用于启动配置与故障恢复（对大多数计算机而言，即 boot.ini 文件）。 带有特定参数的 bootcfg 命令仅在运用故障恢复控制台时方可使用。能够在命令行界面下运用带有不同参数的 bootcfg 命令。 用法： bootcfg /default 设定默认引导选项。 bootcfg /add 向引导清单中增添 Windows 安装。 bootcfg /rebuild 重复整个 Windows 安装流程并让用户选择需添加的项目。 注意：运用 bootcfg /rebuild 之前，应先借助 bootcfg /copy 命令备份 boot.ini 文件。 bootcfg /scan 探查用于 Windows 安装的全部磁盘并展示结果。 注意：这些结果被静态存储，并用于当前会话。若在当前会话期间磁盘配置发生变动，为获取更新的探查结果，必须先重启计算机，然后再次探查磁盘。 bootcfg /list 列示引导清单中已有的项目。 bootcfg /disableredirect 在启动引导程序中禁用重定向。 bootcfg /redirect [ PortBaudRrate] |[ useBio...
Ansible playbook register参数详解[项目代码]
06-28
本文详细介绍了Ansible中register关键字的使用方法。register用于捕获任务输出并存储为变量，支持后续任务调用和条件判断。文章从基本用法入手，展示了如何通过shell模块注册变量并访问其stdout、stderr、rc等字段。接着讲解了基于register变量的条件判断，如使用stat模块检查文件存在性。针对复杂输出，介绍了通过Jinja2模板引擎访问嵌套字典和列表的方法，例如获取Docker容器状态。还涵盖了多任务注册，通过loop循环结合register批量处理文件检查。此外，文章说明了ignore_errors与register的配合使用，允许任务失败时仍捕获输出。最后通过实际示例演示了如何获取Python包列表并过滤版本号大于3.0的包。register功能强大，能显著提升Playbook的灵活性和健壮性。
鸿蒙App开发全流程实战[可运行源码]
06-28
本文介绍了《鸿蒙App开发全流程实战》一书，该书基于鸿蒙3.0操作系统，面向Web前端开发者，详细讲解了鸿蒙App开发的完整流程。内容涵盖鸿蒙操作系统背景、技术架构、开发环境搭建、JavaScript组件开发、分布式多终端App实战（如计划管理软件）、服务卡片、原子化服务、流转功能等。书中包含大量代码示例和视频讲解，并附赠源码及PPT。文章还提供了赠书活动信息，鼓励读者关注、点赞、收藏和评论以参与抽奖。作者为华为云特约编辑、CSDN博客专家，拥有丰富的开发经验。
易语言源码易语言考勤辅助工具源码
06-28
易语言源码易语言考勤辅助工具源码
YOLO算法英镑纸币目标检测数据集-400张-标注类别为二十英镑.zip
06-28
【注：该页面底部资源详情处，可查看数据集可视化效果】 1. YOLO目标检测数据集， 适用于YOLOV5、yolov7,yolov8, yolov11, yolov13, yolo26等系列算法，含标签，已标注好，可以直接用来训练，包含YOLO格式标签和VOC格式标签； 2. 内置data.yaml数据集配置文件，已经划分好了训练集、验证集等； 3. 数据集和模型具体情况可参考 https://blog.csdn.net/zhiqingAI/article/details/124230743?spm=1001.2014.3001.5502
摄像头AA制程-下载即用.zip
06-28
代码下载链接： https://pan.quark.cn/s/fc524f791b68 AA制程，即Active Alignment，被理解为主动对准，是一种用于确定零部件装配中相对位置的方法。在摄像头封装阶段，涉及图像传感器、镜座、马达、镜头、线路板等多个部件的重复组装，而传统的封装设备如CSP及COB等，均是依据设备设定的参数进行零部件的移动装配，因而零部件的叠加误差会逐渐增大，最终在摄像头上表现为拍照最清晰的位置可能偏离画面中心、四边清晰度不均等现象。伴随智能手机和其他高端电子产品的普及，摄像头模组的性能正日益受到重视。高分辨率、卓越的低光表现以及稳定视频输出是现代用户所期望的。在摄像头模组的制造环节，各部件的精准定位对成像质量具有决定性作用。因此，一种名为“AA制程”（Active Alignment）的前沿技术被开发出来，成为摄像头精密对准的核心技术。 AA制程，即Active Alignment，是一种在摄像头封装过程中应用的主动对准方法。该方法在多个组件装配阶段发挥作用，涵盖图像传感器、镜座、马达、镜头和线路板等部件。传统的封装方式，例如CSP（Chip Scale Package）和COB（Chip On Board），依赖于设备预设的参数进行组装，但随着组件数量的增加，误差也会累积，最终影响摄像头的表现。例如在成像质量上可能出现中心位置偏移、四角清晰度不一致等问题。 AA制程技术的核心在于实时监测与主动调整。在组装过程中，它借助先进的检测设备持续监控半成品的状态，并根据实时信息对组装部件进行精确修正，从而显著降低装配误差。通过这种技术，能够确保摄像头模组中各组件的相对位置准确无误，从而使得最终的成像效果更加稳定，特别是在中心区域和四角的清晰度上...
安卓程序古诗500首卡片式-墨韵诗笺安卓apk程序
06-28
在快节奏的数字时代，古诗词仿佛一缕清泉，润泽着浮躁的心灵。“墨韵诗笺”便是一款以水墨风格呈现的单机古诗词鉴赏应用，收录了从先秦到清代共 500 首经典诗词，旨在为用户打造一座掌上诗词桃源。它不仅提供了朝代分类浏览、卡片翻转译注、本地收藏书架等核心体验，更通过细腻的水墨视觉和流畅的交互，让古典之美在现代屏幕上复活。 ———————————————— 版权声明：本文为CSDN博主「海兰」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/hadoop_/article/details/162396551
Cisco Packet Tracer 校园网设计
06-28
打开链接下载源码： https://pan.quark.cn/s/a4b39357ea24 这是一个针对中小型校园网络环境的网络构建方案，借助Packet Tracer仿真软件来完成网络配置工作，并且融合了多种先进的技术手段。 在此方案中，通过运用VLAN技术来达成学校不同部门之间的网络区域划分；借助链路捆绑技术来增强核心层的网络传输速率与运行稳定性；借助RSTP协议来提升网络在发生故障时的切换效率，同时防止出现网络环路及广播风暴现象；借助思科公司的HSRP协议来确保网关设备的高可用性；通过设置ACL访问控制列表来管控不同部门网络之间的互访权限；通过部署NAT网络地址转换技术来处理内部网络设备访问外部网络和公网IP地址资源不足的情况；通过配置OSPF动态路由协议并结合默认路由引入功能，来确保内部网络设备之间的互联互通以及访问外部互联网的路径选择问题；同时在网络架构中集成了无线路由设备，为校园网络中的无线终端用户提供了WIFI接入服务。 该网络架构具备完善的各项功能，并且配置流程说明详尽，适合作为课程设计或毕业设计的参考范例，但未经合法授权严禁用于商业目的。
易语言源码易语言酷按钮模块3.2源码
06-28
易语言源码易语言酷按钮模块3.2源码
＜数据集＞yolo 垃圾桶满溢识别＜目标检测＞
最新发布
06-28
YOLO与VOC格式的垃圾桶满溢识别数据集，适用于YOLO系列、Faster Rcnn、SSD等模型训练，类别：overflow、garbage、garbage_bin，图片数量3349。文件中包含图片、txt标签、指定类别信息的yaml文件、xml标签，已将图片和txt标签划分为训练集、验证集和测试集，可直接用于YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9、YOLOv10、YOLOv11、YOLOv12、YOLOv13、YOLOv26等YOLO系列算法的训练。
光子晶体90度弯曲波导的2D FDTD（Matlab代码实现）
06-28
内容概要：本文介绍了一套基于Matlab实现的光子晶体90度弯曲波导的二维时域有限差分法（2D FDTD）仿真代码，旨在通过数值模拟手段深入研究光子晶体波导中的光传播特性。该资源聚焦于电磁场与光子学领域的仿真技术应用，系统实现了FDTD算法在复杂介质结构中的建模过程，涵盖空间网格剖分、时间步进迭代、完美匹配层（UPML）边界条件处理、总场散射场（TFSF）激励源设置、介电常数分布定义及电磁场演化可视化等核心模块，能够有效分析光在90度弯曲波导中的传输效率、模式分布与反射损耗等关键性能指标。; 适合人群：具备电磁场理论基础和Matlab编程能力的研究生、科研人员以及从事光子晶体器件设计与仿真的工程技术人员。; 使用场景及目标：①用于教学演示FDTD方法的基本原理与算法流程，帮助理解麦克斯韦方程的离散化求解过程；②支撑科研工作中对光子晶体弯曲波导结构的传输特性进行仿真分析与性能优化；③作为开发更复杂光子集成器件（如分束器、滤波器）数值仿真工具的基础框架； 阅读建议：建议使用者结合经典FDTD教材（如Taflove著作）深入理解算法理论，并在Matlab环境中逐模块调试代码，重点关注电场与磁场的交替更新过程、UPML吸收边界的设计实现以及TFSF源的引入方式，从而全面提升对时域电磁仿真机制的掌握与应用能力。
Idea2025 Tomcat控制台乱码解决[可运行源码]
06-28
该内容针对IntelliJ IDEA 2025版本中运行Tomcat时控制台打印字符出现乱码的问题，提供了一种特定的解决方案。解决方法是进入运行配置（Run > Edit Configurations > Tomcat Server），在VM options参数中添加`-Dfile.encoding=UTF-8`，通过设置JVM的文件编码为UTF-8来确保控制台输出字符的正确显示。此方法直接针对Tomcat项目进行特殊处理，能有效解决因编码不一致导致的乱码问题。
arduino-ide-2.3.10-Linux-64bit.AppImage
06-28
arduino-ide_2.3.10_Linux_64bit.AppImage
六招搞定core dump问题[源码]
06-28
本文详细介绍了在Linux C++开发中调试core dump问题的六种实用方法。首先，通过代码review和打印log夹逼，适合简单代码和快速定位；其次，使用dmesg和addr2line组合，即使core文件未生成也能定位问题；第三，strace结合addr2line，通过系统调用追踪异常；第四，valgrind工具能检测内存错误并指出具体行号；最后，gdb调试是核心技能，可直接运行程序并查看堆栈信息。文章以示例程序演示了每种方法，强调gdb的重要性，并建议开发者掌握多种调试技巧以提高效率。
易语言源码易语言卷帘菜单快速启动
06-28
易语言源码易语言卷帘菜单快速启动
直驱式永磁同步电机矢量控制仿真模型研究（Simulink仿真实现）
06-28
内容概要：本文围绕直驱式永磁同步电机（PMSM）的矢量控制仿真模型展开研究，基于Simulink平台构建了完整的电机控制系统仿真模型，涵盖电机本体建模、坐标变换（如Clark变换与Park变换）、磁场定向控制（FOC）、电流环与速度环的PI调节、空间矢量脉宽调制（SVPWM）等核心技术环节，旨在实现对电机转矩与转速的高精度、动态响应良好的控制。通过系统化仿真验证控制策略的有效性与鲁棒性，深入分析各模块间的信号流向与控制逻辑，为电机驱动系统的设计与优化提供理论依据和技术支撑，是理论联系工程实践的重要桥梁。; 适合人群：具备电机学、电力电子与自动控制基础知识，熟悉Simulink/MATLAB仿真环境，从事电气工程、自动化、新能源车辆、智能制造等方向的研究生、科研人员及工程技术人员。; 使用场景及目标：①深入理解永磁同步电机矢量控制的核心原理与系统架构；②掌握在Simulink中从零开始搭建复杂电机控制系统的方法与技巧；③应用于课程设计、毕业论文、科研项目中的控制算法验证、参数整定与性能优化；④为后续的硬件在环（HIL）测试或实物系统开发奠定仿真基础。; 阅读建议：建议结合经典电机控制理论教材同步学习，注重理论推导与仿真实现的对应关系，动手实践模型搭建、参数调试与波形分析，特别关注PI控制器参数整定对系统稳定性、动态响应速度和抗干扰能力的影响，通过反复仿真迭代加深对控制机理的理解。
易语言源码易语言开机启动模块源码
06-28
易语言源码易语言开机启动模块源码
SVN入门指南(简洁版)
06-28
代码下载地址： https://pan.quark.cn/s/a4b39357ea24 Subversion，即 SVN，是一种在软件开发行业中普遍应用的版本管理工具。它支持团队成员之间的协作，用于管理和监控项目文件的历史版本，并保证多人同时编辑时的数据一致性。本指南将深入讲解 SVN 的核心概念、主要目录的权限设置、用户身份验证方式以及基础操作步骤，是初学者入门的理想学习资料。 一、SVN概述 SVN的中心是版本库，它负责存储所有文件和目录，并构建成文件树的结构。版本库能够允许多个客户端进行连接，执行数据的读取或写入。用户可以通过写操作将自己的修改同步至版本库，而其他用户则可以通过读操作来查看这些变更。这种集中式的版本管理机制使团队协作更加高效和有序。 二、SVN的访问权限配置 在 SVN 系统中，不同的用户或用户团队会被分配不同的访问权限。以质量管理部门的 SVN 实例为例： - 主管朱猛、张凯峰、吕鑫、张颂、马凌具备读写权限。 - 员工陈玲及其他成员仅拥有读权限。 - 项毓毅享有读写权限，主管团队则只有读权限。 - 张凯峰同样拥有读写权限，而其他同事仅能进行读取操作。 三、登录凭证 用户在访问 SVN 时，需要使用基于姓名拼音的用户名和符合特定规则的密码。例如，用户张三的登录名设定为"zhangs"，密码为"zhangs#123"，这样的设置旨在简化记忆和管理工作。 四、基础操作指南 1. 安装 SVN 客户端：本教程推荐采用 TortoiseSVN 进行安装，可以从指定的 FTP 地址获取安装包。 2. 读取操作： - 项毓毅和管理团队可以直接检出到"质量管理部"目录。 - 其他员工需要分别检出到"部门财富库"和"产品线管理"子目录，因为他们无法访问"部...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值