但行好事
莫论前程❤

大数据

hadoop集群安装手册-刘鹏博客

hadoop集群安装手册

阅读(195)评论(0)赞(1)

安装步骤 上传hadoop安装包. rz 解压文件到/data文件夹下 root $ mkdir /data hadoop $ sudo chown hadoop:hadoop /data # 修改data文件夹拥有者和所属组 hadoop...

关闭Hadoop集群时提示no xxx to stop-刘鹏博客

关闭Hadoop集群时提示no xxx to stop

阅读(176)评论(0)赞(0)

​ 今天迁移机器的时候,需要手动关闭所有的机器。那么关机之前当然是要先安全的关闭hadoop的相关服务,但是由于这个集群不是我搭建的,发现有些机器在关闭集群的时候出现no xxx to stop,就我发现的来说有namenode,journ...

hive查看表类型:外部表,内部表-刘鹏博客

hive查看表类型:外部表,内部表

阅读(204)评论(0)赞(0)

我知道的有两个方法: 第一种方法是 进入hive,执行 describe extended tablename; 查看表的详细信息。 如果是外部表,在详细信息的最后一行,会输出 tableType:EXTERNAL_TABLE 如果是内部表...

hive常用命令-刘鹏博客

hive常用命令

阅读(364)评论(0)赞(0)

创建新表 hive> CREATE TABLE t_hive (a int, b int, c int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\$'; 创建表的时候同时赋值 hive&...

hadoop/spark关闭钩子研究--ShutdownHookManager-刘鹏博客

hadoop/spark关闭钩子研究–ShutdownHookManager

阅读(376)评论(0)赞(0)

引子:在使用spark和hadoop的时候,遇到一些进程退出时的报错。因此顺便研究了一下jvm以及一些开源框架的关闭钩子的机制。这篇文章不涉及底层native实现,仅限Java层面 1.jvm关闭钩子 注册jvm关闭钩子通过Runtime....