来自原野
- 浏览: 21633 次
- 来自: 深圳
-
文章列表
[Hadoop大数据]——Hive连接JOIN用例详解
http://www.cnblogs.com/xing901022/p/5804836.html
清空表数据
insert overwrite table t_table1 select * from t_table1 where 1=0;
建表
create table test_part (id int,name string,no int) partitioned by (dt string) row format delimited fields terminated by '\t' stored as ...
Maven Hive-Jdbc教程
- 博客分类：
- hive
Maven Hive-Jdbc教程
http://www.cnblogs.com/ae6623/p/5686504.html
http://blog.csdn.net/jethai/article/details/52345271
sqoop1.4.6安装
- 博客分类：
- sqoop
sqoop1.4.6安装
http://blog.csdn.net/linlinv3/article/details/49589615
sqoop import --connect jdbc:mysql://u13:3306/hive --username hive --password hive --table test --hive-import --hive-overwrite --hive-table testt --fields-terminated-by '\t'
Sqoop-1.4.4工具import和export使用详解
http://shiyanjun ...
mysql在linux下的安装
http://www.cnblogs.com/bookwed/p/5896619.html
#启动mysql
spark-1.2.0 集群环境搭建
http://blog.csdn.net/stark_summer/article/details/42458081
管理界面
http://u13:8080/
Spark Idea Maven 开发环境搭建
http://www.cnblogs.com/fillPv/p/5882364.html
scala + intellij idea 环境搭建及编译、打包
http://www.cnblogs.com/yjmyzz/p/4694219.html
Idea scala plugin
https:/ ...
Hive 三种配置方式
- 博客分类：
- hive
hive on spark安装(hive2.3 spark2.1)
https://blog.csdn.net/Dante_003/article/details/72867493
Hive metastore三种配置方式
https://www.cnblogs.com/snowbook/p/5886438.html
http://blog.csdn.net/reesun/article/details/8556078 (服务端，客户端及服务客户一并配置，3种样例) ...
Hadoop hdfs命令
- 博客分类：
- hadoop
hdfs fsck /home/hive/warehouse/music_rec.db/fact_user_events_all -files -blocks
Format the filesystem:
$ bin/hdfs namenode -format
Start NameNode daemon and DataNode daemon:
$ sbin/start-dfs.sh
The hadoop daemon log output is written to the $HADOOP_LOG_DIR director ...
Hadoop完全分布式安装
- 博客分类：
- hadoop
Hadoop2.6.2完全分布式集群HA模式安装配置详解
http://blog.csdn.net/ltliyue/article/details/51144381
http://www.open-open.com/lib/view/open1436855630959.html
Hadoop的HA集群启动和停止流程
1. hadoop-daemon.sh start namenode 主节点
2. hdfs namenode -bootstrapStandby 备节点
sbin/hadoop-daemons.sh start zkfc
Hadoop的HA集群启 ...
用户环境变量
vi ~/.bash_profile
Linux添加/删除用户和用户组
du -sh : 查看当前目录总共占的容量。而不单独列出各子项占用的容量
du -lh --max-depth=1 : 查看当前目录下一级子文件和子目录占用的磁盘容量。
查找并删除某天前文件
find . -mtime +30 -name "*.log" -exec rm -rf {} \;
标签: Linux
http://v.youku.com/v_show/id_XMzc5MzM1NDQw.html
VMware keyNY0K2-2ULDJ-LZUP1-MV154-8363F 4F4R4-AEK53-TZYU9-KK9X4-9AWPQ
Hadoop实战_1.avi 链接:http://pan.baidu.com/share/link?shareid=3449193448&uk=808459810 密码:8lw8Hadoop实战_2.avi 链接:http://pan.baidu.com/share/link?shareid=3463589493&uk=808459810 密 ...
转载：http://xumingming.sinaapp.com/410/twitter-storm-code-analysis-acker-merchanism/
Twitter Storm源代码分析之acker工作流程
概述
我们知道storm一个很重要的特性是它能够保证你发出的每条消息都会被完整处理， 完整处理的意思是指：
一个tuple被完全处理的意思是： 这个tuple以及由这个tuple所导致的所有的tuple都被成功处理。而一个tuple会被认为处理失败了如果这个消息在timeout所指定的时间内没有成功处理。
也就是说对于任何一个spout-tu ...
转载：http://xumingming.sinaapp.com/466/twitter-storm-code-analysis-zookeeper-dirs/
Twitter Storm源代码分析之ZooKeeper中的目录结构
我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zookeeper上面写状态信息来分配任务，supervisor，task通过从zookeeper中读状态来领取任务，同时supervisor, task也会定义发送心跳信息到zookeeper， 使得nimbus可以监控整个storm集群的状态， 从而可以 ...
转载：http://xumingming.sinaapp.com/483/twitter-storm-code-analysis-local-dir/
Twitter Storm源代码分析之Nimbus/Supervisor本地目录结构
我们知道，storm集群里面工作机器分为两种一种是nimbus, 一种是supervisor, 他们通过zookeeper来进行交互，nimbus通过zookeeper来发布一些指令，supervisor去读zookeeper来执行这些指令，具体nimbus和supervisor在zookeeper上交换了哪些信息可以看一下这篇文章: Twitter ...
转载：http://xumingming.sinaapp.com/647/twitter-storm-code-analysis-topology-execution/
我们通过前面的文章(Twitter Storm源代码分析之ZooKeeper中的目录结构)知道了storm集群里面nimbus是通过zookeeper来给supervisor发送指令的，并且知道了通过zookeeper到底交换了哪些信息。 那么一个topology从提交到执行到底是个什么样的过程？nimbus和supervisor到底做了什么样的事情呢？本文将带你去探寻这些答案。
代码列表
nimbus.clj
s ...
转载：http://xumingming.sinaapp.com/727/twitter-storm-code-analysis-tuple-send-proc/
这篇文章里面我们来看一下Storm里面的tuple到底是如何从一个tuple是怎么从一个bolt到另一个bolt上去的。
首先Bolt在发射一个tuple的时候是调用OutputCollector的emit或者emitDirect方法，
而这两个方法最终调用的是clojure代码里面的mk-transfer-fn方法:
帮助123456 ； worker.clj (defn mk-transfer-fn [transfer-qu ...