ipip.net 提供datx 格式的IP库文件， 不再提供 dat格式的IP地址库文件更新，
1、为方便用户使用，现统一提供DATX 格式的数据版本，查询性能比 DAT 版本快很多倍，具体请见后台文档说明。
2、本付费服务仅授权于一家公司内使用，如果您需要给关联公司使用，请与我们的售前客服联系。
ipip.net 本身并没有提供Erlang的解析代码，所以就自己参照Python解析代码实现了一个，edatx.
这个实现支持免费版IP库： 17monipdb.datx
1 | % 查询地级市精度的IP库 |
https://github.com/YYChildren/edatx
MooseFS，是千兆级的分布式的文件系统，遵循 POSIX 协议。
https://github.com/moosefs/moosefs
Add the key:
1 | wget -O - https://ppa.moosefs.com/moosefs.key | apt-key add - |
Add an appropriate repository entry in /etc/apt/sources.list.d/moosefs.list:
1 | echo "deb http://ppa.moosefs.com/moosefs-3/apt/ubuntu/xenial xenial main" > /etc/apt/sources.list.d/moosefs.list |
Then run:
1 | apt update |
安装
1 | apt install moosefs-master |
启动
1 | mfsmaster start |
添加host: /etc/hosts
1 | 192.168.8.30 mfsmaster |
安装
1 | apt install moosefs-chunkserver |
在/etc/mfs/mfshdd.cfg 添加1个或多个路径，作为分区存储数据，例如
1 | /data/database/mfs/chunks1 |
建议使用XFS作为底层文件系统
创建目录和授权
1 | mkdir -p /data/database/mfs/chunks1 /data/database/mfs/chunks2 /data/database/mfs/chunks3 |
启动
1 | mfschunkserver start |
安装
1 | apt install moosefs-client |
挂载
1 | mkdir /data/mfs |
可以在/etc/fstab下添加MooseFS 的挂载
1 | mfsmaster: /data/mfs moosefs defaults,mfsdelayedinit 0 0 |
现在，可以切换到 /data/mfs 管理你的文件
安装
1 | apt install moosefs-cgi moosefs-cgiserv moosefs-cli |
启动web监控
1 | mfscgiserv start |
在http://mfsmaster:9425 查看moose文件系统情况
强烈建议在不是master节点的机器上安装至少一个Metalogger, Metalogger 不断地同步和备份元数据。
安装
1 | apt install moosefs-metalogger |
启动
1 | mfsmetalogger start |
在使用erlang 编程的时候，经常需要抽离配置文件。
通常配置方式有以下三种:
1 | KVs = [{1,1}, {2,2}, {3,3}], |
直接通过hql查询字段为json字符串里的值，比如1
获取'{"keyword":1}' 的keyword值 1
这篇issue提到impala官方仍然为实现impala的json函数，但是评论中有提到2中方法
为了简单起见，我直接使用了第一种方案，impala引入HiveUDF的方法参考： https://www.cloudera.com/documentation/enterprise/latest/topics/impala_udf.html#udfs_hive
该函数的使用方法参考：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
1 | sudo -u impala hadoop fs -mkdir -p /user/impala/udf |
1 | Query: select udf.get_json_object('{"keyword":1}', '$.keyword') |
1 | # pyspark |
1 | Python in worker has different version 2.6 than that in driver 2.7, PySpark cannot run with different minor versions |
增加 config/spark-env.sh 配置1
PYSPARK_PYTHON=/usr/local/bin/python
2017-02-03 14:14 时看到Hadoop Namenode的swap占用较高，于是尝试重启NameNode以释放Swap。想不到竟然无法启动。
日志如下：
1 | 2017-02-03 14:15:09,218 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. |
我们当时使用的Hadoop版本为CDH5.4.9
问题解释
当删除一个包含INode的最新记录的快照时，fsimage有可能崩溃，因为更早快照的diff的create-list 和 父亲INodeDirectory的child list没有清理。
When deleting a snapshot that contains the last record of a given INode, the fsimage may become corrupt because the create list of the snapshot diff in the previous snapshot and the child list of the parent INodeDirectory are not cleaned.
针对CDH5.7.5-release，尝试修改代码，在Namenode启动时忽略Null 的INode，主要改动如下
编译替换后发现了新的异常：
1 | 2017-02-04 15:41:08,581 ERROR org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile(file=/data/dfs/nn/current/fsimage_0000000005899107393, cpktTxId=0000000005899107393) |
根据提示，继续修改代码
重新编译修改后的代码，采用的Java版本为http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7.5/RPMS/x86_64/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm，编译前需要安装protobuf-2.5.0和protobuf-compile-2.5.0，编译指令为
1 | mvn package -Pdist -DskipTests -Dtar |
替换集群NameNode和SecondaryNamenode 下的 /opt/cloudera/parcels/CDH/jars/hadoop-hdfs-2.6.0-cdh5.7.5.jar 为上面编译后的 hadoop-common-cdh5.7.5-release/hadoop-hdfs-project/hadoop-hdfs/target/hadoop-hdfs-2.6.0-cdh5.7.5.jar
最后重点感谢公司强大的大佬和强大运维支持。
1 | # 下载 |
1 | # 配置 |
1 | # 启动 |
安装依赖库
1 | yum install -y readline-devel pcre-devel openssl-devel gcc postgresql-devel |
下载
从https://openresty.org/cn/download.html下载一个发行版
解压安装到/opt/openresty下
1 | tar xzvf ngx_openresty-VERSION.tar.gz |
添加环境变量
1 | cat >> ~/.bashrc <<EOF |
创建并切换到ssl目录
1 | mkdir -p /etc/httpd/ssl |
生成证书和密钥
1 | # 建立服务器密钥 |
修改/etc/httpd/conf.d/ssl.conf
1 | Listen Server_FQDN:443 |
1 | yum install httpd |
1 | yum install -y openssl mod_ssl |
注意：这里暂时忽略证书1
service httpd start
CM 地址
CDH 地址
CDH5 rpm形式 5.7.0
CDH5 parcel
下载1
2
3
4
5wget http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/cm5.7.0-centos6.tar.gz
wget http://archive.cloudera.com/cdh5/repo-as-tarball/5.7.0/cdh5.7.0-centos6.tar.gz
wget http://archive.cloudera.com/cdh5/parcels/5.7.0/CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
wget http://archive.cloudera.com/cdh5/parcels/5.7.0/CDH-5.7.0-1.cdh5.7.0.p0.45-el5.parcel.sha1
wget http://archive.cloudera.com/cdh5/parcels/5.7.0/manifest.json
解压1
2
3
4
5
6
7
8
9
10
11
12# CM
mkdir -p /var/www/html/cm5/redhat/6/x86_64
tar xvfz cm5.7.0-centos6.tar.gz -C /var/www/html/cm5/redhat/6/x86_64
# CDH
mkdir -p /var/www/html/cdh5
tar xvfz cdh5.7.0-centos6.tar.gz -C /var/www/html/cdh5
mkdir -p /var/www/html/cdh5/parcels/5.7.0/
cp CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 manifest.json /var/www/html/cdh5/parcels/5.7.0/
cd /var/www/html/cdh5/parcels/
ln -s 5.7.0 5.7
ln -s 5.7.0 5
ln -s 5.7.0 latest
其他文件1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16# CM5
CM5_DIR=/var/www/html/cm5
# CM5 installer
cd $CM5_DIR
wget http://archive.cloudera.com/cm5/installer/5.7.0/cloudera-manager-installer.bin -P installer/5.7.0
cd $CM5_DIR/installer
ln -s 5.7.0 latest
# redhat
REDHAT_DIR=/var/www/html/redhat
mkdir $REDHAT_DIR
cd $REDHAT_DIR
wget http://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera -P cdh/
## 或者
ln -s $PWD/../cdh5/redhat/6/x86_64/cdh .
权限1
chmod -R ugo+rX /var/www/html/cdh
在其他机器添加yum 仓库1
2
3
4
5
6# cat /etc/yum.repos.d/cloudera.repo
[cloudera]
name=cloudera
baseurl=http://hostname/cm5/redhat/6/x86_64/cm/5
enabled=1
gpgcheck=0