Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。Ambari能够安装安全的（基于Kerberos）Hadoop集群，以此实现了对Hadoop 安全的支持，提供了基于角色的用户认证、授权和审计功能，并为用户管理集成了LDAP和Active Directory。 之所以选择Ambari部署hadoop而不是CDH，是因为CDH最新版本只支持Hadoop2.6.X，Ambari最新版本支持Hadoop2.7.3。一、安装部署参考官网http://ambari.apache.org/ 及简书https://www.jianshu.com/p/73f9670f71cf ，主要分以下几步： 1、节 ...

参考文档http://blog.51cto.com/yichenyang/1911098 http://blog.51cto.com/wubinary/1379595 一、安装 [root@prod-dns-01 etc]# yum -y install bind [root@prod-dns-01 etc]# rpm -qa |grep bind bind-9.9.4-61.el7.x86_64 rpcbind-0.2.0-42.el7.x86_64 bind-libs-9.9.4-61.el7.x86_64 bind-utils-9.9.4-61.el7.x86_64 bind-license-9.9.4-61.el7.noarch bind-libs-lite-9.9.4-61.el7.x86_64 注意hosts文件 [root@prod-dns-01 etc]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 lo ...

参考文档/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/CHANGELOG.md /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/DEVELOPER.md /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/README.md.md /usr/share/logstash/vendor/bundle/jruby/1.9 ...

参考文档 https://www.linuxidc.com/Linux/2017-09/146760.htm https://www.cnblogs.com/luohaixian/p/8087591.html http://docs.ceph.com/docs/master/start/quick-start-preflight/#rhel-centos 简介 Ceph的核心组件包括Ceph OSD、Ceph Monitor、Ceph MDS和Ceph RWG。 Ceph OSD：OSD的英文全称是Object Storage Device，它的主要功能是存储数据、复制数据、平衡数据、恢复数据等，与其它OSD间进行心跳检查等，并将一些变化情况上报给Ceph Monitor。一般情况下一块硬盘对应一个OSD，由OSD来对硬盘存储进行管理，当然一个分区也可以成为一个OSD。 Ceph Monitor：由该英文名字我们可以知道它是一个监视器，负责监视Ceph集群，维护Ceph集群的健康状态，同时维护着Ceph集群中的各种Map图，比如OSD Map、Monitor Map、PG Map和C ...

参考文档12https://www.virtualtothecore.com/en/upgrade-ceph-cluster-luminous/http://www.chinastor.com/distristor/11033L502017.html 缘起 首先看之前安装版本链接及测试 https://www.jianshu.com/p/379d313c2bf9 https://www.jianshu.com/p/b11144ea407f mon ceph0、ceph2、cphe3 osd ceph0、ceph1、ceph2、ceph3 rgw ceph1 deploy ceph0 之前在Centos7.5上测试了Jewel版本的集群，随着对Ceph了解深入，计划线上运行比较新的LTS版本Ceph集群，最终选择了Luminous版本。 本来计划重新部署Luminous版本，看到这是测试环境数据丢失风险小就想尝试升级Jewel版本到Luminous版本，由于之前是Yum安装的根据之前经验原理是更新二进制文件，最后重启服务即可。看介绍文档升级步骤比较简单，但是测试中发现国内用户肯定会遇到 ...

参考文档1234567http://docs.ceph.com/docs/master/start/quick-start-preflight/#rhel-centoshttps://www.linuxidc.com/Linux/2017-09/146760.htmhttp://s3browser.comhttp://docs.ceph.org.cn/man/8/rbd/https://github.com/s3fs-fuse/s3fs-fusehttps://blog.csdn.net/miaodichiyou/article/details/76050361http://elf8848.iteye.com/blog/2089055 测试目标使用rbd映射挂载块存储并测试性能 使用rbd-nbd映射挂载条带块存储并测试性能 使用s3brower测试对象存储读写 使用s3fs挂载挂载对象存储 使用对象存储写使用块存储读 一，使用rbd映射挂载块存储并测试性能1、创建image [root@idcv-ceph0 cluster]# ceph osd pool create test_ ...

比尔·波特12比尔·波特，美国当代作家、翻译家和著名汉学家，这次朝圣之旅始于2006年2月底的北京，终于2006年4月初的香港，耗时一个半月，从南到北游览了大半个中国。比尔的目的地是禅在中国的发源地，其中最重要者，包括了禅宗六位祖师 初祖达摩、二祖慧可、三祖僧璨、四祖道信、五祖弘忍和六祖惠能 开创的道场。 路线图 行程表一、北京（2006年2月底）1、古钟博物馆（大钟寺） 2、北京人遗址博物馆 3、北京房山云居寺，石经山藏经洞（雷音洞） 二、大同（2006年3月初）1、大同云冈石窟 为中国规模最大的古代石窟群之一，与敦煌莫高窟、洛阳龙门石窟和天水麦积山石窟并称为中国四大石窟艺术宝库。 2、大同华严寺 华严寺依据佛教经典《华严经》而命名。 3、大同九龙壁 建于明代洪武末年，是明太祖朱元璋第十三子代王朱桂府前的照壁。 4、鹿野苑禅窟 三、五台山（2006年3月上旬）山西五台山是中国四大四大名山之一，其他三个是浙江普陀山、四川峨眉山、安徽九华山，它们分别是文殊菩萨、观世音菩萨、普贤菩萨、地藏菩萨的道场。 1、途径悬空寺 2、北台（因积雪未达顶峰） 3、显通寺 显通寺是五台山第一大寺，始 ...

简介 TCPCOPY 是一个 tcp 流量的实时复制工具，其1.0版本由网易工程师 @tcpcopy 开发和维护。一般用来将生产环境的线上流量实时复制到测试环境进行测试。例如新系统上线前，如果我们希望进行一些基本的压力测试，那么我们可以直接利用 tcpcopy 来复制线上的流量过来对系统进行测试，这样的好处是测试数据接近真实水平，且实施起来相对简单。 一、架构 二、安装12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394测试中用到的3台服务器信息如下：线上服务器 online server 内网IP地址 172.16.0.8/24 外网IP 223.202.0.8/28测试服务器 test server 内网IP地址 172.16.0.230 ...

Promethous+Alertmanager+Grafana 监控技术栈如下： Prometheus(最新版)：基于TSDB的微服务指标采集&报警； Alertmanager：报警服务； Grafana（>=5.x）：监控报表展示。 一、安装1.Prometheus安装12345678# wget https://github.com/prometheus/prometheus/releases/download/v2.5.0/prometheus-2.5.0.linux-amd64.tar.gz# tar zxvf prometheus-2.5.0.linux-amd64.tar.gz -C /usr/local/# cd /usr/local/# ln -s prometheus-2.5.0.linux-amd64 prometheus# chown work:work prometheus* -R# cd prometheus# ls# console_libraries consoles LICENSE NOTICE prometheus prom ...

Nginx官网反向代理时配置SSL证书，需要enable ngx_http_ssl_module模块，且需要支持的openssl开发版，默认配置参数比较少，但是可以根据实际情况对性能及安全性做成优化，具体如下！ 一、SSL参数具体优化（这里只填主要的）1. ssl_protocols TLSv1.3 TLSv1.2 TLSv1.1 TLSv1; 苹果APP只支持TLSv1.2，会优先使用TLSv1.2，考虑到客户端兼容性，其他2各也加上 2. ssl_certificate_key ssl/minminmsn.comsha256.key; 私钥，服务器加密使用 3. ssl_certificate ssl/minminmsn.comsha256.crt; 证书，客户端解密使用，服务器证书和中间证书合并到一个文件，不需要根证书；另外1.7.3版本增加了新指令ssl_password_file可以支持带密码的私钥 4. ssl_session_cache shared:SSL:10m; 会耗费一部分内存，1m可以同时保存4000个会话，10m理论支持4 ...