删除standby

• $ gpinitstandby -r # 默认删除当前集群的备Master

在线添加新Segment节点（ 横向扩展）

• 添加Segment新机器，不新增Segment实例 《=== 横向扩展

• 不添加Segment新机器，只新增Segment实例 《 === 纵向扩展

• 开始准备：

  • 两台新节点gp-node3、gp-node4

  • 环境初始化(Segment新节点)

  • 添加hosts解析(主Master)

  cat >> /etc/hosts << EOF 
  192.168.110.85      gp-node3
  192.168.110.86      gp-node4
  EOF 

  • 分发公钥文件到新机器(主Master)

  $ su - gpadmin
  $ ssh-copy-id -i /home/gpadmin/.ssh/id_rsa.pub gpadmin@gp-node3
  $ ssh-copy-id -i /home/gpadmin/.ssh/id_rsa.pub gpadmin@gp-node4

  • 添加hostlist 和seg_hosts(主Master)

  $ cd /home/gpadmin/conf
  $ cat >> hostlist <<EOF
  gp-node3
  gp-node4
  EOF
  $ cat >> seg_hosts <<EOF
  gp-node3
  gp-node4
  EOF

  • 同步hosts文件到所有服务器(主Master)

  $ gpssh -f /home/gpadmin/conf/hostlist -e 'sudo chmod 777 /etc/hosts'
  $ gpscp -f /home/gpadmin/conf/hostlist /etc/hosts =:/etc/hosts
  $ gpssh -f /home/gpadmin/conf/hostlist -e 'sudo chmod 644 /etc/hosts'

  • 打通ssh连接(主Master)

  $ gpssh-exkeys -f /home/gpadmin/conf/hostlist

  • 分发软件包(主Master)

  $ gpscp -h gp-node3 -h gp-node4 ~/gp6.tar =:/home/gpadmin/
  $ gpssh -h gp-node3 -h gp-node4
  => cd /home/gpadmin
  => sudo cp ~/gp6.tar /usr/local/
  => cd /usr/local
  => sudo tar -xf gp6.tar
  => sudo ln -s greenplum-db-6.2.1 greenplum-db
  => sudo chown -R gpadmin:gpadmin /usr/local/greenplum*
  => exit

  • 创建数据目录

  gpssh -h gp-node3 -h gp-node4 -e 'sudo mkdir -p /data/primary'
  gpssh -h gp-node3 -h gp-node4 -e 'sudo mkdir -p /data/mirror'
  gpssh -h gp-node3 -h gp-node4 -e 'sudo chown -R gpadmin /data/primary'
  gpssh -h gp-node3 -h gp-node4 -e 'sudo chown -R gpadmin /data/mirror'

  • 配置环境

  $ su - gpadmin
  $ cat >> /home/gpadmin/.bash_profile << EOF
  source /usr/local/greenplum-db/greenplum_path.sh
  export MASTER_DATA_DIRECTORY=/data/master/gpseg-1
  export PGPORT=5432
  export PGUSER=gpadmin
  export PGDATABASE=testdb
  export LD_PRELOAD=/lib64/libz.so.1 ps
  EOF
  $ source ~/.bash_profile

  • 插入测试数据(扩容前)

  $ psql
  create table test1 (id bigint, name varchar(20));
  insert into test1 select generate_series(10000,100000),'aa'|| floor(random()*(25-10)+10);

  查看各个表的分布情况:

  numsegments为6 表示有6个primary

  select localoid::regclass::text, * from gp_distribution_policy ;

• 添加新机器节点

  • 生成配置文件(gp_segment_configuration表信息)

  $ psql
  select * from gp_segment_configuration ;
  $ cd /home/gpadmin/conf
  $ cat > expand_hosts << EOF
  gp-node3
  gp-node4
  EOF
  $ gpexpan -f expand_hosts # 生成segment和mirror列表
  => y # 默认grouped组模式，segment和mirror两两对于
  输入y，其他回车即可
  $ cat gpexpand_inputfile_20191225_102924

  如果gp_segment_configuration表的主机和地址不一致就修改为一致

• 把列表的节点加入gp_segment_configuration表

  $ gpexpand -i gpexpand_inputfile_20191225_102924
  # 出现错误就回滚 gpexpand -r
  $ psql 
  select * from gp_segment_configuration ;  # 原数据不变，要数据重分布才生效
  # 查看各个表的分布情况:
  # numsegments为6 表示有6个primary
  select localoid::regclass::text, * from gp_distribution_policy ;

  • 数据重分布

  $ gpexpan

  • 清除历史记录，删除gpexpand临时库/视图(schema)，便于下次扩容

  $ gpexpan -c

  • 检查扩展效果

  $ psql
  select * from gp_segment_configuration ; # 原数据不变，要数据重分布才生效

  查看各个表的分布情况:

  numsegments为12 表示有12个primary

  select localoid::regclass::text, * from gp_distribution_policy
  $ gpstate -s

• 小结：

  • 在线的含义是：不用停机重启，不影响用户正常的查询(修改catalog的操作除外)。

  • gpexpand -i 出错，扩容将无法进行，需要回滚 -r。

  • 反正扩容期间，不要操作其他东西（catalog库不要修改，gpconfig和gppkg，gpcheckcat和gpaddpkg名命令不允许运行）

  • 扩容三部走

  gpexpan -f expand_hosts # 生成segment和mirror列表 gpexpand -i gpexpand_inputfile_20191225_102924 # 把列表插入数据库的表 gpexpan #数据重分布

  • 提示：删除某个机器，需要手动备份操作

在线添加新Segment实例（ 纵向扩展）

• 不用添加新主机，只添加新segment实例，可以将新的实例的primary和mirror位置挂载到新的位置

• segment实例的primary对于的mirror随机分配到除本机的其他不同的主机

• 三步骤:gpexpand -f 、gpexpand -i 、gpexpand

  $ cd conf
  $ gpexpand -f seg_hosts   # 生成配置，现有全部主机
  Would you like to initiate a new System Expansion Yy|Nn (default=N):
  > y
  What type of mirroring strategy would you like?
  spread|grouped (default=grouped):
  > grouped   
  How many new primary segments per host do you want to add? (default=0):
  > 1     # 新增一个节点
  Enter new primary data directory 1:
  > /data/primary       # primary位置
  Enter new mirror data directory 1:
  > /data/mirror        # mirror位置
  
  $ gpexpand -i gpexpand_inputfile_20191227_142731   # 把配置写入库
  # 查看节点分布
  $ psql
  postgres=# SELECT * from gp_segment_configuration ;
  
  $ gpexpand   # 数据重分布
  # 查看某个数据分布在每个节点的数量，数据多，几乎重新平均分布到每个节点
  $ psql 
  postgres=# select * from gpexpand.status;  # 重分布状态
  postgres=# select * from gpexpand.expansion_progress ; # 还有多少个表需要重分布
  testdb=# select gp_segment_id,count(*) from name_table group by gp_segment_id; # 查看      某个表在每个节点的分布情况
  
  $ gpexpand -c   #  删除gpexpand临时库/视图(schema)

web端（Greenplum Command Center6.1）

• GPCC6对应的GP版本一定要是发行版，不能是社区版（这是大坑）

• GP版本下载：https://network.pivotal.io/products/pivotal-gpdb/#/releases/526878/file_groups/2331

• GPCC版本下载：https://network.pivotal.io/products/gpdb-command-center/#/releases/531889

• GPCC官方文档：https://gpcc.docs.pivotal.io/610/topics/install.html

• 注意GPCC版本6.1支持GP版本6.2.1以下的

• 防火墙开放端口

  • 28080、8899、6162、6163

• Command Center安装目录（默认安装到所有机器的/usr/local目录）

  临时配777权限，安装目录上还原以前的权限
  $ su - gpadmin
  $ cd /home/gpadmin/conf  
  $ gpssh -f hostlist 'sudo chmod 777 /usr/local'
  $ cat >> /data/master/gpseg-1/pg_hba.conf << EOF
  local      gpperfmon     gpmon                 md5
  host       all           gpmon  127.0.0.1/28   md5
  host       all           gpmon  ::1/128        md5
  host       all           gpmon  samenet        md5
  EOF
  $ gpstop -u

• 解压安装

  $ cd ~
  $ unzip greenplum-cc-web-6.1.0-gp6-rhel7-x86_64.zip
  $ cd greenplum-cc-web-6.1.0-gp6-rhel7-x86_64
  $ ./gpccinstall-6.1.0
  默认回车，选择2 中文
  
  升级和安装Metrics Collector扩展
  $ source /usr/local/greenplum-cc-web-6.1.0/gpcc_path.sh 
  $ cd $GPCC_HOME
  $ gpcc stop
  $ psql gpperfmon -c 'DROP EXTENSION IF EXISTS metrics_collector'
  $ gppkg -q --all  # 查找旧的扩展
  MetricsCollector-_gp_
  $ gppkg -r MetricsCollector-_gp_ # 没有就跳过
  $ ls gppkg # 列出对应gp数据库版本
  $ gppkg -i gppkg/MetricsCollector-6.1.0_gp_6.2.1-rhel7-x86_64.gppkg
  $ gpstop -ar
  $ gpcc start

• 登陆

  登陆入口：http://ip:2808
  默认账号密码 gpmon:changeme
  cat /home/gpadmin/.pgpass
  *:5432:gpperfmon:gpmon:changeme

• 修改登陆用户密码

  $ psql -d postgres -U gpadmin
  postgres=# ALTER ROLE gpmon WITH ENCRYPTED PASSWORD '123456';
  ALTER ROLE
  postgres=# \q
  $ cd /home/gpadmin/
  $ vi  .pgpass
  *:5432:gpperfmon:gpmon:123456
  $ chown gpadmin:gpadmin ~/.pgpass
  $ chmod 600 ~/.pgpass
  $ gpcc stop
  $ gpcc start
  

• 设置环境

  cat >>  /home/gpadmin/.bash_profile << EOF
  source /usr/local/greenplum-cc-web-6.1.0/gpcc_path.sh
  EOF
  $ source ~/.bash_profile

• 还原/usr/local目录权限

  $ cd /home/gpadmin/conf  
  $ gpssh -f hostlist 'sudo chmod 755 /usr/local'

• 卸载GPCC

  1. 关闭gpcc（gp数据库要运行中才能关闭）

     $ gpcc stop

  2. 删除所有主机上安装目录

     $ rm -rf /usr/local/greenplum-cc-web-6.1.0

  3. 禁用数据收集代理。

     1. 以Greenplum管理用户（gpadmin）登录到主主机：

     $ su - gpadmin

     2. 禁用数据收集代理

     $ gpconfig -c gp_enable_gpperfmon -v off

     3. 删除或注释掉gpmon条目pg_hba.conf。

     #local     gpperfmon     gpmon     md5  
     #host      gpperfmon     gpmon    0.0.0.0/0    md5

     4. 删除gpmon超级用户角色

     $ psql template1 -c 'DROP ROLE gpmon;'

     5. 重新启动Greenplum数据库：

     $ gpstop -r

     6. 清理驻留在主文件系统上的所有未提交的Command Center数据和日志文件：

     $ rm -rf $MASTER_DATA_DIRECTORY/gpperfmon/data/* 
     $ rm -rf $MASTER_DATA_DIRECTORY/gpperfmon/logs/*

     7. 或者删除gpperfmon数据库，不保留历史命令中心数据

     $ dropdb gpperfmon

打开防火墙

• 开放端口：22、5432、10000-12000、28080、8899、6162、6163

模拟故障

主备切换

• 场景：kill 主Master5432端口的进程

  $ gpstate -f  #错误提示
  Connection refused
  Is the server running on host "localhost" (::1) and accepting
  TCP/IP connections on port 5432?
  could not connect to server: Connection refused
  Is the server running on host "localhost" (127.0.0.1) and accepting
  TCP/IP connections on port 5432?
  ') exiting...

• 解决：

  • 备Master,添加ssh监听127.0.0.1的22端口，重启sshd服务

  • 主Master,删除mv /tmp/.s.PGSQL.5432.lock /tmp/.s.PGSQL.5432.lock.bak（不宕机情况）

  • 备Master用gpadmin执行 gpactivatestandby -d /data/master/gpseg-1

• 修复主Master，加入作为备Master

  • 在原主Master，备份用gpadmin执行 mv /data/master/gpseg-1 /data/master/gpseg-1_bak20191220
  • 在原备Master,把原主Master加入到备Master ,用gpadmin执行 gpinitstandby -s gp-master1

节点修复

模拟mirror异常

• 模拟一个节点的mirror挂了（kill即可）

• 修复过程

  # su - gpadmin
  $ gpstate -m   #  查看情况
  $ gprecoverseg -o ./recov  # 生成恢复的配置文件，里面包含需要修复的mirror
  $ gprecoverseg -i ./recov   # 开始恢复
  $ gpstate -m   #  查看情况

模拟primary异常

• 模拟一个节点的primary挂了（kill即可）

• 修复过程，会停库

  # su - gpadmin
  $ gpstate -s   #  查看情况
  $ gprecoverseg -o ./recov  # 生成恢复的配置文件，里面包含需要修复的primary
  $ gprecoverseg -i ./recov   # 开始恢复
  $ gpstate -s   #  查看情况
  
  $ gprecoverseg -r   # 把运行在mirror节点切换回primary,需要停库gpstop -M fast

FAQ

• 说明，本版本是greenplum6.2.1+centos7.2

• 资料：github-issues https://github.com/greenplum-db/gpdb/issues

• 1、select * from gp_segment_configuration ;

• gp_segment_configuration表里的主机名和地址不一致

  • 解决方法

  修改hostname 等于 address 字段

  su - gpadmin

  $ psql
  set allow_system_table_mods='on';
  update gp_segment_configuration set hostname='sdw1' where address='sdw1';
  update gp_segment_configuration set hostname='sdw2' where address='sdw2';
  set allow_system_table_mods='off';
  $ gpstop -u # 重载greenplum