百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

centos7-codis安装部署,解决redis分布式的方案

cac55 2024-10-07 06:38 20 浏览 0 评论

前言

Codis是一个分布式的Redis解决方案。

codis-proxy是codis的转发代理,使用的时候,连接codis-proxy进行操作,与连接原生的redis对比,存在一些不支持的命令,其他没有明显的区别。

codis-fe开启Web服务,通过浏览器进行操作,简化了复杂的设置。

GITHUB地址:https://github.com/CodisLabs/codis

github给出的架构图

Codis Server:基于 redis-3.2.8 分支开发。增加了额外的数据结构,以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档 redis 的修改。

Codis Proxy:客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外(不支持的命令列表),表现的和原生的 Redis 没有区别(就像 Twemproxy)。

对于同一个业务集群而言,可以同时部署多个 codis-proxy 实例;不同 codis-proxy 之间由 codis-dashboard 保证状态同步。

Codis Dashboard:集群管理工具,支持 codis-proxy、codis-server 的添加、删除,以及据迁移等操作。在集群状态发生改变时,codis-dashboard 维护集群下所有 codis-proxy 的状态的一致性。对于同一个业务集群而言,同一个时刻 codis-dashboard 只能有 0个或者1个;所有对集群的修改都必须通过 codis-dashboard 完成。

Codis Admin:集群管理的命令行工具。

可用于控制 codis-proxy、codis-dashboard 状态以及访问外部存储。

Codis FE:集群管理界面。

多个集群实例共享可以共享同一个前端展示页面;

通过配置文件管理后端 codis-dashboard 列表,配置文件可自动更新。

需要zookeeper的支持

可以根据这个文章进行安装部署:

centos-试试zookeeper集群部署

下载:

在github上已经有编译好的二进制包(注:需要Centos7系统)

https://github.com/CodisLabs/codis/releases

最新版本是3.2

下载二进制包:codis3.2.0-go1.8.1-linux.tar.gz

部署需要zookeeper运行环境

解压二进制包到/opt/

tar zxvf codis-3.2.0-go.1.8.1-linux.tar.gz -C /opt/

cd /opt/

ln -s codis-3.2.0-go.1.8.1-linux codis

创建配置文件

cd /opt/codis

mkdir -p etc scripts

./codis-dashboard --default-config | tee etc/dashboard.toml

修改其中的zookeeper地址

coordinator_name = "zookeeper"

coordinator_addr = "127.0.0.1:2181"

./codis-proxy --default-config | tee etc/proxy.toml

创建codis-server配置文件:

cat >etc/8001.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8001.pid

port 8001

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8001.log"

databases 16

rdbcompression yes

dbfilename dump-8001.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8001.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

cat >etc/8002.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8002.pid

port 8002

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8002.log"

databases 16

rdbcompression yes

dbfilename dump-8002.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8002.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

cat >etc/8003.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8003.pid

port 8001

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8003.log"

databases 16

rdbcompression yes

dbfilename dump-8001.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8003.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

cat >etc/8004.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8004.pid

port 8001

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8004.log"

databases 16

rdbcompression yes

dbfilename dump-8001.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8004.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

启动脚本:

cat >scripts/start_codis_dashboard.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

nohup \${CODIS_HOME}/bin/codis-dashboard --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --config=\${CODIS_HOME}/etc/dashboard.toml --log=/data/codis/logs/dashboard.log --log-level=WARN &

EOF

chmod +x scripts/start_codis_dashboard.sh

cat >scripts/start_codis_proxy.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

nohup \${CODIS_HOME}/bin/codis-proxy --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --config=\${CODIS_HOME}/etc/proxy.toml --log=/data/codis/logs/proxy.log --log-level=WARN &

EOF

chmod +x scripts/start_codis_proxy.sh

cat >scripts/start_codis_fe.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

nohup ${CODIS_HOME}/codis-fe --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --log=/data/codis/logs/fe.log --log-level=WARN --zookeeper=127.0.0.1:2181 --listen=0.0.0.0:8080 &

EOF

chmod +x scripts/start_codis_fe.sh

cat >scripts/start_codis_server.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

for conf in \`ls \${CODIS_HOME}/etc/80??.conf\`

do

\${CODIS_HOME}/bin/codis-server \${conf}

done

EOF

chmod +x scripts/start_codis_proxy.sh

创建目录:

mkdir -p /data/codis/logs

mkdir -p /data/codis/data

启动codis:

(先启动zookeeper)

/opt/codis/scripts/start_codis_dashboard.sh

/opt/codis/scripts/start_codis_proxy.sh

/opt/codis/scripts/start_codis_fe.sh

/opt/codis/scripts/start_codis_server.sh

fe启动了就可以在浏览器访问

http://[fe所在的服务器的IP地址]:8080

在Proxy:

[proxy所在服务器的ip]:11080

点击 New Proxy

在Group先创建组

输入组数字

点击New Group

然后添加codis-server

codis-server+端口 to 组

点击 Add Server

每组添加两个codis-server作为一主一从

添加完以后,同步一下组关系

点击第二个节点的主从设置安装,就会自动设置主从关系

使用

客户端连接 :proxy所在服务器IP:19000

相关推荐

如何屏蔽色情网站?_怎么能屏蔽网站

一、基础防御:全网DNS劫持阻断1.修改全网DNS服务器推荐DNS:安全DNS:CleanBrowsing(成人内容过滤):185.228.168.168/185.228.169.168Open...

容器、Pod、虚拟机与宿主机网络通信全解:看这一篇就够了

在日常开发与部署过程中,很多人一开始都会有这样的疑惑:容器之间是怎么通信的?容器怎么访问宿主机?宿主机又如何访问容器?Kubernetes中Pod的网络和Docker容器一样吗?容器跨机器是...

Win11专业版找不到共享打印机的问题

有很多深度官网的用户,都是在办公室上班的。而上班就需要使用打印机,但更新win11系统后,却出现同一个办公室里面的打印机都找不到的问题,这该如何处理呢?其实,可能是由于我们并没有打开共享打印机而造成的...

常用电脑快捷键大全,摆脱鼠标依赖,建议收藏

Ctrl+C复制Ctrl+X剪切Ctrl+V粘贴Ctrl+Z撤销Ctrl+Y重做Ctrl+B加粗Ctrl+A全选所有文件Ctrl+S保存Ctrl+N新建Ctrl+O打开Ctrl+E...

Win11实现自动追剧Jellyfin硬解,免NAS复杂操作

大家好,欢迎来到思赞数码。本期将详细介绍如何通过安装和配置Sonarr、Radarr、Prowlarr、qBittorrent和Jellyfin,打造一套自动化的影视管理系统。很多人认为,要实现自动追...

微软Win11安卓子系统WSA 2308.40000.3.0更新推送下载

IT之家9月21日消息,微软官方博客今日宣布,已面向所有WindowsInsider用户推送了Windows11安卓子系统的2308.40000.3.0版本更新。本次更新和之前...

路由器总掉线 一个命令就能猜出八九分

明明网络强度满格或有线图标正常,但视频卡成PPT、网页刷不开、游戏动不了,闲心这些问题很多小伙伴都碰到过。每次都要开关路由、宽带/光猫、插拔网线……一通忙。有没有啥办法能快速确定故障到底在哪儿,方便处...

windows电脑如何修改hosts文件?_windows怎么修改hosts

先来简单说下电脑host的作用hosts文件的作用:hosts文件是一个用于储存计算机网络中各节点信息的计算机文件;作用是将一些常用的网址域名与其对应的IP地址建立一个关联“数据库”,当用户在浏览器中...

win10广告弹窗ShellExperienceHost.exe

win10右下角老是弹出广告弹窗,排查为以下程序引起,但是这个是系统菜单的程序不能动:C:\Windows\SystemApps\ShellExperienceHost_cw5n1h2txyewy\S...

Win10 Mobile预览版10512/10166越狱解锁部署已被黑客攻破

看起来统一的WindowsPhone和Windows越加吸引人们的关注,特别是黑客们的好奇心。XDA论坛宣称,在Win10Mobile预览版10512/10166上,已取得越狱/解锁部署突破,比如可...

6款冷门小众软件,都是宝藏,建议收藏

真的很不错(。-ω-)zzzBearhttps://bear.app/cn/Bear是一个漂亮,灵活的Markdown的写作工具。它一样只支持苹果家的全平台。它一出现就惊艳四方,就被AppSto...

如何让不符合条件的设备升级Windows 11

如果你是最近(6月24日之后)加入WindowsInsider项目并且你的设备并不符合升级条件,那么当你在尝试升级Windows11的时候可能会看到以下错误:你的PC不符合Wi...

windows host文件怎么恢复?局域网访问全靠这些!

windowshost文件怎么恢复?windowshost文件是常用网址域名及其相应IP地址建立一个关联文件,通过这个host文件配置域名和IP的映射关系,以提高域名解析的速度,方便局域网用户使用...

Mac Hosts管理工具---SwitchHosts

switchhosts!formac是一款帮助用户快速切换hosts文件的工具,switchhosts!formac能够帮助你快速方便的打造个人专用的网络环境,支持本地和在线两种方式,并且支持...

「浅谈趣说网络知识」 第十二弹 老而不死的Hosts,它还很有用

【浅谈趣说网络知识】第十二弹老而不死的Hosts,它还很有用什么时候才觉得自己真的老了,不是35岁以上的数字,不是头上的点点白发,而是不知觉中的怀旧。风口上的IT界讲的就是"长江后浪推前浪...

取消回复欢迎 发表评论: