百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

centos7-codis安装部署,解决redis分布式的方案

cac55 2024-10-07 06:38 12 浏览 0 评论

前言

Codis是一个分布式的Redis解决方案。

codis-proxy是codis的转发代理,使用的时候,连接codis-proxy进行操作,与连接原生的redis对比,存在一些不支持的命令,其他没有明显的区别。

codis-fe开启Web服务,通过浏览器进行操作,简化了复杂的设置。

GITHUB地址:https://github.com/CodisLabs/codis

github给出的架构图

Codis Server:基于 redis-3.2.8 分支开发。增加了额外的数据结构,以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档 redis 的修改。

Codis Proxy:客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外(不支持的命令列表),表现的和原生的 Redis 没有区别(就像 Twemproxy)。

对于同一个业务集群而言,可以同时部署多个 codis-proxy 实例;不同 codis-proxy 之间由 codis-dashboard 保证状态同步。

Codis Dashboard:集群管理工具,支持 codis-proxy、codis-server 的添加、删除,以及据迁移等操作。在集群状态发生改变时,codis-dashboard 维护集群下所有 codis-proxy 的状态的一致性。对于同一个业务集群而言,同一个时刻 codis-dashboard 只能有 0个或者1个;所有对集群的修改都必须通过 codis-dashboard 完成。

Codis Admin:集群管理的命令行工具。

可用于控制 codis-proxy、codis-dashboard 状态以及访问外部存储。

Codis FE:集群管理界面。

多个集群实例共享可以共享同一个前端展示页面;

通过配置文件管理后端 codis-dashboard 列表,配置文件可自动更新。

需要zookeeper的支持

可以根据这个文章进行安装部署:

centos-试试zookeeper集群部署

下载:

在github上已经有编译好的二进制包(注:需要Centos7系统)

https://github.com/CodisLabs/codis/releases

最新版本是3.2

下载二进制包:codis3.2.0-go1.8.1-linux.tar.gz

部署需要zookeeper运行环境

解压二进制包到/opt/

tar zxvf codis-3.2.0-go.1.8.1-linux.tar.gz -C /opt/

cd /opt/

ln -s codis-3.2.0-go.1.8.1-linux codis

创建配置文件

cd /opt/codis

mkdir -p etc scripts

./codis-dashboard --default-config | tee etc/dashboard.toml

修改其中的zookeeper地址

coordinator_name = "zookeeper"

coordinator_addr = "127.0.0.1:2181"

./codis-proxy --default-config | tee etc/proxy.toml

创建codis-server配置文件:

cat >etc/8001.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8001.pid

port 8001

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8001.log"

databases 16

rdbcompression yes

dbfilename dump-8001.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8001.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

cat >etc/8002.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8002.pid

port 8002

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8002.log"

databases 16

rdbcompression yes

dbfilename dump-8002.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8002.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

cat >etc/8003.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8003.pid

port 8001

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8003.log"

databases 16

rdbcompression yes

dbfilename dump-8001.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8003.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

cat >etc/8004.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8004.pid

port 8001

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8004.log"

databases 16

rdbcompression yes

dbfilename dump-8001.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8004.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

启动脚本:

cat >scripts/start_codis_dashboard.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

nohup \${CODIS_HOME}/bin/codis-dashboard --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --config=\${CODIS_HOME}/etc/dashboard.toml --log=/data/codis/logs/dashboard.log --log-level=WARN &

EOF

chmod +x scripts/start_codis_dashboard.sh

cat >scripts/start_codis_proxy.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

nohup \${CODIS_HOME}/bin/codis-proxy --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --config=\${CODIS_HOME}/etc/proxy.toml --log=/data/codis/logs/proxy.log --log-level=WARN &

EOF

chmod +x scripts/start_codis_proxy.sh

cat >scripts/start_codis_fe.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

nohup ${CODIS_HOME}/codis-fe --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --log=/data/codis/logs/fe.log --log-level=WARN --zookeeper=127.0.0.1:2181 --listen=0.0.0.0:8080 &

EOF

chmod +x scripts/start_codis_fe.sh

cat >scripts/start_codis_server.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

for conf in \`ls \${CODIS_HOME}/etc/80??.conf\`

do

\${CODIS_HOME}/bin/codis-server \${conf}

done

EOF

chmod +x scripts/start_codis_proxy.sh

创建目录:

mkdir -p /data/codis/logs

mkdir -p /data/codis/data

启动codis:

(先启动zookeeper)

/opt/codis/scripts/start_codis_dashboard.sh

/opt/codis/scripts/start_codis_proxy.sh

/opt/codis/scripts/start_codis_fe.sh

/opt/codis/scripts/start_codis_server.sh

fe启动了就可以在浏览器访问

http://[fe所在的服务器的IP地址]:8080

在Proxy:

[proxy所在服务器的ip]:11080

点击 New Proxy

在Group先创建组

输入组数字

点击New Group

然后添加codis-server

codis-server+端口 to 组

点击 Add Server

每组添加两个codis-server作为一主一从

添加完以后,同步一下组关系

点击第二个节点的主从设置安装,就会自动设置主从关系

使用

客户端连接 :proxy所在服务器IP:19000

相关推荐

无力吐槽的自动续费(你被自动续费困扰过吗?)

今天因为工作需要,需要在百度文库上下载一篇文章。没办法,确实需要也有必要,只能老老实实的按要求买了个VIP。过去在百度文库上有过类似经历,当时为了写论文买了一个月的VIP,后面也没有太注意,直到第二个...

百度文库推出“文源计划”创作者可一键认领文档

11月7日,百度文库发布了旨在保护创作者权益的“文源计划”。所谓“文源计划”,即为每一篇文档找到源头,让创作者享受更多的权益。据百度文库总经理李小婉介绍,文源计划分为三部分,分别是版权认证、版权扶持和...

有开放大学学号的同学,百度文库高校版可以用了。

还在网上找百度文库的下载方式,只要从身边的朋友在读开放大学的,那他(她)的学号就可以登陆到国家开放大学图书馆,还使用百度文库高校版来下载。与百度文库稍有不同,但足够使用了。现转国图链接如下:htt...

搜索资源方法推荐(搜索资源的方法)

今天msgbox就要教大家如何又快又准的搜到各类资源,第一点,排除干扰百度搜索出来啊经常前排展示它的产品以及百度文库,如何去除呢?很简单,后面输入空格减号百度文库,比如你搜高等数学百度文库很多,只要后...

一行代码搞定百度文库VIP功能(2021百度文库vip账号密码共享)

百度文库作为大家常用查资料找文档的平台,大多数文档我们都可以直接在百度文库找到,然而百度文库也有让人头痛的时候。好不容易找到一篇合适的文档,当你准备复制的时候他却提示你需要开通VIP才能复制~~~下载...

百度文库文档批量上传工具用户说明书

百度文库文档批量上传工具用户说明书1、软件主要功能1、批量上传文档到百度文库,支持上传到收费、VIP专享、优享以及共享。2、支持自动分类和自动获取标签3、支持多用户切换,一个账户传满可以切换到...

百度文库现在都看不到文档是否上传成功,要凉了吗?

打开知识店铺,百度文库文档里显示都是下载这一按键,上传的文档也看不到是否成功?咋情况,要取消了吗?没通过审核的也不让你删除,是几个意思,想通吃吗?现在百度上传文档也很费劲,有时弄了半天的资料上传审核过...

微信推广引流108式:利用百度文库长期分享软文引流

百度文库相对于百度知道、百度百科来说,操作上没那么多条条框框,规则上也相对好把握些。做一条百度知道所花费的精力一般都会比做一条百度文库的要多些,老马个人操作下来觉得百度文库更好把握。但见仁见智吧,今天...

职场“避雷”指南 百度文库推出标准化劳动合同范本

轰轰烈烈的毕业季结束了,众多应届生在经过了“职场海选”后,已正式成为职场生力军的一员。这一阶段,除了熟悉业务,签订劳动合同、了解职场福利也迅速被提上日程。而随着国人法律意识的增强,百度文库内《劳动合同...

《百度文库》:素材精选宝库(百度文库官网首页)

《百度文库》:独特功能助力选择高质量素材在当今信息爆炸的时代,如何高效地获取并利用有价值的素材成为了许多人面临的挑战。而《百度文库》作为百度公司推出的一款在线文档分享平台,凭借其丰富的资源、强大的功能...

深度整合和开放AI能力 百度文库和网盘推出内容操作系统「沧舟OS」

【TechWeb】4月25日消息,Create2025百度AI开发者大会上,百度文库和百度网盘推出全球首个内容操作系统——沧舟OS。基于沧舟OS,百度文库APP全新上线「GenFlow超能搭子」...

女子发现大二作业被百度文库要求付费下载,律师:平台侵权,应赔偿

近日,28岁的黎女士在百度百科搜索家乡的小地名时,发现了自己在大二完成的课题作业。她继续搜索,发现多个平台收录了该文,比如豆丁网和文档之家等,有的还设置了付费或积分下载。2月15日,九派新闻记者以用户...

2016杀入百度文库的新捷径,只有少数人才知道的喔

百度的产品在SEO优化中的分量真不用多说,其实很多人都像我一样一直在找捷径。但是我经常发现很多人都是在用死方法。比如发贴吧发帖而不知道去申请一个吧主,知道自问自答而不知道去申请一个合作资格。口碑和贴吧...

百度文库付费文档搜索方法(百度文库付费文档搜索方法有哪些)

一直以来,百度文库中无论是个人中心还是个人主页,都没有像淘宝一样的店内搜索功能,连最近新开的知识店铺也没有设计店内搜索功能,这无论是对上传用户还是下载用户都不方便,上传用户想要搜索自己的文档无法办到...

供读者免费使用!泰达图书馆机构版百度文库新年上新啦

在泰达图书馆读者使用百度文库数字资源不需要VIP,免-费-用!惊不惊喜?快来了解一下吧……新年伊始,为满足区域企业、高校、科研院所以及居民群众在教学、科研及学习过程中,对各类文献资源的需求,泰达图书馆...

取消回复欢迎 发表评论: