NOTE

Etcd 性能调优总结

文章目录 减少网络时延 减少磁盘 I/O 延迟 自动压缩历史版本 定期消除碎片 优化运行参数 参考 最近做了很多 Etcd 运维工作，也遇到了一些场景，这里结合 《Kubernetes 生产化实践之路》 （后面称这本书为《实践》）以及网上的一些思路，思考下 Etcd 性能调优相关总结，并对相关引用材料进行整理。这些引用材料可能并没有完全读完，或者理解思考，这里作...

通过 --force-new-cluster 实现 Etcd 容灾

文章目录 集群初始状态 模拟灾备 force new cluster 检查集群状态 移除A机房节点 尝试重启 kube-apiserver，修改 –etcd-servers 参数 集群初始状态 K8s 集群信息，master1/master2/master3 是管控节点，node1、node2是 worker 节点，其中 master3/node2 位于 B 机...

通过 Learner 节点实现 Etcd 集群实时备份

"以 rke 环境为例"

文章目录 思路 集群初始状态 将 master3 节点上的 etcd 变成 learner 通过 etcdctl 移除 master3 上的 etcd 手动在 master3 节点添加一个 learner 节点 模拟故障 master3 上的 learner 恢复成单节点集群 查看集群状态 相关问...

etcdctl snapshot 命令是怎么工作的

"snapshot save 实现细节分析"

文章目录 clientv3 snapshot 客户端实现 snapshot 服务端实现 参考 Etcd 运维过程中，可以通过下面命令对 Etcd 中的数据进行保存。那运行这个命令的时候后端都发生了啥呢？本文尝试研究一下，本文基于的 Etcd 版本是 3.4.3。 # 将数据保存为名为 snapshot.db 的快照 etcdctl --endpoints $ENDPOINT...

Etcd 中的 wal 处理流程

文章目录 EtcdServer 初始化对 wal 的处理 startNode 通过 wal.Create 新建 wal 文件 restartNode 通过 wal.Open 读取比快照新的那部分 wal EtcdServer 消费 Ready 写 wal 附录 参考 在 Etcd 数据目录下，有一些类似如下的 wal 日...

K8s Service 中的 iptables 规则

补一下网络基础知识，研究下在 K8s 集群中，不同类型的 Service 生成的 Iptables 规则是什么样的。集群环境如下 [decent@master1 ~]$ kubectl get nodes -o wide NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERN...

Etcd: sync wal 时间过长导致切主

切主 一次 K8s 集群中的 Etcd 发生了切主，导致了很多请求超时。排查下来是 sync wal 过长导致的。记录下问题现场以及线索。学习 Etcd 不容易，杂事又特别多，一点一点积累。 Etcd 状态为： sudo bin/etcdctl --endpoints=https://node02:2379,https://node01:2379,https://node03:2379 ...

通过 K8s ingress-nginx 实现 tcp 四层转发

文章目录 问题概述 部署 mysql Ingress 部署/配置 配置 tcp-services configmap 配置 ingress-nginx service 测试端口转发 问题概述 K8s Ingress 资源本身不支持四层转发，但是 ingress-nginx 控制器可通过配置端口转发做到 tcp 四层转发，...

ingress-nginx 代理 websocket

文章目录 线上问题概述 K8s 中的 ingress 资源 K8s 维护的 controller: ingress-nginx Nginx 代理 websocket 金丝雀发布 参考 线上问题概述 这几天一直在排查一个 websocket 连接不断断开的问题，场景大概是：K8s 集群外面的浏览器访问集群内部的服务，集群外 client 访问集群内内部服务是通过 ...

Etcd 监控之 Metrics 汇总

Etcd 的官方文档 https://etcd.io/docs/v3.4/metrics/ 介绍了 Etcd 的核心监控 Metrics，主要分下面几部分。 Server 端监控指标 Etcd 核心服务的监控指标，主要有： has_leader: 是否有 leader。如果一个 member 没有 leader，那么这个 member 是不可用的；如果集群中的所有 member 都没...