Etcd: sync wal 时间过长导致切主
切主 一次 K8s 集群中的 Etcd 发生了切主，导致了很多请求超时。排查下来是 sync wal 过长导致的。记录下问题现场以及线索。学习 Etcd 不容易，杂事又特别多，一点一点积累。 Etcd 状态为： sudo bin/etcdctl --endpoints=https://node02:2379,https://node01:2379,https://node03:2379 ...
切主 一次 K8s 集群中的 Etcd 发生了切主，导致了很多请求超时。排查下来是 sync wal 过长导致的。记录下问题现场以及线索。学习 Etcd 不容易，杂事又特别多，一点一点积累。 Etcd 状态为： sudo bin/etcdctl --endpoints=https://node02:2379,https://node01:2379,https://node03:2379 ...
文章目录 问题概述 部署 mysql Ingress 部署/配置 配置 tcp-services configmap 配置 ingress-nginx service 测试端口转发 问题概述 K8s Ingress 资源本身不支持四层转发，但是 ingress-nginx 控制器可通过配置端口转发做到 tcp 四层转发，...
文章目录 线上问题概述 K8s 中的 ingress 资源 K8s 维护的 controller: ingress-nginx Nginx 代理 websocket 金丝雀发布 参考 线上问题概述 这几天一直在排查一个 websocket 连接不断断开的问题，场景大概是：K8s 集群外面的浏览器访问集群内部的服务，集群外 client 访问集群内内部服务是通过 ...
Etcd 的官方文档 https://etcd.io/docs/v3.4/metrics/ 介绍了 Etcd 的核心监控 Metrics，主要分下面几部分。 Server 端监控指标 Etcd 核心服务的监控指标，主要有： has_leader: 是否有 leader。如果一个 member 没有 leader，那么这个 member 是不可用的；如果集群中的所有 member 都没...
文章目录 EtcdServer 发送请求到 Raft Raft 处理请求 Raft 将请求写入 propc channel Raft 消费 propc channel stepFollower stepLeader 这部分从 EtcdSer...
一个 golang 反向代理的极简实现。关于反向代理，实际包含三部分：客户端、反向代理、服务端。其请求流程如下： 客户端 --> 反向代理 --> 服务端 也就是客户端先将请求发给反向代理，反向代理再将请求转发给服务端，这里反向代理也是一个服务器，监听在某个端口。具体实现如下。 客户端 客户端向反向代理发送请求，所以客户端需要知道反向代理的地址（这不是废话吗），依我现在的看...
etcd 中的 etcd-raft 模块是一个 raft 的标准实现，raftexample 通过这个 etcd-raft 模块构建了一个分布式的一致性的存储驱动，通过 raftexample 这个例子可以看下使用 raft 的设计思想。从这例子中可以看出 raft 是跟业务无关的，它只关心数据在几个 raft 实例之间的一致性，具体是什么数据它不关心。同时它也不关心数据持久化的问题，他只是...
本文为转载，原文信息如下，请移步原文阅读。 Raft 在 etcd 中的实现 作者：喵叔没话说 参考的 etcd 版本为 v3.3.10 Overview Etcd将raft协议实现为一个library，然后本身作为一个应用使用它。当然，可能是为了推广它所实现的这个library，etcd还额外提供了一个叫 raftexample 的示例程序，向用户 展示怎样在它所提供的raft...
目录 总结 服务端流式 gRPC 客户端流式 gRPC 双向 gRPC 流式 gRPC 示例及理解，参考《gRPC 与云原生应用开发》，下面有服务端流式 gRPC、客户端 gRPC、双向 gRPC 的示例。 总结 对于一个服务方法（在 service 中定义的方法） 如果返回值带着 stream 表示服务端以流的形式返回数据，客户端要在 for 循环里不断的通过...
今天去参加前同事聚会了，大佬们都很厉害，我什么时候才能成为大佬。 前言 理解一下 etcd 论文，目的在理解其核心思想。在阅读 etcd 源码时，能够分清哪些东西是为了实现协议额外添加的，哪些是 etcd 自身的东西。同时，这些东西比较零碎，记在这里，能够随时回来翻一下。对于论文中不明确的内容，将以英文的形式直接列出来，避免引起误导。 etcd 论文中提供的方法在实现时可能略有差异，有些细...
