Go语言开发集群服务器,go 集群

基于go的websocket消息推送的集群实现

目前websocket技术已经很成熟，选型Go语言，当然是为了节省成本以及它强大的高并发性能。我使用的是第三方开源的websocket库即gorilla/websocket。

创新互联主营崇明网站建设的网络公司,主营网站建设方案,重庆APP软件开发,崇明h5重庆小程序开发搭建,崇明网站营销推广欢迎崇明等地区企业咨询

由于我们线上推送的量不小，推送后端需要部署多节点保持高可用，所以需要自己做集群，具体架构方案如图：

Auth Service：鉴权服务，根据Token验证用户权限。

Collect Service：消息采集服务，负责收集业务系统消息，存入MongoDB后，发送给消息分发服务。

Dispatch Service：消息分发服务，根据路由规则分发至对应消息推送服务节点上。

Push Service：消息推送服务，通过websocket将消息推送给用户。

集群推送的关键点在于，web端与服务端建立长连接之后，具体跟哪个推送节点保持长连接的，如果我们能够找到对应的连接节点，那么我们就可以将消息推送出去。下面讲解一下集群的大致流程：

1. web端用户登录之后，带上token与后端推送服务（Push Service）保持长连接。

2. 推送服务收到连接请求之后，携带token去鉴权服务（Auth Service）验证此token权限，并返回用户ID。

3. 把返回的用户ID与长连接存入本地缓存，保持用户ID与长连接绑定关系。

4. 再将用户ID与本推送节点IP存入redis，建立用户（即长连接）与节点绑定关系，并设置失效时间。

5. 采集服务（Collect Service）收集业务消息，首先存入mongodb，然后将消息透传给分发服务（Dispatch Service）。

6. 分发服务收到消息之后，根据消息体中的用户ID，从redis中获取对应的推送服务节点IP，然后转发给对应的推送节点。

7. 推送服务节点收到消息之后，根据用户ID，从本地缓存中取出对应的长连接，将消息推送给客户端。

其他注意事项：

k8s架构原理

k8s是google公司使用go语言开发，借鉴borg系统开发出来的。

k8s集群服务器主要分为两类角色，分别为master和node。

api server： k8s网关，所有指令请求都必须经过apiserver。

scheduler： 调度器 根据调度算法，将请求资源调度到某一个node节点。

controller： 控制器，维护k8s资源对象。

etcd： 分布式存储组件，用于存储资源对象。

docker： 运行容器的基础环境，容器引擎。

kubelet： 每个node节点都存在一份，在node节点上的资源操作指令均由kubelet执行，从etcd扫描相关请求，在节点上执行请求。

kube-proxy： 代理服务，负载均衡

fluentd： 日志收集服务

pod： 是k8s管理的基本单位（最小单元），pod 内部是容器

k8s是用来管理容器的，但是不直接操作容器，最小操作单元为pod

特点：

pod是一个虚拟化的分组（有自己的ip地址、主机名），pod相当于独立主机，可以封装一个或多个容器。通常情况下，一个pod中要么部署一个服务，要么部署多个相关的服务

1、pod底层网络和数据存储：

pod底层网络和存储主要依赖pause容器，该容器作用如下：

2、pod内部容器使用localhost相互访问

3、pod内部容器创建之前必须先创建pause

「测试开发全栈化-Go」(1) Go语言基本了解

作为一个测试，作为一个测试开发， 全栈化+管理 是我们未来的发展方向。已经掌握了Java、Python、HTML的你，是不是也想了解下最近异常火爆的Go语言呢？来吧，让我们一起了解下。

Go 是一个开源的编程语言 ，它能让构造简单、可靠且高效的软件变得容易。

Go是从2007年末由Robert Griesemer, Rob Pike, Ken Thompson主持开发，后来还加入了Ian Lance Taylor, Russ Cox等人，并最终于2009年11月开源，在2012年早些时候发布了Go 1稳定版本。现在Go的开发已经是完全开放的，并且拥有一个活跃的社区。这三个人都是计算机界的大神，有的参与了C语言的编写，有的还是数学大神，有的还获得了计算机最高荣誉-图灵奖。

接下来说说 Go语言的特色 :

简洁、快速、安全

并行、有趣、开源

内存管理、数组安全、编译迅速

Go语言的用途 :

Go 语言被设计成一门应用于搭载 Web 服务器，存储集群或类似用途的巨型中央服务器的系统编程语言。

对于高性能分布式系统领域而言，Go 语言无疑比大多数其它语言有着更高的开发效率。它提供了海量并行的支持，这对于 游戏 服务端的开发而言是再好不过了。

Go语言的环境安装:

建议直接打开 官方地址因为墙的原因打不开

因为我用的是windows系统，这里主要讲下Windows系统上使用Go语言来编程。

Windows 下可以使用 .msi 后缀(在下载列表中可以找到该文件，如go1.17.2.windows-amd64.msi)的安装包来安装。

默认情况下 .msi 文件会安装在 c:Go 目录下。你可以将 c:Gobin 目录添加到 Path 环境变量中。添加后你需要重启命令窗口才能生效。个人建议还是安装到 Program Files文件夹中。

使用什么开发工具来对Go语言进行编写:

个人建议用VS code, 也可以用Sublime Text来编辑。如果你之前看了我讲的HTML语言的学习，肯定已经下载了VS code. 那么这时你需要在VS code中下载Go语言的扩展插件。

这里有一个巨大的坑，就是在下载Go的插件和依赖包时，会提示一些包没有。主要是因为下载的依赖包部分被墙了，只能想别的办法去下载。

建议参考网页:

解决vscode中golang插件安装失败方法

在学习go的过程中，使用的是vscode，但是一直提示安装相关插件失败，然后上网查方法，基本上是叫你建立golang.org目录什么的，结果全是错的，而且都是抄袭，很烦。无意之中看到一位博主分享的方法，他也是饱受上述的垃圾博文困扰，然后找到了解决方法，这里向他致敬，秉着让更多人看到正确解决方法的心，我写下正确的解决方法，希望对你有所帮助，也可以点开原博主链接参考：

Go有一个全球模块代理，设置代理再去安装golang的插件，就可以安装成功了。步骤有，首先Windows用户打开Powershell，一个蓝色的界面，注意不是cmd！不知道的直接打开window下面的搜索，然后输入powershell，搜索出来就可以了。

$env:GO111MODULE=“on”

$env:GOPROXY=“”

go env -w GOPROXY=

go env -w GOPRIVATE=*.corp.example.com

然后我们打开VsCode界面，下面会提示安装插件，我们选择Install ALL，就会安装成功

当你在运行Go语言程序时，提示所有的插件包都已经安装成功了时，就可以正常使用了，要不然一堆报错会让你非常心烦。

好了，今天先到这里，晚安、下班~

go 语言适合做哪些开发

应用于搭建 Web 服务器，存储集群或类似用途的巨型中央服务器的系统编程语言。

Go 是谷歌的编程语言，而不是社区的。在这位博主看来，虽然 Go 语言拥有一个贡献者社区，但是它并不是社区的项目，只是谷歌的一个项目。所以只要是谷歌反对的东西，没有人可以把这个东西加到 Go 语言中。

InfoQ 记者也第一时间联系了《Go 并发编程实战》作者、前轻松筹大数据负责人郝林，他的观点是：Go 语言是大家的，只有伪爱好者才会谈舍弃。在郝林看来，Go 语言官方团队在谷歌内部实属一个很小的团队，但其成员几乎个个都是技术大神。

很多社区成员为 Go 语言贡献了很多重要并且有价值的东西，这些从贡献者和提交者的多样性就可以看出来。但谷歌作为整个 Go 社区的守门人，它独自决定什么东西可以被 Go 语言接受，什么不能被接受。

在 Go 语言模块系统上发生的一件事情，谷歌 Go 语言核心团队的一名成员放弃了由外部 Go 社区开发的一个模块系统，因为它使用了另一种不同的模型。Go 语言拥有一个贡献者社区，但是它并不是一个社区项目。