GO语言高并发模式在监控的使用

幸运草
幸运草
幸运草
896
文章
3
评论
2020年4月19日22:17:37 评论 121

GO语言高并发模式在监控的使用

提到GO语言,各位朋友可能和我一样,想到是GO语言具有强大的并发处理能力。但是具体怎么实现GO的高并发呢,怎么控制并发,防止并发过度呢?下面我和大家分享一种高效,并发度可控的并发结构。为了能够更好说明,文中以并发获取域名证书的过期时间为例。

程序结构

GO语言高并发模式在监控的使用

这种结构分为了四个模块,分别是数据读入模块、证书时间获取模块、数据写出模块、程序调度模块。

  1. 数据读入模块:用来从文件中读取被检测的域名,读入的数据写入到rc缓冲队列当中。
  2. 证书时间获取模块,从rc队列中读取信息,并获取域名的证书信息,获取到的信息写入wc缓冲队列。
  3. 数据写出模块,从rc缓冲队列中读取域名的证书信息并把数据写出到数据库,或者直接打印出来。
  4. Main调度模块,主要是并发度的控制,前期数据准备等工作

这样三个模块分别通过缓冲区rc,wc交换数据,这样有生产者和消费者,数据处理速度不同的子程序可以高效协作。这里channel的长度暂时设置为300.

咱们先来写一下框架代码,具体各部分代码再一步一步的实现。

package main

type SSLProcess struct {
	rc       chan string //读取channel
	wc       chan string //写出channel
	txtLines []string //暂存txt文档中一行一行的域名
	wg       sync.WaitGroup //用来同步所有协程完成的状态
}

func (self *SSLProcess) ReadFromFile() {
	//读取模块
}

func (self *SSLProcess) Process() {
	//获取证书时间的模块
}

func (self *SSLProcess) WriteOut() {
	//结果写出模块
}

func main() {
    //主处理调度模块
}

读取模块

读入模块主要包含两个功能:

  1. 从txtLines数组中读出域名信息
  2. 把读取的逐行写入到rc这个channel中,供给证书获取模块

具体的代码:

func (self *SSLProcess) Read() {
	//读取模块
	for _, v := range self.txtLines {
		self.rc <- v //逐行写入到rc channel中
	}
}

证书信息获取模块

这部分的主要功能是:

  1. 从rc缓冲channel中读入域名信息。
  2. 调用cert这个模块,获取到相应的域名的信息。
  3. 结果写入到wc缓冲channel中,供写出模块使用。

※cert部分的代码也一起打包放在文档中

具体的代码:

func (self *SSLProcess) Process() {
	//获取证书时间的模块
	for v := range self.rc { //等待rc中有数据,并开始获取证书信息
		//v=www.hujiang.com hujiang.com
		d_ip := strings.Split(v, "	") //空格作为分割符
		domain := strings.TrimSpace(d_ip[0])
		server := strings.TrimSpace(d_ip[1])
		certs := cert.NewCert(server+":443", domain) //调用cert库获取证书信息
		//写入到wc缓冲channel
		self.wc <- "DOMIAN:" + domain + "|SERVER:" + server + "|过期时间:" + string(certs.NotAfter)
	}
}

writeout部分的代码

写出模块主要是从wc缓冲channel中读读入,并写到数据库中,此处我们直接打印出来。

具体的代码:

func (self *SSLProcess) WriteOut() {
	//结果写出模块
	for v := range self.wc { //等待wc中有数据,并打印出来
		fmt.Println(v)
		self.wg.Done()
	}
}

主函数部分

main函数这里主要实现以下几个功能:

  1. 初始化结构体变量
  2. 从文件中读入域名信息,并添加到txtLines数组中
  3. 开启多个go协程获取证书信息
  4. 调用wait,等到所有的协程处理完成

首先我们来看下输入文件的内容格式,这里的文件名字是ssl_log.txt,里面的内容是这种格式,每行一个元素,中间用空格分割,前面的是域名,后面是配置域名证书的服务器地址(有些是ip,有些是域名):

$ cat ssl_log.txt
www.hujiang.com hujiang.com
www.cctalk.com cctalk.com
... ...
... ...

main函数和文件读取模块代码

func (self *SSLProcess) ReadFromFile(filename string) {
	txtBytes, err := ioutil.ReadFile(filename)
	if err != nil {
		panic(fmt.Sprintf("error:%s", err.Error()))
	}

	txtContent := string(txtBytes) //文件的所有内容读入到txtContent
	lines := strings.Split(txtContent, "n")
	for _, v := range lines {
		d_ip := strings.Split(v, "	") //空格作为分割符
		if (len(d_ip)) >= 2 {
			self.txtLines = append(self.txtLines, v)
		}
	}

}

func main() {
	//主处理模块
	sp := SSLProcess{
		rc:       make(chan string, 300), //缓冲区长度300
		wc:       make(chan string, 300), //缓冲区长度300
		txtLines: []string{},
		wg:       sync.WaitGroup{},
	}

	sp.ReadFromFile("ssl_log.txt")

	sp.wg.Add(len(sp.txtLines))

	go sp.Read()               //单个协程
	for i := 0; i < 100; i++ { //这部分比较耗时,开启多个协程处理
		go sp.Process()
	}
	go sp.WriteOut() //单个协程

	sp.wg.Wait() //等待所有的任务完成

}

总结

效果检验,在3000多个域名的情况,12核CPU机器用这种模式可以在4秒以内跑完,原来的方式大概需要20多分钟跑完,速度提升了很多。

程序在主程序部分通过有缓冲的channel和控制go 协程的数量,有效的控制了并发的数量,防止过度的并发,反而拖慢整体的速度。在实际的使用中,输入端可以是tcp端口接收到的数据,或者是从滚动的日志文件中读取,还可以通过http接口接收数据。在使用有阻塞的监听端口的输入数据的方式时候,大家可以不使用sync.WaitGroup。

最后附上main完整的代码:

// sslcheck project main.gopackage mainimport (
	"fmt"
	"io/ioutil"
	"sslcheck/cert"
	"strings"
	"sync"
)

type SSLProcess struct {
	rc       chan string    //读取channel
	wc       chan string    //写出channel
	txtLines []string       //暂存txt文档中一行一行的域名
	wg       sync.WaitGroup //用来同步所有协程完成的状态
}

func (self *SSLProcess) Read() {
	//读取模块
	for _, v := range self.txtLines {
		self.rc <- v //逐行写入到rc channel中
	}
}

func (self *SSLProcess) Process() {
	//获取证书时间的模块
	for v := range self.rc { //等待rc中有数据,并开始获取证书信息
		//v=www.hujiang.com hujiang.com
		d_ip := strings.Split(v, "	") //空格作为分割符
		domain := strings.TrimSpace(d_ip[0])
		server := strings.TrimSpace(d_ip[1])
		certs := cert.NewCert(server+":443", domain) //调用cert库获取证书信息
		//写入到wc缓冲channel
		self.wc <- "DOMIAN:" + domain + "|SERVER:" + server + "|过期时间:" + string(certs.NotAfter)
	}
}

func (self *SSLProcess) WriteOut() {
	//结果写出模块
	for v := range self.wc { //等待wc中有数据,并打印出来
		fmt.Println(v)
		self.wg.Done()
	}
}

func (self *SSLProcess) ReadFromFile(filename string) {
	txtBytes, err := ioutil.ReadFile(filename)
	if err != nil { 		panic(fmt.Sprintf("error:%s", err.Error()))
	}

	txtContent := string(txtBytes) //文件的所有内容读入到txtContent
	lines := strings.Split(txtContent, "n")
	for _, v := range lines {
		d_ip := strings.Split(v, "	") //空格作为分割符
		if (len(d_ip)) >= 2 {
			self.txtLines = append(self.txtLines, v)
		}
	}
}

func main() {
	//主处理模块
	sp := SSLProcess{
		rc:       make(chan string, 300), //缓冲区长度300
		wc:       make(chan string, 300), //缓冲区长度300
		txtLines: []string{},
		wg:       sync.WaitGroup{},
	}

	sp.ReadFromFile("ssl_dns.txt")

	sp.wg.Add(len(sp.txtLines))

	go sp.Read()               //单个协程
	for i := 0; i < 200; i++ { //这部分比较耗时,开启多个协程处理
		go sp.Process()
	}
	go sp.WriteOut() //单个协程

	sp.wg.Wait() //等待所有的任务完成
}

特别声明:以上文章内容仅代表作者本人观点,不代表变化吧观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与变化吧联系。

转载请注明:{{title}}-变化吧
  • 赞助本站
  • 微信扫一扫
  • weinxin
  • 赞助本站
  • 支付宝扫一扫
  • weinxin
幸运草
Go语言中的常量 函数代码

Go语言中的常量

1 概述 常量,一经定义不可更改的量。功能角度看,当出现不需要被更改的数据时,应该使用常量进行存储,例如圆周率。从语法的角度看,使用常量可以保证数据,在整个运行期间内,不会被更改。例如当前处理器的架构类型,可以保证不被更改。 语法如下 2 定义单个常量 const 常量名 <可选的类型> = 常量值 const c1 int = 1000 Go语言中,标识符(常量名)是否大小写,取决于是否需要在导出时被识别。 常量的值仅仅支持,基础类型,字符串,字符,整型,浮点,布尔。 3 类型推导 类型可以通过值推导出来,大多数情况可以省略类型,例如 const c2 = 1000 除非你想使用例如,int8, byte,float32这些非默认类型时,需要指定类型,例如 const c3 int16 = 1000 4 定义多个常量 可以一行定义多个常量,例如: const c4, c5 = 42, 1000 也可以使用 const()定义块,定义多个,每个常量单独一行,例如 const (  c6 = 42  c7 = 1000 ) 推荐使用const()块语法,一次性定义多个。 const()块定义时,如果常量未给出定义,则延续上面的定义规则,例如: const (  c7 = 42  c8 // c8 = 42  c9 // c9 = 42 ) 此时,c8, c9, 值都是42。 5 iota迭代定义常量 const配合iota关键字使用,可以定义一组由0开始+1迭代的常量 演示语法: const (  gender_secret = iota  gender_male // = iota  gender_female // = iota ) 此时,三个常量值,分别是,0, 1, 2 iota的规则是:若iota出现在const()中,那么const()定义的第一行的iota就是0,第二行就是0+1=1,不论iota是否被常量使用。演示如下: const (  c1 = 42...
Go语言的接口 函数代码

Go语言的接口

Go语言-接口 在Go语言中,一个接口类型总是代表着某一种类型(即所有实现它的类型)的行为。一个接口类型的声明通常会包含关键字type、类型名称、关键字interface以及由花括号包裹的若干方法声明。示例如下: type Animal interface { Grow() Move(string) string } 实现接口 如果一个数据类型所拥有的方法集合中包含了某一个接口类型中的所有方法声明的实现,那么就可以说这个数据类型实现了那个接口类型。 你可能已经意识到,我们无需在一个数据类型中声明它实现了哪个接口。只要满足了“方法集合为其超集”的条件,就建立了“实现”关系。这是典型的无侵入式的接口实现方法。 package main import ( "fmt" ) // 定义一个接口 type People interface { ReturnName() string } // 定义一个结构体 type Student struct { Name string } // 定义结构体的一个方法。 // 这个方法同接口People的所有方法,此时可直接认为结构体Student实现了接口People func (s Student) ReturnName() string { return s.Name } func main() { cbs := Student{Name:"咖啡色的羊驼"} var a People a = cbs name := a.ReturnName() fmt.Println(name) // 输出"咖啡色的羊驼" } 如何测试是否已实现该接口 h, ok := a.(People) 这种方式称为类型断言表达式。 a.(People)的求值结果可以有两个: 第一个结果是被转换后的那个目标类型(这里是Student)的值. 而第二个结果则是转换操作成功与否的标志。 空接口 interface{} 空接口就是不包含任何方法的接口。正因为如此,所有的数据类型都实现了空接口。就像Java中的Object类一样。 因此空接口可以存储任意类型的数据。 特别声明:以上文章内容仅代表作者本人观点,不代表变化吧观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与变化吧联系。
Go语言支持的正则语法 函数代码

Go语言支持的正则语法

1 字符 语法 说明 . 任意字符,在单行模式(s标志)下,也可以匹配换行 字符类 否定字符类 d Perl 字符类 D 否定 Perl 字符类 ASCII 字符类 否定 ASCII 字符类 pN Unicode 字符类 (one-letter name) p{Greek} Unicode 字符类 PN 否定 Unicode 字符类 (one-letter name) P{Greek} 否定 Unicode 字符类 参考以下附录,获取具体字符类的内容: Perl 字符类 ASCII 字符类 Unicode 字符类 (one-letter name) Unicode 字符类 go.hellokang.net 可以获取相关内容 2 组合 语法 说明 xy xy(x 后跟随 y) x|y x 或 y (优先匹配 x) 3 重复次数 语法 说明 x* 零个或多个 x,贪婪 x+ 一个或多个 x,贪婪 x? 零个或一个 x,贪婪 x{n,m} n 到 m 个 x,贪婪 x{n,} n 个或多个 x,贪婪 x{n} n 个 x x*? 零个或多个 x,非贪婪 x+? 一个或多个 x,非贪婪 x?? 零个或一个...
Go语言的包管理 函数代码

Go语言的包管理

1 概述 Go 语言的源码复用建立在包(package)基础之上。包通过 package, import, GOPATH 操作完成。 2 main包 Go 语言的入口 main() 函数所在的包(package)叫 main,main 包想要引用别的代码,需要import导入! 3 包定义,package Go 语言的包与文件夹一一对应,同一个目录下的所有.go文件的第一行添加 包定义,以标记该文件归属的包,演示语法: package 包名 包需要满足: 一个目录下的同级文件归属一个包。 包名可以与其目录不同名。 包名为 main 的包为应用程序的入口包,其他包不能使用。 包可以嵌套定义,对应的就是嵌套目录,但包名应该与所在的目录一致,例如: // 文件:foo/bar/tool.go中 package bar // 可以被导出的函数 func FuncPublic() { } // 不可以被导出的函数 func funcPrivate() { } 包中,通过标识符首字母是否大写,来确定是否可以被导出。首字母大写才可以被导出,视为 public 公共的资源。 4 导入包,import 要引用其他包,可以使用 import 关键字,可以单个导入或者批量导入,语法演示: // 单个导入 import "package" // 批量导入 import (  "package1"  "package2"  ) 导入时,可以为包定义别名,语法演示: import (  p1 "package1"  p2 "package2"  ) // 使用时 p1.Method() 以上测试请使用系统包测试。若需要导入自定义包,需要设置GOPATH环境变量。 4 GOPATH环境变量 import导入时,会从GO的安装目录(也就是GOROOT环境变量设置的目录)和GOPATH环境变量设置的目录中,检索 src/package 来导入包。如果不存在,则导入失败。 GOROOT,就是GO内置的包所在的位置。 GOPATH,就是我们自己定义的包的位置。 通常我们在开发Go项目时,调试或者编译构建时,需要设置GOPATH指向我们的项目目录,目录中的src目录中的包就可以被导入了: 例如,我么的项目目录为: D:projectsgoProject,那么我么就需要将我们的源代码放在 D:projectsgoProjectsrc 下,同时设置GOPATH为 D:projectsgoProject。设置GOPATH的方案有: windows 通过 系统->系统信息->高级系统设置->环境变量 中完成设置。 windows 中通过 CMD 或者 powershell 也可以完成设置。通常是临时有效的,CMD或者powershell关闭失效!...