Go语言goroutine和通道学习

幸运草
幸运草
幸运草
896
文章
3
评论
2020年4月20日23:20:16 评论 98

Go语言里的并发指的是能让某个函数独立于其他函数运行的能力。当一个函数创建为goroutine时,Go会将其视为一个独立的工作单位。这个单元会被调度到可用的逻辑处理器上执行。

Go语言运行时的调度器是一个复杂的软件,能管理被创建的所有goroutine并为其分配执行时间。这个调度器在操作系统之上,将操作系统的线程与语言运行时的逻辑处理器绑定,并在逻辑处理器上运行goroutine。调度器在任何给定的时间,都会全面控制那个goroutine要在那个逻辑处理器上运行。

一、协程

执行体是也抽象的概念,在操作系统层面有多个概念与之对应,比如操作系统自己掌握的进程、进程内的线程以及进程内的协程。与传统的系统级别的线程与进程相比,协程的最大优势在于其”轻量级”,可以轻松创建百万个而不会导致资源枯竭,远远高于线程进程数量。

Go语言在语言级别支持轻量级线程,叫goroutine。Go语言标准库提供的所有系统调用操作,都会让出CPU给其他goroutine,轻量级线程的切换管理不依赖系统的线程和进程,也不依赖CPU的核心数量。

如果创建一个goroutine并准备运行,这个goroutine会被放到调度器的全局运行队列中。之后,调度器就将这些队列中的goroutine分配给一个逻辑处理器,并放到这个逻辑处理器对应的本地运行队列中。本地运行队列中的goroutine会一直等待知道自己被分配的逻辑处理器执行。

Go语言运行时会把goroutine调度到逻辑处理器上运行。这个逻辑处理器绑定到唯一的操作系统线程。当goroutine可以运行的时候,会被放入逻辑处理器的执行队列中。

当goroutine执行了一个阻塞的系统调用时,调度器会被这个线程与处理器分离,并创建一个新的线程来运行这个处理器提供的服务。

二、并发与并行

并行是让不同的代码片段同时在不同的物理处理器上执行。并行的关键是同时做很多事情,二并发是指同时管理很多事情,这些事情可能只做了一般被暂停去做别的事情。很多情况下,并发的效果比并行好,因为操作系统和硬件的总资源一般很少,但能支持系统同时做很多事情。

如果希望goroutine并行,必须使用多于一个逻辑处理器。当有多个逻辑处理器时,调度器会将goroutine平等分配到每个逻辑处理器上。这会让goroutine在不同的线程上运行。要想实现并行的效果,用户需要让自己的程序运行在多个物理处理器的机器上。

四、goroutine

func main(){
   runtime.GOMAXPROCS(1)

var wg sync.WaitGroup
   wg.Add(2)

   fmt.Println("start goroutes")

go func() {
defer wg.Done()

for count := 0; count < 3; count++ {
for char := 'a'; char < 'a'+5; char++ {
            fmt.Printf("%c", char)
         }
      }
   }()

go func() {
defer wg.Done()

for count := 0; count < 3; count++ {
for char := 'A'; char < 'A'+5; char++ {
            fmt.Printf("%c", char)
         }
      }
   }()

wg.Wait()

   fmt.Println("nProgram exit")
}

程序的输出结构为:

start goroutes
ABCDEABCDEABCDEabcdeabcdeabcde //可能先全小写字母再大写字母
Program exit

因为只有一个逻辑处理器,而且每个goroutine处理花费的时间不长,所有每次先处理完一个goroutine再处理另外一个。

基于调度器的内部算法,一个正在运行的goroutine在结束之前,可以被停止并重新调度。调度器这样做的目的是防止某个goroutine占用时间过长,调度器会停止当前运行的goroutine,并给其他可运行的goroutine运行的机会。

在使用goroutine编程的时候可能会遇到goroutine还没开始执行主程序已经退出的情况,因此使用WaitGroup来进行同步,保证goroutine先执行完成在主程序退出。WaitGroup是一个计数信号量,可以用来记录并维护运行的goroutine。如果WaitGroup的值大于0,Wait方法就会阻塞。关键字defer会修改函数的调用时机,在正在执行的函数返回时才能真正调用defer声明的函数。

使用WaitGroup时,建议在goroutine外使用WaitGroup.Add,以免Add未执行,Wait已经退出。

程序中调用了runtime包的GOMAXPROCS函数。这个函数允许程序更改调度器可以使用的逻辑处理器的数量。函数中传参1,是通知调度器只能为该程序用一个逻辑处理器。可以根据计算机的CPU个数指定逻辑处理器的个数runtime.GOMAXPROCES(runtime.NumCPU)。

五、通道

Go语言天然支持高并发很重要的原因是可以支持goroutine与通道类型,通过通道,发送和接受需要的资源,在goroutine之间做同步。

当一个资源需要在goroutine之间共享时,通道在goroutine之间架起了一个管道,并提供了确保同步交换数据的机制,声明通道时,需要指定被共享资源的数据类型。可以通过通道共享内置类型、命名类型、结构类型和引用类型的值和指针。

在Go语言中需要使用内置函数make来创建一个通道:

strchan1:=make(chan string)

strchan2:=make(chan string,10)

使用内置函数make创建了两个通道,一个无缓冲区的通道,一个有缓冲区的通道,make的第一个参数需要关键字chan,后面跟着允许通道交换的数据的类型。如果创建一个有缓冲区的通道,之后需要在第二个参数指定这个缓冲区的大小。

//放入一个字符串到通道
strchan2<-"test"
//从通道接受一个字符串
value:=<-strchan2

无缓冲区的通道要求发送goroutine和接受goroutine同时准备好,才能完成发送和接受操作。如果两个goroutine没有同时准备好,通道会导致先执行发送或接受的goroutine阻塞等待。这种通道的发送和接受的交互行为本身就是同步的。

有缓冲区的通道是一种在被接受前能存储一个或者多个值的通道。这种类型的通道并不会强制要求goroutine之间必须同时完成发送和接受。通道会阻塞发送和接受动作的条件也会不同。只有在通道中没有要接受的值时,接受动作才会阻塞。只有通道没有可缓冲去容纳被发送的值时,发送动作才会被阻塞。无缓冲区的通道保证发送和接受的goroutine会在同一时间进行数据交换,有缓冲区没有这个保证。

部分人可能认为无缓冲区就是缓冲区为1,其实有很大的区别。

c1:=make(chan int)        无缓冲
c2:=make(chan int,1)      有缓冲
c1<-1

无缓冲的 不仅仅是 向 c1 通道放 1 而是 一直要有别的携程 <-c1 接手了 这个参数,那么c1<-1才会继续下去,要不然就一直阻塞着。

而 c2<-1 则不会阻塞,因为缓冲大小是1 只有当 放第二个值的时候 第一个还没被人拿走,这时候才会阻塞。

由于通道变量本身就是指针,可用相等操作符判断是否为同意对象或nil。

fun main(){
var a,b chan int = make(chan int),make(chan int,3)

var c chan bool

   fmt.Println(a==b)
   fmt.Println(c==nil)
}

false true

内置函数cap和len返回缓冲区大小和当前缓冲区数量;而对于无缓冲区的通道都返回为0,可以据此判断通道是同步还是异步。

特别声明:以上文章内容仅代表作者本人观点,不代表变化吧观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与变化吧联系。

转载请注明:{{title}}-变化吧
  • 赞助本站
  • 微信扫一扫
  • weinxin
  • 赞助本站
  • 支付宝扫一扫
  • weinxin
幸运草
Go语言接口规则 前端框架

Go语言接口规则

Go语言接口规则 接口是一个或多个方法签名的集合。任何类型的方法集中只要拥有该接口对应的全部方法签名。就表示它 "实现" 了该接口,无须在该类型上显式声明实现了哪个接口。对应方法,是指有相同名称、参数列表 (不包括参数名) 以及返回值,该类型也可以有其他方法。 接口赋值 对象赋值给接口时,会发生拷贝,而接口内部存储的是指向这个复制品的指针,既无法修改复制品的状态,也无法获取指针。 package main import "fmt" type User struct {     id   int     name string } func main() {     u := User{18, "oldboy"}     var i interface{} = u     u.id = 20     u.name = "Golang"     fmt.Printf("u : %vn", u)     fmt.Printf("i.(User) : %vn", i.(User)) } 运行结果: u : {20 Golang} i.(User) : {18 oldboy} 接口转型返回临时对象,只有使用指针才能修改其状态。 package main import "fmt" type User struct {     id   int     name string } func main() {     u := User{18, "oldboy"}     var vi, pi interface{} = u, &u     // vi.(User).name = "Golang"     pi.(*User).name = "Golang"     fmt.Printf("vi.(User) : %vn", vi.(User))     fmt.Printf("pi.(*User) : %vn", pi.(*User)) } 空接口 只有当接口存储的类型和对象都为nil时,接口才等于nil。 package main import (     "fmt" ) func main() {     var i interface{}     fmt.Printf("i => %vn", i)     fmt.Printf("(i == nil) => %vn", i == nil)     var p *int = nil     // i 指向 p,指向的对象是个nil,但是存在类型不是nil,是个指针     i = p     fmt.Printf("i => %vn", i)     fmt.Printf("(i == nil) => %vn", i == nil) } 运行结果: i => <nil> (i == nil) => true i => <nil> (i == nil) => false 接口实现 接口只有方法声明,没有数据字段,没有实现,也不需要显示的实现。只要一个变量,含有接口类型中的所有方法,那么这个变量就实现这个接口。 package main import (     "fmt" ) type Info interface {     GetAge() int     GetName() string } type User struct {     name string     age  int } func (u User) GetAge() int {     return u.age } func (u User) GetName() string {     return u.name } func main() {     var user Info = User{"oldboy", 18}     age := user.GetAge()     name := user.GetName()     fmt.Println(age, name) } 如果一个变量含有了多个interface类型的方法,那么这个变量就实现了多个接口。 package main import (     "fmt" ) type Age interface {     GetAge() int } type Name interface {     GetName() int } type User struct {     name string...
Go语言中处理 HTTP 服务器 前端框架

Go语言中处理 HTTP 服务器

1 概述 包 net/http 提供了HTTP服务器端和客户端的实现。本文说明关于服务器端的部分。 快速开始: package main import (   "log"   "net/http" ) func main() {   // 设置 路由   http.HandleFunc("/", IndexAction)   // 开启监听   log.Fatal(http.ListenAndServe(":8888", nil)) } func IndexAction(w http.ResponseWriter, r *http.Request) {  w.Write(byte(`<h1 align="center">来自变化吧的问候</h1>`)) } 运行程序,在浏览器上请求: localhost:8888,你会看到我们的结果 Go语言构建HTTP服务器还是很容易的。深入说明。 2 http.Server 类型 HTTP 服务器在 Go 语言中是由 http.Server 结构体对象实现的。参考 http.ListenAndServe() 的实现: // 文件:src/net/http/server.go // ListenAndServe always returns a non-nil error. func ListenAndServe(addr string, handler Handler) error {   server := &Server{Addr: addr, Handler: handler}   return server.ListenAndServe() } 可见过程是先实例化 Server 对象,再完成 ListenAndServe 。其中 Serve 对象就是表示 HTTP 服务器的对象。其结构如下 : // 文件:src/net/http/server.go type Server struct {   Addr    string  // TCP 监听地址, 留空为:":http"   Handler Handler // 调用的 handler(路由处理器), 设为 nil 表示 http.DefaultServeMux   TLSConfig *tls.Config // TLS 配置对象   ReadTimeout time.Duration // 请求超时时长   ReadHeaderTimeout time.Duration // 请求头超时时长   WriteTimeout time.Duration // 响应超时时长   IdleTimeout time.Duration // 请求空闲时长(keep-alive下两个请求间)   MaxHeaderBytes int // 请求头的最大长度   TLSNextProto mapfunc(*Server, *tls.Conn, Handler) // NPN 型协议升级出现时接管TLS连接的处理器函数映射表   ConnState func(net.Conn, ConnState) // 状态转换事件处理器   ErrorLog *log.Logger // 日志记录对象   disableKeepAlives int32     // accessed atomically.   inShutdown        int32     // accessed atomically (non-zero means we're in Shutdown)   nextProtoOnce     sync.Once // guards setupHTTP2_* init   nextProtoErr      error     // result of http2.ConfigureServer if used   mu         sync.Mutex   listeners  mapstruct{}   activeConn mapstruct{}   doneChan   chan struct{}   onShutdown func() } 可见 Server 定义了服务器需要的信息。 实例化了 Server 对象后,调用其 (srv *Server) ListenAndServe() error 方法。该方法会监听 srv.Addr 指定的 TCP 地址,并通过 (srv *Server) Serve(l net.Listener) error 方法接收浏览器端连接请求。Serve 方法会接收监听器 l 收到的每一个连接,并为每一个连接创建一个新的服务进程。 该 go...
go语言动态库的编译和使用 前端框架

go语言动态库的编译和使用

本文主要介绍go语言动态库的编译和使用方法,以linux平台为例,windows平台步骤一样,具体环境如下: $ echo $GOPATH /media/sf_share/git/go_practice $ echo $GOROOT /usr/lib/golang/ $ tree $GOPATH/src /media/sf_share/git/go_practice/src |-- demo |   `-- demo.go `-- main.go 1 directory, 2 files 在$GOPATH/src目录,有demo包和使用demo包的应用程序main.go,main.go代码如下: package main import "demo" func main() {    demo.Demo() } demo包中的demo.go代码如下: package demo import "fmt" func Demo() {    fmt.Println("call demo ...") } 由于demo.go是$GOPATH/src目录下的一个包,main.go在import该包后,可以直接使用,运行main.go: $ go run main.go call demo ... 现在,需要将demo.go编译成动态库libdemo.so,让main.go以动态库方式编译,详细步骤如下: 1 将go语言标准库编译成动态库 $ go install -buildmode=shared -linkshared  std 在命令行运行go install -buildmode=shared -linkshared  std命令,-buildmode指定编译模式为共享模式,-linkshared表示链接动态库,成功编译后会在$GOROOT目录下生标准库的动态库文件libstd.so,一般位于$GOROOT/pkg/linux_amd64_dynlink目录: $ cd $GOROOT/pkg/linux_amd64_dynlink $ ls libstd.so libstd.so 2 将demo.go编译成动态库 $ go install  -buildmode=shared -linkshared demo $ cd $GOPATH/pkg $ ls linux_amd64_dynlink/ demo.a  demo.shlibname  libdemo.so 成功编译后会在$GOPATH/pkg目录生成相应的动态库libdemo.so。 3 以动态库方式编译main.go $ go...
go语言 - Scheduler原理以及查看Goroutine执行 前端框架

go语言 - Scheduler原理以及查看Goroutine执行

最近看了看go scheduler的基本原理,本文介绍go语言scheduler的基本原理以及如何查看go代码中的go routine的执行情况。 0)Scheduler(调度器) 熟悉go语言的小伙伴应该都使用过goroutine。goroutine就是Go语言提供的一种用户态线程。Scheduler是调度goroutine的调度器。 Go的调度器内部有三个重要概念:M,P,G。 M (machine): 代表真正的内核操作系统里面的线程,和POSIX里的thread差不多,也是真正执行goroutine逻辑的部分。 G (Goroutine): 代表一个goroutine。 P (Processor): 代表调度的上下文,可以理解成一个局部调度器。 Go语言实现了多个Goroutine到多个Processor的映射(调度)。注意的是,针对X个Processor,Scheduler可能创建多于X个M(有些M可能会暂时被block)。还需要理解额外两个概念:GRQ(Global Running Queue)以及 LRQ(Local Running Queue)。未指定Processor的Goroutine会存放在GRQ上,在调度到合适的Processor后,会将一个Goroutine从GRQ移动到LRQ。 Go程序中发生了四类事件,允许调程序做出调度决策。 a. 使用关键字go b. 垃圾收集 c. 系统调用 d. 同步 1)Processor的个数 Processor的个数可以通过GOMAXPROCS环境变量设置。GOMAXPROCS默认值是CPU的核数。Processor的个数可以通过如下的go代码进行查询: package main import ( "fmt" "runtime" ) func main() { // NumCPU returns the number of logical // CPUs usable by the current process. fmt.Println(runtime.NumCPU()) } 也就是通过runtime.NumCPU函数可以获得Processor的个数。查看go语言的源代码(runtime/os_linux.c),NumCPU函数的实现函数如下:  func getproccount() int32 { const maxCPUs = 64 * 1024 var buf byte r := sched_getaffinity(0, unsafe.Sizeof(buf), &buf) if r < 0 { return 1 } n := int32(0) for _, v := range buf { for v != 0 { n += int32(v...