protobuf_intro

发表于 | 分类于

为什么要使用 protobuf

跟 JSON 相比 protobuf

优点

  • 性能更高，更加规范
  • 编解码速度快，数据体积小
  • 使用统一的规范，不用再担心大小写不同导致解析失败等蛋疼的问题了

缺点

  • 改动协议字段，需要重新生成文件。
  • 数据没有可读性

安装

在 go 中使用 protobuf，有两个可选用的包 goprotobuf（go 官方出品）和 gogoprotobuf。
gogoprotobuf 完全兼容 google protobuf，它生成的代码质量和编解码性能均比 goprotobuf 高一些

安装 protoc

首先去https://github.com/google/pro… 上下载 protobuf 的编译器 protoc，同时设置环境变量

安装 protobuf 库文件

goprotobuf

安装插件和依赖库

1
2
go get github.com/golang/protobuf/proto
go get github.com/golang/protobuf/protoc-gen-go

生成 go 文件

1
protoc --go_out=. *.proto

gogoprotobuf

安装插件和依赖库

gogoprotobuf 有两个插件可以使用

  • protoc-gen-gogo：和 protoc-gen-go 生成的文件差不多，性能稍微快一点点
  • protoc-gen-gofast：生成的文件更复杂，性能也更高(快 5-7 倍)
1
2
3
4
5
6
7
8
9
// 依赖库
go get github.com/gogo/protobuf/proto
go get github.com/gogo/protobuf/gogoproto  //这个不装也没关系

//gogo
go get github.com/gogo/protobuf/protoc-gen-gogo

//gofast
go get github.com/gogo/protobuf/protoc-gen-gofast

生成 go 文件

1
2
3
4
5
//gogo
protoc --gogo_out=. *.proto

//gofast
protoc --gofast_out=. *.proto

简单使用

test.proto

1
2
3
4
5
6
7
8
9
//指定版本，必须要写（proto3、proto2）
syntax = "proto3";
package proto;

message UserInfo{
    string message = 1;   //消息
    int32 length = 2;    //消息大小
    int32 cnt = 3;      //消息计数
}

client_protobuf.go

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
package main

import (
    "bufio"
    "fmt"
    "net"
    "os"
    stProto "proto"
    "time"

    //protobuf编解码库,下面两个库是相互兼容的，可以使用其中任意一个
    "github.com/golang/protobuf/proto"
    //"github.com/gogo/protobuf/proto"
)

func main() {
    strIP := "localhost:6600"
    var conn net.Conn
    var err error

    //连接服务器
    for conn, err = net.Dial("tcp", strIP); err != nil; conn, err = net.Dial("tcp", strIP) {
        fmt.Println("connect", strIP, "fail")
        time.Sleep(time.Second)
        fmt.Println("reconnect...")
    }
    fmt.Println("connect", strIP, "success")
    defer conn.Close()

    //发送消息
    cnt := 0
    sender := bufio.NewScanner(os.Stdin)
    for sender.Scan() {
        cnt++
        stSend := &stProto.UserInfo{
            Message: sender.Text(),
            Length:  *proto.Int(len(sender.Text())),
            Cnt:     *proto.Int(cnt),
        }

        //protobuf编码
        pData, err := proto.Marshal(stSend)
        if err != nil {
            panic(err)
        }

        //发送
        conn.Write(pData)
        if sender.Text() == "stop" {
            return
        }
    }
}

server_protobuf.go

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
package main

import (
    "fmt"
    "net"
    "os"
    stProto "proto"

    //protobuf编解码库,下面两个库是相互兼容的，可以使用其中任意一个
    "github.com/golang/protobuf/proto"
    //"github.com/gogo/protobuf/proto"
)

func main() {
    //监听
    listener, err := net.Listen("tcp", "localhost:6600")
    if err != nil {
        panic(err)
    }

    for {
        conn, err := listener.Accept()
        if err != nil {
            panic(err)
        }
        fmt.Println("new connect", conn.RemoteAddr())
        go readMessage(conn)
    }
}

//接收消息
func readMessage(conn net.Conn) {
    defer conn.Close()
    buf := make([]byte, 4096, 4096)
    for {
        //读消息
        cnt, err := conn.Read(buf)
        if err != nil {
            panic(err)
        }

        stReceive := &stProto.UserInfo{}
        pData := buf[:cnt]

        //protobuf解码
        err = proto.Unmarshal(pData, stReceive)
        if err != nil {
            panic(err)
        }

        fmt.Println("receive", conn.RemoteAddr(), stReceive)
        if stReceive.Message == "stop" {
            os.Exit(1)
        }
    }
}

性能测试

这里只是简单的用 go test 测试了一下

1
2
3
4
5
6
7
8
9
10
11
//goprotobuf
"编码"：447ns/op
"解码"：422ns/op

//gogoprotobuf-go
"编码"：433ns/op
"解码"：427ns/op

//gogoprotobuf-fast
"编码"：112ns/op
"解码"：112ns/op

gRPC-go

安装

1
2
3
go get -u github.com/golang/protobuf/{proto,protoc-gen-go}
go get -u google.golang.org/grpc
protoc --go_out=plugins=grpc:. *.proto

gRPC 仓库

1
2
3
4
5
// 引入包
google.golang.org/grpc

// github
https://github.com/grpc/grpc-go

gRPC 文档

gRPC 文档

gRPC 需要使用插件：plugins=grpc，冒号:表示分割，点.表示当前目录

1
protoc -I/usr/local/include -I. -I$GOPATH/src -I$GOPATH/src/github.com/grpc-ecosystem/grpc-gateway/third_party/googleapis --go_out=plugins=grpc:. *.proto

protoc 工作原理

protoc 原理.html>)

gRPC gateway
gRPC 仓库
优点

  • http rest 调用方式
  • swagger 文档生成