应用层协议设计

消息边界

1. 固定大小字节数，如每个消息100个字节（不足也要100个字节）（一般不用这个）；
2. 特定符号，如每个消息以特定字符\r\n来结尾；
3. 固定消息头+消息体，消息头中有消息体大小，先接受固定字节数的头部，解出消息完整的长度；
4. buffer前面加一个字符流头部，其中有个字段有消息总长度，收消息先判断是否有结束符，然后解析消息头，再接受解出体长度的消息体；

协议设计重点

1. 消息边界
2. 版本区别，版本号放哪里？
3. 消息类型区分，如login，msg

范例

IM即时通讯

• 版本号尽量靠前

云平台节点服务器

ngix

HTTP

序列化

• 序列化：将客户端/服务端对象数据转换成易于网络传输的字符流or二进制流
• 反序列化：逆过程

方法

1. xml（文本）
2. json（文本）
3. protobuf（二进制）

数据压缩

• 针对body中的文本，二进制的图片、视频和protobuf没必要压缩

1. deflate
2. gzip
3. lzw

协议升级

• 协议升级 = 增加字段

1. 通过版本号指明协议版本，即通过版本号辨别不同类型的协议
2. 支持协议头可扩展，即在设计协议头部对的时候有一个字段用来指明头部的长度

Protobuf

• 使用：

1. 编写proto文件
2. 通过protoc工具生成对应语言的文件，如xx.pb.h和xx.pb.cc
3. 引用头文件.pb.h，直接使用生成的接口
4. 通过序列化和反序列化，填充body或解析body

protoc

• 将制定proto文件生成代码
  • protoc -l=./ –cpp_out=./test.proto
• 将对应目录的所有proto文件生成代码
  • protoc -l=./ –cpp_out=./*.proto

编译.pb.cc

• g++ -std=c++11 -o list_people list_people.cc addressbook.pb.cc -lprotobuf -lpthread

工程经验

1. proto文件命名规则，尽量用”项目名.模块名.proto”
2. proto命名空间，尽量用”package 项目名.模块名;”
3. 引用文件，使用”import “项目名.模块名.proto””
4. 多个平台一定要用同一份proto文件，避免出错
5. 可以使用”option optimize_for = LITE_RUNTIME”来链接lite版本的libprotobuf

   1 2 3 4 5 6 7 8 9

   // IM.Login.proto sytax = "proto3"; // 一般用3，2很少用 package IM.Login; // 项目名.模块名 import "IM.BaseDefine.proto"; // 引用 option optimize_for = LITE_RUNTIME; message IMLoginReq{ ... }

proto语法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76

// IM.Login.proto

syntax = "proto3"; // proto2和proto3
package IM.Login;	//IM::Login -> package IM.Login
import "IM.BaseDefine.proto";	// 引用文件

option optimize_for = LITE_RUNTIME;

// message 理解为类
message IMLoginReq{
	//cmd id:		0x0103
    // 因为变量名成不会进行传输，所以这里不是赋值，而是规定该变量的编号，所以必须多平台用同一份proto
	string user_name = 1; 
	string password = 2;
    // 枚举类型需要把引入的完整空间写完整
	IM.BaseDefine.UserStatType online_status = 3; 
	IM.BaseDefine.ClientType client_type = 4; //删掉，4不能再去用
	string client_version = 5;
	string client_xxx = 6;

	// oneof 可以理解为c++ union联合，就是里面的几个变量只能有一个生效，设置了一个另外的就不生效
	oneof test_union {
		int32 int32_1 = 7;
		string string_2 =8;
	}

	oneof payload {
        // 类可以嵌套
        ArticleResponse articleResponse = 9; 
        MusicResponse musicResponse = 10;
    }
}

// 
message ArticleResponse {
    string title = 1;
    string author = 2;
    string date = 3;
}
 
message MusicResponse {
    string title = 1;
    string author = 2;
    bytes data = 3;
}

// person.proto

// service id  枚举的=号后跟的具体的值， 这里不是编号，不要和message这个关键字搞混
enum PhoneType{
	PHONE_DEFAULT			= 0x0;		
    PHONE_HOME              = 0x0001;   // 家庭电话
    PHONE_WORK              = 0x0002;   // 工作电话     
}

// message关键字 代表一个对象
message Phone{
    string number = 1;	// = 1是什么？默认值
    PhoneType phone_type = 2;
}

message Book{
    string name = 1;
    float price = 2;
}

message Person{
    string  name    = 1;
    int32   age     = 2;
    repeated string languages = 3;
    Phone   phone   = 4;
    // repeated 重复， 可以嵌套对象 , 用于发送数组
    repeated Book   books   = 5;	
    bool            vip     = 6;
    string          address = 7;
}

编码原理

基础

.proto数据类型

序列化后数据类型

• 序列化后的二进制里，数据只有4种类型，该类型称为wire_type
  1. 0 Varint（变长类型 int32 int64 uint32 uint64 sint32 sint64 bool enum）
  2. 1 64-bit（固定64位长度 fixed64 sfixed64 double）
  3. 2 Length-delimited（字符等 string，bytes，embedded mssages，packed repeated field）
  4. 5 32-bit（固定32位长度 fixed32 sfixed32 float）

可变长编码

• 定长编码：在C++中int32类型始终占用4个字节，即时存储的是0或1依然占用4个字节，会有浪费掉的空间
• 可变长编码 Base128 Varint：(128表示用7个位来编码的意思)
  1. 每个字节的第一个bit用来表示该字节后续还有没有下一个字节，1表示有，0表示结束
  2. 采用小端序，低位将会存储在高地址
  3. 对于存储1：
     1. 定长：00000000 00000000 00000000 00000001
     2. 变长：00000001（第一个bit为0，表示已结束）
  4. 对于存储666：
     1. 定长：00000000 00000000 00000010 10011010
        1. 先以7个位进行拆分 101 0011010
        2. 低位放到前面 0011010 101
        3. 添加表示后续仍有字节的标识 10011010 00000101 ，这一位全补0代表后面没有字节了
     2. 变长：10011010 00000101
• 对于数据类型的选择：
  1. 如果含有负数建议采用sint类型，因为效率问题。
  2. 0xffffffff采用定长需要4个字节，而采用变长需要32/7≈5个字节，所以在<=28bit整数适合用变长，而>28且<=32bit可以考虑fixed32或sfixed32

编码规则

编号+类型段

1. 编号即.proto文件中定义的编号，称为field_num，采用Base128 Varint可变长编码
2. 序列化后的数据类型，称为wire_type，采用固定3bit表示
3. 那么存储数据的第一个段为 field_num << 3 | wire_type

wire_type = 1 or 5

• 跟在编号+类型段后，固定长度，且采用定长编码

wire_type = 0

• 跟在编号+类型段后，可变长度，且采用Base128 Varint可变长编码

wire_type = 2

• 跟在编号+类型段后，添加一个长度字段，采用Base128 Varint可变长编码
• 长度字段后面跟具体数据，一般为字符串的asii码

协议升级

• 不要改变编号
• 直接新加字段即可
• 如果想废弃字段，考虑添加reserved标记，不要之间删掉

protobuf为什么快

1. 根据编号去匹配，占用字节少
2. 解析是二进制
3. 传输是二进制，占用字节少