TCPA和BBR测试对比报告

公司内部针对部分业务的下载场景，对TCP协议栈就行了参数，代码逻辑层的优化，以达到客户端访问的快速的体验。在研发过程中，Google发布了BBR，并把它集成到4.9内核中。测试时，最新的内核是4.15. 为了评估TCPA版本跟BBR的性能对比，我们使用了4.15版本的BBR和我们正式发布的TCPA来进行性能对比。本测试报告，主要是通过第三方的博睿来评估在不同文件大小下，TCPA和BBR之间的性能差异。测试结果测试任务第一次测试第二次测试2次测试平均值纵向性能对比640KB任务TCPA-电信2047.4012183.0342115.218TCP-电信1450.6361383.6741417.15549.26%BBR-电信1448.1551536.5171492.33641.74%8MB任务TCPA-电信2570.4222552.9812561.702TCP电信1768.4581626.9091697.68450.89%BBR-电信2295.642358.6462327.14310.08%25MB任务TCPA-电信2769.4122713.6322741.522TCP电信1876.6741915.5491896.11244.59%BBR-电信2585.82590.2052588.0035.93%说明：第一轮测试(详细数据见1)和第二轮测试(详细数据见5.2)的参数配置相同。因此取其平均值作为测试结果。“纵向性能对比”是指，BBR默认配置，TCPA启用后默认配置时，“2次测试平均值”中, TCPA相比TCP，TCPA相比BBR的测试结果。测试结论：1.BBR算法相比标准的TCP的cubic算法，性能提升明显。小文件差异不大；大文件的下载性能明显，约35%左右。2.TCPA的启用，外加系统参数优化后， 大小文件均比标准的TCP提升40%以上。3.TCPA的启用，外加系统参数优化后，小文件比BBR能提升40%以上，大文件比BBR能提升5%~10%。TCPA简介这个是TCPA，发送数据包和接收应答包后的处理逻辑图。一共包括9个模块。应用程序通过sendfile，write等发送的后，交由内核的数据包构建模块来处理，最终生成一个个SKB并放入发送队列中。平缓发送模块，根据拥塞控制模块所产生的发送速度/发送窗口值来平缓地将这些数据(无论是新数据，还是重传数据)发送到网络中，本身并不会决策发送的速率，只会按照给定的速度/发送窗口来执行。超时模块用来决策哪些数据包超时，并重传，最终会交给平缓发送模块来发送。Probe探测模块，是依据网络的特定需要，构造一些数据包来探测网络的质量情况。发送是交给平缓发送模块来发送，接收到的应答包，会将Probe应答包交给Probe模块来处理。收到应答包后，如果有SACK则单独处理SACK,SACK的处理逻辑比较复杂，需要知道哪些数据包被应答，哪些未被应答，需要对重传队列进行标记。并且也会根据sack中的应答来判断哪些报文丢包了，当前网络中的RTT值变化等。这里会给丢包检测模块，拥塞控制模块提供判断信息。丢包检测模块，用来判断哪些数据包已经丢弃，比如快速重传，RACK等算法。这里只去标记丢弃的报文，具体的重传由重传包处理模块来执行。拥塞控制算法，用来判断当前网络链接情况，并据此来决定当前发送的速度和发送窗口值。不同的拥塞算法所依赖的判断信息不同。 窗口的增减均由这里来判断。这里会依赖SACK模块，丢包检测模块，RTO超时模块，probe模块等给予关键信息。重传数据包模块和新数据发送模块相对比较简单，将数据整理好后，交给平缓发送模块来发送。所以，总的来说，TCPA的修改不仅仅是对拥塞算法的修改，也对收发包的整个逻辑进行了重构。对于系统已有的功能，我们额外还提供了可调整的参数接口，供使用。比如小表中列举了部分调整的参数：net.core.wmem_max = 3276800net.ipv4.tcp_fack = 0net.ipv4.tcp_init_cwnd = 10net.ipv4.tcp_loss_init_cwnd = 1net.ipv4.tcp_mem = 379479      505972  758958net.ipv4.tcp_metrics_minrtt = 0net.ipv4.tcp_rto_max = 120net.ipv4.tcp_rto_min = 200net.ipv4.tcp_timestamps = 1net.ipv4.tcp_wmem = 4096       16384   4194304测试方案使用第三方博睿进行测试。一共进行了2轮的测试，第一个测试周期：12.9的0点~12.11的0点，共两天。第二个测试周期12.12的0点到12.14的0点。TCPA安装包安装后使用默认配置进行测试。最新内核BBR和标准内核均采用默认内核的配置进行测试。3台服务器属于同一个机房，配置全国的电信(服务器属于电信运营商)测试任务进行测试。详细的测试任务名和测试URL如下。测试名称具体任务测试URL天津PC端-640K测试天津TCPA-电信http://tcloud.qq.com/640K.png天津TCP-电信http://tcloud.qq.com/640K.png天津BBR-电信http://tcloud.qq.com/640K.png天津PC端-8M测试天津TCPA-电信http://tcloud.qq.com/8M.apk天津TCP电信http://tcloud.qq.com/8M.apk天津BBR-电信http://tcloud.qq.com/8M.apk天津PC端-25M测试天津TCPA-电信http://ping.cdn.qcloud.com/xf/dOsYWK1.apk天津TCP电信http://ping.cdn.qcloud.com/xf/dOsYWK1.apk天津BBR-电信http://ping.cdn.qcloud.com/xf/dOsYWK1.apk测试详细结果静态下载测试(第一轮)测试周期：12.9的0点~12.11的0点，共两天。测试任务下载速度(Kb/s)可用性(%)性能提升备注640KB任务TCPA-电信2047.40199.72TCP-电信1450.63699.6641.14%BBR-电信1448.15599.7141.38%8MB任务TCPA-电信2570.42299.46TCP电信1768.45899.4345.35%BBR-电信2295.6499.4311.97%25MB任务TCPA-电信2769.41299.02TCP电信1876.67499.0347.57%BBR-电信2585.899.097.10%对于小文件(小于640KB)而言，BBR基本跟标准的TCP性能相当；而TCPA相比BBR提升了至少40%。对于大文件(大于8MB)而言,BBR相对应标准的TCP性能提升明显，幅度在30%左右。而TCPA提升的性能更高，比BBR还有高7%~11%。博睿结果截图：静态下载测试(第二轮)测试周期：12.12的0点~12.14的0点，共两天。测试任务下载速度(Kb/s)可用性(%)性能提升备注640KB任务TCPA-电信2183.03499.92TCP-电信1383.67499.8557.77%BBR-电信1536.51799.9142.08%8MB任务TCPA-电信2552.98199.66TCP电信1626.90999.6356.92%BBR-电信2358.64699.668.24%25MB任务TCPA-电信2713.63299.5TCP电信1915.54999.2841.66%BBR-电信2590.20599.414.77%对于小文件(小于640KB)而言，BBR略微比标准的TCP性能好些，约10%左右。而TCPA相比BBR提升了至少40%。对于大文件(大于8MB)而言,BBR相对应标准的TCP性能提升明显，幅度在30%左右。而TCPA提升的性能更高，比BBR还有高4%~8%。博睿结果截图：附录1.测试环境服务器测试对象内核版本TCPA版本备注123.151.xx.xx标准TCP3.10.0-1-tlinux2_cdn_nosign-0001.tl2无123.151.xx.xxTCPA3.10.104-1-tlinux2-0041.tcpa01.tl22.6-LIVEtcpa_packets_171206_0959.tar.bz2123.151.xx.xxBBR4.15.0-rc2-netnext-171208+无需要启用BBR(注：这三台服务器属于同一个IDC机房内)2.bbr的环境配置(1)添加配置cat /etc/sysctl.confnet.core.default_qdisc=fqnet.ipv4.tcp_congestion_control=bbr(2)执行sysctl –p /etc/sysctl.conf