我在畅游工作时,曾经维护一个名为Cyclone的基础库,包括天龙八部在内的大部分端游产品都是使用的这个库,主要是网络通讯、消息包管理,加密等功能,但这个库本身的技术含量很低,网络部分只支持select,没有考虑多线程,代码也很丑陋。由于是关系现金流的核心产品,本着稳定压倒一切的原则,一直不敢动,所以至今畅游仍然还在用着这份十多年前的代码。2015年初的时候,我曾经有一段时间没什么事情,于是打算重新写一个全新的网络库,参考了NginxSkynetMuduolwanlibevent的设计之后,有了一些心得,于是开始写新版的cyclone。在离开畅游之前,cyclone已经完成了第一版,并且应用在一个在研的手游项目上,但这个版本并不完善,后来我一直想找时间把cyclone再完善一下,但对于创业狗来说,坐下来写代码简直就是大逆不道的事情,于是一直断断续续的写。直到最近,cyclone终于完成一个比较满意的版本,也算完成了一个心愿 🙂

      这个工程我放在了Github上,cyclone的设计从一开始就是比较清晰的,主要是以下几个特性

非阻塞+多路复用

      这应该是使用最为广泛的一种网络模型,适合大多数应用场景,multiplexing支持select、epoll、kqueue三种api

多线程+event loop机制

      cyclone是按照one loop per thread的思想设计的,线程通过event唤醒,线程之间的通讯通过pipe进行,这种模式可以最大程度上减少线程的空转以及线程之间的临界区。对于网游服务器来说,一种很不好的设计就是不考虑线程的空转成本,大量使用sleep+busy loop,这也是为什么很多情况下,一台网游服务器明明cpu占用很低,但玩家仍然觉得“卡”的原因,因为大量的空转逻辑,导致服务器线程的fps降低,对玩家的消息包的相应时间加长导致的。线程之间的通讯使用无锁队列+pipe机制,也就是把要传输的数据放在无锁队列中,然后通过pipe唤醒相应的目标线程。对于c++多线程程序来说,对象的生命周期管理是一个非常重要的问题,一不小心就会陷入泥潭,所以采用线程之间的消息通讯机制,再配合std::shared_ptr,可以大大降低问题的复杂度。

跨平台

      目前支持Windows、Linux、MacOSX、Android,后面会考虑支持iOS,因为用了很多c++11特性,所以跨平台并不是什么太麻烦的事情,主要的跨平台的差异还是在于EventLoop中针对不同平台的实现,cyclone的EventLoop支持socket,timer,pipe三种唤醒机制,其中pipe的实现在linux和mac上都有原生的支持,在windows上虽然也有pipe,但无法用在select上,所以我用了一对socket来模拟pipe,这个消耗会有些高,所以在windows的生产环境里尽量慎用pipe。timer在mac上使用了kqueue原生机制,linux和Android使用了timerfd,windows上使用了timer-queue + pipe的方式。
      cyclone使用CMake作为编译脚本,以及单元测试程序,如果需要编译单元测试的话,需要安装google test

工具函数

      cyclone的设计思想是宁缺毋滥,尽量保证库的简单,比如消息包的封装,加解密这样的代码是以工具的形式放在库里,我已经把dh-exchange密钥交换和aes加密放在库里,可以实现通讯双方的安全协议,另外adler32可以做简单的crc校验算法,xorshift128做异或加密。

范例

      我提供了几个类似于helloworld的范例,比如echo和chat,另外samples里还有两个很有用的程序,socks5和relay。把这两个程序写出来的目的其实大家都懂得,socks5这个程序实现了简单的Socks5协议代理服务器,配合海外的vps,可以实现科学上网,但在我大天朝,仅仅靠sockes5还不行,因为这个协议本身并不支持消息加密,很容易就会莫名其妙的挂掉,所以我又实现了加密用的relay。原理可以参照云风的这篇文章。其中relay_local是一个n:1的工具,把多个链接收到一个链接中,relay_server是1:n的工具,把链接恢复出来去和真正的目标程序通讯,而relay_local和relay_server之间的协议是通过密钥交换和aes算法加密的,所以非常安全。
      具体操作是,在海外的vps上,运行socks5和relay_server,如下:

      在本地机器上运行relay_local


      然后设定本地浏览器使用127.0.0.1:1984作为socks5代理服务器地址即可,比如Chrome浏览器,加入命令行参数–proxy-server=”SOCKS5://127.0.0.1:1984″,或者使用pac文件设置复杂的代理设置,感兴趣的同学这部分可以研究一下ShadowSocks,ShadowSocks使用的是HTTP代理+加密协议,基本原理和我的是一样的,不过更完善和专业。
      除了n:1和1:n,我还提供了一个1:1的工具relay_pipe。这个程序如同水管中的管件,两端可以是listen和connect两种方式的组合,如同螺栓和螺母一样,这三个工具组合起来,可以实现一些很有趣的功能,比如实现局域网的穿透。举例来说,公司局域网内有一台FTP服务器,如果想在家的时使用,一般情况下可以找MIS的同事开通VPN权限,不过对于临时应急使用的话,完全可以直接用relay组合一个管道,把家里的电脑链接到公司内网的服务器上,前提是有一台公网上的vps服务器。
      首先是在公网vps上运行一个中转pipe,打开两个监听端口2001和2002

      在公司局域网找一台电脑,运行relay_server和relay_pipe

      在家里的电脑上运行relay_local

      然后就可以在家里的电脑上链接127.0.0.1:21使用ftp,如同在公司一样。

5 thoughts on “跨平台网络库Cyclone发布

  1. 很高兴看见您又更新博客了,我是一名在职研究生,对您给出的sph程序特别有兴趣,想在此基础上改进下算法,但是苦于您给的源代码无法使用(或者说不会使用),迫切希望您能于百忙之中抽出时间予以指导,谢谢,如果可以,请email我:wyl.2005@126.com特别感谢!

    1. 有什么问题可以邮件(thejinchao@gmail.com)直接问我,SPH这个系列是我很早以前随便写的,很不专业

  2. 博主,如果能看到,能不能把你之前的匀速贝塞尔曲线的两篇博客补回来一下,包括gif图。

  3. 博主,如果你方便的的话,能不能在最近两天发一下关于怎么样等分贝塞尔曲线弧长的那篇博客

发表评论

电子邮件地址不会被公开。

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据