basic coder

Common Lisp进行网络编程可用的库还是挺多的，比较常用的库有usocket和iolib，usocket我简单了解了一下没有真正拿来用，它的API比较简单，文档写得比较全面，相比之下，iolib要比usocket强大的多，但缺点是文档太少，官方的文档可用的内容非常少，但如果能阅读一下iolib的相关源码，就会发现其实iolib是一个很强大的网络编程库，其中包含了DNS解析，socket基本操作（bind,listen等等），IO多路复用以及通常用来做IPC的socketpair，而且iolib的multiplex用起来有种libevent的感觉，用iolib可以实现一般的应用层网络编程，至于是否支持raw socket，我还没仔细研究，不过感觉应该问题不大。

1.iolib的安装
使用asdf-install可以在线安装iolib，但貌似asdf-install不会自动解决包的依赖问题，最近才发现原来asdf-install其实已经是一个废弃的项目，官方已经不推荐使用了，在cliki的asdf-install首页最开头就有一句醒目的提示语：

ASDF-install is OBSOLETE. DO NOT USE ASDF-INSTALL, EVER. DO NOT ASK AROUND ABOUT HOW TO GET IT RUNNING. IT IS O-B-S-O-L-E-T-E. Not working. Not maintained. Please use quicklisp instead.

前段时间在学Common Lisp，接触新语言我干的第一件事一般是通过HTTP抓取某个web页面，因为对网络编程比较感兴趣，而且平时写的程序也多是网络相关的，所以比较关心这方面的用法，于是用IOLib写了一个简单的小程序尝试着抓取了几个大门户网站的页面代码，关于IOLib的基本用法改天我也写篇日志记录一下，也算是和大家分享一下，毕竟能找到的中文资料比较少，而且文档也不是特别全，就像这篇文章里面说的：”Such is the nature of open source documentation. “，于是大多数的用法都得通过hack源代码来弄明白，言归正传，在写这个小程序的时候我遇到了一些问题，关于字符编码的问题，下面慢慢道来吧。

IOLib的receive-from方法是通过调用recvfrom来进行的，这种带缓存的接收方式很符合其它语言进行编程的套路，但它所接收到的buffer数据是需要存储在一个vector ‘(unsigned-byte 8)中的，虽然字符串在本质上也是向量，但对于字符串的很多操作不能直接应用于vector，而且vector中的元素都是每个字符的unicode编码，而不是确定的字符，于是便需要进行转换，最初我使用的办法：

(map 'string #'code-char buffer)

在切入正题之前先写点不相关的，工作确定之后便开始忙论文的事，忙里偷闲总想搞点什么以做娱乐，不得不说，腾讯面试官说过的要精通两到三门不同的语言我印象很深刻，自己也想尝试一下新东西，VIM让我审美疲劳了，也想尝试一下Emacs，机缘巧合由田春老师翻译的《实用Common Lisp编程》刚上市不久，Emacs和Lisp也有不少渊源，再加上Lisp作为一门生命持久的元老级别的语言，至今仍然能倍受广大黑客的推崇，我相信它一定有学习的价值，而且Hadoop的MapReduce据说也是受Lisp的map和reduce函数的启发而来，相信对于Lisp的学习肯定不会是浪费时间，尽管将来工作中应用Lisp的机会可能很少，但深入学习的话肯定会对自己有一定的启发和帮助。

于是几乎同一时间我开始尝试使用Emacs并在卓越上订购了中文版的《实用Common Lisp编程》，抽空阅读尝试。总起来说这本书是非常不错的，几乎是面面俱到，但有些我认为也很有用的宏如defstruct,deftype,check-type等书中没有给出相关介绍，另外关于cl的package书中有一章节专门讲了定义的规则，但对于package的管理及安装并没有提及，我个人觉得如果是practical编程的话提一下cl中重要的ASDF包管理工具还是很有必要的，既然书中没有提到就得自己通过其它的渠道去了解学习，这方面中文的资料相对较少，大多数的资料都是在外文网站上查到的，当然也包括到stackoverflow上的提问。

前天去淘宝把三方交了，找工作就到此为止了，找工作的经历虽然不算复杂漫长，但也觉得很累很辛苦。

正式开始投简历找工作应该是从九月份开始的，九月中旬注册了几家招聘网站，陆陆续续地开始往外投简历，目标也比较明确，虽然专业一直是通信，但却想去互联网公司做后端开发，服务器或者分布式系统相关的开发，所以通信类的公司没有怎么投简历，只投了华为的云计算方向和爱立信的软件研发方向。国企没有投，片面地觉得国企是最没有战斗力的公司，还是想到互联网行业的私企做些有挑战性的工作。

第一家面试的公司是IBM研究院，在上地的钻石大厦，离北邮超级远，先坐车到清华西门，然后转车到西北旺，下车后发现右手边是农田，左手边是树林，没有路人，没有出租车，于是完全迷路了，后来沿着树林走了一段时间后偶然发现树林对面有座大楼冒出个头来，于是穿过树林过去问了下那楼的保安，说那就是钻石大厦，OMG，让我好找。IBM CRL没有笔试，师兄推荐的部门，因为是第一次面试没什么经验，也没有准备英文自我介绍，还有些紧张，做了一个简单的slide，没有被问到复杂的算法问题，因为时间比较短，所以挑了一两个重点的项目讲了讲，结束后感觉表现真的很烂，也可能是师兄推荐的原因最后让我拿到了二面的机会，二面安排在十一前，仍然是讲项目，在师兄的指点下改了slide，而且也提前准备了英文自我介绍，这中间也参加过几次面试，也有了点经验，所以感觉还不错，结束后几天也拿到了互联网公司的offer，IBM CRL感觉不太适合我，那边偏向于研究一些，像我这种做工程的在那边确实不是太好发展，于是联系师兄把情况说清楚了，已经浪费了大家两次面试的时间了，如果有第三次面试机会我还是不去了，这样IBM的面试也就到此为止了。

假期的最后一天，简单翻阅了下Redis的源码，读一款server软件的源码我一般是从进程/线程模型开始的，Redis让我有些诧异，它采用了单进程单线程的模型，一般的server软件都会采用多进程或者多线程再或者多线程多进程混合的模型来设计，从而充分利用多核处理器的并行计算能力来提高软件的性能，Redis这种模型我只能推断程序的可并行化程度不高，顺序计算反而能省去多线程同步和维护线程池/进程池的开销，我对于数据库server端的设计没有什么经验也没有太多的理解，如有谬误欢迎大家指正。

当然，这里要写的不是关于Redis的进程模型，而是Redis的事件模型和定时器模型。

Redis没有依赖libevent，而是自己通过IO多路复用的方式来实现了事件循环和定时器，不像nginx或者apache有多种多路复用方式可供选择，Redis只采用了三种：epoll/kqueue/select，默认采用epoll，在linux环境下最优的方式当然是epoll，当在FreeBSD平台下epoll不存在时则使用kqueue，当然若两种方式都未定义则使用性能最差的select，我只阅读了跟epoll相关的代码。

Memcached的内存管理在网上也可以搜集到不少不错的文章，新浪的这篇《Memcached深度分析》讲得不错，读别人的文章还是不如自己直接去读源码分析源码来得直接，这里写一下我阅读Memcached源码时对于Memcached内存管理机制的理解。

Memcached的代码结构很简单，从main()函数入口进去之后便是几个模块的初始化函数，和内存管理相关的主要有两个函数，一个是assoc_init()，这个是用来初始化哈希表的，关于这个哈希表的作用留在外面讨论，另一个是slabs_init()，该函数用来初始化slab，下面先来讨论一下slab机制。

Memcached把内存分为一个个的slab，每个slab又分成一个个的chunk，系统会定义一个slab_class数组，其中每个元素是都是一个对该slab的描述，包括这个slab里面的每个chunk的大小，这个slab里面包含多少个chunk等信息，先把slab分布情况打印出来看看，对Memcached的内存分配有个大体的认识，然后再去读代码可能会好一些。

说起vim的复制粘贴一直是个比较困扰我的问题，之前一直用gvim，跟系统剪贴板之间的复制粘贴都没有问题，gvim毕竟还需要再开个窗口，麻烦，而且不如vim那样快捷，但vim里面最让我头痛的是复制粘贴问题，想把vim里面的内容复制到其它的地方貌似怎么也不行，粘贴进来的话免强可以，但格式可能会很乱，折腾来折腾去，今天先是发现了个往外复制比较蹩脚的办法:

:set mouse=v

这样鼠标就可以变成文本选择指针的样子，可以选择选择字体，然后点右键选复制，或者CTRL+SHIFT+C，但如果mouse=a这种模式下的话选择之后，右键的复制是灰色的，当然这种情况复制如果有行号的话行号也会被复制进去，所以在复制前先把行号关了，复制完再打开，这办法貌似也能凑合，但着实太不专业，而且太麻烦，远不如用gvim的“+y这种来得方便，“+y这个很多推友表示是可以的，但在我这里不可以，刚经@multiple1902指点，有可能是vim编译的问题。

查看了一下vim版本相关信息：

vim --version

发现clipboard和xterm_clipboard这些选项都是不可使用的功能，这样看来果然是编译问题了，slackware讲求KISS，编译的时候没有加入该选项也可以理解，于是从vim官网svn上check下来源码(话说我为啥check下来的是7.2呢，难道7.3还没有stable…)，重新编译。

Memcached是一种应用较广泛的分布式内存对象缓存系统，应用之余总想了解它的实现机理，这也就是开源的好处，以至于每接触一款优秀的开源软件都有去阅读它源代码的冲动，Memcached-1.4.7的代码量还是可以接受的，只有10K行左右，我比较关心的两个方面还是它的进程（线程）管理机制和内存管理机制，这里先简单写一下我对Memcached进程管理方面的理解。

Memcached使用libevent实现事件循环，libevent在Linux环境下默认采用epoll作为IO多路复用方法，这个不重要，接下来要讨论的是Memcached的进程管理模型。

Memcached采用了很典型的Master-Worker模型，采用的是多线程而不是多进程，而线程之间没有冗余的共享数据，这样便降低了多线程进行线程同步的开销，核心的共享数据是消息队列，主线程会把收到的事件请求放入队列，随后调度程序会选择一个空闲的Worker线程来从队列中取出事件请求进行处理。

在main()函数里面，Memcached为主线程调用event_init()创建了一个libevent base对象，随后调用thread_init()来初始化线程，我们来看下这个函数的实现。

近两天给Hybrid(https://github.com/levin108/hybrid)的聊天窗口加上了WebKit支持，之前没有实际用过WebKit，而且Web前台开发功力也不强，草草做了一个界面，但相比用GtkTextView来实现看上去还是要舒服好多，先上个图吧：

本篇没有什么高深的东西，作为一个简单的开发文档。

博客有两个月没更新了吧，先说说这段时间都在做些什么吧，六月初的时候实验室项目验收完，以为可以轻松下来了，于是开了一个新的开源项目在做，这个稍后再说，没过多久就被拉去给新项目做设计文档去了，这活做起来比硬编码要麻烦得多，于是大多数时间都在为这个事情心烦，稍微有点闲下来的时间就去写点代码，接下来说下最近在做的这个开源项目。

之前的Openfetion虽然也受到了一些开源社区朋友的好评，但软件质量怎么想我心里比谁都明白，在twitter上我也公开承认过Openfetion的代码质量以及软件架构都非常差，说到代码质量，最初在开发Openfetion的时候没有想过会把它作为一个通用的软件拿出来给大家用，而是自己纯粹在写着玩，于是写得很随意，当然这也得怪我这种恶劣的编程习惯，专业的coder即便是写一个测试用的小代码也会严格按规范来，这是一种习惯，我承认之前做得不够好。再说到软件架构，对于IM软件我之前一样没有什么经验，在没有经过调研的情况就盲目开始编码，完全没有参考现有的开源软件架构，甚至没有个合适的事件循环，所以Openfetion目前的状态是勉强能用。

之前考虑过重构Openfetion，但其实重构的成本要远远高于重写，于是我决定终止Openfetion项目，不再为Openfetion增加/修改代码，也不鼓励其它人对它进行修改。