学习契机
最近的一个项目中在使用grpc时遇到一个问题，由于client端可多达200，每个端口每10s向grpc server发送一次请求，server端接受client的请求后根据request信息更新数据库，再将数据库和配置文件的某些数据封装后返回给client。原代码的性能是0.26s/request，远远达不到所需性能，其中数据库更新操作耗时达到80%，其中一个优化点就是将数据库更新操作放在独立的线程中。
在次之前没有使用过线程编码，学以致用后本着加深理解的想法，将这个过程记录下来，这里先记下用于线程间通信的队列Queue的相关知识。
概念
Python2中队列库名称为Queue，Python3中已改名为queue，项目使用Python2.7.5版本，自然是使用Queue。
Queue模块中提供了同步的、线程安全的队列类，包括FIFO（先入先出)队列Queue，LIFO（后入先出）队列LifoQueue，和优先级队列PriorityQueue。这些队列都实现了锁原语，可在多线程通信中直接使用。
Queue模块定义了以下类及异常，在队列类中，maxsize限制可入队列数据的数量，值小于等于0时代表不限制:
-
Queue.Queue(maxsize=0)FIFO队列 -
Queue.LifoQueue(maxsize=0)LIFO队列 -
Queue.PriorityQueue(maxsize=0)优先级队列 -
Queue.EmptyTODO Queue.Full
Queue（Queue、LifoQueue、PriorityQueue）对象提供以下方法：
-
Queue.qsize()
返回队列大小，但是不保证qsize() > 0时，get()不会阻塞；也不保证qsize() < maxsize时，put()不会阻塞。 -
Queue.empty()
返回True时，不保证put()时不会阻塞；返回False时不保证get()不会阻塞。 -
Queue.full()
返回True时，不保证get()时不会阻塞；返回False时不保证put()不会阻塞。 -
Queue.put(item[, block[, timeout]])
block默认值为False，指定为True时代表可以阻塞，若同时指定timeout，在超时时返回Full exception。 -
Queue.put_nowait(item)
等同put(item, False) Queue.get([block[, timeout]])-
Queue.get_nowait()
等同get(item, False) -
Queue.task_done()
消费者线程调用。调用get()后，可调用task_done()告诉队列该任务已经处理完毕。
如果当前一个join()正在阻塞，它将在队列中的所有任务都处理完时恢复执行（即每一个由put()调用入队的任务都有一个对应的task_done()调用）。 -
Queue.join()
阻塞调用线程，直到队列中的所有任务被处理掉。
只要有数据被加入队列，未完成的任务数就会增加。当消费者线程调用task_done()（意味着有消费者取得任务并完成任务），未完成的任务数就会减少。当未完成的任务数降到0，join()解除阻塞。
应用
UpdateThread是单一消费者进程，获取FIFO队列中的数据处理，GrpcThread是multi生产者线程，需要对往队列中丢数据这个操作加锁保证数据先后顺序。
import threading
import Queue
import time
q = Queue.Queue()
q_lock = threading.Lock()
class UpdateThread(threading.Thread):
def __init__(self):
super(self.__class__, self).__init__()
self.setName(self.__class__.__name__)
self._setName = self.setName
@staticmethod
def update_stat():
global q
while not q.empty():
stat = q.get()
print 'Update stat (%s) in db' % stat
def run(self):
while True:
self.update_stat()
time.sleep(0.1)
class GrpcThread(threading.Thread):
def compose_stat(self, stat):
global q
q_lock.acquire()
q.put('%d: %s' % (stat, self.name))
q_lock.release()
return
def run(self):
for i in range(10):
self.compose_stat(i)
time.sleep(0.1)
def launch_update_thread():
UpdateThread().start()
if __name__ == '__main__':
launch_update_thread()
thread1 = GrpcThread()
thread2 = GrpcThread()
thread1.start()
thread2.start()
