web服务器框架
| 模块 | 功能 |
|---|---|
| I/O处理单元 | 处理客户连接，读写网络数据 |
| 逻辑单元 | 处理客户连接，读写网络数据业务进程或线程 |
| 网络存储单元 | 数据库、文件或缓存 |
| 网络存储单元 | 各单元之间的通信方式 |
-
I/O处理单元是服务器管理客户连接的模块。它通常要完成以下工作:等待并接受新的客户连接，接收客户数据,将服务器响应数据返回给客户端但是数据的收发不-定在I/O处理单元中执行，也可能在逻辑单元中执行，具体在何处执行取决于事件处理模式。
-
一个逻辑单元通常是一个进程或线程。它分析并处理客户数据，然后将结果传递给I/O处理单元或者直接发送给客户端(具体使用哪种方式取决于事件处理模式)。服务器通常拥有多个逻辑单元，以实现对多个客户任务的并发处理。
-
网络存储单元可以是数据库、缓存和文件,但不是必须的。
-
请求队列是各单元之间的通信方式的抽象。I/O 处理单元接收到客户请求时，需要以某种方式通知一个逻辑单元来处理该请求。同样，多个逻辑单元同时访问一个存储单元时，也需要采用某种机制来协调处理竞态条件。请求队列通常被实现为池的一部分。
事件处理模式
服务器程序通常需要处理三类事件: I/O 事件、信号及定时事件。
一般有两种高效的事件处理模式: Reactor 和Proactor
- 同步I/O模型通常用于实现Reactor模式
- 异步I/O模型通常用于实现Proactor模式。
Reactor模式
该模式要求主线程(I/O处理单元) 只负责监听文件描述符上是否有事件发生，有的话就立即将该事件通知工作线程(逻辑单元)，将socket可读可写事件放入请求队列，交给工作线程处理。除此之外，主线程不做任何其他实质性的工作。
读写数据，接受新的连接，以及处理客户请求均在工作线程中完成。
使用同步I/O模拟 (以epoll_wait为例) 实现的Reactor模式的工作流程是:
- 主线程往epoll内核事件表中注册socket上的读就绪事件。
- 主线程调用
epoll_wait等待socket上有数据可读。 - 当socket上有数据可读时，
epoll_wait通知主线程。主线程则将socket可读事件放入请求队列。 - 睡眠在请求队列上的某个工作线程被唤醒，它从socket读取数据，并处理客户请求，然后往epoll内核事件表中注册该socket上的写就绪事件。
- 当主线程调用
epoll_wait等待socket可写。 - 当socket可写时,
epoll_wait通知主线程。主线程将socket可写事件放入请求队列。 - 睡眠在请求队列上的某个工作线程被唤醒，它往socket上写入服务器处理客户请求的结果。
Reactor模式的工作流程：
Proactor模式
Proactor模式将所有I/O操作都交给主线程和内核来处理(进行读、写)，工作线程仅仅负责业务逻辑。
使用异步I/O模型(以aio_read和aio_write为例)实现的Proactor模式的工作流程是:
- 主线程调用
aio_read函数向内核注册socket上的读完成事件，并告诉内核用户读缓冲区的位置，以及读操作完成时如何通知应用程序(这里以信号为例)。 - 主线程继续处理其他逻辑。
- 当socket上的数据被读入用户缓冲区后，内核将向应用程序发送一个信号， 以通知应用程序数据已经可用。
- 应用程序预先定义好的信号处理函数选择一个工作线程来处理客户请求。工作线程处理完客户请求后，调用
aio_write函数向内核注册socket上的写完成事件，并告诉内核用户写缓冲区的位置，以及写操作完成时如何通知应用程序。 - 主线程继续处理其他逻辑。
- 当用户缓冲区的数据被写入socket之后，内核将向应用程序发送一个信号, 以通知应用程序数据已经发送完毕。
- 应用程序预先定义好的信号处理函数选择-个工作线程来做善后处理，比如决定是否关闭socket。
Proactor模式工作流程：
同步IO模型实现Proactor模式
使用同步I/O方式模拟出Proactor模式。原理是:主线程执行数据读写操作，读写完成之后，主线程向工作线程通知这一”完成事件”。
那么从工作线程的角度来看,它们就直接获得了数据读写的结果，接下来要做的只是对读写的结果进行逻辑处理。
使用同步I/O模型(以epoll_wait为例)模拟出的Proactor模式的工作流程如下:
- 主线程往epoll内核事件表中注册socket上的读就绪事件。
- 主线程调用
epoll_wait等待socket上有数据可读。 - 当socket上有数据可读时，
epoll_wait通知主线程。主线程从socket循环读取数据，直到没有更多数据可读，然后将读取到的数据封装成一个请求对象并插入请求队列。 - 睡眠在请求队列上的某个工作线程被唤醒，它获得请求对象并处理客户请求，然后往epoll内核事件表中注册socket上的写就绪事件。
- 主线程调用
epoll_wait等待socket可写。 - 当socket可写时,
epoll_wait通知主线程。主线程往socket上写入服务器处理客户请求的结果。
同步I/O模拟Proactor模式的工作流程:
线程池
线程池是由服务器预先创建的一组子线程，线程池中的线程数量应该和CPU数量差不多。计算线程池中线程数目的公式并不是一个固定的标准，而是根据具体的应用场景和需求来确定的：
-
CPU密集型任务：对于主要是进行CPU计算的任务，可以根据CPU核心数来设置线程数目。一般来说，线程数目可以设置为CPU核心数的1.5倍到2倍之间，以充分利用CPU资源，常用为 N+1，N为核心数。
-
I/O密集型任务：对于主要是进行I/O操作的任务，可以根据系统的I/O设备的并发能力来设置线程数目。一般来说，线程数目可以设置为I/O设备的并发能力的倍数，以充分利用I/O资源。常用为 2*N+1，N为核心数。
-
响应时间要求：如果对系统的响应时间有较高的要求，可以根据响应时间的目标来计算线程数目。可以使用Little's Law公式：线程数目 = 并发请求数目 × 平均响应时间 / 单位时间内完成的请求数目。根据这个公式，可以根据目标响应时间和单位时间内完成的请求数目来计算线程数目。
线程池中的所有子线程都运行着相同的代码。当有新的任务到来时，主线程将通过某种方式选择线程池中的某一个子线程来为之服务。相比与动态的创建子线程，选择一个已经存在的子线程的代价显然要小得多。至于主线程选择哪个子线程来为新任务服务，则有多种方式:
-
主线程使用某种算法来主动选择子线程。最简单、最常用的算法是随机算法和Round Robin (轮流选取)算法，但更优秀、更智能的算法将使任务在各个工作线程中更均匀地分配，从而减轻服务器的整体压力。
-
主线程和所有子线程通过一个共享的工作队列来同步，子线程都睡眠在该工作队列上。当有新的任务到来时,主线程将任务添加到工作队列中。这将唤醒正在等待任务的子线程，不过只有一个子线程将获得新任务的”接管权"，它可以从工作队列中取出任务并执行之，而其他子线程将继续睡眠在工作队列上。
线程池的一般模型为:
线程池小结：
- 作用是用空间换时间，浪费服务器的硬件资源，换取运行效率。
- 线程池是一组资源的集合, 这组资源在服务器启动之初就被完全创建好并初始化，这称为静态资源。
- 当服务器进入正式运行阶段，开始处理客户请求的时候，如果它需要相关的资源，可以直接从池中获取，无需动态分配。
- 当服务器处理完一个客户连接后，可以把相关的资源放回池中，无需执行系统调用释放资源。