python进阶

python
字数统计: 5.1k   |   阅读时长≈ 23 分钟

多任务

多进程

multiprocessing

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import multiprocessing
import time
import threading

def test1():
    while True:
        print("1-----")
        time.sleep(1)

def test2():
    while True:
        print("2------")
        time.sleep(1)

def main():
    p1 = multiprocessing.Process(target=test1)
    p2 = multiprocessing.Process(target=test2)
    p1.start()
    p2.start()

if __name__ == "__main__":
    main()

进程通信

  • 队列
1
2
3
4
5
6
7
8
9
q = multiprocessing.Queue(3)
q.put("111")
q.put(222)  #放入队列
q.put([11,22,33])
q.get()     #获取队列
q.get()
q.get_nowait()  #不等待的获取
q.full()    #判断为满
q.empty()   #判断为空
  • 使用队列实现进程通信
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
#coding=utf-8
import multiprocessing

def download_from_web(q):
    data = [11,22,33,44]

    for temp in data:
        q.put(temp)

    print("下载完毕")

def analysis_data(q):
    waitting_analysis_data = list()
    while True:
        data = q.get()
        waitting_analysis_data.append(data)

        if q.empty():
            break    

    print(waitting_analysis_data)

def main():
    q = multiprocessing.Queue() #创建队列

    p1 = multiprocessing.Process(target=download_from_web, args=(q,))   #创建进程，target要调用的函数，args传递的参数
    p2 = multiprocessing.Process(target=analysis_data, args=(q,))
    p1.start()  #开始执行子进程
    p2.start()


if __name__ == "__main__":
    main()

进程池

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#coding=utf-8
import multiprocessing
import os, time, random

def worker(msg):

    t_start = time.time()
    print("%s开始执行，进程号为%d" % (msg, os.getpid()))
    time.sleep(random.random()*2)
    t_stop = time.time()
    print(msg, "执行完毕，耗时%0.2f" % (t_stop - t_start))


po = multiprocessing.Pool(3)    #定义进程池

for i in range(0, 10):
    po.apply_async(worker, (i,))    #要调用的目标，传递参数元组

print("__start__")
po.close()  #关闭进程池，关闭后不在接收请求
po.join()   #等待po中的所有子进程执行完成，必须放在close语句后
print("__end__")

练习

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
#coding=utf-8
#多进程文件夹拷贝
import os
import multiprocessing


def copy_file(q, file_name, old_folder_name, new_folder_name):
    #print("=====>copy文件(%s--->%s)：%s" % (old_folder_name, new_folder_name, file_name))
    old_f = open(old_folder_name + "/" + file_name, 'rb')
    data = old_f.read()
    old_f.close()

    new_f = open(new_folder_name + '/' + file_name, 'wb')
    new_f.write(data)
    new_f.close()

    q.put(file_name)

def main():
    old_folder_name = input("原文件夹：")
    new_folder_name = old_folder_name + "[1]"
    

    try:
        file_names = os.listdir(old_folder_name)    #listdir()获取文件夹的所有文件的名字
    except:
        print("没有这个文件夹")
        return

    try:
        os.mkdir(new_folder_name)
    except:
        pass
    
    
    #print(file_names)

    po = multiprocessing.Pool(5)
    queue = multiprocessing.Manager().Queue()

    for file_name in file_names:
        po.apply_async(copy_file, args=(queue, file_name, old_folder_name, new_folder_name))

    po.close()
    #po.join()
    all_file_num = len(file_names)
    copy_num = 0
    while True:
        file_name = queue.get()
        copy_num += 1
        print("\r拷贝的进度为：%.2f %%" % (copy_num*100/all_file_num), end='')

        if(all_file_num == copy_num):
            break
    
    print()
main()

多线程

threading模块

1
2
3
4
t1 = threading.Thread(target=sing)
t1.start()

threading.enumerate()	#获取当前程序所有线程

封装

1
2
3
4
5
6
7
8
9
10
11
12
13
import threading
import time

class MyThread(threading.Thread):
    def run(self):
        for i in range(3):
            time.sleep(1)
            msg = "I'm"+self.name+'@'+str(i)
            print(msg)
            
if __name__ == '__main__':
    t = MyThread()
    t.start()

全局变量，资源竞争

1
2
#多线程共享全局变量
t1 = threading.Thread(target=test1,args=(g_nums))

同步,锁

1
2
3
4
5
mutex = threading.Lock()	#创建锁

mutex.acquire()	#锁定

mutex.release() #解锁

死锁

程序设计时尽量避免（银行家算法）

设置超时时间

练习

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
# coding:utf-8
import socket
import threading

def send_msg(udp_socket, dest_ip, dest_port):
    """发送消息"""
    #获取要发送的内容
    while True:
        send_data = input("请输入要发送的信息：")
        udp_socket.sendto(send_data.encode("utf-8"), (dest_ip, dest_port))
        if(send_data == 'quit'):
            break


def recv_msg(udp_socket):
    """接收数据"""
    while True:
    
        recv_data = udp_socket.recvfrom(1024)
        if(recv_data == 'quit'):
            break
        print("%s:%s" % (str(recv_data[1]), recv_data[0].decode("utf-8")))
    
def main():
    #创建套接字
    udp_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

    theport = int(input("要监听的端口："))
    #绑定信息
    udp_socket.bind(("",theport))
    

    dest_ip = input("请输入对方IP:")
    dest_port = int(input("请输入对方端口："))

    t_recv = threading.Thread(target=recv_msg, args=(udp_socket,))
    t_send = threading.Thread(target=send_msg, args=(udp_socket, dest_ip, dest_port))

    t_recv.start()
    t_send.start()
        
if __name__ == "__main__":
    main()

协程

迭代器

__iter__方法的返回值是一个迭代器，表示可迭代

既有__iter__方法，也有__next__表示迭代器

可迭代对象：list, tuple, dict, string等

迭代器示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
from collections import Iterable
import time

class Classmate():
    def __init__(self):
        self.names = list()
        self.current_num = 0

    def add(self, name):
        self.names.append(name)

    def __iter__(self): #__iter__方法的返回值是一个迭代器，表示可迭代
        return self

    def __next__(self): #既有__iter__方法，也有__next__表示迭代器
        if self.current_num < len(self.names):
            ret = self.names[self.current_num]
            self.current_num += 1
            return ret
        else:
            #停止迭代
            raise StopIteration


classmate = Classmate()
classmate.add('qwe')
classmate.add('asd')
classmate.add('zxc')

print('是否可迭代对象：', isinstance(classmate, Iterable))

for i in classmate:
    print(i)
    time.sleep(1)

其它： range() & xrange()

斐波纳契数列迭代器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
from collections import Iterable
import time

class FibIterabtor():

    def __init__(self, n):
        self.n = n
        self.current_num = 0
        self.a = 0
        self.b = 1

    def __iter__(self):
        return self

    def __next__(self):
        if self.current_num < self.n:
            ret = self.a

            self.a, self.b = self.b, self.a+self.b
            self.current_num += 1
            return ret
        else:
            raise StopIteration

fibo = FibIterabtor(10)

for num in fibo:
    print(num)

生成器

生成器是一种特殊的迭代器

num = [x*2 for x in range(10)]

nums = (x*2 for x in range(10))

斐波纳契数列生成器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
def create_num(all_num):
    a, b = 0, 1

    current_num = 0

    while current_num < all_num:
        yield a     # 只要有yield即为生成器
        a, b = b, a+b
        current_num += 1
    return "ok"

y = create_num(10)
while True:
    try:
        ret = next(y)
        print(ret)
    except Exception as e:
        print(e.value)      #获取return的值
        break

协程

使用yiled完成多任务

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
import time

def task_1():
    while True:
        print("---1---")
        time.sleep(0.1)
        yield

def task_2():
    while True:
        print("---2---")
        time.sleep(0.1)
        yield

def main():
    t1 = task_1()
    t2 = task_2()

    while True:
        next(t1)
        next(t2)

main()

使用greenlet替换yiled

pip3 install greenlet

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import time
from greenlet import greenlet

def task_1():
    while True:
        print("---1---")
        time.sleep(0.1)
        gr2.switch()

def task_2():
    while True:
        print("---2---")
        time.sleep(0.1)
        gr1.switch()


gr1 = greenlet(task_1)
gr2 = greenlet(task_2)

gr1.switch()

使用gevent

pip3 install gevent

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import gevent
import time

def f1(n):
    for i in range(n):
        gevent.sleep(0.5)       #延时操作，切换协程
        print(gevent.getcurrent(), i)

def f2(n):
    for i in range(n):
        gevent.sleep(0.5)
        print(gevent.getcurrent(), i)

def f3(n):
    for i in range(n):
        gevent.sleep(0.5)
        print(gevent.getcurrent(), i)


g1 = gevent.spawn(f1, 5)
g2 = gevent.spawn(f2, 5)
g3 = gevent.spawn(f3, 5)
g1.join()       #等待g1结束，属于延时操作
g2.join()
g3.join()

改进

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
import gevent
import time
from gevent import monkey


monkey.patch_all()      #将延时操作更换为gevent的延时操作
def f1(n):
    for i in range(n):
        time.sleep(0.5)       #延时操作，切换协程
        print(gevent.getcurrent(), i)

def f2(n):
    for i in range(n):
        time.sleep(0.5)
        print(gevent.getcurrent(), i)

def f3(n):
    for i in range(n):
        time.sleep(0.5)
        print(gevent.getcurrent(), i)


g1 = gevent.spawn(f1, 5)
g2 = gevent.spawn(f2, 5)
g3 = gevent.spawn(f3, 5)


# g1.join()       #等待g1结束，属于延时操作
# g2.join()
# g3.join()

gevent.joinall([        #等待列表所有程序结束
    gevent.spawn(f1, 5),
    gevent.spawn(f2, 5),
    gevent.spawn(f2, 5)
])

网络通信

Python 提供了两个级别访问的网络服务。：

  • 低级别的网络服务支持基本的 Socket，它提供了标准的 BSD Sockets API，可以访问底层操作系统Socket接口的全部方法。
  • 高级别的网络服务模块 SocketServer， 它提供了服务器中心类，可以简化网络服务器的开发。

Socket又称”套接字”，应用程序通常通过”套接字”向网络发出请求或者应答网络请求，使主机间或者一台计算机上的进程间可以通讯。

socket()函数

Python 中，我们用 socket（）函数来创建套接字，语法格式如下：

1
socket.socket([family[, type[, proto]]])

参数

  • family: 套接字家族可以使AF_UNIX或者AF_INET
  • type: 套接字类型可以根据是面向连接的还是非连接分为SOCK_STREAM或SOCK_DGRAM
  • protocol: 一般不填默认为0.

Socket 对象(内建)方法

函数 描述
服务器端套接字
s.bind() 绑定地址（host,port）到套接字， 在AF_INET下,以元组（host,port）的形式表示地址。
s.listen() 开始TCP监听。backlog指定在拒绝连接之前，操作系统可以挂起的最大连接数量。该值至少为1，大部分应用程序设为5就可以了。
s.accept() 被动接受TCP客户端连接,(阻塞式)等待连接的到来
客户端套接字
s.connect() 主动初始化TCP服务器连接，。一般address的格式为元组（hostname,port），如果连接出错，返回socket.error错误。
s.connect_ex() connect()函数的扩展版本,出错时返回出错码,而不是抛出异常
公共用途的套接字函数
s.recv() 接收TCP数据，数据以字符串形式返回，bufsize指定要接收的最大数据量。flag提供有关消息的其他信息，通常可以忽略。
s.send() 发送TCP数据，将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。
s.sendall() 完整发送TCP数据，完整发送TCP数据。将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
s.recvfrom() 接收UDP数据，与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
s.sendto() 发送UDP数据，将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。
s.close() 关闭套接字
s.getpeername() 返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。
s.getsockname() 返回套接字自己的地址。通常是一个元组(ipaddr,port)
s.setsockopt(level,optname,value) 设置给定套接字选项的值。
s.getsockopt(level,optname[.buflen]) 返回套接字选项的值。
s.settimeout(timeout) 设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如connect()）
s.gettimeout() 返回当前超时期的值，单位是秒，如果没有设置超时期，则返回None。
s.fileno() 返回套接字的文件描述符。
s.setblocking(flag) 如果flag为0，则将套接字设为非阻塞模式，否则将套接字设为阻塞模式（默认值）。非阻塞模式下，如果调用recv()没有发现任何数据，或send()调用无法立即发送数据，那么将引起socket.error异常。
s.makefile() 创建一个与该套接字相关连的文件

Python Internet 模块

以下列出了 Python 网络编程的一些重要模块：

协议 功能用处 端口号 Python 模块
HTTP 网页访问 80 httplib, urllib, xmlrpclib
NNTP 阅读和张贴新闻文章，俗称为”帖子” 119 nntplib
FTP 文件传输 20 ftplib, urllib
SMTP 发送邮件 25 smtplib
POP3 接收邮件 110 poplib
IMAP4 获取邮件 143 imaplib
Telnet 命令行 23 telnetlib
Gopher 信息查找 70 gopherlib, urllib

练习

tcp文件下载器

client.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
from socket import *
import sys

def main():
    #创建socket
    tcp_client_socket = socket(AF_INET, SOCK_STREAM)
    
    # 目的信息
    server_ip = input("请输入服务器IP：")
    server_port = int(input("请输入服务器port"))
    
    # 链接服务器
    tcp_client_socket.connect((server_ip, server_port))
    
    #输入需要下载的文件名
    tcp_client_socket.send(file_name.encode("utf-8"))
    
    #接收对方发送过来的数据，最大接受1024个字节
    recv_data = tcp_client_socket.recv(1024*1024)
    
    if recv_data:
        with open("[接收]"+file_name, "wb") as f:
            f.write(recv_data)
    
    tcp_client_socket.close()
    
if __name__ == "__main__":
    main()

server.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
import socket

def send_file_2_client(new_client_socket, client_addr):
    file_name = new_client_socket.recv(1024).decode("utf-8")
    print("客户端(%s)需要下载的文件是：%s" % (str(client_addr),file_name))
    file_content = None
    try:
        f = open(file_name,'rb')
        file_content = f.read()
        f.close()
    except Exception as ret:
        print("没有要下载的文件(%s)" % file_name)
    
    if file_content:
        new_client_socket.send(file_content)

def main():
    tcp_server_socket = socket.scoket(socket.AF_INET, socket.SOCK_STREAM)
    
    tcp_server_socket.bind(("",7890))
    
    tcp_server_socket.listen(128)
    
    while True:
        new_client_socket, client_addr = tcp_server_socket.accept()
    
        send_file_2_client(new_client_socket, client_addr)
    
        new_client_socket.close()
    tcp_server_socket.close()
    
if __name__ == "__main__":
    main()

udp聊天器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
import socket

def send_msg(udp_socket):
    """发送消息"""
    #获取要发送的内容
    dest_ip = input("请输入对方IP：")
    dest_port = int(input("请输入对方端口："))
    send_data = input("请输入要发送的信息：")
    udp_socket.sendto(send_data.encode("utf-8"), (dest_ip, dest_port))


def recv_msg(udp_socket):
    """接收数据"""
    recv_data = udp_socket.recvfrom(1024)
    print("%s:%s" % (str(recv_data[1]), recv_data[0].decode("utf-8")))
    
def main():
    #创建套接字
    udp_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
    #绑定信息
    udp_socket.bind(("", 7788))
    
    #循环处理
    while True:
        print("-----udp聊天器-----")
        print("1.发送消息")
        print("2.接收消息")
        print("0.退出")
        op = input("请输入功能：")

        if op == "1":
            send_msg(udp_socket)
        elif op == "2":
            recv_msg(udp_socket)
        elif op == "0":
            break
        else:
            print("输入有误，请重新输入")
        
if __name__ == "__main__":
    main()

web服务器

WSGI协议 浏览器请求动态页面过程

静态，动态，伪静态

正则表达式

语法

1
2
3
4
5
6
.(\n除外，re.S)   []  \d  \D  \w  \W  \s  \S
{m} {m,n}  ?    *   +
^   $   \   |   ()
\num
(?P<name>) 分组起名 (?P=name) 引用别名
*? 最小匹配

re库

1
2
3
4
5
6
7
8
9
10
11
12
import re

ret = re.search()
ret.group()

ret = re.match()

ret = re.findall()

ret = re.sub()  可调用函数

ret = re.split()

http协议

TCP

三次握手：
syn
ack，syn
ack

四次挥手：

简单web服务器实现

简单静态web服务器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
#简单静态web服务器
import socket
def service_client(new_socket):
    """为这个客户端返回数据"""
    request = new_socket.recv(1024)

    print(request)

    response = "HTTP/1.1 200 OK\r\n"
    response += "\r\n"

    response += "<h1>adasddsa<h1/>"
    new_socket.send(response.encode("utf-8"))

    new_socket.close()

def main():
    """用来完成整体控制"""
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    
    # 避免服务器关闭后，重启时出现端口占用
    # tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

    tcp_server_socket.bind(("", 7890))

    tcp_server_socket.listen(128)

    while True:
        new_socket, client_addr = tcp_server_socket.accept()

        service_client(new_socket)
    
    tcp_server_socket.close()

if __name__ == "__main__":
    main()

返回浏览器需要的页面http服务器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
#返回浏览器需要的页面http服务器
import socket
import re


def service_client(new_socket):
    """为这个客户端返回数据"""

    # 1. 接收浏览器发送过来的请求 ，即http请求  
    # GET / HTTP/1.1
    # .....
    request = new_socket.recv(1024).decode("utf-8")
    # print(">>>"*50)
    # print(request)

    request_lines = request.splitlines()
    print("")
    print(">"*20)
    print(request_lines)

    # GET /index.html HTTP/1.1
    # get post put del
    file_name = ""
    try:
        ret = re.match(r"[^/]+(/[^ ]*)", request_lines[0])
    except:
        pass
    else:
        if ret:
            file_name = ret.group(1)
            # print("*"*50, file_name)
            if file_name == "/":
                file_name = "/index.html"




    # 2. 返回http格式的数据，给浏览器
    
    try:
        f = open("./html" + file_name, "rb")
    except:
        response = "HTTP/1.1 404 NOT FOUND\r\n"
        response += "\r\n"
        response += "------file not found-----"
        new_socket.send(response.encode("utf-8"))
    else:
        html_content = f.read()
        f.close()
        # 2.1 准备发送给浏览器的数据---header
        response = "HTTP/1.1 200 OK\r\n"
        response += "\r\n"
        # 2.2 准备发送给浏览器的数据---boy
        # response += "hahahhah"

        # 将response header发送给浏览器
        new_socket.send(response.encode("utf-8"))
        # 将response body发送给浏览器
        new_socket.send(html_content)


    # 关闭套接
    new_socket.close()
    

def main():
    """用来完成整体的控制"""
    # 1. 创建套接字
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

    # 2. 绑定
    tcp_server_socket.bind(("", 7890))

    # 3. 变为监听套接字
    tcp_server_socket.listen(128)

    while True:
        # 4. 等待新客户端的链接
        new_socket, client_addr = tcp_server_socket.accept()

        # 5. 为这个客户端服务
        service_client(new_socket)

    # 关闭监听套接字
    tcp_server_socket.close()


if __name__ == "__main__":
    main()

并发web服务器

multiprocessing
threading
gevent

协程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
# 使用协程实现多任务服务器
import socket
import re
import gevent 
from gevent import monkey

monkey.patch_all()

def service_client(new_socket):
    """为这个客户端返回数据"""

    # 1. 接收浏览器发送过来的请求 ，即http请求  
    # GET / HTTP/1.1
    # .....
    request = new_socket.recv(1024).decode("utf-8")
    # print(">>>"*50)
    # print(request)

    request_lines = request.splitlines()
    print("")
    print(">"*20)
    print(request_lines)

    # GET /index.html HTTP/1.1
    # get post put del
    file_name = ""
    try:
        ret = re.match(r"[^/]+(/[^ ]*)", request_lines[0])
    except:
        pass
    else:
        if ret:
            file_name = ret.group(1)
            # print("*"*50, file_name)
            if file_name == "/":
                file_name = "/index.html"




    # 2. 返回http格式的数据，给浏览器
    
    try:
        f = open("./html" + file_name, "rb")
    except:
        response = "HTTP/1.1 404 NOT FOUND\r\n"
        response += "\r\n"
        response += "------file not found-----"
        new_socket.send(response.encode("utf-8"))
    else:
        html_content = f.read()
        f.close()
        # 2.1 准备发送给浏览器的数据---header
        response = "HTTP/1.1 200 OK\r\n"
        response += "\r\n"
        # 2.2 准备发送给浏览器的数据---boy
        # response += "hahahhah"

        # 将response header发送给浏览器
        new_socket.send(response.encode("utf-8"))
        # 将response body发送给浏览器
        new_socket.send(html_content)


    # 关闭套接
    new_socket.close()
    

def main():
    """用来完成整体的控制"""
    # 1. 创建套接字
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

    # 2. 绑定
    tcp_server_socket.bind(("", 7890))

    # 3. 变为监听套接字
    tcp_server_socket.listen(128)

    while True:
        # 4. 等待新客户端的链接
        new_socket, client_addr = tcp_server_socket.accept()

        gevent.spawn(service_client, new_socket)
        # p.start()

        # new_socket.close()

    # 关闭监听套接字
    tcp_server_socket.close()


if __name__ == "__main__":
    main()

非阻塞实现并发服务器

长连接与短连接

长连接非阻塞并发服务器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
import socket
import re


def service_client(new_socket, request):
    """为这个客户端返回数据"""

    # 1. 接收浏览器发送过来的请求 ，即http请求  
    # GET / HTTP/1.1
    # .....
    # request = new_socket.recv(1024).decode("utf-8")
    # print(">>>"*50)
    # print(request)

    request_lines = request.splitlines()
    print("")
    print(">"*20)
    print(request_lines)

    # GET /index.html HTTP/1.1
    # get post put del
    file_name = ""
    ret = re.match(r"[^/]+(/[^ ]*)", request_lines[0])
    if ret:
        file_name = ret.group(1)
        # print("*"*50, file_name)
        if file_name == "/":
            file_name = "/index.html"

    # 2. 返回http格式的数据，给浏览器
    
    try:
        f = open("./html" + file_name, "rb")
    except:
        response = "HTTP/1.1 404 NOT FOUND\r\n"
        response += "\r\n"
        response += "------file not found-----"
        new_socket.send(response.encode("utf-8"))
    else:
        html_content = f.read()
        f.close()

        response_body = html_content

        response_header = "HTTP/1.1 200 OK\r\n"
        response_header += "Content-Length:%d\r\n" % len(response_body)
        response_header += "\r\n"

        response = response_header.encode("utf-8") + response_body

        new_socket.send(response)


def main():
    """用来完成整体的控制"""
    # 1. 创建套接字
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

    # 2. 绑定
    tcp_server_socket.bind(("", 7890))

    # 3. 变为监听套接字
    tcp_server_socket.listen(128)
    tcp_server_socket.setblocking(False)  # 将套接字变为非堵塞

    client_socket_list = list()
    while True:
        # 4. 等待新客户端的链接
        try:
            new_socket, client_addr = tcp_server_socket.accept()
        except Exception as ret:
            pass
        else:
            new_socket.setblocking(False)
            client_socket_list.append(new_socket)


        for client_socket in client_socket_list:
            try:
                recv_data = client_socket.recv(1024).decode("utf-8")
            except Exception as ret:
                pass
            else:
                if recv_data:
                    service_client(client_socket, recv_data)
                else:
                    client_socket.close()
                    client_socket_list.remove(client_socket)

    # 关闭监听套接字
    tcp_server_socket.close()


if __name__ == "__main__":
    main()

epoll

IO多路复用
共享内存，事件通知
select库

epoll实例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
import socket
import re
import select


def service_client(new_socket, request):
    """为这个客户端返回数据"""

    # 1. 接收浏览器发送过来的请求 ，即http请求  
    # GET / HTTP/1.1
    # .....
    # request = new_socket.recv(1024).decode("utf-8")
    # print(">>>"*50)
    # print(request)

    request_lines = request.splitlines()
    print("")
    print(">"*20)
    print(request_lines)

    # GET /index.html HTTP/1.1
    # get post put del
    file_name = ""
    ret = re.match(r"[^/]+(/[^ ]*)", request_lines[0])
    if ret:
        file_name = ret.group(1)
        # print("*"*50, file_name)
        if file_name == "/":
            file_name = "/index.html"

    # 2. 返回http格式的数据，给浏览器
    
    try:
        f = open("./html" + file_name, "rb")
    except:
        response = "HTTP/1.1 404 NOT FOUND\r\n"
        response += "\r\n"
        response += "------file not found-----"
        new_socket.send(response.encode("utf-8"))
    else:
        html_content = f.read()
        f.close()

        response_body = html_content

        response_header = "HTTP/1.1 200 OK\r\n"
        response_header += "Content-Length:%d\r\n" % len(response_body)
        response_header += "\r\n"

        response = response_header.encode("utf-8") + response_body

        new_socket.send(response)


def main():
    """用来完成整体的控制"""
    # 1. 创建套接字
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

    # 2. 绑定
    tcp_server_socket.bind(("", 7890))

    # 3. 变为监听套接字
    tcp_server_socket.listen(128)
    tcp_server_socket.setblocking(False)  # 将套接字变为非堵塞

    # 创建一个epoll对象
    epl = select.epoll()

    # 将监听套接字对应的fd注册到epoll中
    epl.register(tcp_server_socket.fileno(), select.EPOLLIN)

    fd_event_dict = dict()

    while True:

        fd_event_list = epl.poll()  # 默认会堵塞，直到 os监测到数据到来 通过事件通知方式 告诉这个程序，此时才会解堵塞

        # [(fd, event), (套接字对应的文件描述符, 这个文件描述符到底是什么事件 例如 可以调用recv接收等)]
        for fd, event in fd_event_list:
            # 等待新客户端的链接
            if fd == tcp_server_socket.fileno():
                new_socket, client_addr = tcp_server_socket.accept()
                epl.register(new_socket.fileno(), select.EPOLLIN)
                fd_event_dict[new_socket.fileno()] = new_socket
            elif event==select.EPOLLIN:
                # 判断已经链接的客户端是否有数据发送过来
                recv_data = fd_event_dict[fd].recv(1024).decode("utf-8")
                if recv_data:
                    service_client(fd_event_dict[fd], recv_data)
                else:
                    fd_event_dict[fd].close()
                    epl.unregister(fd)
                    del fd_event_dict[fd]


    # 关闭监听套接字
    tcp_server_socket.close()


if __name__ == "__main__":
    main()

网络通信

tcp/ip 协议族 指一类协议的总称
wireshark
arp协议 交换机 mac地址

访问网站流程：解析域名 与目标服务器建立连接 发送请求数据和接受数据 断开连接

python进阶知识

GIL锁(全局解释锁)

由于历史原因，cpython解释器(其他解释器没有这个问题)中留有GIL锁，与python本身没有关系，保证统一时刻只有一个线程在运行

多线程比单线程要快，但不能完全发挥多线程的能力，适合IO密集型程序，不适合计算密集型程序

计算密集型：进程
IO密集型：线程，协程

换解释器，或用其他语言执行

深拷贝和浅拷贝

=：引用，指向
浅拷贝：拷贝指针时不拷贝数据
深拷贝：拷贝指针时同时将数据也拷贝一份
import copy
copy.copy 拷贝元组时不会拷贝
copy.deepcopy 拷贝元组时不会拷贝，但如果元组内是可变数据除外
id()

其他：
浅拷贝：列表切片

私有化

_x __x __x__ x_
名字重整

import

from xxx import yyy
import xxx
from xxx import *
import xxx as yyy

reload

封装，继承，多态

1
2
__dict__
__class__

方法解析顺序MRO

重写，重载
super() __mro__
super().init()
super(xxx, self).init()

*args,**kwargs

加*拆包

面向对象探讨

类对象，实力对象，类属性，实例属性，类方法，实例方法，静态方法

__new__:创建对象，生成一个内存空间
__init__:初始化对象
__class__:代表类
@classmethod 类方法
@staticmethod

property属性

@property 将方法当作属性，返回值为值，调用时无需括号，参数只有self

设置和删除property属性
@xxx.setter
@xxx.deleter

xxx = property(getyyy，setyyy, delyyy，”description…”) 类属性property属性

魔法属性，方法

1
2
3
4
5
6
7
8
9
10
__doc__
__class__
__module__
__init__
__del__
__call__
__dict__
__str__
__getitem__ __setitem__ __delitem__
__getslice__    set del

with与上下文管理器

任何实现了__enter__() __exit__()方法的对象都可称之为上下文管理器，即可使用with

from contextlib import contextmanager
@contextmanager

装饰器

通用装饰器

1
2
3
4
5
def set_func(func):
    def call_func(*args, **kwargs):
        """ xxxxx """
        return func(*args, **kwargs)
    return call_func

多个装饰器装饰同一个函数
先装下面的，再装上面的
带参数装饰器

闭包

函数套函数，内函数返回函数

元类

类也是对象

元类是一种特殊的类，用来创建类

globles() 查看全局对象引用

type创建类

ORM

ORM 对象-关系映射

setattr()

打赏
  • 版权声明： 本博客所有文章除特别声明外，著作权归作者所有。转载请注明出处！
  • © 2020 h0ryit
  • PV: UV:

请我喝杯咖啡吧~

支付宝
微信