docker

我注意到，目前的爬取器都需要在fetchers/init.py下进行相关的实例化操作，若需要新增爬取器，则需要将项目停止部署。对于Docker部署来说，还需要重新build镜像（虽然可以通过volume进行挂载，但是我个人是不推荐这样做的），所以我认为有必要支持在项目能够直接在web端添加爬取器。
我这里提供我的一些想法：

• 爬取器的相关注册信息应保存在db数据库中
• 爬取器提供读取数据库再进行相关的实例化操作（可通过eval函数进行Fetcher的动态import，eval属于危险操作，可考虑给web端增加OAuth等，进行相关的权限校验，否则会危害主机自身的安全）

很高兴能使用这个开源代码，带有ui，选型了4个，第一个就能跑起来，就打算用起来。
然而因为多线程竞争资源的原因，sqlit3事务事件，数据库锁死，就会出现错误导致程序奔溃退出。
sqlite3我用得也不多。建议如下，既可以同时，也可以选择一个。
1.要么参考https://stackoverflow.com/questions/15856976/transactions-with-python-sqlite3 （答案第1个不过是py2)，进行事务处理设置 isolation_level,可能要去掉显式事务语句 https://docs.python.org/3/library/sqlite3.html#sqlite3-controlling-transactions
(py3)
2.要么建议try/except

    c = conn.cursor()
    success = False
    count  = 0
    while not success and count < 5:
        try:
            <sql code>
            success = True
        except:
            <error process code>
            count = count + 1
            time.sleep(3)

自己已经改了下面，不算太官方，毕竟参考其他代码，都是偏设置，所以等待时间，重复次数，我自己偏懒惰，就随意能跑起来就可以了。

sqlite> .schema
CREATE TABLE proxies
(
fetcher_name VARCHAR(255) NOT NULL,
protocol VARCHAR(32) NOT NULL,
ip VARCHAR(255) NOT NULL,
port INTEGER NOT NULL,
validated BOOLEAN NOT NULL,
latency INTEGER,
validate_date TIMESTAMP,
to_validate_date TIMESTAMP NOT NULL,
validate_failed_cnt INTEGER NOT NULL,
PRIMARY KEY (protocol, ip, port)
);
CREATE INDEX proxies_fetcher_name_index
ON proxies(fetcher_name)
;
CREATE INDEX proxies_to_validate_date_index
ON proxies(to_validate_date ASC)
;
CREATE TABLE fetchers
(
name VARCHAR(255) NOT NULL,
enable BOOLEAN NOT NULL,
sum_proxies_cnt INTEGER NOT NULL,
last_proxies_cnt INTEGER NOT NULL,
last_fetch_date TIMESTAMP,
PRIMARY KEY (name)
);
sqlite>

proxies 没有对validated 字段加索引，但是代码中validated有作为筛选条件，导致查询很慢，fetch_random接口只随机返回一条可用记录就需要2秒多。

def getValidatedRandom(max_count):
"""
从通过了验证的代理中，随机选择max_count个代理返回
max_count<=0表示不做数量限制
返回 : list[Proxy]
"""
if max_count > 0:
r = conn.execute('SELECT * FROM proxies WHERE validated=? ORDER BY RANDOM() LIMIT ?', (True, max_count))
else:
r = conn.execute('SELECT * FROM proxies WHERE validated=? ORDER BY RANDOM()', (True,))
proxies = [Proxy.decode(row) for row in r]
r.close()
return proxies

fetch_random等半天，有什么办法优化一下吗？

看了下楼下老哥的issues，我的问题和他几乎差不多，都是如果用默认配置在docker运作，也就是说验证线程数量为200，程序执行几个小时之后就会无法提供服务. docker里的最后几行日志为

2022-08-08 00:52:21,635-INFO:validator:完成了32个代理的验证
2022-08-08 00:52:26,748-INFO:validator:完成了19个代理的验证
2022-08-08 00:52:31,882-INFO:validator:完成了20个代理的验证
2022-08-08 00:52:37,067-INFO:validator:完成了27个代理的验证
2022-08-08 00:52:42,223-INFO:validator:完成了23个代理的验证
2022-08-08 00:52:47,361-INFO:validator:完成了22个代理的验证
启动api进程，pid=17267
进程fetcher运行太久，重启
进程validator运行太久，重启
进程api运行太久，重启
启动fetcher进程，pid=6463
启动validator进程，pid=6464
 * Serving Flask app "api.api" (lazy loading)
 * Environment: production
   WARNING: This is a development server. Do not use it in a production deployment.
   Use a production WSGI server instead.
 * Debug mode: off
2022-08-08 00:52:52,648-INFO:fetcher:开始运行一轮爬取器
启动api进程，pid=6465
进程fetcher运行太久，重启
进程validator运行太久，重启
进程api运行太久，重启
启动fetcher进程，pid=6516
启动validator进程，pid=6517
2022-08-08 01:52:52,888-INFO:fetcher:开始运行一轮爬取器
 * Serving Flask app "api.api" (lazy loading)
 * Environment: production
   WARNING: This is a development server. Do not use it in a production deployment.
   Use a production WSGI server instead.
 * Debug mode: off

如果将验证线程数量从200改为50，大概24小时之后会出现服务不可用。暂时原因未知.

大概隔十几秒就会卡三秒,连不上,提示Connection Aborted.服务器应该没有问题,搭别的没有相似情况.是不是什么操作阻塞了进程?

https://www.proxyscan.io/

还有如果web界面加一个 显示 IP 信息 就更完美了

run_fetcher.py,

        for item in fetchers:
            data = conn.getFetcher(item.name)
            if data is None:
                logger.error(f'没有在数据库中找到对应的信息：{item.name}')
                raise ValueError('不可恢复错误')
            if not data.enable:
                logger.info(f'跳过爬取器{item.name}')
                continue
            threads.append(threading.Thread(target=run_thread, args=(item.name, item.fetcher, que)))
        [t.start() for t in threads]
        [t.join() for t in threads]

run_thread函数执行过久（即fetcher对应的fetch方法），则后续的写入数据库操作将不再继续进行，操作系统只做存量代理的验证。

这边有很多免费代理源，都是GitHub别人分享过来的，基本每分钟更新一次，并区分了协议，自建的代理池每次能获取到3W的代理，但是我自己验证之后仅有几十个存留，请问下验证逻辑有什么要求嘛

比如使用key获取proxy
自添加proxy

可以增加一些友好的配置项
比如：
为每个spider设置等待时间、因为是爬取站点免费公开信息、更新时间难免不同、统一的等待难免对部分更新快的站点不友好
为spider快捷设置代理、爬取过程中频繁或者根本就是被墙站点就会无法访问、如果能带着库里的代理ip就会友好很多

import logging
import re

import requests
from pyquery import PyQuery as pq

from .BaseFetcher import BaseFetcher

class KxdailiFetcher(BaseFetcher):
"""
http://www.kxdaili.com/dailiip/1/{page}.html
"""

def fetch(self):
    """
    执行一次爬取，返回一个数组，每个元素是(protocol, ip, port)，portocol是协议名称，目前主要为http
    返回示例：[('http', '127.0.0.1', 8080), ('http', '127.0.0.1', 1234)]
    """

    ip_regex = re.compile(r'^\d+\.\d+\.\d+\.\d+$')
    port_regex = re.compile(r'^\d+$')
    proxies = []
    urls = []
    urls = urls + [f'http://www.kxdaili.com/dailiip/1/{page}.html' for page in range(1, 11)]
    urls = urls + [f'http://www.kxdaili.com/dailiip/2/{page}.html' for page in range(1, 11)]

    for url in urls:
        html = requests.get(url, timeout=10)
        html.encoding = 'utf-8'
        doc = pq(html.text)
        for line in doc('tr').items():
            tds = list(line('td').items())
            if len(tds) >= 2:
                ip = tds[0].text().strip()
                port = tds[1].text().strip()
                if re.match(ip_regex, ip) is not None and re.match(port_regex, port) is not None:
                    proxies.append(('http', ip, int(port)))

    return list(set(proxies))

开始运行正常，过几个小时页面就开始循环提示：

网络错误
timeout of 10000ms exceeded

请问如何处理？
感谢。

[hidemy](https://hidemy.io/cn/proxy-list/?maxtime=200

能否兼容一下mysql数据库，对有数据库中有效代理增加国家地区字段呢？
增加记录创建时间用于显示存活时间 这个比较简单只需要一个时间字段就可以 类型设置为timestamp 设置不为空 默认值为CURRENT_TIMESTAMP 不根据当前时间时间戳更新
前端能否增加排序功能 如延迟高低排序 国家排序 自定义排序 如国家和延时组合排序

程序用nohup命令运行后，不能杀死进程，只能通过重启服务器来杀死，希望能够改善

File: db/conn.py, line 116

time.sleep(0.1) # 为了解决并发读写饿死的问题

不太明白此处sleep的意义。

此函数在proc/run_validator.py 的main函数进行循环调用，但此处的调用仅为单线程调用。
且通过测试发现此处的sleep验证影响了out_que队列的清空，导致整个系统效率的降低。

我尝试将此功能改成独立的进程调用，但是发现sqlite只允许单线程调用，此处的代码存在优化的空间有待解决。