crawlab-team / crawlab Goto Github PK

[2019-04-01 11:40:33,715: ERROR/MainProcess] Task handler raised error: ValueError('not enough values to unpack (expected 3, got 0)',)
Traceback (most recent call last):
File "C:\Users\xiaojiahao\Envs\jaho\lib\site-packages\billiard\pool.py", line 358, in workloop
result = (True, prepare_result(fun(*args, **kwargs)))
File "C:\Users\xiaojiahao\Envs\jaho\lib\site-packages\celery\app\trace.py", line 537, in _fast_trace_task
tasks, accept, hostname = _loc
ValueError: not enough values to unpack (expected 3, got 0)

方便交流

如题，如果python app.py启动app的时候，新建一个定时任务，会执行两次爬虫任务

当任务执行产生的数据为0时，需要报警

Crawlab用MAC做的node的唯一识别号，如果在多个服务器用同一个docker镜像，就会出现MAC地址冲突的情况，导致显示只有一个节点的情况

第一次点击到 网站 那个input，没有数据时 白色的模态框 会一直显示，覆盖了运行与保存。

结果页只能显示前10页数据，后面的无法显示

docker run -d --name crawlab_w1 -e CRAWLAB_REDIS_ADDRESS=redis -e CRAWLAB_MONGO_HOST=mongo -e CRAWLAB_SERVER_MASTER=N -e CRAWLAB_API_ADDRESS=192.168.2.222:8000 -e CRAWLAB_SPIDER_PATH=/app/spiders -v /var/logs/crawlab:/var/logs/crawlab --link mongo:mongo --link redis:redis --privileged=true tikazyq/crawlab

该docker显示已经上线

上传一个zip文件， 只包含一个test.js，console.log("test");
只有主节点可以运行，今天试了上传几次子节点依然没有，发现子节点报以下错误，进入docker中也没有目录建立，只有示例的目录。

现在安装启动crawlab服务比较繁琐，需要执行多条命令，现在需要一键启动的脚本

[I 190409 17:22:40 command:147] Registered tasks:

['celery.accumulate',

 'celery.backend_cleanup',

 'celery.chain',

 'celery.chord',

 'celery.chord_unlock',

 'celery.chunks',

 'celery.group',

 'celery.map',

 'celery.starmap']

[I 190409 17:22:40 mixins:229] Connected to redis://127.0.0.1:6379/0

[W 190409 17:22:45 control:44] 'stats' inspect method failed

[W 190409 17:22:45 control:44] 'active_queues' inspect method failed

[W 190409 17:22:45 control:44] 'registered' inspect method failed

[W 190409 17:22:45 control:44] 'scheduled' inspect method failed

[W 190409 17:22:45 control:44] 'active' inspect method failed

[W 190409 17:22:45 control:44] 'reserved' inspect method failed

[W 190409 17:22:45 control:44] 'revoked' inspect method failed

[W 190409 17:22:45 control:44] 'conf' inspect method failed

Refresh也没有反应，前端页面也重启服务了，但是单独运行爬虫是有数据的，也能存入MongoDB中。

批量部署节点，做到一次性将节点部署完毕，而不用一个个部署

如题

前端所有页面刷新不及时 需要过好久才能展示出来

显示任务时间与实际执行任务时间相差8小时

docker run 时不能指定端口，CRAWLAB_REDIS_ADDRESS=127.0.0.1:6378 无效，链接时同样会访问127.0.0.1:6378:6379, 也不能指定密码，mongo一样。

使用gunicorn启动app，做到让apscheduler不执行两次

使用k8s平台部署(deployment)，节点的IP使用service的ClusterIP，当对这个节点(master或者worker)进行更新，会发现在web平台看到2台节点，实际上有一台已经不存在了

run npm dev 报错 mac

例如"0 0-1 * * * *"，会报错

python3 ./bin/run_worker.py
Traceback (most recent call last):
File "./bin/run_worker.py", line 9, in
from tasks.celery import celery_app
ModuleNotFoundError: No module named 'tasks.celery'

出現404

现在只删除了数据库中的数据，没有删除文件夹

当日志中发生错误记录时，需要报警

expected str, bytes or os.PathLike object, not NoneType

爬虫部署的时候报一下错误：

/usr/local/lib/python3.6/dist-packages/pymongo/topology.py:149: UserWarning: MongoClient opened before fork. Create MongoClient only after forking. See PyMongo's documentation for details: http://api.mongodb.org/python/current/faq.html#is-pymongo-fork-safe
  "MongoClient opened before fork. Create MongoClient only "
Error in atexit._run_exitfuncs:
Traceback (most recent call last):
  File "/usr/lib/python3.6/multiprocessing/util.py", line 319, in _exit_function
    p.join()
  File "/usr/lib/python3.6/multiprocessing/process.py", line 122, in join
    assert self._parent_pid == os.getpid(), 'can only join a child process'
AssertionError: can only join a child process

不是很明白。

报错原因是crawlab /路由/ tasks.py的171行报错，任务没有_id这个键。改成spider_id后正常

Error
vue.runtime.esm.js?2b0e:619 [Vue warn]: Avoid mutating a prop directly since the value will be overwritten whenever the parent component re-renders. Instead, use a data or computed property based on the prop's value. Prop being mutated: "pageNum"

found in

---> at src/components/TableView/GeneralTableView.vue


at src/views/task/TaskDetail.vue
at src/views/layout/components/AppMain.vue
at src/views/layout/Layout.vue
at src/App.vue

目前前端的生产环境URL是写死在代码中，需要做成环境配置的

requests.exceptions.ConnectionError: HTTPConnectionPool(host='localhost', port=5000): Max retries exceeded with url: /api/spiders/5c9f2095428f2c217cc474e6/deploy_file?node_id=celery@26GXGQ2 (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x00000000096A3A20>: Failed to establish a new connection: [WinError 10061] 由于目标计算机积极拒绝，无法连接。',))

提示缺少模块 eventlet 模块.

环境：阿里 centos7 python3.7
nohup python3 flower.py
报错： 'stats' inspect method failed
'active_queues' inspect method failed
。。。。。
nohup python3 worker.py
报错 ：
/usr/local/python3/lib/python3.7/site-packages/celery/utils/imports.py:167: UserWarning: Cannot load celery.commands extension 'flower.command:FlowerCommand': ModuleNotFoundError("No module named 'flower.command'; 'flower' is not a package")
namespace, class_name, exc))
/usr/local/python3/lib/python3.7/site-packages/celery/platforms.py:801: RuntimeWarning: You're running the worker with superuser privileges: this is
absolutely not recommended!
Please specify a different user using the --uid option.
User information: uid=0 euid=0 gid=0 egid=0

win10系统，用直接部署方式部署成功了，新建可配置爬虫无法运行，日志路径报错，错误：[WinError 267] 目录名称无效。 修改setting里的PROJECT_LOGS_FOLDER = 'C:\var\log\crawlab'，无效

利用gevent + flask 支持高并发

在线节点数没有过滤离线的，定时任务没有再启服气的时候起来...PS：能否创建个分支给我，git帐号lissh

mongo=MongoClient(host=MONGO_HOST,
port=MONGO_PORT,
username=MONGO_USERNAME,
password=MONGO_PASSWORD,
authSource=MONGO_DB,
connect=False)
对于上述初始化mongo对象的代码，需要在初始化MongoClient指定”authSource“字段为username这个账户对应有权限的数据库名称，否则会出现auth fail.具体原因：
一般我们设置MongoDB权限是针对某个db，auth也只能在这个db才能auth，否则就在admin那里auth，就会出现auth fail，对于MongoDB有权限控制的需要加这个 如果直接root账号密码 或者空账号密码那就不会出现我这个问题。

希望可以实现，通过配置参数（环境变量传参数也可以的），对同一个爬虫工程，可以实现保存多个爬虫实例。 # # #

crawlweb/crawlweb 不存在了。
docker部署步骤如果能详细点就好了

启动crawlab（app.py,flower.py,worker.py,npm run serve）后web界面看不到节点在线情况

删除、更新、添加定时任务，定时任务并不正常工作

目前日志管理仅仅是将各任务的日志文件简单展示到前端，现在需要集中管理日志，实现日志过滤、汇总、解析

mac 下deploy任务id日志目录不存在的时候不会自动创建，导致任务出错

在DEMO中没有看到自定义部署到哪些节点的选项，但在实际中不是所有的爬虫都需要部署到每一台机器上的。