jd-opensource / 9n-mpc Goto Github PK

k8s的配置文件没有发现端口映射，leader和follower容器为何能进行数据求交？

集群部署时需要改写k8s.conf，其中entrance_file={entrance python file}需要什么文件？

训练完成mnist_demo后，进行模型测试。
在两个文件mnist_demo/mnist_leader.py, mnist_demo/mnist_follower.py中分别配置：
run_config["eval"] = 1
run_config["model_dir"] = "models/follower_model/"
运行run_mnist_dist_leader.sh。

报错内容：
mnist_demo/mnist_leader.py line 136
with ops.constrol_denpendences([xl])
NameError: name 'xl' is not defines.

在运行单机版时,运行start_server.sh join之后,显示success,但是后台进程并未成功.建议如下,添加2行,而不是只是检测nohup的返回值是否为0来判断.感谢!

可将

nohup python $CURRENT_DIR/data_join/data_join_server.py $REMOTE_IP $INDEX \    
    $PARTITION_ID $DATA_SOURCE_NAME $DATA_BLOCK_DIR $RAW_DATA_DIR $ROLE -m=$MODE \    
    -p=$PORT0 --raw_data_iter=$RAW_DATA_ITER --compressed_type=$COMPRESSED_TYPE \    
    --example_joiner=$EXAMPLE_JOINER $EAGER_MODE >>"${data_join_log_dir}/console_${ROLE}.log" \    
    2>>"${data_join_log_dir}/error_${ROLE}.log" &    
    ans=`ps -ef|grep data_join_server|grep ${ROLE}`  # 可简单通过查询进程是否启动    
    if [[ -n "${ans}" ]]; then # nohup启动正常,且原代码直接将错误输出流输入到文件,看该文件可解决问题,但是用户体检上,还是应该报错的.    
        echo "data join service start successfully"    
        echo "log dir: ${data_join_log_dir}"    
        echo "input dir: ${RAW_DATA_DIR}"    
        echo "output dir: ${DATA_BLOCK_DIR}"    
    else    
        echo "data join service start failed"    
    fi    

想了解下支持多少个联邦学习的参与方？
亿级别的隐私数据求交需要多大的存储量、计算耗时

tensorflow与protobuf版本分别是1.15.0， 3.8.0。分布式镜像部署后，进入容器内运行import DataJoin.common.common_pb2会报标题中的错误；但在本地是可以正常运行的

您好，阅读完 README 文档之后有下面几个问题想请教下：

1. 数据求交过程中，涉及第三方参与吗？还是只在两方之间进行？
2. 训练过程中，是否需要一个可信的第三方参与？还是训练的协议是一个两方协议。

另外，还想请问，目前实现了纵向联邦学习的算法吗？如果有，请问有哪几个算法呢？

感谢花时间阅读本 issue，期待回复~

https://github.com/fedlearnAI/fedlearn 也是京东开源的联邦学习方案，两者有什么关系吗？fedlearn看起来已经不维护了

你好，我在github上看到贵公司联邦学习框架的项目，但是我在项目中没有找到你们在数据对齐时用到的加密协议或方法。请问下，贵公司在数据对齐中使用的方法是什么，在联邦学习时使用了什么同态加密操作？

如题，目前在不同的k8s集群上部署的leader和follower，datajoin调试通过了，但train部分实现不了，如果需要实现训练部分，可否告知Coordinator和提交训练任务时的配置需要如何修改？