|
|
@@ -6,7 +6,7 @@
|
|
|
|
|
|
Python使用版本：
|
|
|
|
|
|
-- Python 3.6
|
|
|
+- Python 3.8
|
|
|
|
|
|
Pip安装需要的包：
|
|
|
|
|
|
@@ -22,7 +22,7 @@ Pip安装需要的包：
|
|
|
- peewee
|
|
|
|
|
|
```powershell
|
|
|
-pip install grpcio requests werkzeug flask requests_toolbelt cachetools ruamel ruamel.yaml filelock peewee -i https://pypi.mirrors.ustc.edu.cn/simple/
|
|
|
+pip install grpcio requests werkzeug flask requests_toolbelt cachetools ruamel.yaml filelock peewee -i https://pypi.mirrors.ustc.edu.cn/simple/
|
|
|
```
|
|
|
|
|
|
由于需要引用Fate项目中的代码，需要将Fate项目PULL下来做引用
|
|
|
@@ -31,22 +31,25 @@ pip install grpcio requests werkzeug flask requests_toolbelt cachetools ruamel r
|
|
|
2. 在项目所使用的Python环境根目录下，寻找\Lib\site-packages目录，在其中创建mypath.pth文件
|
|
|
3. 在mypath.pth文件中写入Fate以及Fate flow项目的绝对路径
|
|
|
|
|
|
-## Fate总体架构
|
|
|
+## 逻辑结构
|
|
|
+
|
|
|
+
|
|
|
|
|
|
-
|
|
|
+- DSL定义作业
|
|
|
+- 自顶向下的纵向子任务流调度、多参与方联合子任务协调
|
|
|
+- 独立隔离的任务执行工作进程
|
|
|
+- 支持多类型多版本组件
|
|
|
+- 计算抽象API
|
|
|
+- 存储抽象API
|
|
|
+- 跨方传输抽象API
|
|
|
|
|
|
-具体各个模块的说明如下：
|
|
|
+## Fate总体架构
|
|
|
|
|
|
-- FATE Flow: 联邦学习的任务流水线管理模块（通俗理解就是调度器）
|
|
|
- - FederatedML: 联邦机器学习的 Python 实现包（类比 scikit-learn）
|
|
|
-- Cluster Manager: 集群管理器
|
|
|
-- Node Manager: 节点管理器，管理每台机器的计算资源
|
|
|
-- RollSite: 跨 Party 通讯组件
|
|
|
-- Mysql: 数据库，FATE Flow 和 Cluster Manager 的数据在此存储
|
|
|
+
|
|
|
|
|
|
## Fate Flow架构
|
|
|
|
|
|
-### Fate Flow架构图
|
|
|
+### Fate Flow早期架构图
|
|
|
|
|
|
|
|
|
|
|
|
@@ -61,6 +64,10 @@ pip install grpcio requests werkzeug flask requests_toolbelt cachetools ruamel r
|
|
|
- Tracking Manager：任务输入输出的实时追踪，包括每个 task 输出的 data 和 model。
|
|
|
- Model Manager：联邦模型管理器
|
|
|
|
|
|
+### Fate Flow官方优化后架构图
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
### 联邦学习任务多方协同调度
|
|
|
|
|
|
|
|
|
@@ -77,3 +84,4 @@ pip install grpcio requests werkzeug flask requests_toolbelt cachetools ruamel r
|
|
|
|
|
|
[【联邦学习之旅】C1 FATE Flow 流程源码解析](https://wdxtub.com/flt/flt-c1/2021/07/02/)
|
|
|
|
|
|
+[The official FATE Flow documentation](https://federatedai.github.io/FATE-Flow/latest/zh/fate_flow/)
|
Shellmiao