FateWithShellmiaoComment/FATE-Flow/doc/system_operational.zh.md

系统运维

1. 说明

2. 日志清理

2.1 作业日志(N=14天)

• 所在机器：fate flow所在机器
• 目录：${FATE_PROJECT_BASE}/fateflow/logs/
• 规则：目录以$jobid开头，清理$jobid为N天前的数据
• 参考命令：

rm -rf ${FATE_PROJECT_BASE}/fateflow/logs/20200417*

2.2 EggRoll Session日志(N=14天)

• 所在机器：eggroll node节点
• 目录：${FATE_PROJECT_BASE}/eggroll/logs/
• 规则：目录以$jobid开头，清理$jobid为N天前的数据
• 参考命令：

rm -rf ${FATE_PROJECT_BASE}/eggroll/logs/20200417*

2.3 fateflow 系统日志(N=14天)

• 所在机器：fate flow所在机器
• 目录：${FATE_PROJECT_BASE}/logs/fate_flow/
• 规则：日志文件以yyyy-dd-mm结尾，清理N天前的数据
• 归档：日志文件以yyyy-dd-mm结尾，归档保留180天的日志
• 参考命令：

rm -rf ${FATE_PROJECT_BASE}/logs/fate_flow/fate_flow_stat.log.2020-12-15

2.4 EggRoll 系统日志(N=14天)

• 所在机器：eggroll部署机器
• 目录：${FATE_PROJECT_BASE}/eggroll/logs/eggroll
• 规则：目录为yyyy/mm/dd，清理N天前的数据
• 归档：目录为yyyy/mm/dd，归档保留180天的日志
• 参考命令：

rm -rf ${FATE_PROJECT_BASE}/eggroll/logs/2020/12/15/

3. 数据清理

3.1 计算临时数据(N=2天)

• 所在机器：eggroll node节点
• 目录：${FATE_PROJECT_BASE}/eggroll/data/IN_MEMORY
• 规则：namespace以$jobid开头，清理$jobid为N天前的数据
• 参考命令：

rm -rf ${FATE_PROJECT_BASE}/eggroll/data/IN_MEMORY/20200417*

3.2 组件输出数据(N=14天)

• 所在机器：eggroll node节点
• 目录：${FATE_PROJECT_BASE}/eggroll/data/LMDB
• 规则：namespace以outputdata$jobid开头，清理$jobid为N天前的数据
• 参考命令：

rm -rf ${FATE_PROJECT_BASE}/eggroll/data/LMDB/output_data_20200417*