开发指南¶
本页是开发入口,按「环境 → 测试 → 代码结构 → 扩展 → 提交前检查」的顺序组织。每一节只说明该做什么、去哪里看,具体步骤放在对应的子页面里。
环境与首次运行¶
RecStore 提供两种环境准备方式:不需要编译时可以使用 Docker 开发镜像,需要调试源码时按 从源码构建 进行编译。无论选择哪一种,都建议先按 快速运行 完成一次端到端运行;环境相关的问题可以在 常见问题 中查找。
测试¶
测试概览 按客户端、框架与存储三层索引了现有的测试脚本。编译完成后,可以在构建目录下执行 ctest --output-on-failure 运行全部用例;如果只关注某一类,可以通过标签过滤,例如 ctest -L python 只运行 Python 绑定相关用例,-L rdma_integration 与 -L perf 分别对应 RDMA 集成与性能用例。RDMA 用例依赖真实设备,设备选择与启动器用法见 测试辅助工具。
代码结构¶
| 目录 | 内容 |
|---|---|
src/framework/ |
CommonOp / KVClientOp 与 PyTorch binding(pytorch/) |
src/ps/ |
参数服务器:base/、grpc/、brpc/、rdma/、proto/ |
src/storage/ |
KVEngine、index、value store、allocator、IO backend |
src/memory/ |
持久化与并发 slab allocator |
src/python/ |
Python 客户端与 TorchRec 兼容层 |
src/test/ |
单测、集成测试与测试脚本 |
tools/benchmarks/ |
storage-only / PS / E2E 基准 runner |
model_zoo/ |
DLRM 与 rs_demo 示例 |
各层的设计说明分别位于 系统架构、计算层、参数服务器 与 存储层。
扩展开发¶
- 添加算子:以 Optimizer 为例,说明一个新算子从接口到测试的完整改造路径。
- 扩展存储组件:说明如何新增 Index 与 value store。
- 性能埋点:说明
report()入口与 sink 分发机制。
提交前检查¶
提交前建议完成以下检查:运行与改动相关的测试;如果改动触及存储或 PS 层,先确认单测通过,再做吞吐测量;文档改动需要跑一次 mkdocs build --strict,写法约定见 文档维护。涉及跨机部署或多 rank 的改动,可参考 分布式训练,以及 性能分析 与 KVEngine 存储基准 中的测量口径。