跳转至

Embedding 模块

模块划分与选择(RecStoreEmbeddingBagCollection vs DistEmbedding)见 计算层:Embedding 与 Optimizer。本文只列 Python API。

RecStoreEmbeddingBagCollection

module = RecStoreEmbeddingBagCollection(
    embedding_bag_configs=configs,
    lr=0.01,
    enable_fusion=True,
    fusion_k=30,
)

输入是 KeyedJaggedTensor。模块按 feature 找到 table,读取 ids 对应的 embedding,再用 torch.nn.functional.embedding_bag 做 sum pooling。

DistEmbedding

emb = DistEmbedding(
    num_embeddings=100000,
    embedding_dim=64,
    name="user_embedding",
    init_func=None,
    lr=0.01,
)

forward(ids) 通过 DistTensor.__getitem__ 调 client.pull。backward 会对重复 id 做 torch.unique + index_add_,把聚合后的 (ids, grads) 写入 _trace。

实现与更新流程见 Embedding 与 Optimizer。