淘宝商品详情 API 数据在推荐系统中的应用：召回、排序与特征工程实践

import requests
import json
import pandas as pd

# 淘宝商品详情API配置（模拟官方开放接口，实际使用替换为官方域名/密钥）
TAOBAO_API_URL = "https://eco.taobao.com/router/rest"
APP_KEY = "你的AppKey"
APP_SECRET = "你的AppSecret"

def get_taobao_item_detail(num_iid):
    """
    调用淘宝商品详情API，获取单商品全量详情数据
    :param num_iid: 淘宝商品ID
    :return: 标准化后的商品特征字典
    """
    params = {
        "method": "taobao.item.get",
        "app_key": APP_KEY,
        "num_iid": num_iid,
        "format": "json",
        "v": "2.0"
    }
    
    try:
        # 发送API请求
        response = requests.get(TAOBAO_API_URL, params=params, timeout=10)
        data = response.json()
        
        # 解析核心商品详情字段（推荐系统高频使用字段）
        item = data.get("item", {})
        standard_item = {
            "num_iid": item.get("num_iid"),          # 商品ID
            "title": item.get("title"),              # 商品标题
            "price": float(item.get("price", 0)),    # 商品价格
            "cid": item.get("cid"),                  # 商品类目ID
            "category_name": item.get("category_name"), # 类目名称
            "sales": int(item.get("sales", 0)),      # 销量
            "score": float(item.get("score", 0)),    # 商品评分
            "comment_num": int(item.get("comment_num", 0)), # 评价数
            "props": item.get("props"),              # 商品属性（材质、风格等）
            "shop_type": item.get("shop_type"),      # 店铺类型（天猫/淘宝C店）
            "stock": int(item.get("stock", 0))       # 库存
        }
        return standard_item
    
    except Exception as e:
        print(f"商品{num_iid}获取失败：{str(e)}")
        return None

# 实战：批量获取商品详情数据
item_ids = ["689123456789", "689234567890", "689345678901"]
item_data_list = [get_taobao_item_detail(iid) for iid in item_ids if get_taobao_item_detail(iid)]
# 转换为DataFrame，方便后续特征工程
item_df = pd.DataFrame(item_data_list)
print("商品详情基础数据：")
print(item_df.head())

import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 1. 热门召回：基于销量+评分加权排序，召回TopN热门商品
def hot_recall(item_df, top_n=50):
    # 加权得分：销量占60%，评分占40%
    item_df["hot_score"] = item_df["sales"] * 0.6 + item_df["score"] * 0.4
    # 过滤无库存商品
    valid_items = item_df[item_df["stock"] > 0].sort_values(by="hot_score", ascending=False)
    return valid_items.head(top_n)

# 2. 类目召回：根据用户偏好类目，召回同类目商品
def category_recall(item_df, user_like_cid, top_n=50):
    category_items = item_df[item_df["cid"] == user_like_cid]
    return category_items.head(top_n)

# 3. 语义召回：基于商品标题+属性的文本相似度召回
def semantic_recall(item_df, user_history_titles, top_n=50):
    # 拼接商品文本特征（标题+属性）
    item_df["text_feature"] = item_df["title"] + " " + item_df["props"].fillna("")
    # TF-IDF构建文本向量
    tfidf = TfidfVectorizer(max_features=1000, stop_words=["的", "是", "在"])
    item_tfidf = tfidf.fit_transform(item_df["text_feature"])
    # 用户历史浏览商品的文本均值向量
    user_history_text = " ".join(user_history_titles)
    user_vec = tfidf.transform([user_history_text])
    # 计算相似度
    sim_scores = cosine_similarity(user_vec, item_tfidf)[0]
    item_df["sim_score"] = sim_scores
    # 召回相似度TopN商品
    return item_df.sort_values(by="sim_score", ascending=False).head(top_n)

# 实战：融合多路召回
user_like_cid = item_df["cid"].iloc[0]  # 模拟用户偏好类目
user_history_titles = [item_df["title"].iloc[0]]  # 模拟用户历史浏览标题

hot_recall_df = hot_recall(item_df)
cate_recall_df = category_recall(item_df, user_like_cid)
sem_recall_df = semantic_recall(item_df, user_history_titles)

# 融合去重，生成最终候选集
recall_candidates = pd.concat([hot_recall_df, cate_recall_df, sem_recall_df]).drop_duplicates("num_iid")
print(f"召回候选集数量：{len(recall_candidates)}")

from sklearn.preprocessing import StandardScaler, LabelEncoder

def feature_engineering(item_df):
    """
    基于淘宝商品详情API数据的特征工程全流程
    """
    # 复制原数据，避免修改原始数据
    feat_df = item_df.copy()
    
    # 1. 缺失值处理
    feat_df["price"].fillna(feat_df["price"].median(), inplace=True)
    feat_df["score"].fillna(feat_df["score"].mean(), inplace=True)
    
    # 2. 数值特征标准化（价格、销量、评分）
    scaler = StandardScaler()
    num_cols = ["price", "sales", "score", "comment_num"]
    feat_df[num_cols] = scaler.fit_transform(feat_df[num_cols])
    
    # 3. 类别特征编码（类目名称、店铺类型）
    le = LabelEncoder()
    feat_df["category_code"] = le.fit_transform(feat_df["category_name"])
    feat_df["shop_type_code"] = le.fit_transform(feat_df["shop_type"])
    
    # 4. 构建交叉特征（推荐系统高阶有效特征）
    # 价格等级：0-低价，1-中价，2-高价
    feat_df["price_level"] = pd.cut(feat_df["price"], bins=3, labels=[0,1,2])
    # 销量等级：0-低销量，1-中销量，2-高销量
    feat_df["sales_level"] = pd.cut(feat_df["sales"], bins=3, labels=[0,1,2])
    # 交叉特征：价格×销量等级
    feat_df["price_sales_cross"] = feat_df["price_level"].astype(str) + "_" + feat_df["sales_level"].astype(str)
    feat_df["price_sales_cross"] = le.fit_transform(feat_df["price_sales_cross"])
    
    # 5. 过滤无用特征，保留模型输入特征
    model_features = ["num_iid", "price", "sales", "score", "category_code", 
                      "shop_type_code", "price_sales_cross", "comment_num"]
    return feat_df[model_features]

# 执行特征工程
feature_df = feature_engineering(item_df)
print("特征工程后数据：")
print(feature_df.head())

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score

# 模拟标签：1=用户点击/购买，0=未点击（实际由用户行为数据生成）
feature_df["label"] = np.random.randint(0, 2, size=len(feature_df))

# 构建训练数据
X = feature_df.drop(["num_iid", "label"], axis=1)
y = feature_df["label"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练GBDT排序模型
rank_model = GradientBoostingClassifier(n_estimators=100, random_state=42)
rank_model.fit(X_train, y_train)

# 模型评估
y_pred_proba = rank_model.predict_proba(X_test)[:,1]
auc = roc_auc_score(y_test, y_pred_proba)
print(f"排序模型AUC：{auc:.4f}")

# 对召回候选集进行打分排序
def rank_items(recall_candidates, rank_model, feature_df):
    # 匹配特征
    rank_features = feature_df[feature_df["num_iid"].isin(recall_candidates["num_iid"])]
    # 模型预测得分
    X_rank = rank_features.drop(["num_iid", "label"], axis=1)
    rank_features["rank_score"] = rank_model.predict_proba(X_rank)[:,1]
    # 按得分降序排序
    ranked_items = rank_features.sort_values(by="rank_score", ascending=False)
    # 关联商品基础信息
    ranked_items = ranked_items.merge(item_df[["num_iid", "title", "price"]], on="num_iid")
    return ranked_items[["num_iid", "title", "price", "rank_score"]]

# 最终推荐结果
final_recommend = rank_items(recall_candidates, rank_model, feature_df)
print("最终推荐排序结果：")
print(final_recommend.head(10))