电商口碑自动化监控方案：30 分钟搭建商品评论实时采集 + 情感分析系统（完整可运行代码）

pip install requests pandas jieba snownlp matplotlib wordcloud schedule

import requests
import time
import pandas as pd

# 基础配置
ACCESS_TOKEN = "你的专属访问凭证"
TARGET_ITEM_ID = "789654321098"  # 目标商品ID
SAVE_PATH = "goods_comment_data.csv"

def fetch_goods_comments(item_id, page=1, page_size=20):
    """拉取单页商品评价数据"""
    params = {
        "token": ACCESS_TOKEN,
        "goods_id": item_id,
        "page": page,
        "limit": page_size
    }
    # 数据请求地址
    res = requests.get("https://data-collect-service.com/shop_comment", params=params)
    result = res.json()
    if result.get("code") != 200:
        print(f"采集失败：{result.get('msg')}")
        return None
    return result.get("data", {})

def parse_comment_data(raw_data):
    """清洗原始数据，提取有效字段"""
    comment_list = []
    item_arr = raw_data.get("item", [])
    for item in item_arr:
        info = {
            "comment_id": item.get("rate_id", ""),
            "comment_time": item.get("rate_date", ""),
            "buyer_nick": item.get("display_user_nick", ""),
            "buy_sku": item.get("auction_sku", ""),
            "main_comment": item.get("rate_content", ""),
            "append_comment": item.get("add_feedback", ""),
            "has_img": 1 if item.get("pics") else 0,
            "has_append_img": 1 if item.get("add_feedback_images") else 0,
            "star_score": item.get("user_star", 0)
        }
        comment_list.append(info)
    return comment_list

def batch_collect_all_comments(item_id):
    """分页循环采集全部评价"""
    all_data = []
    page = 1
    while True:
        print(f"正在采集第{page}页评价...")
        raw = fetch_goods_comments(item_id, page=page)
        if not raw:
            break
        page_data = parse_comment_data(raw)
        if not page_data:
            print("无更多评价，采集结束")
            break
        all_data.extend(page_data)
        # 判断是否最后一页
        total_page = raw.get("totalpage", 1)
        if page >= int(total_page):
            break
        page += 1
        time.sleep(1)  # 限流休眠
    # 保存至本地CSV
    df = pd.DataFrame(all_data)
    # 追加写入，避免覆盖历史数据
    try:
        old_df = pd.read_csv(SAVE_PATH, encoding="utf-8-sig")
        df = pd.concat([old_df, df]).drop_duplicates(subset=["comment_id"])
    except FileNotFoundError:
        pass
    df.to_csv(SAVE_PATH, index=False, encoding="utf-8-sig")
    print(f"本次采集完成，累计有效评价：{len(df)}条")
    return all_data

# 单次采集测试
if __name__ == "__main__":
    batch_collect_all_comments(TARGET_ITEM_ID)

import pandas as pd
import jieba
from snownlp import SnowNLP
import matplotlib.pyplot as plt
from wordcloud import WordCloud
from collections import Counter

plt.rcParams["font.sans-serif"] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False
SAVE_FILE = "goods_comment_data.csv"
# 停用词过滤，剔除无意义词汇
STOP_WORDS = {"的", "了", "很", "比较", "就是", "还", "有点", "但是", "非常", "感觉", "一般"}

def comment_sentiment_analysis():
    df = pd.read_csv(SAVE_FILE, encoding="utf-8-sig")
    sentiment_label = []
    all_text = []
    negative_text = []
    for idx, row in df.iterrows():
        # 合并主评+追评完整文本
        text = str(row["main_comment"]) + str(row["append_comment"])
        if text.strip() == "":
            sentiment_label.append("无评价")
            continue
        # 情感打分 0~1，越高越正向
        s = SnowNLP(text)
        score = s.sentiments
        if score >= 0.6:
            label = "好评"
        elif score >= 0.3:
            label = "中评"
        else:
            label = "差评"
        sentiment_label.append(label)
        all_text.append(text)
        if label == "差评":
            negative_text.append(text)
    df["sentiment"] = sentiment_label
    # 保存带情感标签的数据
    df.to_csv("comment_with_sentiment.csv", index=False, encoding="utf-8-sig")

    # 1. 评分分布统计图表
    count_result = df["sentiment"].value_counts()
    count_result.plot(kind="bar", color=["#66cc66", "#ffcc66", "#ff6666"])
    plt.title("商品评价情感分布统计")
    plt.savefig("sentiment_dist.png", dpi=300, bbox_inches="tight")
    plt.close()

    # 2. 差评关键词词云
    words = []
    for text in negative_text:
        cut_words = jieba.lcut(text)
        for w in cut_words:
            if len(w) > 1 and w not in STOP_WORDS:
                words.append(w)
    word_count = Counter(words)
    cloud_text = " ".join(words)
    wc = WordCloud(
        font_path="C:/Windows/Fonts/simhei.ttf",
        width=1000, height=600, background_color="white"
    ).generate(cloud_text)
    wc.to_file("negative_wordcloud.png")
    print("情感分析完成，已生成分布图与差评词云")
    print("高频负面关键词TOP10：", word_count.most_common(10))
    return df

# 执行分析
if __name__ == "__main__":
    comment_sentiment_analysis()

import schedule
import time
from module1 import batch_collect_all_comments
from module2 import comment_sentiment_analysis

TARGET_GOODS_ID = "789654321098"

def monitor_task():
    """定时监控主任务"""
    print("===== 启动新一轮商品口碑监控 =====")
    # 1. 拉取最新评价
    batch_collect_all_comments(TARGET_GOODS_ID)
    # 2. 执行情感分析
    df = comment_sentiment_analysis()
    # 3. 筛选最新差评预警
    latest_df = df.tail(10)
    bad_comment = latest_df[latest_df["sentiment"] == "差评"]
    if len(bad_comment) > 0:
        print("⚠️ 监测到新增差评，请及时处理：")
        for idx, row in bad_comment.iterrows():
            print(f"时间：{row['comment_time']} 评价：{row['main_comment']}{row['append_comment']}")
    print("本轮监控任务结束，等待下一轮\n")

# 设置每60分钟执行一次监控
schedule.every(60).minutes.do(monitor_task)

if __name__ == "__main__":
    print("商品口碑监控系统已启动，持续运行中...")
    while True:
        schedule.run_pending()
        time.sleep(30)