Node.js/Python 实战：编写一个淘宝商品数据采集器​

mkdir taobao-collector-nodejs
cd taobao-collector-nodejs
npm init -y
npm install axios cheerio jsonfile

// 引入依赖包
const axios = require('axios');
const cheerio = require('cheerio');
const jsonfile = require('jsonfile');
const path = require('path');

// 1. 配置采集参数
const config = {
  keyword: '笔记本电脑', // 搜索关键词（可自定义）
  page: 1, // 采集页码（1-100，淘宝默认最大分页）
  headers: {
    // 从浏览器开发者工具中复制真实请求头，模拟浏览器环境
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
    'Referer': 'https://www.taobao.com/',
    'Cookie': '请从浏览器中复制登录后的Cookie（用于绕过部分登录验证）'
  },
  outputPath: path.join(__dirname, 'taobao_products_nodejs.json') // 数据输出路径
};

// 2. 发送请求获取商品数据
async function fetchTaobaoProducts() {
  try {
    // 淘宝商品搜索接口（通过开发者工具捕获，参数需动态拼接）
    const url = `https://s.taobao.com/search?q=${encodeURIComponent(config.keyword)}&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.jianhua.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306&page=${config.page}`;
    
    // 发送GET请求
    const response = await axios.get(url, { headers: config.headers });
    
    // 3. 解析HTML中的商品数据（淘宝静态页面数据嵌入在HTML中）
    const $ = cheerio.load(response.data);
    const products = [];
    
    // 遍历商品列表元素（通过开发者工具查看DOM结构，提取对应class）
    $('.item.J_MouserOnverReq').each((index, element) => {
      const product = {
        title: $(element).find('.J_ClickStat').attr('title') || '', // 商品标题
        price: $(element).find('.price.g_price.g_price-highlight strong').text() || '', // 商品价格
        sales: $(element).find('.deal-cnt').text() || '0', // 销量（格式：100+）
        shopName: $(element).find('.shopname.J_MouserOnverReq a').attr('title') || '', // 店铺名
        location: $(element).find('.location').text() || '', // 店铺所在地
        url: `https:${$(element).find('.J_ClickStat').attr('href')}` || '' // 商品详情页链接
      };
      products.push(product);
    });
    
    // 4. 存储数据到JSON文件
    jsonfile.writeFile(config.outputPath, products, { spaces: 2 }, (err) => {
      if (err) throw err;
      console.log(`Node.js采集完成！共采集${products.length}件商品，数据已保存至：${config.outputPath}`);
    });
    
    return products;
  } catch (error) {
    console.error('Node.js采集失败：', error.message);
    return [];
  }
}

// 执行采集函数
fetchTaobaoProducts();

mkdir taobao-collector-python
cd taobao-collector-python
pip install requests lxml pandas openpyxl

import requests
from lxml import etree
import pandas as pd
from urllib.parse import quote
import os

# 1. 配置采集参数
config = {
    "keyword": "笔记本电脑",  # 搜索关键词
    "page": 1,  # 采集页码
    "headers": {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36",
        "Referer": "https://www.taobao.com/",
        "Cookie": "请从浏览器中复制登录后的Cookie"  # 同Node.js配置
    },
    "outputPath": os.path.join(os.getcwd(), "taobao_products_python.xlsx")  # 输出Excel路径
}

# 2. 发送请求获取商品数据
def fetch_taobao_products():
    try:
        # 拼接URL（quote处理中文关键词编码）
        url = f"https://s.taobao.com/search?q={quote(config['keyword'])}&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.jianhua.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306&page={config['page']}"
        
        # 发送GET请求，禁止重定向（避免被跳转至登录页）
        response = requests.get(url, headers=config["headers"], allow_redirects=False)
        response.encoding = "utf-8"  # 设置编码，避免中文乱码
        
        # 3. 解析HTML（使用lxml的XPath语法提取数据）
        html = etree.HTML(response.text)
        products = []
        
        # 提取商品列表（XPath路径通过开发者工具复制）
        product_elements = html.xpath('//div[@class="item J_MouserOnverReq  "]')
        for elem in product_elements:
            # 提取单个商品信息（XPath语法：提取文本用text()，提取属性用@属性名）
            title = elem.xpath('.//a[@class="J_ClickStat"]/@title')
            price = elem.xpath('.//strong[@class="J_price"]/text()')
            sales = elem.xpath('.//div[@class="deal-cnt"]/text()')
            shop_name = elem.xpath('.//a[@class="shopname J_MouserOnverReq"]/@title')
            location = elem.xpath('.//div[@class="location"]/text()')
            product_url = elem.xpath('.//a[@class="J_ClickStat"]/@href')
            
            # 处理空值（避免列表索引错误）
            product = {
                "商品标题": title[0] if title else "",
                "价格（元）": price[0] if price else "",
                "销量": sales[0] if sales else "0",
                "店铺名称": shop_name[0] if shop_name else "",
                "店铺所在地": location[0] if location else "",
                "商品链接": f"https:{product_url[0]}" if product_url else ""
            }
            products.append(product)
        
        # 4. 存储数据到Excel（使用pandas，需安装openpyxl引擎）
        df = pd.DataFrame(products)
        df.to_excel(config["outputPath"], index=False, engine="openpyxl")
        print(f"Python采集完成！共采集{len(products)}件商品，数据已保存至：{config['outputPath']}")
        
        return products
    except Exception as e:
        print(f"Python采集失败：{str(e)}")
        return []

# 执行采集函数
if __name__ == "__main__":
    fetch_taobao_products()