使用数据抓取获取股票数据有诸多好处。首先，它效率极高，可以替代人工逐个复制粘贴价格和成交量的低效方式，实现自动化处理，一次即可抓取成千上万条数据，节省大量人力成本。其次，抓取能够获取实时或高频数据，对于投资者和量化交易者来说，越快掌握最新价格，决策优势就越明显，甚至可以按分钟或秒级更新。再次，抓取还能支持大规模历史数据分析，批量下载多年行情，用于趋势研究、交易策略回测和机器学习建模。此外，数据抓取不仅能采集股价，还能整合新闻、公告、分析师评论等多维度信息，使市场理解更全面，并且具备灵活性，用户可以根据需求定制抓取特定板块、市场或时间段的数据。值得一提的是，结合使用住宅代理IP（如辣椒HTTP），能够让股票数据抓取过程更加稳定、安全，避免因频繁访问而导致的访问受限问题，从而保障数据采集的持续性与高效性。

📝 步骤 & 实操代码

1. 环境准备

首先，确保你安装了所需的库：

pip install requests beautifulsoup4 pandas yfinance

这里我们用两种方式：

1. 直接网页抓取（requests + BeautifulSoup）
2. API/SDK 方式（更稳妥，使用 yfinance）

2. 方法一：用 Requests + BeautifulSoup 抓取网页数据（示例：Yahoo Finance）

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 目标URL (以苹果公司股票为例 AAPL)
url = "https://finance.yahoo.com/quote/AAPL"

# 请求头，模拟正常浏览器访问，避免被拦截
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0 Safari/537.36"
}

# 发送请求
response = requests.get(url, headers=headers)

# 解析HTML
soup = BeautifulSoup(response.text, "html.parser")

# 抓取当前价格
price_tag = soup.find("fin-streamer", {"data-field": "regularMarketPrice"})
price = price_tag.text if price_tag else "N/A"

# 抓取涨跌幅
change_tag = soup.find("fin-streamer", {"data-field": "regularMarketChangePercent"})
change = change_tag.text if change_tag else "N/A"

# 保存到DataFrame
data = pd.DataFrame([{"股票": "AAPL", "价格": price, "涨跌幅": change}])
print(data)

# 保存到CSV
data.to_csv("stock_data.csv", index=False, encoding="utf-8-sig")

✅ 运行后，你会得到类似这样的结果：

   股票     价格    涨跌幅
0  AAPL  228.34  +1.23%

3. 方法二：用 yfinance 库直接拉取历史数据（推荐，更稳定）

import yfinance as yf
import pandas as pd

# 下载苹果公司股票过去1年的历史数据
ticker = "AAPL"
data = yf.download(ticker, period="1y", interval="1d")

# 输出前5行
print(data.head())

# 保存为CSV
data.to_csv("AAPL_history.csv", encoding="utf-8-sig")

✅ 输出结果包含：开盘价（Open）、最高价（High）、最低价（Low）、收盘价（Close）、成交量（Volume）等。

4. 进阶：批量抓取多个股票

import yfinance as yf
import pandas as pd

# 股票列表
stocks = ["AAPL", "GOOGL", "TSLA", "MSFT"]

result = {}

for ticker in stocks:
    df = yf.download(ticker, period="6mo", interval="1d")
    result[ticker] = df["Close"]

# 合并成一个表格
final_df = pd.DataFrame(result)
print(final_df.head())

# 保存到文件
final_df.to_csv("stocks_close_prices.csv", encoding="utf-8-sig")

5. 如果要做大规模抓取（可选）

• 问题：很多网站会对高频访问的IP进行限制。
• 解决：使用 住宅代理IP（如辣椒HTTP），可以让请求从不同地区/不同IP发送，看起来更像普通用户，从而保证稳定获取数据。

示例代码（requests 结合代理）：

proxies = {
    "http": "http://username:password@proxy_ip:proxy_port",
    "https": "http://username:password@proxy_ip:proxy_port",
}

response = requests.get(url, headers=headers, proxies=proxies, timeout=10)

✅ 总结

• 小规模学习/实验：用 yfinance 是最稳妥的方式，拿数据又快又准。
• 如果要抓取网页数据：用 requests + BeautifulSoup，但要注意反爬机制。
• 如果要做大规模采集：一定要用 住宅代理IP 确保抓取过程稳定、安全、合规。

⚠️ 注意：

• 不同网站对数据抓取有不同的规定，有的提供开放 API（如 Yahoo Finance、Alpha Vantage），有的禁止直接爬取。所以在实操时要遵循数据来源的 合规使用政策。
• 如果你需要大规模抓取，建议结合 住宅代理IP（比如辣椒HTTP），这样能保证抓取过程更稳定、安全和可持续。