中低频策略通常使用日频或分钟级数据，请说明如何从多个数据源（如Wind、交易所接口）获取数据，并处理数据清洗、缺失值、异常值，以及如何保证数据一致性？

盛丰基金中低频策略研究员难度：中等

答案

1) 【一句话结论】
中低频策略数据管理需通过标准化流程整合多源数据（交易所API、Wind等），重点处理数据延迟、缺失值、异常值，并确保时间与字段一致性，为策略回测提供高质量输入。

2) 【原理/概念讲解】
数据获取和处理的核心是“多源接入-清洗-一致性验证”闭环。

数据源接入：交易所Level-2接口提供分钟级实时行情（价格、成交量、买卖盘），Wind提供日频历史数据（财务、估值、新闻）。分钟级数据用于捕捉交易细节，日频数据用于基本面分析。
数据清洗：
- 字段标准化：统一命名（如交易所的“last_price”→“收盘价”），避免字段歧义。
- 缺失值处理：分钟数据用前向填充（相邻分钟值），日频数据用前/后交易日填充（保持趋势连续性）。
- 异常值检测：3σ原则（偏离均值3倍标准差视为异常），或业务规则（如交易量突然爆表，用前一个有效值替代）。
数据一致性：
- 时间对齐：分钟数据按5分钟聚合为日频（与Wind对齐），避免时间错位。
- 字段统一：所有数据源的单位（如价格元、成交量股）和含义一致。
- 版本控制：记录数据源版本、处理逻辑，便于回溯问题（如数据源更新后，检查处理逻辑是否同步）。

3) 【对比与适用场景】

数据源类型	实时性	字段覆盖	延迟	适用策略类型	注意点
交易所API（Level-2）	分钟级实时	交易细节（买卖盘、成交量、成交额）	1-5分钟	日内交易、事件驱动策略	需低延迟，避免信号延迟影响
Wind	日频历史	财务、估值、新闻、宏观数据	1-2天	价值、成长、基本面策略	数据更新滞后，需结合实时数据

4) 【示例】（伪代码+工具说明）：

数据获取：

# 假设使用Airflow调度任务，每5分钟获取交易所数据，每日获取Wind数据
from exchange_api import get_minute_data  # 交易所API接口
from wind_api import get_daily_data      # Wind接口
import pandas as pd
from datetime import datetime

# 获取分钟级数据（最近60分钟）
minute_data = get_minute_data(
    start_time=datetime.now() - pd.Timedelta(minutes=60),
    end_time=datetime.now(),
    symbols=['000001.SZ']  # 股票代码
)

# 获取日频数据（最近30天）
daily_data = get_daily_data(
    symbols=['000001.SZ'],
    start_date='2023-01-01',
    end_date='2023-12-31'
)

数据清洗：

def clean_minute_data(df):
    # 统一字段命名
    df.rename(columns={'last_price': '收盘价', 'volume': '成交量'}, inplace=True)
    # 处理缺失值（前向填充）
    df['收盘价'].fillna(method='ffill', inplace=True)
    df['成交量'].fillna(0, inplace=True)
    # 异常值处理（3σ原则）
    mean_vol, std_vol = df['成交量'].mean(), df['成交量'].std()
    df['成交量'] = df['成交量'].apply(
        lambda x: x if (mean_vol - 3*std_vol < x < mean_vol + 3*std_vol) else mean_vol
    )
    return df

minute_cleaned = clean_minute_data(minute_data)
daily_cleaned = clean_daily_data(daily_data)  # 同理处理日频数据

# 时间聚合（分钟数据→日频）
minute_cleaned['time'] = pd.to_datetime(minute_cleaned['time'])
minute_cleaned = minute_cleaned.set_index('time').resample('B').last()  # B=工作日

数据存储：清洗后数据存储至数据湖（如MinIO）或数据库（如PostgreSQL），便于后续策略建模。

5) 【面试口播版答案】
面试官您好，中低频策略数据管理的关键是构建多源数据整合流程。首先，数据源接入：通过交易所Level-2接口获取分钟级实时行情（价格、成交量等），通过Wind获取日频历史数据（财务、估值等）。然后，数据清洗阶段：统一字段命名（比如把交易所的“close”改成“收盘价”），处理缺失值（分钟数据用相邻分钟值填充，日频用前/后交易日填充），异常值用3σ原则检测并修正。接着，确保数据一致性：时间上把分钟数据按5分钟聚合为日频，与Wind数据对齐；字段上统一单位（如价格都是元，成交量都是股）；还用版本控制记录数据源和处理逻辑，方便排查问题。这样就能为策略回测提供高质量数据。

6) 【追问清单】

问题1：数据延迟如何影响策略回测？
回答要点：分钟数据延迟1分钟会导致信号生成时间延迟，比如日内交易策略可能错过交易机会，回测收益下降（具体案例：某策略在无延迟时收益10%，延迟1分钟后收益降至8%）。
问题2：如何验证数据一致性？
回答要点：通过交叉验证（比如分钟数据聚合后与Wind日频数据对比关键指标，如收盘价、成交量的一致性），或版本控制记录数据源更新时间，确保处理逻辑同步。
问题3：异常值处理是否会影响策略表现？
回答要点：极端异常值（如交易量突然爆表）可能包含重要信息（如市场事件），直接删除或用均值填充会丢失关键信号，需结合业务规则（如判断为错误数据则替换，否则保留）。

7) 【常见坑/雷区】

忽略数据延迟导致回测偏差：未考虑交易所API的1-5分钟延迟或Wind的1-2天延迟，导致策略回测结果与实际交易不符。
异常值处理不当：直接删除异常值或用均值填充，导致关键信息丢失（如极端事件对策略的影响被忽略）。
数据一致性未验证：不同数据源的字段定义、时间戳不一致（如交易所数据为本地时间，Wind数据为UTC时间），导致数据合并错误。
缺失值填充方法错误：用均值填充分钟数据，破坏时间序列连续性，影响策略的时序特征。
未考虑数据源更新频率：交易所API推送频率为1分钟，Wind数据更新为每日，若未按时间窗口聚合，会导致分钟数据与日频数据时间错位。