数据库建设

《成研投控工作室数据库建设SOP》 | 归档 2026-10-23
全文与本地 制度/现行 正本逐字一致← 返回制度中心
成研投控工作室文件
成研发〔2026〕5号
《成研投控工作室数据库建设SOP》
归档 2026-10-23 | 全文与本地制度正本逐字一致

文件形式: 5号文件(文件形式,不带版本号/不带日期,修订直接落地正文、不改文件名,与《网站建设与数据管理规范》《三大核心产出SOP》《行业深研SOP》同列;章程不带号、为根本法)
定位: 数据库建设、因子体系、数据底座、市场广度与情绪指标的唯一权威文件。
析出来源: 原载《实施细则》§5.3–§5.5;2026-10-23 成哥令单独抽出成 5 号文件,《实施细则》§5.3–§5.5 改为指针(见《实施细则》§五 末)。原条款号 §5.3/§5.4/§5.5 及其内部一~十一沿用,新增内容列 §五–§十。
配套文件: 章程 V1.09(根本宪法)|实施细则 V1.31|三大核心产出SOP(二号文件)|行业深研SOP(三号文件)
主责: CT(量化交易员,写入+维护+健康度);CEO 总核验(抽查+事故裁定)
修订纪律: 认条号、不认版本号;重大修订记入《制度修订留档册》。
末次修订: 2026-10-23 成哥令补入「近期强势股指标」(§七)与「平均股价」(§八)——平均股价/近期强势股/微盘股/涨跌家数四项指标同属数据库建设内容,均以本件为唯一定义源;原 §七/§八 顺延为 §九/§十;§十·四 可见性条款随上墙授权更新。

一、文件定位与配套

本文件与《实施细则》为互补关系——实施细则管流程/产出/风控,本文件管数据底座与指标扩展。凡涉及数据库建设、因子体系、市场广度与情绪指标的事项,以本文件为唯一权威;《实施细则》中相关指针统一指向本文件。

二、数据库维护责任(原细则 §5.3)

权责分工:

角色 责任 检查频次
CT(主责) 写入+维护+健康度 T+0收盘30分钟内完成
CA/CR(只读) 引用前核验时效 每次使用前
CEO(总核验) cron自检补位 每日08:30(交易日)

自动化采集cron:

cron 时间 动作 失败处理
A采集 每个交易日15:30 db_incremental.py 只写当日增量(唯一引擎·本文件 §5.5 四为准,2026-10-16 整表改指针——原 daily_pipeline/个股数=800 系旧代残留一并废止) 告警+重跑1次
B校验 每个交易日15:45 质量校验(全市场覆盖/因子非空率>99%/三张因子核心表+index_daily MAX(date)=T-1,四表口径见章程第四条,验收指标见本文件 §5.5 九) 不达标→告警+自动补采
C自检 每个交易日08:30 健康度自检(MAX=T-1+完整性) 不达标→告警CEO
D重建 —(已废止) 原"每周五 factor_data 全量重建校验"系旧代任务,§1.9 已判下线挂牌盯防,本行仅存溯源 —

表级完整性+字段级校验:

校验项 标准 异常处理
daily_quotes 当日新增行数 =当日全市场实取数(量级对照章程第二十条A ≈5566) 显著偏离当日实取量级→告警
technical_indicators非空率 >99% <95%→告警
factor_data时效 MAX(date)=T-1 断层→立即补采
数据源健康度 成功率>95% 连续2次失败→标记降级

幂等保障: 所有写入用INSERT ... ON CONFLICT(stock_code,date) DO UPDATE,重复跑安全

三、数据源双验自动切换(原细则 §5.4)

主备降级链:

场景 主用 备用1 备用2 备用3
盘中实时价格 腾讯API - - -
盘后历史因子 ~~通达信~~(已废·2026-10-16 就地标注:pytdx 已弃用,主用腾讯 fqkline+BaoStock 周日校准,见 §5.5 七 冲突裁定) 东财 腾讯历史 AKShare
北向资金 东财 腾讯财经API - -
涨跌停 东方财富 push2ex 三件套(涨停池/跌停池/炸板,与二号文件 §2.7 法定口径一致) 腾讯财经 通达信MCP AKShare

自动切换SLA: <30秒,脚本级,无需人工介入
源健康度心跳: 每个源每日首次调用记录成功率,连续2次失败自动标记"降级"

四、数据底座与因子体系(原细则 §5.5)

一、数据库定位: main/data/invest_db.sqlite 为因子计算与历史复盘的数据底座,不是选股候选池来源(候选池一律实时全市场,见章程第二十条A)。

二、三张因子核心表(daily_quotes/technical_indicators/factor_data)+index_daily(四表口径见章程第四条;index_daily 滞后属在册缺口⑤,不逐日立案):

表 内容 用途
daily_quotes 日线 OHLCV + 成交额 + 换手率 + 涨跌幅 因子计算基础
technical_indicators MA5/10/20/60、RSI6/12/24、MACD、KDJ、BOLL 完整因子版技术指标
factor_data 动量/波动/量比/振幅 + 扩充因子(见下) 五维评分与复盘

三、因子清单:
- 技术指标 17项: ma5 / ma10 / ma20 / ma60 / rsi_6 / rsi_12 / rsi_24 / macd_dif / macd_dea / macd_bar / kdj_k / kdj_d / kdj_j / boll_upper / boll_mid / boll_lower / boll_pct_b
- 基础因子 8项: momentum_5d / momentum_10d / momentum_20d / volatility_5d / volatility_20d / volume_ratio_5d / volume_ratio_20d / amplitude
- 扩充因子 9项: ret_60d(60日收益)/vol_ratio_1d(当日量比)/amount_ma5_yi(5日均额·亿)/turnover_ma5(5日均换手)/amp_ma5(5日均振幅)/bias_ma20(MA20乖离率)/pos_60d(60日区间位置)/max_dd_20d(20日最大回撤)/limitup_days_20d(20日涨停次数)

口径说明: 东财 push2his 因批量请求被 IP级限流封禁(单只小样本正常、全量即空),主源改用腾讯 fqkline(无成交额/换手率字段)。故:
- 成交额 amount = 估算值:量(手)×100×均价(H+L+C)/3,误差约2–5%,因子 amount_ma5_yi 沿用此口径;实时选股评分走腾讯实时接口的真值成交额,不受影响。
- 换手率 turnover_rate = 反推真值:以腾讯实时行情的【成交量 × 换手率】反推真实流通股本,再回填全部历史日线(脚本 db_patch_turnover.py,非空率 99.8%,与实时字段交叉验证一致)。股本以当前值为准,忽略期间增发/解禁微变。
- 东财解封后如需真值回补,走周日校准 BaoStock 通道补齐(db_rebuild.py 修复并验收前不予启用,见第四款)。

四、更新纪律(杜绝再次断层):
1. 每日增量更新(默认引擎·2026-10-15 CEO 闭环裁定):每交易日收盘后(15:30定时任务)执行 db_incremental.py(源=腾讯实时),只写当日、绝不回补历史。
2. 周日全量校准(20:00定时任务):db_sunday_calib.py——BaoStock 补真值成交额/复权因子/财务/板块成分,导出 Parquet,写 update_log;执行前必须备份。
3. 历史回补(须经批准):仅限 CEO 批准的回补脚本(如 db_factor_backfill.py,本地由 daily_quotes 重算、口径对齐 db_incremental;db_adjfactor_incremental.py 复权因子增量,源=新浪 hfq);ST 整类补漏脚本(db_st_backfill_*)为临时通道。db_rebuild.py --days N 存在三处缺陷(估算成交额/换手 NULL/窗口问题),修复并经自测+抽样复核前不予启用。
4. 断层判定:CT每次产出前须检查 daily_quotes 的 MAX(date) 是否 = T-1(或当日已收盘则为 T);不达标即降级为实时降级版并标注量化完成度。
5. 批量写入前备份:任何重建/回补/大批量写入前必须 cp invest_db.sqlite invest_db.sqlite.bak_YYYYMMDD_HHMMSS。
6. 脚本路径:ct/.workbuddy/scripts/(db_incremental.py 默认引擎/db_sunday_calib.py 周日校准/db_adjfactor_incremental.py 复权因子增量;CT维护,CEO抽查)。

五、表结构扩展: 现有3表基础上扩展至 10张表——新增 stock_basic(标的元数据)/daily_extra(PE/PB/市值/ST/停牌/涨跌停价)/adjust_factor(复权因子)/financial(财务三表)/index_daily(基准指数)/sector_member(板块成分)/update_log(运维留痕)。
回测五硬字段(缺一即回测失真): ①复权因子 ②ST标记 ③停牌标记 ④涨跌停价 ⑤上市/退市日期。

六、双引擎架构: SQLite 为写入主库(每日增量);收盘后导出 Parquet 至 main/data/warehouse/,由 DuckDB 承担回测与研究查询(列式,快10–100倍)。分钟线仅对候选池/关注池约1000只保留近1年滚动(全市场分钟线年增3.2亿行,性价比过低)。

七、数据源分层与定案:

通道 实测结论 定位
BaoStock(证券宝) ✅ 可取真值:amount成交额、turn换手率、tradestatus停牌、isST、复权因子、财务三表 准源(慢,全量约20分钟,走夜间/周日)
腾讯 fqkline / qt.gtimg.cn ✅ 稳定、秒级 快源(每日增量 + 实时选股)
东财 push2his ❌ IP级限流封禁 解封后备用
pytdx(通达信协议) ❌ 104节点握手可通、K线全拒 弃用
通达信/同花顺 Mac 客户端 ❌ 云架构,容器内无 vipdoc、.day 文件数=0,280MB 全为皮肤配置 架构性排除(与权限无关)

若须通达信本地 .day,唯一路径为 Windows 版(需虚拟机/双系统,成本过高,不采纳)。
冲突裁定: 本表与 §三 主备降级链不一致处(如"盘后历史因子主用通达信"),以本表定案为准——pytdx 已弃用,盘后历史因子主用腾讯 fqkline+BaoStock 周日校准。

八、运维时段红线:

严禁在开盘链路时段(09:00–09:40)与尾盘链路时段(14:00–14:45)执行任何数据库大批量写入(含全量重建、真值补漏、Parquet导出)。违反即视为直接干扰成哥实盘链路。

★ "大批量写入"定义(2026-10-16 补,消 CEO 紧急修复例外执行障碍): 单条语句影响 ≥1000 行,或含全表 UPDATE/DELETE、全量重建、真值补漏、Parquet 导出者,为"大批量写入"——红线禁区内一律禁止;行级修复(单语句 ≤100 行的定点 UPDATE/INSERT)豁免红线,但须:①即时在 update_log 留痕(时间/范围/原因)②当晚报备 ③计入错误登记簿。运维时段内发现数据事故时,行级修复可即时执行,大批量修复一律延至禁区窗口外(或走章程第二十三条A CEO 紧急修复例外且仍守本款定义)。

事故判例:CEO 在盘中执行 BaoStock 真值写入 774,449 行,撞上 CT 09:25 读库出选股池 → CT 早盘选股池迟到 7 分钟(09:33 vs 标准 09:26),CA 早盘策略连锁迟到(09:31 vs 标准 09:29)。责任人:CEO(笑笑)。

配套硬性措施:
1. DB 已启用 WAL 模式 + busy_timeout 15s(读写并发,写不阻塞读);
2. 所有批量写库脚本内置时段避让(09:00–09:40 与 14:00–14:45 自动 sleep 延后,与红线窗口完全一致,2026-10-16 统一,原 09:00–09:32/14:20–14:40 窄窗作废);
3. BaoStock 等慢源任务一律排至 19:00 夜间或周日 20:00;
4. 盘中(09:00–15:00)禁任何数据库批量写入;每日增量仅在收盘后 15:30 执行(db_incremental.py)。

九、完整因子版启用条件: technical_indicators 与 factor_data 的 MAX(date) ≥ T-1 且覆盖率 ≥95% → 出完整因子版;否则出实时降级版并标注完成度%。

十、数据事故处置(章程第四条"时效"红线的执行细则·2026-10-16 新增·同日补边界款): 任一核心表(定义见章程第四条:daily_quotes/technical_indicators/factor_data/index_daily 四表)MAX(date) < T-1 即构成数据事故,按五步处置:①标注——发现人即时在受影响产出标注"数据滞后·手工口径"(指数表滞后期间禁用自动档位判定,照细则 §2.6A"基准数据必须 ≥T-1"既有口径,原误引 §1.10 已订正);②修复——CT 当日 19:00 真值补漏档前完成,修复动作避让运维时段红线窗口(行级修复豁免口径见 §5.5 八);③知情——修复前使用方(CA/CR)产出强制降级并显式标注,禁止静默取数;④披露——当日数据中心页色级不得标绿(联动章程第二十二条A八三色分级);⑤归因——事故记错误登记簿(发现→修复→知情三段留痕)并晚会复盘。事故分级(P0/P1/P2)由 CT 提级、CEO 确认。回溯标注(同日补):当日 18:05 后完成修复的,次日数据中心页首行加"前日事故已于 XX 时修复"回溯标注,闭环归档。

★ 事故 vs 在册缺口边界款(2026-10-16 补,与章程第四条配套): 已列入章程第二十二条A六缺口台账的长期缺口(如指数表结构性滞后、financial 历史浅)不逐日重复立案、不逐日提 P1——但每日使用时仍强制走①标注+③知情降级两步;台账清偿(如指数日线并入每日增量引擎)后该缺口出册,此后再滞后即按本条五步全流程。未在册的即时滞后按本条全流程处置。

十A、降级回测口径(2026-10-16 新增,承接章程第二十二条A七因子变更三步制): 回测五硬字段(本文件 §5.5 五)缺任一期间,因子变更三步制第②步"历史回测验证"按降级回测执行:仅允许受缺口影响小的因子回测并强制标注"底座局限·降级回测";依赖退市样本/涨跌停价/停牌标记的因子结论禁止作为变更依据;缺口清偿后恢复正常回测口径。financial 深度验收指标:financial 表期数 ≥8 期(检查频次=周日校准时随 update_log 记录;不达标期间色级联动 §5.5 十④不得标绿——与章程 §18A/22A六② 同源,本条为其执行落位)。

十一、备份与灾备(2026-10-16 新增): ①备份节奏:批量写入前临时备份+近 2 份滚动保留+月末封存 1 份(落 data/归档/db_backup/,可用空间 <30GB 时 CT 先行清理至可用 ≥30GB 后再执行备份,当晚报备 CEO,与《网站规范》§7.6 一致);②恢复演练:每月首个非交易日抽 1 份备份做只读打开+行数抽检,结果写 update_log,连续两月未演练视为备份失效;③数据缺口台账:随本条维护(编号/影响/责任人/排期/状态三选一,季度清偿复盘),当前在册与四指标披露口径以章程第二十二条A五/六为准。

五、市场广度与涨跌家数(新增 · 2026-10-23)

定位: 涨跌家数(上涨/下跌/平盘家数及其占比)是市场广度(breadth)的直观测度,极端情形(如全市场 5000+ 只下跌、仅 500+ 只上涨)直接反映情绪冰点,是 GEM 阈值 T=3170 结构性冰点判定之外的互补广度信号。

一、口径定义:
- 广度分母=新浪 hs_a 全池(含 ST)(与二号文件 §2.11 双轨「等权承接力(参与广度)=法定方向有效性度量」同源口径,细则法定口径)。
- 上涨/下跌以收盘价较昨收的涨跌幅符号判定;平盘=涨跌幅≈0。
- 涨停/跌停家数=东财 push2ex 三件套(涨停池/跌停池/炸板),与二号文件 §2.7 法定口径一致;DB 侧 ≤−9.8% 仅作交叉参考并列披露。

二、表结构(market_breadth_daily,并入 invest_db.sqlite):

字段 类型 说明
date date 交易日(主键)
total int 全市场总数(新浪 hs_a 全池,含 ST)
up int 上涨家数
down int 下跌家数
flat int 平盘家数
limit_up int 涨停家数
limit_down int 跌停家数
advance_ratio real 上涨占比=up/total
source text 主源(新浪全市场/东财 push2ex)

三、情绪冰点联动(观测,非裁定):
- 广度极端(如 down ≥ 4000 且 up ≤ 1000,或 advance_ratio 低于历史分位极值)作为情绪冰点辅助信号,与 GEM T=3170 并行使用。
- 红线:本指标为辅助观察,不单独触发仓位裁定;仓位裁定仍按 §2.6A 两锚分离(T 轴=冰点结构性判定、H20 轴=破位降档)既有口径执行。涨跌家数仅作「广度维度交叉验证」与晚报「市场温度」描述。

四、采集纪律: 沿用本文件 §5.5 四(更新纪律)与 §5.5 八(运维时段红线)——日终 15:30 随增量引擎写入或独立 cron;批量写入避让 09:00–09:40/14:00–14:45。

六、微盘股指标(新增 · 2026-10-23)

定位: 微盘股(极小市值尾部)对流动性与风险偏好最敏感,是情绪与风格轮动的先行指标;微盘股走弱往往领先于全市场广度恶化。

一、代表标的: 同花顺微盘股指数(883907)或等权微盘组合;取数以日线收盘为准。

二、表结构(micro_cap_daily,并入 invest_db.sqlite):

字段 类型 说明
date date 交易日(主键)
index_value real 微盘股指数收盘点位
change_pct real 当日涨跌幅(%)
up int 微盘股上涨家数(若可得)
down int 微盘股下跌家数(若可得)
constituent_count int 成分股数量(若可得)
source text 主源(同花顺/代理指数)

三、意义与用法: 微盘股涨跌与全市场广度、涨跌家数互为印证;微盘股单独破位时,作为风险偏好收缩的早期预警,纳入晚报「市场温度」描述,不单独触发仓位裁定。

四、采集纪律: 同 §五·四。

七、近期强势股指标(新增 · 2026-10-23)

定位: 近期强势股(创阶段新高/阶段涨幅头部)是市场赚钱效应的直接载体;强势股数量枯竭=做多动能衰竭。与 §五 涨跌家数(广度)、§六 微盘股(风格先行)互为印证,构成情绪面的「赚钱效应」观测轴。

一、口径定义(双口径,任一命中即入当日强势名单):
- 创新高口径: 收盘价创近 20 日/近 60 日新高(滚动窗口「最高收盘」算法与细则 §2.6A 破位轴 H20 同源;该处为单标的滚动最高,此处为全池计数)。
- 涨幅排名口径: 近 20 日涨幅在全池排名前 10%(等权 RPS 口径)。
- 强势名单按日全量替换(幂等),供 CA/CR 复盘与晚报「市场温度」引用。

二、表结构(并入 invest_db.sqlite):

strong_stock_daily(日度聚合,主键 date):

字段 类型 说明
date date 交易日(主键)
pool_n int 全池家数(与 §五 同池)
nh20_count int 创近 20 日新高家数
nh60_count int 创近 60 日新高家数
strong_count int 强势股家数(双口径并集)
strong_ratio real 强势股占比=strong_count/pool_n
strong_avg_ret20 real 强势股组合近 20 日平均涨幅
source text 自算(daily_quotes)

strong_stock_detail(当日名单,主键 (date, stock_code)):nh20/nh60(0/1 标记)、ret20/ret60(区间涨幅)、rank_pct(全池涨幅排名分位)、industry(板块,若可得)。

三、情绪意义与红线:
- 强势股占比与赚钱效应正相关;冰点期强势股枯竭(strong_count/strong_ratio 显著低于历史分位)作为情绪冰点辅助信号,与 §五 广度、GEM T=3170 并行观测。
- 红线:观测层指标,不单独触发仓位裁定(同 §五·三);仓位裁定仍按细则 §2.6A 两锚分离既有口径执行。

四、采集纪律: T 日收盘后由 daily_quotes 现算(自算口径、不依赖外部源),随 §五 同脚本写入;禁盘中估算;名单表当日行全量替换;沿用 §5.5 四(只写当日)/§5.5 八(运维时段红线)。

八、平均股价(新增 · 2026-10-23)

定位: 平均股价(全池等权)是个股平均持仓成本的直观刻度;与加权指数对照可识别「指数横盘、个股失血」的结构分化,是大小盘风格与风险偏好的观测轴。

一、口径定义:
- 主口径: 全池等权平均股价=Σ收盘价 ÷ N(池=新浪 hs_a 全池含 ST,与 §五 广度分母一致);另出剔除 ST 版本并列披露。
- 辅助口径: 中位数股价、总市值加权均价(对照项,识别大小盘分化)。
- 衍生: 平均股价近 20 日变动率;与上证指数收盘的背离度(等权涨幅 − 加权涨幅)。

二、表结构(avg_price_daily,主键 date):

字段 类型 说明
date date 交易日(主键)
avg_close real 全池等权平均股价
median_close real 全池中位数股价
avg_close_ex_st real 剔除 ST 等权均价
wavg_close real 总市值加权均价(对照)
chg20 real 平均股价近 20 日变动率(%)
index_close real 对照指数收盘(上证)
divergence real 等权−加权背离度
pool_n int 全池家数
source text 主源(新浪快照/DB 复算并列披露)

三、意义与用法:
- 平均股价创新低而指数横盘=小微盘/尾部失血(风险偏好收缩早期信号,与 §六 微盘股互印);
- 平均股价新高而指数滞涨=等权赚钱效应强(广度良好);
- 纳入晚报「市场温度」描述;红线:观测层指标,不触发仓位裁定。

四、采集纪律: 同 §五·四;新浪快照值与 DB 复算值并列披露,差异 >0.5% 按二号文件 §2.8A 受限项五档枚举标注,禁代理代填。

九、其他情绪类指标(新增 · 2026-10-23)

定位: 在 §五~§八(涨跌家数/微盘股/近期强势股/平均股价)基础上,聚合其余日频情绪观测,形成统一的情绪面视图。

一、指标清单(日频):

指标 含义 主源
涨停家数 / 跌停家数 极端情绪强度 东财 push2ex(已含于 §五 表)
连板高度 全市场最高连板数(风险偏好极值) 东财/自算
封板率 封板成功数 / 触板总数 东财
全市场成交额(亿元) 资金活跃度(已在 daily_quotes) 腾讯/东财
上涨占比 同 §五 advance_ratio 新浪
创 60 日新低家数 恐慌广度 自算(daily_quotes 滚动)
创新高家数(20日/60日) 做多广度 见 §七 强势股双口径(strong_stock_daily)
平均股价(等权/中位数) 持仓成本刻度 见 §八(avg_price_daily)
均线多头排列家数 趋势广度 自算

二、表结构(market_sentiment_daily,并入 invest_db.sqlite): 主键 date,上述各指标为列;与 §五~§八 同源字段不重复建表,统一在此视图聚合。

三、与既有口径衔接: 广度分母=新浪 hs_a(细则法定口径);等权承接力(参与广度)=方向有效性度量(二号文件 §2.11 双轨)。本文件情绪类指标统一为观测层,不进入仓位裁定链路。

四、采集纪律: 同 §五·四;封板率/连板高度等需触板明细的指标,源=东财 push2ex,缺失即按 §2.11 双重降维/§5.5 十① 标注处理,禁代理代填。

十、新增表落地与脚本规范(新增 · 2026-10-23)

一、落地表: market_breadth_daily/micro_cap_daily/market_sentiment_daily/strong_stock_daily/strong_stock_detail/avg_price_daily 六表并入 main/data/invest_db.sqlite(SQLite 写入主库),并随周日校准导出 Parquet 至 main/data/warehouse/(DuckDB 研究查询,见 §5.5 六)。

二、采集脚本: CT 维护,命名 db_breadth_incremental.py 等,落 ct/.workbuddy/scripts/;沿用 §5.5 四(默认引擎/只写当日/绝不回补)、§5.5 八(运维时段红线)、§5.5 十一(备份与灾备)。脚本路径绝对硬编码 main/data/invest_db.sqlite。

三、校验: 沿用 §5.3 表级完整性+字段级校验口径;新增六表 MAX(date)=T-1 纳入 §5.5 九 完整因子版/数据时效核验范围,滞后即按 §5.5 十 数据事故处置。

四、保密与可见性: 本文件已于 2026-10-23 经成哥授权全文上公网(官网「制度中心」页 institution.html,与本地正本 main/制度/现行/ 一致、未改编未遮蔽);后续修订落地后随官网构建同步上墙。公网页与本地正本不一致时,以本地正本为准,CEO 发现差异当日修正。

⚠️ 免责声明:本站内容为成研投控工作室研究结论,不构成实盘操作指令,严禁作为实盘交易唯一依据。数据受限项以原文标注为准(未编造、未估算)。