制度/现行 正本逐字一致← 返回制度中心文件形式: 5号文件(文件形式,不带版本号/不带日期,修订直接落地正文、不改文件名,与《网站建设与数据管理规范》《三大核心产出SOP》《行业深研SOP》同列;章程不带号、为根本法)
定位: 数据库建设、因子体系、数据底座、市场广度与情绪指标的唯一权威文件。
析出来源: 原载《实施细则》§5.3–§5.5;2026-10-23 成哥令单独抽出成 5 号文件,《实施细则》§5.3–§5.5 改为指针(见《实施细则》§五 末)。原条款号 §5.3/§5.4/§5.5 及其内部一~十一沿用,新增内容列 §五–§十。
配套文件: 章程 V1.09(根本宪法)|实施细则 V1.31|三大核心产出SOP(二号文件)|行业深研SOP(三号文件)
主责: CT(量化交易员,写入+维护+健康度);CEO 总核验(抽查+事故裁定)
修订纪律: 认条号、不认版本号;重大修订记入《制度修订留档册》。
末次修订: 2026-10-23 成哥令补入「近期强势股指标」(§七)与「平均股价」(§八)——平均股价/近期强势股/微盘股/涨跌家数四项指标同属数据库建设内容,均以本件为唯一定义源;原 §七/§八 顺延为 §九/§十;§十·四 可见性条款随上墙授权更新。
本文件与《实施细则》为互补关系——实施细则管流程/产出/风控,本文件管数据底座与指标扩展。凡涉及数据库建设、因子体系、市场广度与情绪指标的事项,以本文件为唯一权威;《实施细则》中相关指针统一指向本文件。
权责分工:
| 角色 | 责任 | 检查频次 |
|---|---|---|
| CT(主责) | 写入+维护+健康度 | T+0收盘30分钟内完成 |
| CA/CR(只读) | 引用前核验时效 | 每次使用前 |
| CEO(总核验) | cron自检补位 | 每日08:30(交易日) |
自动化采集cron:
| cron | 时间 | 动作 | 失败处理 |
|---|---|---|---|
| A采集 | 每个交易日15:30 | db_incremental.py 只写当日增量(唯一引擎·本文件 §5.5 四为准,2026-10-16 整表改指针——原 daily_pipeline/个股数=800 系旧代残留一并废止) |
告警+重跑1次 |
| B校验 | 每个交易日15:45 | 质量校验(全市场覆盖/因子非空率>99%/三张因子核心表+index_daily MAX(date)=T-1,四表口径见章程第四条,验收指标见本文件 §5.5 九) | 不达标→告警+自动补采 |
| C自检 | 每个交易日08:30 | 健康度自检(MAX=T-1+完整性) | 不达标→告警CEO |
| D重建 | —(已废止) | 原"每周五 factor_data 全量重建校验"系旧代任务,§1.9 已判下线挂牌盯防,本行仅存溯源 | — |
表级完整性+字段级校验:
| 校验项 | 标准 | 异常处理 |
|---|---|---|
| daily_quotes 当日新增行数 | =当日全市场实取数(量级对照章程第二十条A ≈5566) | 显著偏离当日实取量级→告警 |
| technical_indicators非空率 | >99% | <95%→告警 |
| factor_data时效 | MAX(date)=T-1 | 断层→立即补采 |
| 数据源健康度 | 成功率>95% | 连续2次失败→标记降级 |
幂等保障: 所有写入用INSERT ... ON CONFLICT(stock_code,date) DO UPDATE,重复跑安全
主备降级链:
| 场景 | 主用 | 备用1 | 备用2 | 备用3 |
|---|---|---|---|---|
| 盘中实时价格 | 腾讯API | - | - | - |
| 盘后历史因子 | ~~通达信~~(已废·2026-10-16 就地标注:pytdx 已弃用,主用腾讯 fqkline+BaoStock 周日校准,见 §5.5 七 冲突裁定) | 东财 | 腾讯历史 | AKShare |
| 北向资金 | 东财 | 腾讯财经API | - | - |
| 涨跌停 | 东方财富 push2ex 三件套(涨停池/跌停池/炸板,与二号文件 §2.7 法定口径一致) | 腾讯财经 | 通达信MCP | AKShare |
自动切换SLA: <30秒,脚本级,无需人工介入
源健康度心跳: 每个源每日首次调用记录成功率,连续2次失败自动标记"降级"
一、数据库定位: main/data/invest_db.sqlite 为因子计算与历史复盘的数据底座,不是选股候选池来源(候选池一律实时全市场,见章程第二十条A)。
二、三张因子核心表(daily_quotes/technical_indicators/factor_data)+index_daily(四表口径见章程第四条;index_daily 滞后属在册缺口⑤,不逐日立案):
| 表 | 内容 | 用途 |
|---|---|---|
daily_quotes |
日线 OHLCV + 成交额 + 换手率 + 涨跌幅 | 因子计算基础 |
technical_indicators |
MA5/10/20/60、RSI6/12/24、MACD、KDJ、BOLL | 完整因子版技术指标 |
factor_data |
动量/波动/量比/振幅 + 扩充因子(见下) | 五维评分与复盘 |
三、因子清单:
- 技术指标 17项: ma5 / ma10 / ma20 / ma60 / rsi_6 / rsi_12 / rsi_24 / macd_dif / macd_dea / macd_bar / kdj_k / kdj_d / kdj_j / boll_upper / boll_mid / boll_lower / boll_pct_b
- 基础因子 8项: momentum_5d / momentum_10d / momentum_20d / volatility_5d / volatility_20d / volume_ratio_5d / volume_ratio_20d / amplitude
- 扩充因子 9项: ret_60d(60日收益)/vol_ratio_1d(当日量比)/amount_ma5_yi(5日均额·亿)/turnover_ma5(5日均换手)/amp_ma5(5日均振幅)/bias_ma20(MA20乖离率)/pos_60d(60日区间位置)/max_dd_20d(20日最大回撤)/limitup_days_20d(20日涨停次数)
口径说明: 东财 push2his 因批量请求被 IP级限流封禁(单只小样本正常、全量即空),主源改用腾讯 fqkline(无成交额/换手率字段)。故:
- 成交额 amount = 估算值:量(手)×100×均价(H+L+C)/3,误差约2–5%,因子 amount_ma5_yi 沿用此口径;实时选股评分走腾讯实时接口的真值成交额,不受影响。
- 换手率 turnover_rate = 反推真值:以腾讯实时行情的【成交量 × 换手率】反推真实流通股本,再回填全部历史日线(脚本 db_patch_turnover.py,非空率 99.8%,与实时字段交叉验证一致)。股本以当前值为准,忽略期间增发/解禁微变。
- 东财解封后如需真值回补,走周日校准 BaoStock 通道补齐(db_rebuild.py 修复并验收前不予启用,见第四款)。
四、更新纪律(杜绝再次断层):
1. 每日增量更新(默认引擎·2026-10-15 CEO 闭环裁定):每交易日收盘后(15:30定时任务)执行 db_incremental.py(源=腾讯实时),只写当日、绝不回补历史。
2. 周日全量校准(20:00定时任务):db_sunday_calib.py——BaoStock 补真值成交额/复权因子/财务/板块成分,导出 Parquet,写 update_log;执行前必须备份。
3. 历史回补(须经批准):仅限 CEO 批准的回补脚本(如 db_factor_backfill.py,本地由 daily_quotes 重算、口径对齐 db_incremental;db_adjfactor_incremental.py 复权因子增量,源=新浪 hfq);ST 整类补漏脚本(db_st_backfill_*)为临时通道。db_rebuild.py --days N 存在三处缺陷(估算成交额/换手 NULL/窗口问题),修复并经自测+抽样复核前不予启用。
4. 断层判定:CT每次产出前须检查 daily_quotes 的 MAX(date) 是否 = T-1(或当日已收盘则为 T);不达标即降级为实时降级版并标注量化完成度。
5. 批量写入前备份:任何重建/回补/大批量写入前必须 cp invest_db.sqlite invest_db.sqlite.bak_YYYYMMDD_HHMMSS。
6. 脚本路径:ct/.workbuddy/scripts/(db_incremental.py 默认引擎/db_sunday_calib.py 周日校准/db_adjfactor_incremental.py 复权因子增量;CT维护,CEO抽查)。
五、表结构扩展: 现有3表基础上扩展至 10张表——新增 stock_basic(标的元数据)/daily_extra(PE/PB/市值/ST/停牌/涨跌停价)/adjust_factor(复权因子)/financial(财务三表)/index_daily(基准指数)/sector_member(板块成分)/update_log(运维留痕)。
回测五硬字段(缺一即回测失真): ①复权因子 ②ST标记 ③停牌标记 ④涨跌停价 ⑤上市/退市日期。
六、双引擎架构: SQLite 为写入主库(每日增量);收盘后导出 Parquet 至 main/data/warehouse/,由 DuckDB 承担回测与研究查询(列式,快10–100倍)。分钟线仅对候选池/关注池约1000只保留近1年滚动(全市场分钟线年增3.2亿行,性价比过低)。
七、数据源分层与定案:
| 通道 | 实测结论 | 定位 |
|---|---|---|
| BaoStock(证券宝) | ✅ 可取真值:amount成交额、turn换手率、tradestatus停牌、isST、复权因子、财务三表 |
准源(慢,全量约20分钟,走夜间/周日) |
| 腾讯 fqkline / qt.gtimg.cn | ✅ 稳定、秒级 | 快源(每日增量 + 实时选股) |
| 东财 push2his | ❌ IP级限流封禁 | 解封后备用 |
| pytdx(通达信协议) | ❌ 104节点握手可通、K线全拒 | 弃用 |
| 通达信/同花顺 Mac 客户端 | ❌ 云架构,容器内无 vipdoc、.day 文件数=0,280MB 全为皮肤配置 | 架构性排除(与权限无关) |
若须通达信本地
.day,唯一路径为 Windows 版(需虚拟机/双系统,成本过高,不采纳)。
冲突裁定: 本表与 §三 主备降级链不一致处(如"盘后历史因子主用通达信"),以本表定案为准——pytdx 已弃用,盘后历史因子主用腾讯 fqkline+BaoStock 周日校准。
八、运维时段红线:
严禁在开盘链路时段(09:00–09:40)与尾盘链路时段(14:00–14:45)执行任何数据库大批量写入(含全量重建、真值补漏、Parquet导出)。违反即视为直接干扰成哥实盘链路。
★ "大批量写入"定义(2026-10-16 补,消 CEO 紧急修复例外执行障碍): 单条语句影响 ≥1000 行,或含全表 UPDATE/DELETE、全量重建、真值补漏、Parquet 导出者,为"大批量写入"——红线禁区内一律禁止;行级修复(单语句 ≤100 行的定点 UPDATE/INSERT)豁免红线,但须:①即时在 update_log 留痕(时间/范围/原因)②当晚报备 ③计入错误登记簿。运维时段内发现数据事故时,行级修复可即时执行,大批量修复一律延至禁区窗口外(或走章程第二十三条A CEO 紧急修复例外且仍守本款定义)。
事故判例:CEO 在盘中执行 BaoStock 真值写入 774,449 行,撞上 CT 09:25 读库出选股池 → CT 早盘选股池迟到 7 分钟(09:33 vs 标准 09:26),CA 早盘策略连锁迟到(09:31 vs 标准 09:29)。责任人:CEO(笑笑)。
配套硬性措施:
1. DB 已启用 WAL 模式 + busy_timeout 15s(读写并发,写不阻塞读);
2. 所有批量写库脚本内置时段避让(09:00–09:40 与 14:00–14:45 自动 sleep 延后,与红线窗口完全一致,2026-10-16 统一,原 09:00–09:32/14:20–14:40 窄窗作废);
3. BaoStock 等慢源任务一律排至 19:00 夜间或周日 20:00;
4. 盘中(09:00–15:00)禁任何数据库批量写入;每日增量仅在收盘后 15:30 执行(db_incremental.py)。
九、完整因子版启用条件: technical_indicators 与 factor_data 的 MAX(date) ≥ T-1 且覆盖率 ≥95% → 出完整因子版;否则出实时降级版并标注完成度%。
十、数据事故处置(章程第四条"时效"红线的执行细则·2026-10-16 新增·同日补边界款): 任一核心表(定义见章程第四条:daily_quotes/technical_indicators/factor_data/index_daily 四表)MAX(date) < T-1 即构成数据事故,按五步处置:①标注——发现人即时在受影响产出标注"数据滞后·手工口径"(指数表滞后期间禁用自动档位判定,照细则 §2.6A"基准数据必须 ≥T-1"既有口径,原误引 §1.10 已订正);②修复——CT 当日 19:00 真值补漏档前完成,修复动作避让运维时段红线窗口(行级修复豁免口径见 §5.5 八);③知情——修复前使用方(CA/CR)产出强制降级并显式标注,禁止静默取数;④披露——当日数据中心页色级不得标绿(联动章程第二十二条A八三色分级);⑤归因——事故记错误登记簿(发现→修复→知情三段留痕)并晚会复盘。事故分级(P0/P1/P2)由 CT 提级、CEO 确认。回溯标注(同日补):当日 18:05 后完成修复的,次日数据中心页首行加"前日事故已于 XX 时修复"回溯标注,闭环归档。
★ 事故 vs 在册缺口边界款(2026-10-16 补,与章程第四条配套): 已列入章程第二十二条A六缺口台账的长期缺口(如指数表结构性滞后、financial 历史浅)不逐日重复立案、不逐日提 P1——但每日使用时仍强制走①标注+③知情降级两步;台账清偿(如指数日线并入每日增量引擎)后该缺口出册,此后再滞后即按本条五步全流程。未在册的即时滞后按本条全流程处置。
十A、降级回测口径(2026-10-16 新增,承接章程第二十二条A七因子变更三步制): 回测五硬字段(本文件 §5.5 五)缺任一期间,因子变更三步制第②步"历史回测验证"按降级回测执行:仅允许受缺口影响小的因子回测并强制标注"底座局限·降级回测";依赖退市样本/涨跌停价/停牌标记的因子结论禁止作为变更依据;缺口清偿后恢复正常回测口径。financial 深度验收指标:financial 表期数 ≥8 期(检查频次=周日校准时随 update_log 记录;不达标期间色级联动 §5.5 十④不得标绿——与章程 §18A/22A六② 同源,本条为其执行落位)。
十一、备份与灾备(2026-10-16 新增): ①备份节奏:批量写入前临时备份+近 2 份滚动保留+月末封存 1 份(落 data/归档/db_backup/,可用空间 <30GB 时 CT 先行清理至可用 ≥30GB 后再执行备份,当晚报备 CEO,与《网站规范》§7.6 一致);②恢复演练:每月首个非交易日抽 1 份备份做只读打开+行数抽检,结果写 update_log,连续两月未演练视为备份失效;③数据缺口台账:随本条维护(编号/影响/责任人/排期/状态三选一,季度清偿复盘),当前在册与四指标披露口径以章程第二十二条A五/六为准。
定位: 涨跌家数(上涨/下跌/平盘家数及其占比)是市场广度(breadth)的直观测度,极端情形(如全市场 5000+ 只下跌、仅 500+ 只上涨)直接反映情绪冰点,是 GEM 阈值 T=3170 结构性冰点判定之外的互补广度信号。
一、口径定义:
- 广度分母=新浪 hs_a 全池(含 ST)(与二号文件 §2.11 双轨「等权承接力(参与广度)=法定方向有效性度量」同源口径,细则法定口径)。
- 上涨/下跌以收盘价较昨收的涨跌幅符号判定;平盘=涨跌幅≈0。
- 涨停/跌停家数=东财 push2ex 三件套(涨停池/跌停池/炸板),与二号文件 §2.7 法定口径一致;DB 侧 ≤−9.8% 仅作交叉参考并列披露。
二、表结构(market_breadth_daily,并入 invest_db.sqlite):
| 字段 | 类型 | 说明 |
|---|---|---|
date |
date | 交易日(主键) |
total |
int | 全市场总数(新浪 hs_a 全池,含 ST) |
up |
int | 上涨家数 |
down |
int | 下跌家数 |
flat |
int | 平盘家数 |
limit_up |
int | 涨停家数 |
limit_down |
int | 跌停家数 |
advance_ratio |
real | 上涨占比=up/total |
source |
text | 主源(新浪全市场/东财 push2ex) |
三、情绪冰点联动(观测,非裁定):
- 广度极端(如 down ≥ 4000 且 up ≤ 1000,或 advance_ratio 低于历史分位极值)作为情绪冰点辅助信号,与 GEM T=3170 并行使用。
- 红线:本指标为辅助观察,不单独触发仓位裁定;仓位裁定仍按 §2.6A 两锚分离(T 轴=冰点结构性判定、H20 轴=破位降档)既有口径执行。涨跌家数仅作「广度维度交叉验证」与晚报「市场温度」描述。
四、采集纪律: 沿用本文件 §5.5 四(更新纪律)与 §5.5 八(运维时段红线)——日终 15:30 随增量引擎写入或独立 cron;批量写入避让 09:00–09:40/14:00–14:45。
定位: 微盘股(极小市值尾部)对流动性与风险偏好最敏感,是情绪与风格轮动的先行指标;微盘股走弱往往领先于全市场广度恶化。
一、代表标的: 同花顺微盘股指数(883907)或等权微盘组合;取数以日线收盘为准。
二、表结构(micro_cap_daily,并入 invest_db.sqlite):
| 字段 | 类型 | 说明 |
|---|---|---|
date |
date | 交易日(主键) |
index_value |
real | 微盘股指数收盘点位 |
change_pct |
real | 当日涨跌幅(%) |
up |
int | 微盘股上涨家数(若可得) |
down |
int | 微盘股下跌家数(若可得) |
constituent_count |
int | 成分股数量(若可得) |
source |
text | 主源(同花顺/代理指数) |
三、意义与用法: 微盘股涨跌与全市场广度、涨跌家数互为印证;微盘股单独破位时,作为风险偏好收缩的早期预警,纳入晚报「市场温度」描述,不单独触发仓位裁定。
四、采集纪律: 同 §五·四。
定位: 近期强势股(创阶段新高/阶段涨幅头部)是市场赚钱效应的直接载体;强势股数量枯竭=做多动能衰竭。与 §五 涨跌家数(广度)、§六 微盘股(风格先行)互为印证,构成情绪面的「赚钱效应」观测轴。
一、口径定义(双口径,任一命中即入当日强势名单):
- 创新高口径: 收盘价创近 20 日/近 60 日新高(滚动窗口「最高收盘」算法与细则 §2.6A 破位轴 H20 同源;该处为单标的滚动最高,此处为全池计数)。
- 涨幅排名口径: 近 20 日涨幅在全池排名前 10%(等权 RPS 口径)。
- 强势名单按日全量替换(幂等),供 CA/CR 复盘与晚报「市场温度」引用。
二、表结构(并入 invest_db.sqlite):
strong_stock_daily(日度聚合,主键 date):
| 字段 | 类型 | 说明 |
|---|---|---|
date |
date | 交易日(主键) |
pool_n |
int | 全池家数(与 §五 同池) |
nh20_count |
int | 创近 20 日新高家数 |
nh60_count |
int | 创近 60 日新高家数 |
strong_count |
int | 强势股家数(双口径并集) |
strong_ratio |
real | 强势股占比=strong_count/pool_n |
strong_avg_ret20 |
real | 强势股组合近 20 日平均涨幅 |
source |
text | 自算(daily_quotes) |
strong_stock_detail(当日名单,主键 (date, stock_code)):nh20/nh60(0/1 标记)、ret20/ret60(区间涨幅)、rank_pct(全池涨幅排名分位)、industry(板块,若可得)。
三、情绪意义与红线:
- 强势股占比与赚钱效应正相关;冰点期强势股枯竭(strong_count/strong_ratio 显著低于历史分位)作为情绪冰点辅助信号,与 §五 广度、GEM T=3170 并行观测。
- 红线:观测层指标,不单独触发仓位裁定(同 §五·三);仓位裁定仍按细则 §2.6A 两锚分离既有口径执行。
四、采集纪律: T 日收盘后由 daily_quotes 现算(自算口径、不依赖外部源),随 §五 同脚本写入;禁盘中估算;名单表当日行全量替换;沿用 §5.5 四(只写当日)/§5.5 八(运维时段红线)。
定位: 平均股价(全池等权)是个股平均持仓成本的直观刻度;与加权指数对照可识别「指数横盘、个股失血」的结构分化,是大小盘风格与风险偏好的观测轴。
一、口径定义:
- 主口径: 全池等权平均股价=Σ收盘价 ÷ N(池=新浪 hs_a 全池含 ST,与 §五 广度分母一致);另出剔除 ST 版本并列披露。
- 辅助口径: 中位数股价、总市值加权均价(对照项,识别大小盘分化)。
- 衍生: 平均股价近 20 日变动率;与上证指数收盘的背离度(等权涨幅 − 加权涨幅)。
二、表结构(avg_price_daily,主键 date):
| 字段 | 类型 | 说明 |
|---|---|---|
date |
date | 交易日(主键) |
avg_close |
real | 全池等权平均股价 |
median_close |
real | 全池中位数股价 |
avg_close_ex_st |
real | 剔除 ST 等权均价 |
wavg_close |
real | 总市值加权均价(对照) |
chg20 |
real | 平均股价近 20 日变动率(%) |
index_close |
real | 对照指数收盘(上证) |
divergence |
real | 等权−加权背离度 |
pool_n |
int | 全池家数 |
source |
text | 主源(新浪快照/DB 复算并列披露) |
三、意义与用法:
- 平均股价创新低而指数横盘=小微盘/尾部失血(风险偏好收缩早期信号,与 §六 微盘股互印);
- 平均股价新高而指数滞涨=等权赚钱效应强(广度良好);
- 纳入晚报「市场温度」描述;红线:观测层指标,不触发仓位裁定。
四、采集纪律: 同 §五·四;新浪快照值与 DB 复算值并列披露,差异 >0.5% 按二号文件 §2.8A 受限项五档枚举标注,禁代理代填。
定位: 在 §五~§八(涨跌家数/微盘股/近期强势股/平均股价)基础上,聚合其余日频情绪观测,形成统一的情绪面视图。
一、指标清单(日频):
| 指标 | 含义 | 主源 |
|---|---|---|
| 涨停家数 / 跌停家数 | 极端情绪强度 | 东财 push2ex(已含于 §五 表) |
| 连板高度 | 全市场最高连板数(风险偏好极值) | 东财/自算 |
| 封板率 | 封板成功数 / 触板总数 | 东财 |
| 全市场成交额(亿元) | 资金活跃度(已在 daily_quotes) |
腾讯/东财 |
| 上涨占比 | 同 §五 advance_ratio |
新浪 |
| 创 60 日新低家数 | 恐慌广度 | 自算(daily_quotes 滚动) |
| 创新高家数(20日/60日) | 做多广度 | 见 §七 强势股双口径(strong_stock_daily) |
| 平均股价(等权/中位数) | 持仓成本刻度 | 见 §八(avg_price_daily) |
| 均线多头排列家数 | 趋势广度 | 自算 |
二、表结构(market_sentiment_daily,并入 invest_db.sqlite): 主键 date,上述各指标为列;与 §五~§八 同源字段不重复建表,统一在此视图聚合。
三、与既有口径衔接: 广度分母=新浪 hs_a(细则法定口径);等权承接力(参与广度)=方向有效性度量(二号文件 §2.11 双轨)。本文件情绪类指标统一为观测层,不进入仓位裁定链路。
四、采集纪律: 同 §五·四;封板率/连板高度等需触板明细的指标,源=东财 push2ex,缺失即按 §2.11 双重降维/§5.5 十① 标注处理,禁代理代填。
一、落地表: market_breadth_daily/micro_cap_daily/market_sentiment_daily/strong_stock_daily/strong_stock_detail/avg_price_daily 六表并入 main/data/invest_db.sqlite(SQLite 写入主库),并随周日校准导出 Parquet 至 main/data/warehouse/(DuckDB 研究查询,见 §5.5 六)。
二、采集脚本: CT 维护,命名 db_breadth_incremental.py 等,落 ct/.workbuddy/scripts/;沿用 §5.5 四(默认引擎/只写当日/绝不回补)、§5.5 八(运维时段红线)、§5.5 十一(备份与灾备)。脚本路径绝对硬编码 main/data/invest_db.sqlite。
三、校验: 沿用 §5.3 表级完整性+字段级校验口径;新增六表 MAX(date)=T-1 纳入 §5.5 九 完整因子版/数据时效核验范围,滞后即按 §5.5 十 数据事故处置。
四、保密与可见性: 本文件已于 2026-10-23 经成哥授权全文上公网(官网「制度中心」页 institution.html,与本地正本 main/制度/现行/ 一致、未改编未遮蔽);后续修订落地后随官网构建同步上墙。公网页与本地正本不一致时,以本地正本为准,CEO 发现差异当日修正。