第81章 榜单之外(1 / 8)
吃过晚饭回到房间,电脑屏幕因为长时间无操作已经进入了休眠。
江临晃了一下滑鼠,屏幕亮起,下载管理器里的进度条已经拉满。
那个標著minute_market_data_v3.zip ,大小足有3.4gb的数据集,安静地躺在他的本地硬碟里。
江临趁著解压的间隙看了看规则。
平台那个ui极其简陋的任务说明页面上,规则写得很长,密密麻麻的一大篇免责条款和计分细则。
数据禁止外传,允许使用公开算法,允许提交清洗后的异常標记文件、方法说明报告和辅助脚本等等。
江临把几段规则复製下来,粘贴到本地新建的记事本里,然后用滑鼠给其中三个词加了粗。
隱藏標籤,可復现性,泛化能力。
这三个词,比那八千块钱奖金重要得多。
它透露了主办方真正的痛点。
他们不要那种在特定数据集上跑分很高,换个市场环境就彻底拉胯的比赛特供模型。
他们要的是一条真正能落地的工业级清洗流水线。
江临却看得眉头微皱。
因为他熟悉的是坏数据,不是金融市场。
温度传感器零点漂移、相机暗场噪声、光学支架热胀冷缩、辐射计被宇宙线打出异常尖峰,这些东西他处理过太多次。
可是分钟级行情不是温度曲线,成交量不是传感器採样,停牌標记也不是设备掉线。
如果连繫统的基本工作方式都没弄清楚,就急著下手清洗数据,那不叫审计。
那叫把自己的无知写进脚本里。
江临把下载页面暂时放到一边,新建了一个文档。
標题只有四个字:量化补课。
目標:学习这些数据在什么制度和流程下產生。
他先从最基础的栏位开始查。
开盘价,成交量,復权,涨跌停……
每一个词他都只看最基础的定义,不往投资策略上发散。
遇到讲十倍收益,稳定套利,资金曲线完美的帖子,直接关掉。
遇到有人认真討论未来函数,倖存者偏差,样本外失效,滑点和衝击成本的长帖,才停下来读。
两个小时后,他列出了六个必须先確认的制度性问题,从集合竞价边界到测试集隔离方式,並在纸上画出一条很粗糙的数据链路。
最后评价为:量化数据不是市场本身,是市场经过多层设备,制度,软体和商业口径之后留下的影子。
这句话写完,他又下载了数据字典和平台提供的baseline(基准参考代码)。
数据字典是一个二十多页的pdf文件。 ↑返回顶部↑
江临晃了一下滑鼠,屏幕亮起,下载管理器里的进度条已经拉满。
那个標著minute_market_data_v3.zip ,大小足有3.4gb的数据集,安静地躺在他的本地硬碟里。
江临趁著解压的间隙看了看规则。
平台那个ui极其简陋的任务说明页面上,规则写得很长,密密麻麻的一大篇免责条款和计分细则。
数据禁止外传,允许使用公开算法,允许提交清洗后的异常標记文件、方法说明报告和辅助脚本等等。
江临把几段规则复製下来,粘贴到本地新建的记事本里,然后用滑鼠给其中三个词加了粗。
隱藏標籤,可復现性,泛化能力。
这三个词,比那八千块钱奖金重要得多。
它透露了主办方真正的痛点。
他们不要那种在特定数据集上跑分很高,换个市场环境就彻底拉胯的比赛特供模型。
他们要的是一条真正能落地的工业级清洗流水线。
江临却看得眉头微皱。
因为他熟悉的是坏数据,不是金融市场。
温度传感器零点漂移、相机暗场噪声、光学支架热胀冷缩、辐射计被宇宙线打出异常尖峰,这些东西他处理过太多次。
可是分钟级行情不是温度曲线,成交量不是传感器採样,停牌標记也不是设备掉线。
如果连繫统的基本工作方式都没弄清楚,就急著下手清洗数据,那不叫审计。
那叫把自己的无知写进脚本里。
江临把下载页面暂时放到一边,新建了一个文档。
標题只有四个字:量化补课。
目標:学习这些数据在什么制度和流程下產生。
他先从最基础的栏位开始查。
开盘价,成交量,復权,涨跌停……
每一个词他都只看最基础的定义,不往投资策略上发散。
遇到讲十倍收益,稳定套利,资金曲线完美的帖子,直接关掉。
遇到有人认真討论未来函数,倖存者偏差,样本外失效,滑点和衝击成本的长帖,才停下来读。
两个小时后,他列出了六个必须先確认的制度性问题,从集合竞价边界到测试集隔离方式,並在纸上画出一条很粗糙的数据链路。
最后评价为:量化数据不是市场本身,是市场经过多层设备,制度,软体和商业口径之后留下的影子。
这句话写完,他又下载了数据字典和平台提供的baseline(基准参考代码)。
数据字典是一个二十多页的pdf文件。 ↑返回顶部↑