如何管理数量过多的数据模型

2016-11-02 00:00 来源:51CTO
浏览量: 收藏:0 分享

  没有数据分析和建模能力,肯定难以提升业务;然而,如果模型泛滥、没有得到有效的统筹管理,其提升度恐怕也非常有限,还可能制造各种混乱。为了解决这样的问题,“模型工厂”的概念已经诞生,帮你解决模型冗杂的困境。

  随着近年来大数据挖掘概念的兴起,数据分析建模的思想已经深入人心,于是会建模、能建模的人也就越来越多。他们可能是资深大拿,分析建模、结果解读手到擒来全搞定,但也可能是专业的“调包侠”,分析工具包拿来就用,有效没效有个结果再说。总之,在各路专家光临之后,企业中的模型越来越多,接下来我们会面临什么情况呢?

  销售经理拿着数据专家小王新跑出来的营销名单开始犯愁,模型新上线时效果确实不错,营销成功率大幅提升,但6个月过去了,营销名单的质量有所下滑,销售人员也开始质疑,销售经理拿着名单去找小王,小王说这是数据挖掘模型出来的结果,不会有错的……

  技术部门的小李最近有点叫苦不迭,小王做精准营销模型催着要提数,小赵做客户流失预警模型也催着要提数,连公司前台小周也在要员工数据分析哪个星座的爱加班,总之公司的各路人马都在找技术部门要数,小李本来数据运行压力就大这下更忙不过来了,他也搞不清楚怎么一下冒出来这么多挖掘请求……

  公司领导老吴眼看着公司业绩在数据分析的帮助下节节上升,心情大好。他想要了解目前公司到底做了多少模型,不调查不知道,一调查就犯了难。各个部门都在分别做模型,营销部门、风险部门、营运部门都在做,有些模型部署在公司系统上,有些模型部门在部门内部。这些模型中有些是重复的,浪费了公司大量的计算资源;有些模型已经跑了两年多没人管了,当初负责的人已经离职了,目前这个模型谁也说不清楚,当初建模的文档也早已不知道丢到哪儿了。当然也有很多模型存在个人电脑里……

  以上问题总结下来,就是模型管理混乱,缺乏完整的模型管理流程和制度,造成了不能及时满足业务部门的需求;数据管理混乱,模型数据不能共享;模型文档管理混乱,不能满足管理或监管的要求。

  因此,变革的时候又来了!进入大数据时代,变革就是来得这么措不及防。模型工厂已经诞生,通俗讲就是生产模型的工厂,在银行业也把它叫为“模型实验室”,它的建设包括管理规范、运营团队、数据基础、分析模型、系统平台五大部分。它的范围可大可小,可以是企业层面,也可以部门层面,总之,它的诞生就是为了保障模型管理的效率与质量。

  管理规范:包括工作流程、数据质量管理、权限管理、知识管理等。标准化工作流程与模板,保证模型的全生命周期管理。以下是完整的模型全生命周期管理流程,不只是到模型上线部署就结束了,后续的模型持续监控、验证也是必不可少的,一个预测能力下降的模型可能会给决策工作带来负面影响。

  模型监控是指对模型自变量的监控,需要与建模时的数据进行对比分析,去看看变量的结构是否稳定,是否与当初建模时已经发生了变化,常用的统计指标有变量稳定性指数,转移矩阵及SVD等。

  模型验证是指对模型预测准确性的判断,常用的验证指标模型稳定性指数、KS统计量、CAP曲线和AR值、IV值、二项检验与卡方检验等。

  冠军模型和挑战模型是对模型效果的一个辅助监控手段。模型版本记录了模型演变历史,历史模型也是重要的模型资产。

  知识管理是指对模型建设过程中的经验总结和知识积累,在模型开发运维过程中需要做好文档管理工作,常用的分析方法、工具、代码都可以进入知识库,有助于技能传承和人才培养。

  运营团队:模型工厂的角色通常至少需要包括业务分析、数据管理、模型开发和模型验证四个角色。四个角色有不同的技能要求,承担不同的工作职责,需要分别制订不同的职业发展路径。在银行业,银监会要求模型开发和模型验证必须由不同的团队来执行。

  数据基础:模型工厂的数据基础一般是数据仓库或数据集市,也可以直接来自于前端业务系统。历史数据的长短、品质和覆盖面决定了模型好坏与估算的精确度。数据基础的建设需要分目标、分主题,同时需要尽可能考虑公共数据的建设,最大化数据成果的共享。为不同角色的用户开放不同的数据权限,建立数据管控机制,防止数据滥用,同时发挥前台人员主观能动性,避免给数据部门带来压力。

  分析模型:综合考虑企业的战略目标、行业热点、风险导向、监管要求,制定企业的模型应用体系,然后以见效的速度和需求的紧迫性两个角度来决定模型开发的路径。针对同一个建模需求,可能可以建立不同的模型,冠军模型和挑战模型并存。在建模过程中注重建模数据的有效性,建模过程的科学性,模型结果的可解释性。

  系统平台:系统平台是模型工厂的技术支撑,需要软硬件的有效结合。系统平台需要包括以下功能:数据管理、分析建模、报表展现、模型管理、权限管理、流程管理、文档管理,除此之外还需要支持复杂算法开发、数据可视化开发、移动端处理等个性化要求。建设系统平台需要长远规划,建设过程中需要综合考虑易用性、稳定性、可扩展性等。

  在大数据分析如火如荼的今天,做好一个模型并不难,难的是通过模型提高企业的综合管理水平。在您的企业中或许已经多少有了模型工厂的影子,但稍微哪点做得不好,就容易遇上本文开篇的那些问题,希望本文能给您带来启发与帮助。

标签:

责任编辑:admin
在线客服