技术驱动婚恋:百合网的混合云、大数据与机器学习实践

2016-05-20 14:05 来源:CSDN
浏览量: 收藏:0 分享

1_副本.jpg

目标与挑战

  百合网是一家实名认证的婚恋网站,创立至今十年,目前注册用户9500万。担任百合网CTO的杨溢欣,负责百合网的线上技术,以及部分项目的产品、运营等工作,下辖团队成员100多人,包括客户端、服务端的研发工程师,算法研究员,测试、运维团队,产品、运营团队等。

  目前,百合网在探索如何将品牌扩展到整个婚恋生态圈,除了婚纱照、婚礼、情感咨询、婚介等,甚至还有金融、理财、婚礼成本相关的规划。

  业务的快速扩张也意味着技术部门的新挑战。杨溢欣认为,对于百合网,基于良好的技术视野设计架构、采用敏捷开发控制进度、优化团队间沟通等方面都很重要。基于公司亿级的用户群和婚恋产业链领导者的定位,百合网技术部门强调数据驱动,要求团队勇于创新:用快速、敏捷的方式完成产品需求,并注意各种技术积累,以让各功能、算法和模块在不同的项目里可以复用,提升开发效率;通过技术驱动的方式,尝试在婚恋、情感这种领域,用互联网、机器学习、多媒体的技术去创新。

  目标的实现并不容易。具体而言,挑战主要来自以下几个方面:用户量大、活跃度高引起的各种服务器的性能和稳定性问题,尤其是双11、情人节这样的时间节点;作为严肃交友应用,用户画像、匹配度和双向选择相关的算法问题;产品需求的快速迭代问题。

  问题的最终解决,也意味着云计算和大数据技术从开始探索到成熟应用。杨溢欣将百合网解决问题的技术架构分三个阶段:业务决定技术的架构,业务变更频繁,技术与业务的耦合度很高,但是很少的人就可以维护一个大型业务;分层分平台的架构,将共性功能抽象成组件,多个组件组成平台,与业务层分离,这样前端业务开发更灵活,后端管理也集中,可以做到服务治理,业务负载随时可扩容;大数据及虚拟化的架构,数据体量促使架构必须升级,基于大数据的计算融汇到各个业务中,系统部署的复杂度增大,所以采用虚拟化技术,实现程序构建,打包,发布,部署,容错自动化,基础层引入云,实现弹性部署。

百合网混合云实践

  在杨溢欣看来,云计算在最近两三年已经进入成熟期,现在的云计算可以成为开展新业务的很好的技术平台,成为百合网婚恋生态圈的一个基石。

  百合网各种业务的发展非常快,对快速部署、对可扩展性的要求非常高。云计算支持极快地完成从开发到部署的工作,能聚焦到真正的算法、架构上,不用太操心底层的东西。

  云计算提供一种很灵活地分配资源的方式,特别是新的业务开始的时候,可以先分配一些比较小的资源,随着业务的扩张,可以迅速扩展到很大的服务容量,既可以优化成本结构,又无需担心突发的高并发流量导致业务中断。

  云计算可以说是成长型公司业务发展的一个基石,会为运维和各种算法、技术上的实现提供很扎实的基础,在未来的三到五年之内,绝大部分的互联网应用且使用云计算。

技术选型

  实践阶段,综合考虑技术稳定性、服务品质、成本、主机以外的附加服务等因素,百合网调研测试过国内外所有主流的云计算技术,最终认为腾讯云能提供稳定的技术、高质量的服务,综合水平位于行业的顶级位置。另一方面,百合网经营多年,已经有大量的服务器、存储资源以及数据,所以需要对混合云部署和应用的支持。

  腾讯云发布的“黑石”产品非常适合已有大量托管服务器、又希望拥抱云计算的公司。此外腾讯还开放了内部使用的一些技术和基础设施,以及一些SaaS服务。由于腾讯和百合都是社交类应用,面对类似的技术问题,我们的技术和基础设施复用很方便,比如IM消息、安全、反垃圾、多媒体、CDN等方面都有合作。

  在杨溢欣看来,腾讯云的一个特色是社交出身,百合也是做社交出身的,所以双方应用的底层有一部分技术是相通的。以CDN为例,腾讯有大量看图片跟视频的需求,百合也是一样,腾讯在全国布了大量的节点,终端节点离用户是很近,将节点以及积累的图片/视频加速技术开放出来成为CDN服务,既可以节约成本,也可以为用户提供更好的网络。

上云挑战与解决

  当然,由于具体业务的差异性,上云的挑战不可避免,这就需要云服务团队专业的技术支持。杨溢欣介绍了两个例子。

  在最早讨论云服务迁移方案时,百合网发现考虑到已有服务器和托管机房,引入云服务时在网络架构上有很大的挑战——可能导致增加大量成本、或者导致网络品质下降,并增加单点故障率。百合网要求整个迁移过程稳定、可逆,保证现场出问题可以回滚。后来双方的架构师开了一天会,做头脑风暴,并在深夜确定了一套稳健而高效的方案,其中的部分需求也融入到了腾讯云后来的产品里。

  百合网使用了腾讯云的CDN服务,以让全国各地都能有最快的网络连接速度。而同时,百合使用了WebP压缩编码,其效率比传统的JPEG高30%。但WebP格式比较新,腾讯云一开始并不支持。双方又一次技术合作,腾讯云在很短的时间内完成了相关的开发、支持和部署。解决这些挑战,不仅提升了百合的服务质量和开发效率,也通过腾讯云的技术演进,对所有的互联网公司提供了潜在的便利。

上云经验

  从与腾讯云的合作结果,百合网认为,腾讯云是一家独特的云计算技术提供商,有独特的一套技术体系,特别是社交相关的技术,能够为创业的公司会做各种各样的功能,同时也具有专业的团队和服务。

  对于企业如何选择云计算技术,杨溢欣认为,最好的办法是参考各种互联网公司公开的架构,仔细思考这些架构设计的原理。因为云计算的架构跟传统的架构是不太一样的,一般传统的书或者是讲座会稍微偏落后一些,一定要看一下最新的公司,特别是创业公司,因为创业公司是最早拥抱云计算的公司,在一、两年之内快速地起来,他们的架构实现对创业公司很有帮助的。

  而对于云计算技能的提升以及云计算问题的解决,杨溢欣表示,可以去参加云计算服务商的开发者大会,会有很多过来人分享在云计算使用过程的架构,以及实施中遇到的很多问题,这对于技术选型和问题解决来说都会有启发。

大数据与人工智能实践

  大数据对于百合网的作用,杨溢欣用iOS之于苹果的重要性来类比。百合网提出的心灵匹配算法(可以看到两个人心灵的契合程度),不仅仅是一个心理学模型,更是一个算法模型。然而,婚恋不同于电商,要求你情我愿,双向匹配的实现难度更高。

  匹配模型与实现

  “心灵匹配算法”是基于百合网与北师大心理学院、中科院心理所、北京大学人格与社会心理学研究所多年的研究成果,集合机器智能学习理论,基于中国用户的心理特征、兴趣爱好以及海量行为数据,采用聚类算法结合协同过滤算法搭建的心灵匹配智能推荐引擎。

  杨溢欣认为,婚恋匹配的难度是电商推荐难度的平方:如果电商基于user、item推荐成功的概率是P,则双向匹配成功的概率则是P*P。此外,电商推荐的item是严重冷热不均的,而百合需要保证item的被推荐次数处于冷热合理的区间。

  对百合网来说,对用户匹配的难度和技术含量相当高。所以我们采用了一些很大量的大数据的数据挖掘和机器学习的手段,比如说我们的用户属性,直接提供的用户属性共有160多项,加上用户行为分析得出来的数据,可能是1000项左右的数,每个用户有这样的属性,包括有大量的用户行为。我们尝试这些用户行为和属性,为用户寻找到最匹配的另一半。

  百合网的算法需要考虑基本的用户画像、单向推荐模型(即经典的user/item推荐,基于用户属性和用户行为),用户的活跃、沟通方式模型(基于用户行为),双方成功建立联系的模型(基于行为与一部分属性),以及用户对收发信的偏好模型等等因素。其中一部分环节可以参考标准、流行的模型,比如“单向推荐”模型结合了协同过滤、决策树等。有一部分技术是独特的,百合网正在申请专利。

  谈及数据的预处理的挑战和处理,杨溢欣介绍:一来百合一直在做新功能和产品体验的改进,导致不同时期,用户的特征和行为会有天然的区别;二来百合有将近一亿用户,用户的性别、年龄段、职业和受教育程度等都决定了有不同的用户诉求和使用习惯。所以在处理的时候要采用一些分类器和离群点检测的方法,结合信息熵,针对性的调整数据、采样方式和模型。

  深度学习应用

  在深度学习方面,百合网也尝试了一些应用,目前主要是在图像领域,人脸识别、匹配等等,这是DL非常擅长的领域,他认为这些对婚恋应用来讲也很重要。百合网尝试了人脸识别和人脸打分,供择偶参考,同时还有美颜的尝试(取代PS),不过需要保证让网友可控,并保证不会太失真。

  另外,百合网也正在设计将深度学习应用于自然语言文本方面的一些工作。杨溢欣介绍,婚恋匹配方面,深度学习处于原理论证阶段,因为涉及到的特征比较具体,并且需要考虑社会学、心理学和产品体验的一些问题。

  基于开源的大数据架构

  大数据架构,百合网基于开源的Hadoop体系,包括HDFS、YARN、MapReduce、HBase、Hive、Pig等,实时处理的部分用Spark,这和流行的框架基本一致。

  事实上,百合网使用的大部分基础设施都来自开源项目,也都是业界流行的,从LVS、HAProxy、MongoDB、Redis、Kafka、ZooKeeper、Spark、Mahout到Hadoop等等一套东西。除了正在引入Docker,百合网最近还关注在深度学习中使用Google新开源的TensorFlow。

  此外,百合网也在探索公有云上的大数据。杨溢欣认为,公有云上的大数据分析系统是非常有前途的,因为理论上讲它可以让计算和负载均匀很多,并采用专用硬件,形成较大的成本优势,还能通过弹性服务提供更快的速度和扩展性。

  不过云上的大数据系统需要更加成熟——百合网在试用中发现包括AWS的EMR在内,稳定性、特别是使用较长时间之后的性能都有进步空间。

  未来:支持婚恋VR的探索

  2016年初,百合网还投资了一家叫做兰亭数字的VR公司,希望让VR技术在婚恋行业之中得到应用。百合网认为,VR技术在婚恋体验上有更深一层的效果,例如婚礼全景记录,会很好的一个效果。这同样对基础IT提出更多的需求。

  百合网现在的发展目标是做好婚恋全产业链,从恋爱到婚姻,有非常多的线上线下用户需求,需要围绕大数据,提供敏捷、高弹性的技术架构。既有性能、数据量、计算量方面的要求,又需要保证研发速度。既需要控制成本,又需要高可扩展性。这其实是云计算比较擅长的事情。

  杨溢欣表示,百合网对云计算有比较高的期望。套用“面向方面”的概念,希望一些公用的、可伸缩的应用层功能可以通过SaaS等方式更多的提供出来,百合愿意与腾讯共同开发。这样可以让互联网应用开发专注于其独特的技术部分,敏捷、快速、稳定、高效,提高整个行业的生产效率。

标签:

责任编辑:admin
在线客服