阿里双11狂欢幕后:打造世界级计算引擎

   2015-11-23 0
核心提示:2015天猫双11全球狂欢节拉开帷幕,阿里巴巴的工程师们又忙碌了起来。在力保全球剁手党顺畅购物的同时,他们还将在双11验证多项开
2015天猫双11全球狂欢节拉开帷幕,阿里巴巴的工程师们又忙碌了起来。在力保全球“剁手党”顺畅购物的同时,他们还将在双11验证多项开创性技术,对全世界展示阿里巴巴的整体技术实力。
阿里巴巴双11技术总指挥刘振飞表示:“双11不仅是一场全球消费者的狂欢,也是对中国互联网技术体系的实力检验。一下子几千万人涌进来买买买, 这种真实的商业场景全世界一年也只有一次。阿里技术人能够用世界级的技术创新,支撑世界级的经济现象,是非常幸运的。

阿里双11狂欢幕后:打造世界级计算引擎



异地多活:给1000公里外的飞机换引擎
去年双11,阿里巴巴在全球首创交易系统“异地双活”,而今年有了更大的突破:在支付宝这样高度复杂与严谨的金融系统中,实现1000公里以上的“异地多活”能力。
“异地多活”已经超越了两地三中心等传统灾备概念,可实现多地数据中心像一个数据中心一样工作,即使某一处数据中心出现故障,双11在线业务仍然能够快速恢复正常运转。
“数据中心的切换,要在用户毫无感知的情况下进行,这就像为正在飞行的波音747飞机更换引擎。不仅不能影响飞行,飞机上的乘客也不能有感觉”。目前,阿里巴巴支撑双11的多地数据中心,最远距离已超过1000公里,这就意味着阿里巴巴具备了在全国任意节点部署系统的能力。
公开资料显示,全球能够做到异地多活技术的只有少数几家互联网巨头,如Google、Facebook。但二者的搜索、社交场景对数据同步性的要求远不如交易、支付场景苛刻,“如果你账户里的钱无缘无故地多一个0或少一个0,后果都很严重。”
同时,阿里巴巴正在将这一过程中积累的技术逐步开放。比如,可以在较长延时的情况下解决多点数据同步的技术,已经通过阿里云数据传输产品(Data Transmission)对外开放,能够让云用户轻松实现远距离、毫秒级异步数据传输。

OceanBase: 双11背后的中国自研数据库 
    今年双11的核心交易流量,将100%由金融级海量数据库OceanBase承载。这一事件将对全球IT业的格局产生深远影响。
    OceanBase由阿里巴巴自主研发,是中国首个具有自主知识产权的数据库,也是全球首个应用在金融业务的分布式关系数据库。
    OceanBase 2010年诞生,2014年支撑了10%的双11交易流量。今年6月,网商银行开业,底层数据库全部采用OceanBase,是第一家完全摆脱商业数据库的金融机构。而PayPal等美国金融机构,仍然主要依靠Oracle等。
与传统数据库相比,OceanBase的系统维护,不需要昂贵的共享存储设备和高性能服务器,还能节省数据库软件的许可费,和常用的商业数据库相比,成本不到其一半。同时,分布式的系统,可以更好地应对双11这类大流量冲击:弹性能力可保证大促之前完成一键扩容、大促之后实现一键缩容。
同样,OceanBase也计划于明年通过阿里云的公共云计算平台对外界开放。

一键建站:90分钟再造淘宝天猫 
    每年双11,为了应对巨大的流量冲击,阿里都需要新建淘宝和天猫的交易单元,与原有的系统一起“协同作战”,以便分散流量,减轻系统负担。
    以往,重新部署一套交易单元至少需要提前1个月的时间准备。今年双11,由于采用了“一键建站”的技术,使得这项费时费力的巨大工程,得以在90分钟之内自动化完成。
    一键建站,是指在基础设施具备的条件下,通过阿里自研的自动化软件,将中间件、数据库、商品交易系统、商品展示系统等上百个电商核心系统,像搭积木一样部署完成。整个过程一键完成,基本无需人工干预,所需时间不到90分钟。

计算能力输出:商家可日处理400万订单
    今年,阿里云将继续通过聚石塔向双11商家输送充足的计算能力。搭建在阿里云平台上的聚石塔,今年预计将处理99%以上的双11订单,可支持单个天猫商家日处理订单超过400万单。
    2012年开始,聚石塔以阿里云为基础推出一整套的解决方案,为天猫、淘宝平台上的服务商及商家服务。聚石塔部署在阿里云的远程数据中心中,安全条件、稳定性、性能远超过商家的办公环境和传统IDC,针对设备故障,断网断电等均有应急预案。
在传统模式下,商家做促销时要进行服务器扩容,小卖家要去电脑城买几台机器扛回家,大卖家则需要临时寻找IDC资源,在应对了促销节点之后,业务量回落,服务器又会闲置无用,造成了很大浪费。通过聚石塔,商家可随时线上扩充服务器资源,想用几天就用几天,用后再缩回去,低碳环保又省钱。
2014年,聚石塔处理了96%的双11订单,无一故障、无一漏单。2015年,通过云计算系统的优化,中间件能力的使用,服务商应用系统整体性能比之前提升62%,能支持单个商家每天400万以上的订单处理能力。

金融云架构:日支付处理能力达10亿笔
据介绍,目前支付宝在技术上已全面升级到金融云架构,可以支持每日十亿笔以上的支付处理能力,并且具备了金融级的“异地多活”容灾能力。
跟支付宝有合作的200多家银行,一直是双11支付保障的主力军。今年各家银行的系统容量在去年双11的基础上扩大了一倍。从8月份开始,各家银行就逐步对扩容后的系统进行仿实战的高强度压力测试。压测覆盖了用户从开始购物到创建交易、访问收银台到最终完成支付的整个链路,确保包含基础设施、业务系统和银行渠道在内的整个系统可以稳定支撑双11的惊人支付洪峰。

ODPS:数据狂欢背后的超强计算引擎 
    “整个天猫双11,你看到的一切,几乎都是由算法决定的。”在数据科学家们看来,双11是无数个“0和1”、成千上万套算法的叠加。这是一场机器和数学公式主导的全球购物狂欢。
    今年双11,无线端的交易将占主导地位。如何利用阿里巴巴存储的数百PB数据,在狭小的手机屏幕为用户创造更智能化的购物体验?这一切都将通过阿里云自主研发的大数据处理平台ODPS来计算。
    今年双11,淘宝、天猫、支付宝、菜鸟等所有大数据处理工作,都将由阿里云ODPS来完成。在刚刚结束的2015世界Sort Benchmark排序比赛中,阿里云ODPS用377秒完成了100TB的数据排序,打破了此前Apache Spark创造的1406秒纪录,一举创造4项世界纪录。
    此外,ODPS的实时计算系统StreamSQL,双11当天预计日消息处理量将达上万亿条。而这一能力,正在通过阿里云逐步开放出来。
    通过ODPS的大数据和实时计算能力,淘宝天猫正在进行这样的尝试:让商家可以根据消费者的实时位置推荐商品。比如,当外地游客在逛西湖时,不妨推荐一些杭州特产。

dataV:实时触摸数据世界的脉搏
在阿里巴巴每天海量的交易面前,如何精准把握由数据脉搏带来的趋势也成为极大的挑战。对此,阿里巴巴研发了dataV数据可视化引擎,该引擎完全基于Web 技术 ,可快速、低成本的部署。用于内部的商品、交易、支付、数据中心等的可视化呈现和管理,帮助实现更精准的调控。
自2013年起,双11交易数据大屏成为对外直播狂欢节的重要窗口,而在2015年的全球狂欢节上,这一巨型数据大屏还将移植到水立方,以实时动态可视图的方式向全球用户直播双11的数据魅力。
据悉,水立方数据大屏上,该数据可视化引擎既可以利用3D webgl技术从宏观角度展示双十一平台总体交易订单实时流向的全量展示,也可以通过便捷的交互手段,深入到城市级别进行微观的人群画像分析。
目前,这一技术已计划通过阿里云向外输出,很快将会有标准化产品推出。

全站Https加密 保全球用户访问安全
双11已经成为全球的节日,如果非洲的朋友想买个中国产的马桶,他的体验会是如何呢?
为提供更安全快速的访问体验,阿里云今年在全球部署CDN的国家和地区增加到30多个,覆盖除南极洲外的六大洲,可从容应对越来越多的海外用户同时访问。在国内,阿里云拥有近500个CDN节点,带宽服务能力超10Tbps,实现毫秒级响应。
     不仅要快,还要安全,阿里云CDN为保障此次双11狂欢节,帮助淘宝、天猫、聚划算等阿里电商平台全面实现了HTTPS加密访问,能有效防止资源被劫持,使用户端与服务器之间收发的信息传输更加安全。据悉,这也是全球首家大型电商网站实现全站Https加密访问。

精准识别流量是用户还是黑客攻击
遇到双十一类似的重大促销节点,不少电商平台流量激增。此时此刻,如何分辨哪些是正常流量,哪些是黑客借机恶意攻击捣乱,过去一直是个老大难。
今年双十一期间,阿里云安全团队通过数据模型实现了DDoS的检测。当流量来袭,在进行安全防御之前,系统通过好人行为模型,恶意IP地址比对等技术手段,完成了对流量成分的分析,并最终实现了每次大促不放过一个黑客攻击,更不让一个用户正常访问受阻的愿景。
细心的淘宝用户可能已经发现,今年双十一省略了繁琐的验证码输入,买买买的体验更顺滑了。这背后就是阿里云安全团队反欺诈产品的“功劳”。
过去,设置手动输入验证码主要是为了帮助系统识别正在交易的究竟是用户还是机器。随着反欺诈产品通过数据模型从用户敲击键盘、滑动鼠标、点击浏览页面等行为中计算分析出电脑前的究竟是真实的用户还是一台机器,验证码终将逐渐完成使命,退出风控防御的历史舞台。
目前,阿里云安全团队为双十一护航的各项能力已通过安全品牌云盾对外输出。

手机淘宝1秒打开     
为了让今年双11消费者始终能保持飞一般的体验,手机淘宝搭建了一个世界级无线云平台,能够同时服务亿级用户,并实现了一系列技术优化:内存节省50%,滑动提速20%,1秒打开手淘页面。除此之外,双11会场全面个性化,让消费者在手机屏幕上也能轻松到自己喜欢的宝贝。  
此外,手淘的攻城狮们还建立了2G网络实验室,通过不断模拟测试,实现2G弱网环境下的手机也能实现1秒建立连接,让没有智能手机和高速网络的消费者,也能拥有更流畅的购物体验。

加入阿里云11.11云端狂欢节:http://click.aliyun.com/m/2487/
 
反对 0举报 0 评论 0
 

免责声明:本文仅代表作者个人观点,与乐学笔记(本网)无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们留言联系,本网站将在规定时间内给予删除等相关处理.

  • 分享7个“古怪”小生意,有的赚人,有的赚钱!
    分享7个“古怪”小生意,有的赚人,有的赚钱!
    首先,各位要明白一个道理:只有时势造英雄,没有英雄造时势。我们是时代巨轮上的蚂蚁,赚不赚钱跟我们本人没多大关系,国运与人口红利决定命运走势。举个例子,很多人说他很厉害,动不动给这个做流量,给那个做流量,有本事你现在让老百姓走出家门,走进线下
    02-07 小生意
  • 我去送外卖了,看看赚了多少钱。
    我去送外卖了,看看赚了多少钱。
    元旦一时兴起、决定去体验下送外卖,然后我就真的去送了半天。今天在这里,把我送外卖的一些过程和大家分享下,仅限作为【兼职外卖员】的身份和大家分享。1、跑兼职外卖是个门槛极低的活下个APP注册,把里面一些必要的新手教程看一遍,就可以接单了。主要是你
    02-07 外卖
  • 资源免费送,月入十万全套操作流程(建议收藏)
    资源免费送,月入十万全套操作流程(建议收藏)
    去年更新的文章,思路玩法可以再次分享,这目前一直有人操作,很多玩的虚拟资源可用这模式操作,最近有不少伙伴咨询有没有虚拟资源项目的玩法,希望这篇文章对你有帮助。这是虚拟项目比较牛逼的玩法,掌握这方法,人人都可以操作,简单的操作月入几千,认真操
    02-07 项目实操
  • 蜜雪冰城,赚钱不靠卖奶茶
    蜜雪冰城,赚钱不靠卖奶茶
    狂奔的蜜雪冰城,终于要上市了。 9月22日晚,蜜雪冰城股份有限公司(以下简称“蜜雪冰城”)预披露A股招股书,拟深交所主板挂牌上市。这份千呼万唤始出来的招股书,揭开了这个创立于1997年、从河南走向全国的茶饮“神话”身上的层层面纱。过去,大家都知道,
  • 我,阿里P7,找不到工作
    我,阿里P7,找不到工作
    关闭会议软件,结束一场面试后,我瘫在椅子上久久回不过神,刚刚面试官阴阳怪气的话语和似笑非笑的表情晃荡在我脑中,我感觉我不像是在面试,而是我向家人证明自己依旧在努力的例行公事。我是阿伟,今年34岁。在半年前,我还是阿里的一名员工,担任数据专家,
  • 羊了个羊们,怎样日入百万?
    羊了个羊们,怎样日入百万?
    人不会两次踏进同一条河流,却会反反复复掉进小游戏的陷阱。在为了“羊了个羊”奋战到天明之前,很多人还经历过无数个“跳一跳”“弹一弹”“合成大西瓜”等上头小游戏带来的不眠之夜。羊了个羊火了之后,不止是边骂边打开游戏的玩家,一些行业人士也不禁纳闷
    11-02 羊了个羊
  • 2022年,30%实体店倒闭,实体生意全线崩溃,是真是假?
    2022年,30%实体店倒闭,实体生意全线崩溃,是
    最近关于实体店疯狂倒闭,一坨屎,干不下去,亏麻了…等等唱衰的报道铺天盖地,例如前几天上热搜的上海陆家嘴正大广场,整体空置率高达34%;人民广场商圈的世茂广场,空置率超过20%等…类似新闻一搜一大把。尽管事后该商场负责人冲出来澄清,大骂自媒体不专业
  • 藏在快递二维码广告里的套路与生意经
    藏在快递二维码广告里的套路与生意经
    1月18日,“快递单上的这种码不要扫”的微博话题冲上了热搜,当天阅读量高达9500万次。事情的起因,是缘于安徽省消保委发布的一则警示,指出快递单上的二维码小广告并不能确保真实性和安全性,可能还会获取个人信息。目前,消费者多半是看到快递广告上带有“
  • 月入5万,我为什么还是要离开网红公司?
    再见,网红神话。不少曾在MCN公司工作的年轻人,都感觉自己的这段职业生涯,就像活在了一片混沌之中。他们经常只在一家公司停留两、三个月,就会主动或被动地离开,然后又加入新一家相似的公司,做一模一样的事情。即使这样,他们还是心甘情愿地在行业里辗转
    02-12 网红公司
  • 连续创业10年总结出的100条平民精益创业经验,条条都有血泪史!
    连续创业10年总结出的100条平民精益创业经验,
    写在前面2021 年好多朋友的变化都很大,老赵也不例外,离开了自己创业 10 年的团队,正好借着年前的机会,老赵把自己 10 年的创业经验总结了 100 条经验,分享给小伙伴们,希望对小伙伴们能有所帮助。正文1.创业其实是由很多个小目标组成的一个大目标,阶段不
    01-28 创业经验
点击排行