速途網(wǎng)11月19日消息(報道:喬志斌)今日,螞蟻金服在北京舉辦主題為“巔峰洞見·聚焦金融新技術(shù)”發(fā)布會。會上,螞蟻金服解讀了支付寶“參戰(zhàn)”的第十一年中,背后所采用的“秘密武器”。

與十一年前相比,雙11的許多東西都改變了。比如金額——2684億,差不多是十一年前的5000倍;比如流量——訂單峰值54.4萬筆/秒,曾經(jīng)是想都不敢想的數(shù)字;再比如層出不窮的新技術(shù),就是這些驚人數(shù)字背后的“秘密武器”,給迎戰(zhàn)雙11的戰(zhàn)士們作最完備的武裝。

SOFAMesh:金融級云原生第一步
SOFAMesh是支付寶針對金融行業(yè)的特殊需求而開發(fā)的金融級中間件,屬于金融級云原生分布式框架SOFAStack的一部分,這個框架的開發(fā)始于2009年,幾乎和雙11同齡。
今年,SOFAMesh的上線,切換資源不再需要重新部署,切換時間縮短到了3分40秒。這意味著,像螞蟻森林那樣每天都會面臨流量小高峰的業(yè)務,無需事先留足資源余量,提前10分鐘開始切換資源,都綽綽有余。
2019年雙11,SOFAMesh扮演了非常重要角色——100%覆蓋螞蟻金服核心支付鏈路,幾十萬容器,峰值千萬QPS,平均RT(響應時間) 0.2ms,是業(yè)界最大的 Service Mesh 集群。它在洪峰面前的穩(wěn)定性和平滑性,以及對效率的顯著提升,都是有目共睹的。
“云原生”已經(jīng)成為業(yè)界公認的技術(shù)趨勢,它的目標是提升運維效率、降低資源使用成本、提升服務安全可靠性等。云原生帶來的基礎設施升級,為技術(shù)演進提供基礎能力支撐,并且提升未來架構(gòu)空間的想象力。2019也是支付寶的金融級云原生落地元年,包括SOFAMesh在內(nèi)的一系列云原生技術(shù)。
雙11之后,螞蟻金服舉辦的發(fā)布會上,副CTO胡喜宣布,會將打磨十年之久的SoFAStack對外公開。
OceanBase 2.2:世界紀錄就是用來打破的

2018年雙11,基于OceanBase 2.0分區(qū)方案的架構(gòu)正式上線,這一架構(gòu)解決了數(shù)據(jù)庫可擴展的瓶頸,將每秒交易的承載能力提升到百萬級,并讓性能提升了50%。而一年之后,在2019年的雙11中,全新上線的OceanBase 2.2版本,在2.0的基礎上,又讓性能提高了50%。
就在今年的10月3日,權(quán)威機構(gòu)國際事務處理性能委員會TPC披露:螞蟻金服的分布式關系數(shù)據(jù)庫OceanBase,打破美國甲骨文公司保持了9年的世界紀錄,登頂TPC-C榜單,同時也成為首個登上該榜單的中國數(shù)據(jù)庫系統(tǒng)。短短的一個月之后,在2019年雙11的考場之上,OceanBase2.2又再次刷新了數(shù)據(jù)庫處理峰值,達6100萬次/秒,創(chuàng)造了新的世界紀錄。
其背后關鍵的秘密在于,OceanBase背后是原生的分布式數(shù)據(jù)庫設計以及PAXOS協(xié)議,通過水平擴展x86服務器就可以達到無限伸縮,支持大規(guī)模高并發(fā)的效果。
另一方面,今年為了進一步提升性能和降低延遲,OceanBase還通過中間件的優(yōu)化,自動將多條SQL聚合成輕量級的存儲過程,這個過程讓原本需要數(shù)十次SQL網(wǎng)絡交互的任務降低為單次網(wǎng)絡交互,整體RT降低了20%。
現(xiàn)在,支付寶的業(yè)務已經(jīng)100%跑在OceanBase上,作為我國第一個自研的金融級分布式數(shù)據(jù)庫,今年雙11中,支付寶支付業(yè)務100%切換到OceanBase內(nèi)置的Oracle兼容模式上,支持Oracle語法以及存儲過程優(yōu)化的同時,又兼具OceanBase的分布式能力,如分布式分區(qū)表、全局事務等,響應時間也更加平穩(wěn)。雙11之后,OceanBase2.2也將正式公開發(fā)布。
圖智能:復雜金融關系的最優(yōu)解
螞蟻的一站式圖平臺的誕生,也有著鮮明的螞蟻金服特色,同樣是“被業(yè)務倒逼出來的”。
螞蟻金服在2014年左右就開始跟進社區(qū)的圖計算的研究,圖數(shù)據(jù)庫能夠很好地和金融、社交業(yè)務結(jié)合起來。從數(shù)據(jù)量來看,分布式架構(gòu)是唯一的選擇。從滿足金融場景高并發(fā)低延時的需求來看,選擇原生圖結(jié)構(gòu)而非基于關系型數(shù)據(jù)庫基礎上封裝圖數(shù)據(jù),成為必然。但也因為以上兩點,導致整個開發(fā)難度大大增加。
經(jīng)過2015年初團隊開始組建,第一個圖數(shù)據(jù)庫版本GeaBase在2016年初發(fā)布,剛好遇到支付寶史上最大一次改版,模塊化功能被替換成信息流,大大強化了社交關系屬性,GeaBase開始接入支付寶鏈路。
2016年6月,新版支付寶上線,GeaBase迎來了第一筆流量。接著幾年,從支付寶大改版到新春紅包再到雙11,GeaBase迎來了業(yè)務的綻放期,到2019年雙11,GeaBase雙11主鏈路上單集群規(guī)模突破萬億邊,點邊查詢突破800萬QPS,平均時延小于10ms;成為支付寶核心鏈路上非常重要的一環(huán);
因此,2017年,我們在海量數(shù)據(jù)基礎上,設計了一套離線計算的框架,提供自適應的分區(qū)策略,資源消耗能比同類產(chǎn)品降低一個數(shù)量級,同時性能還能遠遠優(yōu)于GraphX等開源產(chǎn)品。
同時,為了方便業(yè)務算法人員根據(jù)其業(yè)務進行二次開發(fā),還開放了C++和JAVA的接口,除了業(yè)界常見的圖編程框架的Pregel、GAS,我們還做了一定的“微創(chuàng)新”和能力擴展,提供了更高性能,更加豐富功能的接口。
在2019年雙11上,在線圖計算技術(shù)大放異彩,通過秒級決策,在花唄等場景幫助業(yè)務效果提升12倍。從“海量”圖存儲,到離線全圖 “按需計算”,再到“實時”在線圖計算,螞蟻的圖智能技術(shù)跟隨業(yè)務一步步發(fā)展,壯大。
融合計算引擎:新計算威力初現(xiàn)
今年的雙11還落地應用了一套新的“神器”——融合計算引擎,它耗費了近百位工程師一整年的心血。融合計算引擎的基礎,是螞蟻金服聯(lián)合 UC Berkeley 大學推進的新一代計算引擎Ray,它很年輕,2018年融合計算引擎項目啟動時,它只有幾萬行代碼,距離金融級線上環(huán)境的應用還差得很遠。
在計算引擎執(zhí)行層面,不同計算模式的數(shù)據(jù)是可以在引擎內(nèi)共享的,很少借助第三方存儲,因此對外部存儲和網(wǎng)絡傳輸?shù)拈_銷也都有極大的節(jié)省。
在應用方面,融合計算引擎不僅能夠解決金融場景中需要銜接多個不同計算模式的難題,還能支持各種不同時效性的業(yè)務,并在支付過程中提供秒級智能決策能力。
并且隨著融合引擎的落地,也改變著技術(shù)同學的研發(fā)習慣。我們希望通過融合計算引擎,達成研發(fā)態(tài),運行態(tài),運維態(tài)三位一體的統(tǒng)一:例如在動態(tài)圖計算場景,計算開發(fā)同學只需要編寫一個流+圖的計算作業(yè),就可以實現(xiàn)秒級6度鄰居的圖迭代計算;同樣在機器學習領域,通過編寫一個包含流+模型訓練+服務的計算作業(yè),就可以實現(xiàn)端到端秒級模型導出的在線學習能力。這樣從研發(fā)到運行態(tài),計算整體效率都得到了極大提升。
今年雙11中,融合計算引擎在至少三個場景中成功落地并被驗證可行,“還跑在了螞蟻金融級關鍵決策鏈路上。”周家英不無興奮,“這證明了我們的計算引擎具備了金融級的能力?!?/p>
事實上,無論是在雙11這樣的極端大考場景中,還是在支付寶、阿里巴巴,以及各個互聯(lián)網(wǎng)科技公司的日常應用場景中,數(shù)據(jù)驅(qū)動的業(yè)務也越來越多。相應地,海量數(shù)據(jù)的實時處理、分析和應用,以及人工智能、深度學習等新技術(shù)的開發(fā),都在要求著更強大的計算能力,以及能夠應對復雜場景的多種計算模式。
面對未來,更多的是未知——我們尚且不知未來會出現(xiàn)什么樣的場景,這些場景會要求什么樣的計算模式和計算能力?!叭诤嫌嬎闶钦嬲饬x上的新計算的第一步。”螞蟻金服計算存儲首席架構(gòu)師何昌華說。
