AI創(chuàng)新擠壓算力彈性,亞馬遜云科技如何滿足井噴的算力需求?
生成式AI爆發(fā)為代表的這一輪AI創(chuàng)新潮,機(jī)遇和挑戰(zhàn)并存。丁科技網(wǎng)注意到,挑戰(zhàn),對于AI技術(shù)創(chuàng)新者和AI服務(wù)創(chuàng)新者而言,很大程度上在于,AI技術(shù)的爆發(fā)直接推動了對算力資源需求的井噴式增長。 除了提供AI相關(guān)技術(shù)和生態(tài)賦能之外,針對算力需求井噴,亞馬遜云科技通過自研芯片創(chuàng)新、彈性的計(jì)算存儲組合以及Serverless架構(gòu),幫助客戶簡化運(yùn)維,以更高性價(jià)比滿足多樣算力需求,幫助客戶有效應(yīng)對由于AI創(chuàng)新技
原創(chuàng)
2023-07-12 08:45:48
來源:丁科技網(wǎng)??
作者:建輝

生成式AI爆發(fā)為代表的這一輪AI創(chuàng)新潮,機(jī)遇和挑戰(zhàn)并存。丁科技網(wǎng)注意到,挑戰(zhàn),對于AI技術(shù)創(chuàng)新者和AI服務(wù)創(chuàng)新者而言,很大程度上在于,AI技術(shù)的爆發(fā)直接推動了對算力資源需求的井噴式增長。

除了提供AI相關(guān)技術(shù)和生態(tài)賦能之外,針對算力需求井噴,亞馬遜云科技通過自研芯片創(chuàng)新、彈性的計(jì)算存儲組合以及Serverless架構(gòu),幫助客戶簡化運(yùn)維,以更高性價(jià)比滿足多樣算力需求,幫助客戶有效應(yīng)對由于AI創(chuàng)新技術(shù)帶來的IT壓力。

“2023亞馬遜云科技中國峰會”上,亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建表示,AI創(chuàng)新推動算力需求井噴,有三個特點(diǎn):一是,需要更高性價(jià)比的軟硬件解決方案以應(yīng)對算力資源緊缺;二是,云服務(wù)需要提供快速高效的彈性資源供給,以應(yīng)對生成式AI的迅速發(fā)展和快速變化的業(yè)務(wù)需求;三是,云服務(wù)需要進(jìn)一步降低使用門檻,讓客戶能快速上手。

亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建

亞馬遜云科技的針對性策略是:

其一,針對算力需求緊缺,提供全面深入的基礎(chǔ)設(shè)施能力,包括Intel、AMD、英偉達(dá),和自研的CPU及加速芯片產(chǎn)品。特別是,自研芯片產(chǎn)品,在不斷的創(chuàng)新迭代中。

Nitro,是亞馬遜云科技的第一款自研芯片產(chǎn)品,去年推出的第五代Nitro將每瓦性能提高了40%,提升性能、降低干擾、保證安全:

實(shí)現(xiàn)了非常輕量級的虛擬化,性能損耗極低,在此前業(yè)界經(jīng)??吹降奶摂M化損耗通常在20-30%之間,Nitro通過硬件虛擬化,整個性能損耗不到1%;實(shí)現(xiàn)了網(wǎng)絡(luò)和存儲在硬件級別的隔離機(jī)制,讓用戶通信和擁有存儲的數(shù)據(jù)通信之間完全隔離,不會造成互相的干擾;在硬件層面實(shí)現(xiàn)了硬件的加密,任何進(jìn)出Nitro的數(shù)據(jù)包都會進(jìn)行硬件級別的加密,最大限度保證用戶數(shù)據(jù)通信的安全。

Graviton,Arm架構(gòu)的通用處理器Graviton 3與上一代產(chǎn)品相比,計(jì)算性能提高25%,浮點(diǎn)性能提高2倍,加密工作負(fù)載性能最多加快2倍;第四代產(chǎn)品Gravtion3E在針對高性能計(jì)算應(yīng)用場景的向量計(jì)算性能上,再提升了35%。

機(jī)器學(xué)習(xí)訓(xùn)練芯片Trainium,HuggingFace BERT模型作為案例來看,基于Trainium的Trn1實(shí)例和通用的GPU實(shí)例對比,在訓(xùn)練的吞吐率上面,單節(jié)點(diǎn)的吞吐率可以提升1.2倍,而多節(jié)點(diǎn)集群的吞吐率可以提升1.5倍,從成本考慮,單節(jié)點(diǎn)成本可以降低1.8倍,集群的成本更是降低了2.3倍。增強(qiáng)型Trn1n實(shí)例的網(wǎng)絡(luò)帶寬躍升至1.6Tbps,可將萬余個Trainium芯片構(gòu)建在一個超大規(guī)模集群上,實(shí)現(xiàn)對超大模型進(jìn)行并行訓(xùn)練。

機(jī)器學(xué)習(xí)推理芯片Inferentia,2019年推出了第一代用于機(jī)器學(xué)習(xí)的推理芯片Inferentia,所對應(yīng)的實(shí)例Inf1和同樣基于通用GPU的EC2實(shí)例相比,帶來了70%成本的降低;2022年又推出了第二代推理芯片Inferentia2,進(jìn)一步提升了4倍吞吐量,延遲只是之前的1/10,通過優(yōu)化,第二代Inferentia可以大規(guī)模部署復(fù)雜的模型,例如大型語言模型(LLM)和Diffusion類模型。

Inferentia在設(shè)計(jì)的時候就考慮到了“高吞吐率”和“延遲優(yōu)化”,使得用戶兩者可以兼得。以自然語言常見的BERT模型為例,In2實(shí)例的吞吐可以提升三倍,延遲降低了8.1倍,而成本只是通用GPU實(shí)例的1/4;以開源模型OPT-30B為例,相比于通用GPU EC2的實(shí)例,In2實(shí)例吞吐率增加了65%,而推理成本則降低了52%,如果用更大的660億參數(shù)的OPT-66B為例,通用GPU已經(jīng)力不從心,但I(xiàn)n2實(shí)例依然可以保持每秒351個token數(shù)的吞吐量;視覺類模型以Stable Diffusion 2.1的版本為例,Inf2實(shí)例可實(shí)現(xiàn)50%的成本節(jié)約。

其二,針對彈性資源供給,提供600多種不同的計(jì)算實(shí)例,從處理器、網(wǎng)絡(luò)和存儲等各種服務(wù)都能夠與計(jì)算進(jìn)行很好的結(jié)合,以積木的方式搭建出一個豐富靈活的計(jì)算實(shí)例的資源,滿足多種不同算力的要求。

以存儲為例,數(shù)據(jù)規(guī)模到達(dá)PB級別時存儲方式變得非常重要,“熱、溫、冷、凍”不同類型的存儲方式,成本和性能都有很大差別。Amazon S3對象存儲提供8種存儲層級,同時提供智能分層,自動選擇最適合的存儲層級。

其三,針對簡化算力應(yīng)用,推動云服務(wù)全面邁向Serverless。

亞馬遜云科技在不斷探索如何將云的彈性、敏捷性、按需付費(fèi)的特性發(fā)揮到極致,在這個過程中,逐步推動著云服務(wù)全面邁向Serverless?,F(xiàn)在,已經(jīng)實(shí)現(xiàn)了全棧數(shù)據(jù)服務(wù)的Serverless化,開啟了云服務(wù)全面Serverless的時代,讓客戶無需預(yù)置或管理基礎(chǔ)設(shè)施,就可以運(yùn)行幾乎任何類型的應(yīng)用程序或后端服務(wù)代碼,幫助客戶最大限度減輕運(yùn)維工作,并增加業(yè)務(wù)敏捷性,更好地應(yīng)對業(yè)務(wù)的各種不確定性。

陳曉建總結(jié)表示:“面對算力的需求井噴所帶來挑戰(zhàn),我們通過自研芯片提供更好的性價(jià)比,通過各種豐富的計(jì)算、網(wǎng)絡(luò)、存儲等各種產(chǎn)品的組合應(yīng)對突發(fā)的算力需求,通過Serverless有效降低運(yùn)維的復(fù)雜性,從而簡化算力的使用,全面滿足用戶的多樣化的算力需求?!?/p>

“現(xiàn)今創(chuàng)新至關(guān)重要,云技術(shù)能更快、更高效地幫助企業(yè)創(chuàng)新,亞馬遜云科技廣泛和深入的服務(wù)可以讓客戶擺脫基礎(chǔ)架構(gòu)的束縛,專注于創(chuàng)新?!保ǘ】萍季W(wǎng)原創(chuàng),轉(zhuǎn)載務(wù)必注明“來源:丁科技網(wǎng)”)

原創(chuàng)文章
最新文章
1
云鯨智能“裁員”風(fēng)波背后:盈利壓力還是全球化布局的前奏?
2
2024年11月中國家用智能門鎖線上市場總結(jié)
3
預(yù)計(jì)2025年中國彩電市場同比增長1.4%,這些方面將成為趨勢
4
中國機(jī)器人,逆襲日本
5
用“光的魔法”生動呈現(xiàn)世間萬象,TCL再造Mini LED行業(yè)天花板
6
中國電視迎來近年來最好時代
7
蘋果M5系列芯片明年上半年量產(chǎn):MacBook Pro首發(fā)
8
蘋果手機(jī)最強(qiáng)標(biāo)準(zhǔn)版:iPhone 17屏幕變大變強(qiáng)
9
中國掃地機(jī)全球熱賣:“內(nèi)拼價(jià)格,外求增量”賽季或加速完結(jié)?
10
MediaTek 發(fā)布天璣 8400 移動芯片,開啟高階智能手機(jī)全大核計(jì)算時代
11
SUSE發(fā)布2025年技術(shù)趨勢預(yù)測
12
世界首創(chuàng)、全球引領(lǐng),海信8K激光電視榮獲“創(chuàng)新成果獎”
13
年末家電消費(fèi)觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來剛需式普及?
14
信通院何寶宏:大模型“卷”向下半場,需要新打法
15
Mini LED技術(shù)再升級,從背光引領(lǐng)顯示行業(yè)實(shí)現(xiàn)技術(shù)迭代
16
1~11月彩電零售量同比下降2%,2025年有望達(dá)到3150萬臺
17
這家清潔電器品牌突然停運(yùn) 背后投資者都是大腕+明星
18
兩新政策加力,2025年國債補(bǔ)貼預(yù)計(jì)超過3000億
19
國產(chǎn)DDR5內(nèi)存首次拆解:基本鎖定來自長鑫
20
曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元
關(guān)于我們

微信掃一掃,加關(guān)注

商務(wù)合作
  • QQ:61149512