<optgroup id="m04aa"><small id="m04aa"></small></optgroup><center id="m04aa"><wbr id="m04aa"></wbr></center><center id="m04aa"></center>
<optgroup id="m04aa"><small id="m04aa"></small></optgroup>
<noscript id="m04aa"></noscript>
<optgroup id="m04aa"></optgroup>
訂閱
糾錯
加入自媒體

深度學習框架簡史:“PPT”格局初現,中國占有一席

2022-03-24 09:50
Alter聊IT
關注

撰文 / 張賀飛

編輯 / 沈潔

“科技無國界”的幻想,因為東歐的戰火被徹底擊碎。

蘋果、谷歌、Facebook、SAP、微軟等科技巨頭,早已有了實際的行動。單單是Apple Pay和Google Pay的停用,就已經影響了數千萬人的生活秩序,而GitHub、Node、React等開源平臺針對俄羅斯開發者的嚴格限制,則給不少企業的產品開發、商業運作蒙上了一層不確定的陰影。

在這樣的語境下,開源軟件的自主可控再度成為輿論場上的焦點,特別是作為AI基礎技術的深度學習框架,更是聚焦了無數開發者的關切。深度學習框架屬于AI的底層技術創新,一旦這些技術被套上枷鎖,千行百業的智能化轉型將被制約,甚至會影響國內第四次工業革命的進程。

可能在不少人的認知里,深度學習框架還是一個陌生的詞匯,對其所扮演的角色以及重要性仍處于懵懂狀態。我們不妨從盤點和回顧的視角,梳理下深度學習框架的周期演變,在從學術圈走向工業界再到產業化的歷程中,找尋屬于中國企業的機會和挑戰到底在哪里。

01 學術時代:學者們的“刀耕火種”

想要講清楚深度學習框架的起源,難免要花上一定的篇幅,簡單概述下人工智能技術的進化歷程:

早在1943年,美國心理學家麥卡洛克和數學家皮茨就提出了人工神經網絡的概念,比世界上最早的通用計算機的出現還早了3年時間。

其后出現了不少新概念和新模型,但人工智能的進展始終差強人意。直到杰弗里·辛頓在2006年發表了一篇題為《一種深度置信網絡的快速學習算法》的文章,其中的核心理念是利用 GPU 來加速訓練,大幅提高了神經網絡的學習速度。

時間來到2012年,師從杰弗里·辛頓的多倫多大學研究生艾力克斯·克柴夫斯基,在當年的 ImageNet 挑戰賽中使用一種新的深度神經網絡架構進行訓練,在 ImageNet 數據集上達到了 SOTA 精度,遠超一些學術界的頂級團隊。這種深度神經網絡架構,就是后來大名鼎鼎的AlexNet,并在全球范圍內掀起了深度學習的熱潮。

在機器學習大行其道的時候,幾乎沒有一種算法在大量的問題上取得壓倒性的優勢,大多數業務問題可以通過大數據和算法結合的經典方式解決?傻搅松疃葘W習的時代,數據、算法和算力都在爆炸式增長,為了提高工作的效率,一些研究者開始編寫深度學習模型的幾個必要過程,把前人的研究成果不斷沉淀其中,后來人可以直接調用某些成果,大幅降低了編寫深度學習模型的門檻。

“深度學習框架”的概念由此誕生,迅速涌現出了Theano、Caffe、Torch等多款深度學習框架,至今仍是人工智能圈子里的熱門話題。

科技文明的每一次躍進,都離不開個體的靈光乍現,人工智能又恰恰是一個標準的眾創型技術。所以早期深度學習框架的締造者,往往被賦予一種特殊的光環,并隨著時間的推移不斷放大其中的價值?苫仡^來看,這些盛名在外的早期框架也有著時代的局限性,所能解決的往往是一類問題,而且有著鮮明的學術色彩。

比如艾力克斯·克柴夫斯基就寫過一套名叫Cuda-Convnet的深度學習框架,可以在GPU上快速跑神經網絡,卻不怎么重視工程設計,也談不上模塊化和抽象化能力,單純是為了搞科研、出論文。

深度學習開源工具的鼻祖Theano,嚴格地說是一個擅長處理多維數組的 Python 庫,用于高效解決多維數組的計算問題。相較于當前深度學習框架的功能,Theano更像是一個數學表達式的編譯器。

值得一提的是,在深度學習框架“刀耕火種”的日子里,中國的學者們并沒有缺席。百度2013年成立了深度學習研究院,Caffe等框架的主導者中都有華人的身影。暗合科技創新的潛在趨勢,中國不再是創新進程中的跟隨者,這一次我們也站在了最前沿的領域。

02 商業時代:科技巨頭“闖入江湖”

2015年是深度學習框架的轉折點,這年前后發生了兩件深刻影響到人工智能歷史進程的重要事件:

一件發生在學術領域。微軟亞洲研究院的學者提出了著名的ResNet架構,影響力絲毫不輸當年的AlexNet,不僅在ImageNet的準確率上再創新高,也讓學術界外的工業界形成了一個共識,即深度學習將成為下一個重大技術趨勢。

另一件發生在圍棋圈。谷歌旗下DeepMind團隊開發的AlphaGo,和韓國著名棋手李世石進行了一場圍棋人機大戰,最終以4比1的總比分獲勝。由此出圈的不只有AlphaGo和谷歌,深度學習的概念也被越來越多的“行外人”知曉。

后知后覺的話,這兩起事件都有其吊詭之處。ResNet在2015年的原始殘差網絡的結果一度被質疑無法復現,而AlphaGo的圍棋挑戰賽本身就有作秀的嫌疑。草蛇灰線,伏脈千里,不尋常的背后是科技巨頭們的精妙布局。

2013年3月,谷歌以4400萬美元的價格收購了杰弗里·辛頓創建的DNNResearch,這場交易的重心并不是什么新業務,而是辛頓本人和他的兩位學生。據說百度也參與了這場“拍賣”,并堅持到了辛頓做出選擇的最后一刻。

谷歌瘋狂“斂才”的原因,在2015年11月被揭曉:谷歌大腦團隊開發的深度學習框架TensorFlow正式開源,杰弗里·辛頓為此做了很多貢獻。谷歌的另一位研究員弗朗索瓦·喬萊特,幾乎獨自完成了Keras框架的開發,為谷歌再添一條護城河。

遺憾錯失杰弗里·辛頓的百度也沒閑著,2012年開始大規模采購和建立GPU運算集群,是國內最早投入研究深度學習平臺的企業,培養和吸納大批AI頂尖人才,內部打磨重構多年的PaddlePaddle,也在2016年正式開源,后來取了一個中文名字叫“飛槳”。

同樣對深度學習框架野心勃勃的Meta(原Facebook),走了一條循序漸進的路。先是控制了著名的深度學習庫Torch,然后用從Python替換了Lua語言,對Tensor上的全部模塊進行重構,并在2017年初以PyTorch的身份正式開源。同時還搞了Caffe2項目,像谷歌一樣開啟了雙平臺戰略。

這個階段可以說是深度學習框架的第一次“百家爭鳴”,Amazon主導的MXNet、微軟背書的CNTK陸續出現在開源名單上。深度學習框架不再是學者們的自留地,科技巨頭們接過了主導市場的權柄。

相對應的是新舊交替的一幕。

Alpha Go最初是基于Torch開發的,但在TensorFlow開源后立即進行了遷移;Theano的開發團隊在2017年9月宣布停止維護和更新,從此退出了歷史舞臺;微軟的CNTK經歷了一定時間的奮力追趕后,最終在2019年宣布停止維護;Keras后來被TensorFlow收編,Caffe2被PyTorch接納......

還有很多不知名的深度學習框架,還沒來得及被外界所熟知,就被埋在了人工智能高速增長所掀起的塵土中。相比于豪擲千金買技術、團隊、人才的巨頭,很多初創企業常常被各種因素束手束腳,結局在一開始就注定了。

03 應用時代:“剩者為王”的競速賽

正如人類歷史屢屢被驗證的趨勢,深度學習框架經歷過短暫的激烈角逐后,也呈現出了“寡頭化”的局面。

背靠谷歌這座開源大山,TensorFlow在開源伊始就表現出了主場優勢,大批學者自覺轉移了陣地。按照谷歌天才科學家杰夫·迪恩在一次演講中的說法:2016年TensorFlow的論文引用次數呈現出指數級暴漲。

不過,谷歌無意在學術圈畫地為牢,早早將目光瞄向了工業界,得到了英特爾、英偉達等硬件平臺的配合,向全球開發者免費供給AI庫與工具,并在2015年推出了專門為TensorFlow框架打造的計算神經網絡專用芯片TPU,引發了云端造芯的浪潮,并以每年一代的速度持續迭代。

應該說,谷歌的商業嗅覺非常靈敏,ResNet和AlphaGo一下子就點燃了工業界的激情,人工智能以熊熊大火之勢席卷工業界。TensorFlow自然而然地向工業需求進行傾斜,逐步推出了TensorFlow Serving、TensorFlow Lite等產品,讓客戶可以在云、服務器、移動設備和 IoT 設備上進行部署。

此舉卻被學術界詬病連連,學者們追求的不是部署的便捷性,而是易用性。這也為身為后來者的PyTorch提供了可乘之機,憑借“易用性”的聚力一招,PyTorch在研究領域迅速站穩腳跟,大多數出版論文和開源模型都在使用 PyTorch,目前論文中的占比已經達到80%,有了和TensorFlow分庭抗禮的資格。

國外不少研究者心中,深度學習框架已經是TensorFlow和 PyTorch共天下的局面,代表了深度學習框架研發和生產中 90% 以上的用例?蓪⒅袊袌黾{入討論范疇的話,則出現了一些不同的聲音。

深度學習框架簡史:始于學術,盛于產業

知名市場調研機構IDC曾在2020年下半年公布了一份中國深度學習框架平臺市場份額的報告,TensorFlow、飛槳和PyTorch排名前三,合計占據了70%以上的份額。等到2021年上半年,IDC再次更新了市場報告,彼時百度飛槳已經超越TensorFlow位居中國市場綜合份額第一。

我們曾就這份報告詢問過不少開發者,對方給出的回答大多是“沒想到”,再進一步的溝通后,聽到最多的聲音是:“原來EasyDL也是飛槳的產品!逼渲斜活l頻強調的EasyDL,是百度基于飛槳深度學習框架構建的零門檻AI開發平臺,開發者上傳數據并標注后,即可訓練相應的模型部署應用。

考慮到中國在人才方面的巨大缺口,飛槳的市場滲透方式有著鮮明的實用主義,先讓客戶把AI模型用起來,哪怕他們并不知道后面還有一個深度學習框架。因為中國的大部分中小企業并不具備專業的AI算法開發能力,開發定制 AI 模型絕不是一件容易的事?蓮慕Y果導向的話,飛槳或許摸索出了不同于谷歌、Facebook的第三條路。

巨頭們“闖入江湖”的連鎖反應已然發生,市場份額越來越向少數幾個平臺集中,無論是美國還是中國,同時在便捷性、易用性、穩定性的多重指標下,算法、算力、編譯器等一個都不能少,深度學習框架的門檻正變得高不可攀。

04 產業時代:中國市場“暗”流涌動

中國市場對深度學習框架的關注,在時空上遲滯了許多,直到中美科技戰的爆發,相關討論才多了起來。

相當長的一段時間里,中國開發者都是TensorFlow、PyTorch的重度擁躉,還有一些企業曾經深耕過MXNet。這里面的原因很復雜,百度的工程師文化講求實干不張揚,飛槳在很長一段時間里專注于技術和產品,在輿論場上缺少存在感。

國內的其他互聯網公司則犯了“拿來主義”的錯誤,要么缺少創新精神,怯于和海外的科技巨頭同臺競技;要么奔著摘果子的心態,等別人探索出了眉目再跟隨借鑒...... 所以在2020年以前,中國的深度學習框架屈指可數,除了百度打造的飛槳,只有小米MACE、阿里巴巴XDL在內的幾個推理框架。

轉機出現在2018年前后,中興、華為等企業先后被美國制裁。當Matlab這樣的老牌工具都能被禁用時,不少企業逐漸嗅到了“危險”的氣息:倘若Pytorch和Tensorflow有一天重蹈Matlab的覆轍,對中國AI產業的影響無異于釜底抽薪。

深度學習框架的應用也在這個時間點進入了產業化階段,且呈現出了兩個典型的特征:一是大型模型訓練,GPT-3、BERT等大模型的誕生,需要在數百臺甚至數千臺設備上進行訓練,所瞄準的正是產業化的需求;二是可用性,TensorFlow、飛槳、PyTorch先后引入了計算圖和動態圖,目的是讓運算更加簡潔,開發者可以采用命令式的編程風格,方便進行模型的調試。

留給企業和開發者的,其實是一個三難的選擇:倘若像過去那樣All in國外的深度學習框架,存在著各種不確定風險;如果盲目退出國外的框架,似乎也不是理智的選擇,有競爭才會有進步;何況深度學習框架屬于高投入、長周期、搶生態的競爭,在產業鏈中承上啟下的關鍵地位,有著統領產業進步節奏、帶動終端場景與云端服務協同發展的重要作用,押錯寶的代價不言而喻。

所幸最后的結果并不算糟糕。

按照百度官方的信息,目前基于飛槳開發的模型數量已經有47.6萬個,不乏文心等大模型,服務的開發者數量已經達到406萬,并在270多所高校開設了AI學分課程。至少可以保證在中國市場上奠定飛槳、TensorFlow、PyTorch三分天下的格局,再在市場份額分配上徐徐圖謀。

進入2020年以后,清華大學計圖、曠視科技天元、華為MindSpore、一流科技OneFlow相繼開源,騰訊和阿里也在后面推出了PocketFlow、X-Deep Learning。如果這些新空間有能力以資金、人才等資源換時間,針對中國產業的需求因地制宜,也不排除進一步向國外框架搶奪份額的可能。

回到文初遺留的問題,在AI基礎技術的角逐中,來自中國的力量確實有些孤獨,很長時間里只有百度一家在搏殺。好在結果并不糟糕,在深度學習框架的“PPT”(飛槳PaddlePaddle、PyTorch、TensorFlow)格局中,已經有一個字母是來自中國,不必再面臨被封殺后無計可施的境地。

05 結語

距離1956年的達特矛斯會議,已經走過了66個春秋,人工智能終于迎來了工業大生產的浪潮。來自中國的企業和科學家們,或許缺席了人工智能的過去,卻在一步步錨定人工智能的未來。

目前中國已經在AI應用層站穩了腳跟,近幾年的專利申請甚至超過了美國,在數據、人才、市場等方面的綜合優勢正在逐步顯現。假如可以用深度學習框架進一步聚合開發者、資本和平臺,創造有利于創新的土壤,不無可能擺脫“數字鐵幕”的威脅,讓中國AI在一條堅實的道路上加速奔跑。

       原文標題 : 深度學習框架簡史:PPT格局初現,中國占有一席

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯系舉報。

發表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關注公眾號
OFweek人工智能網
獲取更多精彩內容
文章糾錯
x
*文字標題:
*糾錯內容:
聯系郵箱:
*驗 證 碼:

粵公網安備 44030502002758號

太大太粗太爽免费视频
<optgroup id="m04aa"><small id="m04aa"></small></optgroup><center id="m04aa"><wbr id="m04aa"></wbr></center><center id="m04aa"></center>
<optgroup id="m04aa"><small id="m04aa"></small></optgroup>
<noscript id="m04aa"></noscript>
<optgroup id="m04aa"></optgroup>