百度“飛槳”是怎么成為世界第三的?
-
收藏
0
國內人工智能產業市場在2021年開始迎來了大爆發。
無論是蘿卜快跑的自動駕駛出租車,還是智能識圖、語音識別與輸入、影音剪輯等方面,層出不窮的人工智能技術極大的提升了人們生活的便利性和科技感。
龐大的市場需求也助力了很多沖擊資本市場的大型科技企業。AI四小龍里商湯上市和剩余幾家紛紛沖擊IPO就是一個重要的佐證。
2021年人工智能領域的算法分析師、程序員、工程師,已經成為最新互聯網就業市場上搶手的香餑餑。尤其是人工智能規劃和算法的精通者,在其中占有更大的優勢。
更有意思的是,曾幾何時幾乎全部做人工智能開發的程序員、工程師和算法分析師,用的深度學習框架都來自美國。TensorFlow、PyTorch雖然是開源項目,但都在美國公司掌控之下,不確定性如影隨形。
迫切需要替代品的背景下,已經歷經6年開發并逐漸成熟的百度飛槳,成為越來越多中國人工智能開發工程師和算法分析師的優選。
百度也借此舉辦了多期人工智能規劃師的培訓,試圖利用自己的經驗為中國人工智能領域提供高水平的人才儲備。
伴隨著應用飛槳項目和產業端結合的越來越頻繁緊密,截至目前,飛槳所擁有的工業產業模型超過300個,已逐漸成為一個非常易于開發的通用性人工智能深度學習平臺。
最新信息,在2021年年底,飛槳已經超越其他競爭對手,穩居兩個老牌深度學習框架之后,成為全球第三大深度學習框架平臺。
在核心軟件開發領域,這可以說是首個成為主流應用開發工具的中國的平臺。很多關心人工智能行業的人不禁要問:他們是怎么做到的?
#01
深度學習平臺的能力
很久以前,在人工智能領域剛剛開始的時候,所有的項目都是從零起步。比如,人們要想做出一個圖形處理的項目,就必須從攝像頭調取,而這樣的動作,得寫相應的支持程序。
因此2015年之前,世界人工智能領域的項目進度比較慢。畢竟熟練的工程師和程序員就這些,后續的人員,想進入這個領域還需要進行長時間的學習。
這為深度學習框架的出現提供了強大的需求和促動力。
當時,美國谷歌公司和另一個從谷歌出來的資深程序員,提出了兩個深度學習的開發平臺與框架。這就是當前使用人數最多的ensorFlow和PyTorch。
人工智能最早的應用其實是在數據標注,也就是窮舉的方式列舉所有遇到問題時機器應該產生的反應,但這并不是真正的人工智能或者說應該算偽人工智能。從谷歌2016年推出超級人工智能阿爾法狗之后,深度學習成為很多人工智能公司追求的系統技術基礎。而阿爾法狗的底層框架,正是建立在TensorFlow的平臺之上。
很快,TensorFlow、PyTorch這兩個新生的深度學習開發平臺框架迅速在業內走紅,成為后續各個創業項目技術積累的基礎。
所謂深度學習框架,其實就是首先提供一個深度學習的內部系統,可以符合多種行業的應用能通過各種不同的接口調取這種學習能力,從而讓新開發的項目迅速通過數據的積累訓練系統,學會如何人工思考和應對。這樣的好處就是整個項目不用再對深度學習進行算法和布局,更不用從理論基礎去做相應的研發,可以大大降低人工智能項目研發的難度。
其次,這些深度學習框架還提供了調取相應深度學習結果和培訓系統能力的程序語言,并封裝了很多常用的模塊,后續開發者只需調用這些模塊就可以實現一些系統常用的功能,比如說對于圖片和音頻的識別等。
此外,這些深度學習框架還提供額外的擴展與延伸,可以跟其他的一些系統相銜接,把人工智能的相應能力接觸到更大的系統中去。
從2017年之后,國內大大小小的人工智能應用,絕大多數都是基于這兩個框架平臺所提供的各種服務和封裝模塊進行,雖然大大降低了開發人員的難度,但很大程度上也將技術核心的支持能力拱手相讓。
正是看到這一點,2016年百度提出來中國人自己的深度學習框架PaddlePaddle。但說實話彼時百度的這一框架并沒有顯露出太多技術優勢,在國內被使用的頻次也不算太高。
即便如此,對于百度一把手李彥宏而言,AI是百度未來發展的突破口,所以深度學習框架這塊也必須得到百度整個技術部門的大力扶持。
2018 年 7 月,李彥宏在百度 AI 開發者大會上喊出了要讓“Everyone Can AI”的口號,其實這句口號后面還要加上一個限定——“通過百度的 AI 平臺”。PaddlePaddle 就是這一口號付諸實踐的突破點之一。
2019 年 4 月,時任百度高級副總裁(現百度 CTO)王海峰在 Wave Summit 深度學習開發者峰會上,為深度學習框架 PaddlePaddle 在百度內部的戰略地位進行了定調。PaddlePaddle 發布中文名“飛槳”,開始強調自己更懂中國開發者,以及更加專注于深度學習模型的工業生產和部署。
#02
飛槳的特色
實際上,飛槳以百度多年的深度學習技術研究和業務應用為基礎,集深度學習核心訓練和推理框架、基礎模型庫、端到端開發套件、豐富的工具組件于一體,是中國首個自主研發、功能完備、開源開放的產業級深度學習平臺。
關鍵從2015年之后,百度將自己業務突破的能力定立到了人工智能上,而幾乎百度現在所有的人工智能項目全都是基于飛槳的整個體系研發,并最終投入使用和做后期維護的。
某種意義上正是基于百度本身體量的大范圍應用,才迅速縮短了飛槳的成熟時間。
作為我國首個開源開放、功能完備的產業級深度學習平臺,飛槳想要保持自己的地位,也必須要有自己獨特的優勢。
第一,便捷的開發框架。飛槳同時支持動態圖和靜態圖的編程,能夠兼顧易用性和效率。在整個開發過程當中,算法工程師既需要方便的接口,同時也需要高效的底層平臺的支持。飛槳平臺結合了動態圖的易用性和靜態圖的高性能,使開發者可以兼顧兩者的優勢。對開發者來說,這是大大降低了寫程序的成本和復雜度。
第二,超大規模深度學習模型訓練技術。針對大規模的工業化場景,飛槳提供大規模分布式訓練能力,在真正的工業場景應對自如。飛槳平臺推出了支持萬億規模參數模型的實時更新能力和訓練能力。面對大型分類任務時可以進行模型并行訓練,在訓練層面也可以支持數據并行訓練。
第三,多端多平臺部署的高性能推理引擎。端到端的部署是應用深度學習的一個非常關鍵的環節,飛槳提供非常完備的支持各種硬件的端到端的部署能力,能夠使得開發者推理、預測的過程足夠順暢。在移動端部署的模型體積上,飛槳可以縮減到非常小,眾多開發者可以更好地把模型用在相應場景的終端設備上。
第四,產業級開源模型庫。飛槳有大量在產業實踐當中沉淀出來的模型,并提供官方的支持,能夠保證開發者的應用效果是最佳的、真正可靠的。據悉,飛槳平臺上目前開源了140+的模型,而且還有工業級的預訓練模型。在預訓練模型基礎上,開發者在使用時只要針對自己的場景進行小數據量的遷移學習就可以使用。
而且飛槳已可適配 22 種芯片型號,覆蓋英特爾、英偉達、瑞芯微、寒武紀等15家硬件廠商,且對國產硬件的支持力度業界第一。
#03
需求決定一切
以上這些特性,實際上只是跟海外的開源平臺打成個平手。真正能讓飛槳成為殺手級人工智能深度學習拓展平臺的原因,是其跟中國市場的深度捆綁。
由于百度所有的技術扎根于中國市場本土需求,相應的算法標準,基礎能力、深度學習的習慣等等,都跟中國市場和相應數據采集的情況相吻合。
如果采用國際上知名的其他開源平臺來研發項目,在最終項目調整的過程中,還要付出很大的精力,要將很多不符合國內環境的算法和思路進行調整,這對于人工智能的策劃師和算法分析師來說都是一個重大的挑戰。
但使用飛槳就不用做這些事,可以省很大的工作量。
從2019年開始,百度AI的能力逐漸下沉,開始跟產業經濟和生產一線相結合,在飛槳上也越來越多有類似的人工智能項目運行,比如智能質檢,比如對于農產品的智能分揀等等。
這些與產業相結合的人工智能應用模型,飛槳已經積累了超過1000個。由于這些模型最終都成功運營,所以類似需求的開發者只要將這些模型針對自己的一些特征進行修改調試,就可以在短時間內拿出一個成型的人工智能解決方案和項目實施計劃。
再加上百度本身所推出的人工智能應用,就已經覆蓋了中國互聯網的大多數使用空間。豐富的人工智能基礎模塊,可以讓程序員和工程師快速部署形成自己的人工智能軟件應用。
這大大方便了人工智能項目在中國產業端的拓展,也成為飛槳迅速在中國人工智能研發領域成為主流平臺的重要原因。
截止目前在飛槳平臺上,經常使用相應模塊進行人工智能開發的程序員和工程師超過400萬。
這已經創造了中國開源軟件開發框架或平臺的記錄。
#04
擺在前面的挑戰
當然,飛槳并不是不是一個完美的框架和平臺。知乎上在飛槳專區有很多程序員吐槽,大多是有關應用端以開發的過程中,調取模塊遇到的各種bug問題。
而由于整套系統的邏輯都是百度自己建立的,并沒有前面的經驗可以遵循,這也讓很多新的模塊出來,需要帶有一段時間的糾錯期。這對爭分奪秒的人工智能開發領域來說,是一種時間上的浪費。
因此有程序員提出,能不能作為開源程序員加入其中,為飛槳目前的不斷完善,提供自己的思路和幫助。
另外,由于百度發展的局限性,使得飛槳在海外的應用受限。如何將飛槳推到國際市場,恐怕是百度在2022年一定要認真考慮的重要問題。
畢竟,百度是將AI作為未來發展的基石,而飛槳被看作是百度AI的核心,那么李彥宏對于百度轉型的定位,在國內和國際都需要飛槳為支撐的AI故事。
百度也已經認識到這一點,2021年開始舉辦人工智能規劃師的培訓,并開始逐漸國際化發展,目的很明確。
但一切還需要時間,而現在已經到了百米賽跑的關鍵沖刺期。
雖然百度有底氣,但時間上得要抓緊了。
免責聲明:本網站所有文章僅作為資訊傳播使用,既不代表任何觀點導向,也不構成任何投資建議。】
猜你喜歡
連連數字正式接入DeepSeek 聚焦智能研發、智能運營、智能辦公等領域應用
連連數字正式對外宣布已完成DeepSeek大模型的私有化部署。奇富借條APP登陸鴻蒙 以大模型打造金融端云一體服務
奇富科技最新發布的基于多模態大模型技術打造的AI伴侶小奇,也將很快在鴻蒙版本發布。
數科社
共138篇文章
關注數字科技行業大小事,多角度洞察數字科技行業熱點,同時還建立媒體、公關、市場交流社群,打造圈內人士聚集陣地。