Categories
創造力

曠視開源底層AI框架,瞄準AI基礎設施建設


文章經授權轉自公眾號:子彈財經(ID:wwwhygc) ;作者:龍老師

近期,最高層做出決定,圍繞加快新型基礎設施建設進度作出部署,有關部門和地方紛紛出台相應舉措。一時間,市場掀起一股“新基建”的熱潮。

其實,新基建的提法很早,早在2018年12月19日至21日,中央經濟工作會議在北京舉行時,會議就重新定義了基礎設施建設,把5G、人工智能、工業互聯網及物聯網定義為“新型基礎設施建設”,隨後“加強新一代信息基礎設施建設”被列入2019年政府工作報告。

為什麼在當下這個時段,重申加速新基建?筆者認為,短期來看是為了增加對沖疫情對經濟的負面效應,長期來看是為了給70%還沒有完成數字化轉型的傳統經濟換上數字化引擎,以起到降本增效、煥發活力,從而應對經濟下行挑戰和轉型升級壓力。

對於最近引起廣泛關注的“新基建”,曠視科技可能​​是國內最早做出實質性反映的AI廠商。作為一個原生AI企業,曠視對於AI運用於生產力提升中的企業痛點和難點瞭如指掌,而為了進一步降低深度學習應用門檻、提升AI算法研發的效率,和幫助企業降本增效,曠視重新定義了AI基礎設施並宣布開源自用6年的深度學習框架,其中看點滿滿。

同“框”

2020年3月25日,人工智能領軍企業曠視舉辦線上發布會,曠視聯合創始人兼CTO唐文斌重新定義了人工智能底層的基礎設施,並正式發布了曠視AI生產力平台Brain++,同時宣布開源其核心框架天元(MegEngine)。

曠視開源底層AI框架,瞄準AI基礎設施建設 1

圖 / 曠視官方

這被認為是國內AI領軍企業為經濟發展所依靠的新一輪的技術進步,進一步奠定堅實基礎的實質性操作,也具有重大戰略意義。

什麼是AI生產力?什麼是框架?我們先從框架說起。

兩個問題——什麼樣的企業做開源框架?框架是乾什麼的?首先,開源框架是AI基礎設施的一部分,它的推出至少有一個前提,就是已經有足夠多的用戶擁抱這一生態,更有足夠多的未來用戶希望利用這一生態。因此,開源框架的推出也意味著一個企業的AI生態逐步走向成熟。

所以,舉目全球,能推出開源框架的基本都是頂級技術企業。

國際巨頭推出的開源框架中,鼎鼎大名的有TensorFlow、
PyTorch、Caffe、CNTK和ONNX等,這背後又分別站著谷歌、Facebook及微軟等巨頭;另外,百度在宣布“All in
AI”的前一年,開源了自研深度學習平台PaddlePaddle;此後,華為發布了自研深度學習框架MindSpore,並稱將於2020年一季度開源。

曠視開源底層AI框架,瞄準AI基礎設施建設 2

圖 / 曠視官方

因此,曠視科技能夠推出自研的開源框架,說明至少在這一領域,已經與國內外巨頭站在了同一條頂級賽道裡。

那麼,框架又是乾什麼的呢?

我們可以簡單回顧一下計算科學的發展史,它的規律總體來說是性能不斷提升,使用門檻不斷下降。

筆者有幸採訪過50年代的諾貝爾獎得主,他告訴我們,最早利用IBM大型機進行科研的人,往往要先編程,再運算,最後分析出結果。

現在我們應用的AI技術中,深度學習的引入是一個重要的拐點。但由於AI還屬於爆發早期,所以能夠運用AI的企業大多需要自己完成算法、算力、數據平台的搭建。換句話說,你要做出一盤菜,得自己種植、採摘,想好如何炒,最後自己動手炒……這帶來的一個問題就是,企業需要配備專門的AI開發團隊,開發團隊要擁有很高的AI資質,這對於大部分企業,特別是中小企業來說是很不現實的。

曠視開源底層AI框架,瞄準AI基礎設施建設 3

圖 / 曠視官方

OK,那我不自己炒,買個泡麵填肚子如何?也行,也有AI企業提供一些工具,但它們的特點是功能單一而且能力偏弱,二次開發難且潛力弱。所以,僅靠“泡麵”只能一時維生,無法長期發展。

天元框架有什麼優勢?我們仍用炒菜來打比方:算法研發就像是烹飪藝術,解決場景需要的製化算法就像是一盤菜,而深度學習框架就是炒菜(訓練算法)的鍋具。在傳統開發環境中,AI開發者們會根據算法方向的不同而選用不同的框架,但是從原型設計到部署還需要切換開發工具,就像廚師每炒一道菜還要換個鍋,鍋和灶眼也不見得適配。

而為了解決這些問題,曠視推出了訓練、推理及部署一體化的工業級深度學習框架,這樣一來,天元對於AI開發者來說,就是一套智能化的一體鍋,覆蓋從訓練到推理再到部署裝盤全流程。不僅自帶菜譜(模型庫)還支持自定義菜譜(模型導入),具備顯示屏靈活可控、方便操作,特別適合既要求美味,又追求效率和體驗的AI生產者。

除此之外,曠視還為開發者搭建了覆蓋算法研發全流程的AI生產力平台Brain++,在深度學習框架之外,提供數據管理和計算調度的支持。對應到炒菜的流程中,就是為“AI大廚”們準備了一間集成化、現代化的中央廚房,不僅有智能一體鍋(框架),還包括配菜間(數據)和燃氣灶台(算力)。

曠視從2013年左右開始做深度學習,在2014年完成了自研框架的搭建,再經過6年的產業實踐和工業驗證,正式於2020年3月向全球開發者開源,是安全可靠的國產深度學習框架,也見證了中國AI企業的世界性崛起。

新基建需要“基建的基建”

與2012年興起的AI熱相伴隨的,是AI如何普及和為廣大非技術性企業使用的推廣普及問題。這個問題的更深一層,是對AI真正的產業化潛力和普及速度的追問。

有這種想法,不足為奇。如前所述,AI在普及早期,的確是面臨應用難、推廣難的問題,這不是一兩年可以解決的,需要幾代工程師的努力。

曠視在這個過程中也面臨同樣的問題。曠視自己趟過的路——是從早期的算法層向上生長,結合行業需求形成了軟硬結合的全棧解決方案進入到了應用層,並構建瞭如機器人操作系統河圖、城市管理操作系統等數字化中台或硬件中台。

曠視開源底層AI框架,瞄準AI基礎設施建設 4

圖 / 曠視官方

但是曠視很快發現一個問題——曠視自己的開發能力是有限的,但場景中層出不窮的新問題是無限的。

特別是大量面對具體場景的算法,需要解決的不僅僅是算法問題,還需要深刻的行業know-how,也就是必須由本行業的專家提出問題的最佳解法,然後變成AI算法。但本行業的專家未必懂AI,這就造成了圍繞具體場景開發新的算法很難、很慢,且成本很高。

所以,為什麼我們看到AI最早在公共服務市場爆發呢?是因為城市管理機構有迫切的需求,又有很強的支付能力,所以很多AI企業才能用項目制的方式來解決具體的問題。

曠視科技意識到,這種模式只適合早期,要想讓AI真的普及,真的形成生產力,從根本上來說,應該先解決基礎設施建設的問題,才能讓AI應用擁有持續的動力。我們或許可以說,這是引爆生產力的前提。

曠視CTO唐文斌則認為,在AI這個行業裡,只有AI芯片平台和AI生產力平台能夠被稱為AI基礎設施。拋開芯片這個硬件平台不談,生產力平台是什麼?行業一直沒有清楚的答案。

而曠視此次的發布會,就是曠視對於“AI生產力平台”這個概念的定義。簡單來說——曠視認為算法研發和普通編程不同,是一個系統工程,所以就需要一個能夠協同優化數據、算法及算力的平台級產品,曠視對此提出了“AI生產力平台”的概念,並發布了曠視自研的AI生產力平台——Brain++。

曠視開源底層AI框架,瞄準AI基礎設施建設 5

圖 / 曠視官方

曠視Brain++的出現,是為了幫助企業和開發者提升AI生產效率,規範生產流程,讓每個擁有小場景需求的人都可以做出能夠解決其關鍵問題的靠譜算法,真正做到“深度學習,簡單開發”。

張小龍經常講的一句話是,把簡單留給用戶,把複雜的事情留給開發者。所以,要想明白曠視的Brain++是如何實現“深度學習,簡單開發”,我們還得略微研究一下這個平台的“三位一體”能力。

三位一體是指的AI落地的三要素——算法、數據和算力在一個平台中得到了動態平衡的最優解。那麼,具體到曠視的Brain++,我們看到除了天元框架來起到一個算法生產中台的作用外,曠視也同步構建了深度學習計算平台MegCompute和數據管理平台MegData,這些與天元框架共同組成了Brain++。

簡而言之,計算平台MegCompute解決的是優化計算資源配置的問題,在沒有調配平台的時候,算力分配依靠人工“排班”,缺乏彈性。舉個簡單的例子,A​​工程師分配到了4塊顯卡的算力,但他不會24小時工作,當他不用的時候,別人也無法用,而反過來A如果臨時需要增加算力,別人的卡他也沒法用。而算力調度平台可以動態分配,你不用的時候我可以用,做到99.99%飽和的情況下又不過度浪費。

曠視開源底層AI框架,瞄準AI基礎設施建設 6

圖 / 有Megcompute前(多人共享計算資源效率低),來源:攝圖網,基於VRF協議

曠視開源底層AI框架,瞄準AI基礎設施建設 7

圖 / 有Megcompute前(彈性計算空間),來源:攝圖網,基於VRF協議

數據管理平台MegData則是解決了數據清洗、標註的標準化和自動化,據說以前AI行業有個玩笑,說人工智能實現的基礎是“人工”,也就是手動標註。但MegData解決的問題是,如果你把一張照片標註為女性,那麼下次同類的照片會自動標註,久而久之,系統會被訓練的更為精準、智能,從而解決了數據燃料的“熱效率”問題。

而這兩個體系和天元的結合,則意味著AI基礎設施自身的數據化、智能化配置達到了一個新的高度,總體效果則是極大降低了人工勞動,讓AI研發者的重點從如何調教AI本身,變成如何解決具體問題。

發布會現場,天元開源項目負責人田忠博介紹,曠視的1400多名開發人員自己首先是Brain++的第一批用戶,他們在研發過程中遇到了很多痛點,這些痛點也是行業共通的痛點,所以曠視在打造天元和Brain++的過程中就在不斷克服並解決這些問題。

曠視開源底層AI框架,瞄準AI基礎設施建設 8

圖 / 曠視官方

“我們可以說是幫用戶先趟了一遍’雷’,在Brain++開發的過程中遇到的問題,基本都是當前企業應用AI算法中會遇到的共性問題,從前端的數據生產、預處理和標註,到後期的模型訓練、優化和算法封裝,以及最終如何幫助AI業務落地,這些問題我們都遇到並解決了,”田忠博表示,“因為有痛點,有針對性,所以具備算法與框架的協同、高效訓練系統和大規模能力的Brain++能夠很好地克服這些問題。比如在算法訓練環節,天元(MegEngine)可以幫助開發者實現大規模的、彈性的訓練,將產品從實驗室原型到工業部署原本數週或數月的時間成本縮短到小時級。”

這意味著在天元的加持下,企業可能只要以小時為單位的時間投入,就能把原本曠日持久的算法訓練和推理的任務搞定,從而盡快形成算法進行產品的部署和封裝。這對於大量本身不具備AI底層能力的企業來說,極大地降低了應用門檻,提升了AI應用的速度和優化效率。

發布會中,曠視除了重磅開源深度學習框架天元,還向業界展示了Brain++商業化的全景。 “我們不僅將把深度學習框架開源使用,也將開放數據能力、算力能力給企業級種子用戶,至少能夠先讓一部分企業實現AI+。”曠視資深副總裁趙立威提到,Brain++可以為企業用戶提供AI生產全流程的服務,從專業諮詢,到數據生產、模型優化,再到私有化AI平台的建設運維,滿足各行業在“AI+”的過程中降本增效、自主安全和商業創新的訴求。

曠視開源底層AI框架,瞄準AI基礎設施建設 9

圖 / 曠視官方

而這個平台的建立,也標誌著曠視的客戶,可以建立自己的競爭壁壘。

行業研究顯示,隨著數字化和智能化進程加速,未來企業的護城河之戰將從“如何獲取更多數據”轉為“如何更智能地利用數據”。 AI產業的馬太效應持續加劇,這些壁壘將越來越高,各行業的“AI+”水平差距也將拉得越來很大。那麼,曠視推出的深度學習框架和AI生產力平台就是打破這些壁壘的“殺手鐧”。

應用面面觀

不得不說,一場疫情除了給我們帶來沉重的壓力,也壓出了中國數字化經濟的韌性和創造力,幾乎所有涉及產業互聯網的企業,如騰訊、阿里、百度、華為及曠視都在利用AI在抗疫賦能上進行了種種的努力。

可以說,疫情是國民經濟的試金石,也是AI經濟的試驗場。

舉一個我們每個人都熟悉的例子——每個小區門口都配備了測溫員,對於進出人員進行測溫,由於小區的人流畢竟有限,所以人力尚可支持。

但是對於機場、車站及口岸這種人流超級密集的地方,人工測溫就有極大的短板,不僅速度慢而且還容易增加感染風險。

在這個壓力下,曠視在疫情期間通過Brain++高效的算法研發能力,用了不到10天的時間就完成了AI測溫產品的部署,其中最核心的算法開發,只用了不到兩天的時間。

曠視開源底層AI框架,瞄準AI基礎設施建設 10

圖 / 曠視官方

簡而言之,曠視的視覺AI可以連續且動態的檢測大人流場景中每個人的體溫,實時判斷其是否經過測溫,再調用非接觸的紅外設備進行測溫,遇到溫度異常會自動告警。

如果以前這個場景需要20個測溫員,那現在只需要一個設備的操作員,節省下來的人力就相當於大大增加了設備的生產效率。而這其中,非接觸測溫設備相當於四肢,真正發揮作用的是AI識別系統。問題的關鍵在於,如果按以往的開發模式,開發一套這個系統可能需要200個工程師忙一周。

表面上節省了20個測溫員,深層次節省了200個工程師,而且極大地提升了效率,這就是AI基礎社會搭建完成後對社會生產力的提升,它不是一個單向提升,而是一個全向提升。

如果說上面的例子主要是體現了天元框架迅速生產算法的問題,我們可以再看一個Brain++在製造業裡發揮“三位一體”能力的問題。

曠視有一家製造業的典型客戶,它的配電產品生產過程中,經常面臨配件顏色搭配錯誤、字符印刷殘缺等質量問題。

長期以來,這個問題主要靠肉眼來識別,後期引入了傳統的機器視覺,但效果不佳。

讓我們看看Brain++是怎麼解決這個問題的。

首先,數據管理平台MegData通過數據增廣技術,可以為業務場景提供了大量的訓練數據,降低工廠採集整理數據的成本;而深度學習框架MegEngine把訓練、推理和部署一體化,實現了新的算法模型的快速選型、優化和封裝,加上足夠的算力分配,Brain++“三位一體”的結果就是,新的智能質檢算法很快出現,有效地降低了生產線中顏色錯誤、字符殘缺漏檢率和誤檢率,極大地提升了工廠的生產效率。

其實,以上的兩個案例僅僅是較為大型的應用場景,我們真實面臨的還有許多“小場景”。而這些小場景意味著中小企業在應用AI時千變萬化的需求,對於AI公司來說,解決這些問題不難,難的是以非常低的成本和很高的速度為這些企業提供它們的支付能力允許的服務,增加它們的AI競爭力。

打個比方,早期的AI就像米其林三星的餐廳,好吃但是太貴,而且一家店只有十幾個位置。而曠視做的工作,相當於復刻了米其林的美食基因又把它中央廚房化了,這樣大家都可以吃到便宜又好的菜,而且高度個性化。

即使這個解決方案以前沒有出現過,Brain++也能迅速創新,這對於場景千變萬化的中小企業來說,極大地降低了獲取新能力的門檻和成本,從而為降本增效,打開傳統積極的發展枷鎖提供了條件。

舉例說,比如某個製衣廠在疫情期間臨時轉型生產口罩,但缺乏標準化的質檢流程導致良品率下降,那麼傳統的辦法就是增加人工檢驗的人力;又比如某些新零售門店,要動態分析消費者在貨架前停留的時間和補貨的頻率,從而優化供應鏈,那就需要很多人看著監控做記錄。而AI產業的發展方向是避免AI技術成為企業的成本中心,這就需要發力底層的AI基礎設施建設,激發生產力才加速算法的創新效率,從而分攤技術的投入成本。

曠視開源底層AI框架,瞄準AI基礎設施建設 11

圖 / 曠視官方

為此,我們看到,整個AI產業要實現真正意義上的普及,需要具備為每個社會經濟細胞賦能的能力,而這種能力則取決於整個國家、產業的AI基礎社會建設,也取決於企業AI生態的基礎是否厚實。

就好比智能手機流行爆發總是在高消費的城市市場,但能真正發揮普及作用往往取決於“村村通”式的廣泛覆蓋,後者才是考驗基礎建設能力的關鍵節點。

疫情蒼穹下,AI大普及的時間窗口已經開啟,而曠視的努力則為自己通向這個藍海市場掙得了一張入場券。與巨頭同框,只是個開始,遠不是終局。

特別聲明:本文為合作媒體授權DoNews專欄轉載,文章版權歸原作者及原出處所有。文章係作者個人觀點,不代表DoNews專欄的立場,轉載請聯繫原作者及原出處獲取授權。