2020年伊始,全球領(lǐng)先的研究和咨詢(xún)機構Gartner發(fā)布了《2020年十大戰略性技術(shù)趨勢:民主化》報告,系統闡述了“AI民主化”在企業(yè)智能化轉型過(guò)程中的意義,以及AutoML對實(shí)現AI民主化的關(guān)鍵作用。在該份報告中,第四范式獲得了Gartner的認可,被列入了AutoML技術(shù)代表性廠(chǎng)商。為此,第四范式聯(lián)合Gartner發(fā)布了全球首個(gè)針對AutoML的系列白皮書(shū)——《AI for Everyone,AutoML引領(lǐng)AI民主化》以及《AutoML成就指數級增長(cháng):感知、認知、決策算法布局提升企業(yè)決策水平》。
今天,AutoML正在幫助來(lái)自各行各業(yè)、處于不同技能水平和發(fā)展階段的企業(yè)落地AI應用。毫無(wú)機器學(xué)習經(jīng)驗的醫生使用AutoML,提升了新生兒體重預測的準確率;第三方互聯(lián)網(wǎng)營(yíng)銷(xiāo)平臺的科學(xué)家使用AutoML,相較專(zhuān)家規則進(jìn)一步提升了廣告推薦點(diǎn)擊率;大型企業(yè)軟件開(kāi)發(fā)人員使用AutoML實(shí)現了AI應用的規?;涞?,將應用上線(xiàn)周期由6個(gè)月縮短至1個(gè)月。
《AI for Everyone,AutoML引領(lǐng)AI民主化》報告結合了Gartner對企業(yè)AI應用現狀的調查報告,針對企業(yè)AI應用過(guò)程中的兩大關(guān)鍵挑戰——高技能門(mén)檻和低開(kāi)發(fā)效率,深入解析了支撐AI民主化的引領(lǐng)性技術(shù)AutoML,并提出實(shí)現AutoML落地的正確方式,旨在幫助企業(yè)從容面對智能化轉型中的機遇和挑戰。
AI人才供需嚴重失衡,深層原因是高人才門(mén)檻和低開(kāi)發(fā)效率
近年來(lái),成功應用AI所帶來(lái)的業(yè)務(wù)價(jià)值增長(cháng),使得企業(yè)對AI應用需求呈現井噴增長(cháng)趨勢。Gartner預測,2022年企業(yè)平均部署人工智能和機器學(xué)習項目將達到35個(gè)。
2019-2022年企業(yè)AI/ML項目平均部署數量
面對即將到來(lái)的AI應用場(chǎng)景爆發(fā),企業(yè)是否已經(jīng)做好充足準備?答案是否定的。在Gartner調查中,56%的受訪(fǎng)企業(yè)都將“人才不足”作為AI項目落地的首要挑戰。
阻礙企業(yè)應用AI的主要挑戰
AI人才不足體現在兩個(gè)方面,一是數量匱乏。以中國地區為例,教育體系每年培養的AI高級人才數量只有千人級別,遠遠無(wú)法滿(mǎn)足每年達百萬(wàn)級的AI場(chǎng)景數增長(cháng)。二是分布不均,全球AI科學(xué)家高度集中在美國硅谷和北京中關(guān)村,而絕大多數企業(yè)所在地都沒(méi)有足夠的AI科學(xué)家。
人才缺失阻礙企業(yè)享受AI帶來(lái)的紅利,究其背后原因,是過(guò)高的人才門(mén)檻和低下的開(kāi)發(fā)效率,導致AI人才無(wú)法實(shí)現快速培養并有效產(chǎn)出價(jià)值。
首先是人才門(mén)檻過(guò)高。傳統機器學(xué)習模型構建通常由問(wèn)題定義、數據收集、特征工程、模型訓練、模型評估等環(huán)節組成。模型構建難度大、技術(shù)門(mén)檻高,往往需要具備專(zhuān)業(yè)知識的科學(xué)家完成。培養AI科學(xué)家的門(mén)檻極高,往往需要8-10年時(shí)間,即使是IT專(zhuān)業(yè)人員,沒(méi)有經(jīng)過(guò)長(cháng)時(shí)間的學(xué)習和實(shí)踐積累,也很難掌握模型構建、參數調整等關(guān)鍵技能。
其次是開(kāi)發(fā)效率低下。即使那些投擲重金聘請科學(xué)家的企業(yè),也并未收獲到所期望的業(yè)務(wù)價(jià)值。這背后的突出問(wèn)題是,科學(xué)家大量時(shí)間都消耗在數據、特征及模型選擇等重復性工作上。而真正用于定義業(yè)務(wù)問(wèn)題、提供創(chuàng )新性解決方案的時(shí)間卻少之又少。這些工作占用了科學(xué)家的寶貴時(shí)間,導致其建模效率不足,使其無(wú)法發(fā)揮出企業(yè)所期待的價(jià)值,企業(yè)AI應用落地進(jìn)程嚴重滯后。
AutoML開(kāi)啟企業(yè)AI民主化實(shí)踐,讓AI發(fā)展突破人的瓶頸
AI人才的高技能門(mén)檻和低開(kāi)發(fā)效率,讓人工智能的發(fā)展受制于“人”。AutoML作為支撐AI民主化發(fā)展的代表性技術(shù),將賦予企業(yè)以低門(mén)檻、高效率實(shí)現AI規?;_(kāi)發(fā)的能力。
AutoML通過(guò)自動(dòng)化機器學(xué)習算法覆蓋建模全流程,減少人在數據準備、特征工程、模型訓練和模型評估等環(huán)節重復性工作,釋放AI人才被浪費的寶貴時(shí)間,解決AI專(zhuān)業(yè)人才短缺和開(kāi)發(fā)效率不足的難題。
Gartner預測,到2023年,有40%的公民數據科學(xué)家(即企業(yè)的IT開(kāi)發(fā)者或業(yè)務(wù)人員)將使用自動(dòng)化機器學(xué)習來(lái)完成業(yè)務(wù)場(chǎng)景的建模,這將極大程度釋放AI帶來(lái)的價(jià)值。
AutoML自動(dòng)化機器學(xué)習建模全流程
目前,頂級AutoML建模效果已經(jīng)與頂尖的數據科學(xué)家水平相當。在全球知名的Kaggle機器學(xué)習競賽中,第四范式的AutoML算法在結構化和非結構化等挑戰項目中的建模效果戰勝了超過(guò)98%數據科學(xué)參賽選手,意味著(zhù)每50位全球頂尖數據科學(xué)競賽選手,只有1位能戰勝第四范式的AutoML。
AutoML的大規模應用,需要以產(chǎn)品化形式輸出和投產(chǎn)
頂尖的AutoML算法相當于A(yíng)I應用構建的“引擎”。而AI應用的開(kāi)發(fā)是一項非常復雜的精細化工程,涉及諸多環(huán)節。假如沒(méi)有一套完整的AI開(kāi)發(fā)工具,各個(gè)環(huán)節就會(huì )變成彼此割裂、互不兼容的“孤島”,不僅導致科學(xué)家在開(kāi)發(fā)過(guò)程中疲于奔命,也會(huì )讓AI規?;兂伞芭萦啊?。只有打造基于A(yíng)utoML算法“引擎”的“自動(dòng)化工廠(chǎng)”,實(shí)現全面產(chǎn)品化,才能真正推動(dòng)AI產(chǎn)業(yè)化落地。
為此,第四范式將AutoML算法進(jìn)行了產(chǎn)品化封裝,打造了一款低門(mén)檻、高效率、持續優(yōu)化的自動(dòng)化AI生產(chǎn)力平臺Sage HyperCycle ML。作為一款成熟的企業(yè)級AutoML產(chǎn)品,Sage HyperCycle ML有三方面的優(yōu)勢,首先通過(guò)領(lǐng)先AutoML算法加持,降低了使用人員的技能門(mén)檻,使得AI應用開(kāi)發(fā)不再局限于科學(xué)家,把企業(yè)IT開(kāi)發(fā)者及業(yè)務(wù)人員轉變?yōu)锳I模型開(kāi)發(fā)的生力軍;其次是AI建模的全流程自動(dòng)化,提升落地效率,將AI應用上線(xiàn)周期從以半年為單位縮短至周、天、乃至小時(shí)級別;此外,Sage HyperCycle ML的閉環(huán)自學(xué)習技術(shù)支持模型持續動(dòng)態(tài)調優(yōu),實(shí)現小時(shí)、分鐘乃至秒級的數據更新和模型迭代,解決了模型上線(xiàn)后模型迭代頻率低、人力成本居高不下的問(wèn)題。
極簡(jiǎn)界面的第四范式Sage HyperCycle ML平臺
通過(guò)打造該平臺,將AutoML算法嵌入到平臺產(chǎn)品中,算法的“引擎”作用才可能充分發(fā)揮,從而支撐AI的規?;涞?。
AI產(chǎn)品和工具的落地,需要正確的方法論指導
AutoML的產(chǎn)品化,意味著(zhù)機器學(xué)習項目取得了一半的成功。然而,模型應用上線(xiàn)過(guò)程中,錯誤的認知造成各種各樣的問(wèn)題和挑戰。這些問(wèn)題和挑戰影響模型效果,延長(cháng)建模周期,帶來(lái)極大的人力和時(shí)間消耗,嚴重影響企業(yè)業(yè)務(wù)價(jià)值創(chuàng )造。
只有當AutoML產(chǎn)品被正確的使用,AI項目才能真正落地并創(chuàng )造業(yè)務(wù)價(jià)值。為此,第四范式凝練出AI項目落地的方法論,解決模型構建與模型應用上線(xiàn)之間存在的割裂問(wèn)題,幫助企業(yè)實(shí)現AI應用落地。
具體來(lái)看,第四范式針對企業(yè)落地AI過(guò)程中四個(gè)方面的誤區提出了解決辦法。首先,在系統構建方面,企業(yè)應當搭建閉環(huán)的數據治理架構,明確定義AI的目標、行為和反饋,避免在數據治理過(guò)程中消耗大量不必要的精力;第二,在數據準備方面,企業(yè)應當基于線(xiàn)上的單一數據來(lái)源進(jìn)行收集和處理,避免多來(lái)源數據的形式和邏輯不一致,導致模型效果與實(shí)驗室效果產(chǎn)生巨大差距乃至反轉;第三,在模型構建方面,企業(yè)應當利用自動(dòng)化的機器學(xué)習平臺實(shí)現全流程自動(dòng)化,讓業(yè)務(wù)人員也能開(kāi)發(fā)AI模型,避免AI落地受制于“人”。第四,在模型上線(xiàn)后,企業(yè)應通過(guò)自學(xué)習技術(shù)保持模型效果的持續迭代,避免模型停滯不前,效果隨時(shí)間推移而衰減?;谡_的方法論,企業(yè)利用AI產(chǎn)品實(shí)現AI的規?;涞貙睦硐胱?yōu)楝F實(shí)。
總結來(lái)說(shuō),面對AI落地需求井噴和AI人才嚴重不足的失衡局面,AI民主化是實(shí)現AI規?;涞貞?、創(chuàng )造更大商業(yè)價(jià)值的必然路徑。而AutoML技術(shù)是AI民主化的關(guān)鍵技術(shù)支撐。通過(guò)將AutoML技術(shù)進(jìn)行產(chǎn)品化嵌套,配合正確的落地方法論,構成一套系統的AutoML落地解決方案和路徑,這將使更多的企業(yè)和人才有機會(huì )享受到AI帶來(lái)的效率,從而釋放巨大的商業(yè)價(jià)值。
完整報告限時(shí)免費獲取通道已開(kāi)通,點(diǎn)擊鏈接獲取。
https://www.gartner.com/technology/media-products/pdf.jsp?g=4Paradigm-1-1YA8UURF-CHS



