7月7日，由世界人工智能大會(huì )（WAIC）主辦的首屆全球算法最佳實(shí)踐典范大賽（BPAA）總決賽暨算法峰會(huì )在滬舉辦。作為全球前沿算法應用型賽事，BPAA面向來(lái)自中國、北美、歐洲、亞太賽區的國際參賽團隊，從七大區域、五大領(lǐng)域角逐出優(yōu)秀頂尖算法項目，打造全球算法高地。
第四范式副總裁、主任科學(xué)家涂威威作為大賽主評委出席此次峰會(huì )，并發(fā)表了題為「數據驅動(dòng)的決策智能：環(huán)境學(xué)習與強化學(xué)習」的主題演講，詳細闡述了如何通過(guò)兩大技術(shù)構建企業(yè)AI決策能力并落地應用。
AI加持 智能決策轉向“人機協(xié)同”
眾所周知，企業(yè)經(jīng)營(yíng)離不開(kāi)決策，決策的質(zhì)量決定了企業(yè)管理水平，進(jìn)而深刻影響企業(yè)發(fā)展。此前，企業(yè)通過(guò)構建“以人為中心”的分層決策體系來(lái)運作，例如高層決定公司重要戰略，業(yè)務(wù)負責人決定業(yè)務(wù)發(fā)展方向等。
決策過(guò)程可參考著(zhù)名的OODA Loop決策周期理論，由“觀(guān)察(Observe)- 判斷(Orient)- 決策(Decide)- 行動(dòng)(Act)”四個(gè)環(huán)節組成的相互關(guān)聯(lián)、相互重疊的循環(huán)周期?！坝^(guān)察”，即需要企業(yè)全面觀(guān)察，為決策提供充足的信息依據；“判斷”，基于觀(guān)察精準判斷所處現狀及未來(lái)發(fā)展，為決策提供參考結論；“決策”是指制定較優(yōu)的決策方案，為整個(gè)決策流程走好關(guān)鍵一步；“行動(dòng)”則是基于前三步的成果采取相應措施。在整個(gè)決策周期中，能否理想的完成觀(guān)察、判斷及決策環(huán)節，決定了業(yè)務(wù)決策的整體質(zhì)量和效果。
然而，企業(yè)依靠人做決策的過(guò)程中面臨多重挑戰。人的計算能力是有限的，只能通過(guò)抓大放小的方式作出有限的判斷和決策，且龐大的企業(yè)組織帶來(lái)的決策效率等問(wèn)題，難以對瞬息萬(wàn)變的商業(yè)環(huán)境快速反應。
因此，企業(yè)未來(lái)的決策體系將由“以人為中心”走向“人機協(xié)同”，借助AI不知疲倦、面面俱到的優(yōu)勢，新的決策體系可以在海量的數據中全面學(xué)習，并在分秒間做出有效決策，提升企業(yè)決策效率，打通組織決策閉環(huán)。
“人機協(xié)同”的體系主要分為兩種模式：計算機輔助決策與計算機自主決策。
環(huán)境學(xué)習 讓計算機輔助決策變得“有理有據”
此前，輔助決策主要是借助數字孿生、仿真模擬等技術(shù)讓機器來(lái)輔助人做決策。當前的數字孿生是利用傳感器、業(yè)務(wù)系統收集的數據，打造一個(gè)反映物理世界全生命周期的數字化系統。其核心價(jià)值在于能幫助企業(yè)更好的觀(guān)察業(yè)務(wù)發(fā)展，即解決了OODA的第一步。
然而，大多數數字孿生系統只解決了觀(guān)察的問(wèn)題，各個(gè)業(yè)務(wù)節點(diǎn)的數據采集往往是孤立的，因此，數據之間互不相通，造成了孿生數據孤島。同時(shí)，由于實(shí)際業(yè)務(wù)決策非常復雜，如果要覆蓋所有可能的業(yè)務(wù)狀況與決策手段，所需要的數據是指數級的，當前采集的數據量級遠不足以支撐所有決策情況的全覆蓋，甚至可以說(shuō)是永遠不夠的。此外，更為關(guān)鍵的是，現有的數字孿生無(wú)法解決以下3類(lèi)輔助決策的關(guān)鍵問(wèn)題，從而限制了數字孿生的應用發(fā)展。
1.What – If類(lèi)問(wèn)題
復盤(pán)：如果當時(shí)多儲備一些XX零件，訂單滿(mǎn)足率可以提高多少？
預測：如果未來(lái)多增加一個(gè)XX設備，工廠(chǎng)的產(chǎn)能可以提高多少？
2.預測類(lèi)問(wèn)題（一種特殊的What-If類(lèi)問(wèn)題）
未來(lái)銷(xiāo)量多少？
3.決策類(lèi)問(wèn)題
如何排產(chǎn)？
另一種方式是通過(guò)手工模擬器進(jìn)行仿真模擬去輔助人做判斷，即OODA第二步。它可以一定程度上回答What – If類(lèi)問(wèn)題，應用在電路設計、物流系統、空氣動(dòng)力學(xué)研究等領(lǐng)域。但是，由于其主要依托于人的經(jīng)驗和知識，實(shí)際業(yè)務(wù)千差萬(wàn)別，專(zhuān)家很難面面俱到，只能抓大放小，因此也存在精準度低、成本高、難以應對環(huán)境快速變化、難以模擬人的行為等問(wèn)題。
對此，第四范式將OODA中的“觀(guān)察”、“判斷”進(jìn)行結合，融合了數據驅動(dòng)的機器學(xué)習與專(zhuān)家知識驅動(dòng)的機理模型，提出了新的計算機輔助決策技術(shù)「環(huán)境學(xué)習」，以此構成接近真實(shí)世界的虛擬環(huán)境，很好的彌補了數字孿生和模擬仿真技術(shù)缺陷。
在數據方面，針對專(zhuān)家有限決策以及實(shí)際業(yè)務(wù)數據量不足以預測的問(wèn)題，環(huán)境學(xué)習融合了專(zhuān)家經(jīng)驗與大數據，打通數據孤島。同時(shí)，針對專(zhuān)家無(wú)法定量的分析問(wèn)題，環(huán)境學(xué)習可以從現有的數據中學(xué)習，借助機器學(xué)習以及大規模非梯度優(yōu)化技術(shù)，補足虛擬環(huán)境定量細節且精確度高，并通過(guò)機器不斷的自學(xué)習，快速迭代，對環(huán)境變化做出及時(shí)反應，以更好地解決 What-If、預測類(lèi)問(wèn)題。同時(shí)，環(huán)境學(xué)習還會(huì )借助如逆強化學(xué)習等技術(shù)手段，更好地學(xué)習決策環(huán)境中人的激勵模型，從而提升對決策環(huán)境中人的行為預測泛化能力。
由于綜合了專(zhuān)家知識、機理模型和數據驅動(dòng)的機器學(xué)習能力，「環(huán)境學(xué)習」能夠構建更為精準的虛擬環(huán)境，因此可以為人的決策提供更加精準的預判，定量推演在不同決策情況下的業(yè)務(wù)發(fā)展，從而使得人做決策不再“拍腦袋”，變得有據可依。
此前，為了更好地輔助疫情防控，第四范式率先將「環(huán)境學(xué)習」技術(shù)應用在疫情防控系統中，為追蹤傳播路徑、篩查高危人群、推演疫情發(fā)展等疫情防控關(guān)鍵環(huán)節提供參考。相比經(jīng)典的傳染病SEIR模型，基于「環(huán)境學(xué)習」的方案推演誤差降低超過(guò)90%。
環(huán)境學(xué)習+強化學(xué)習 加速計算機自主決策廣泛應用
「環(huán)境學(xué)習」解決了“觀(guān)察”、“ 判斷”，通過(guò)學(xué)習得到的虛擬環(huán)境，可以輔助人進(jìn)行更好地決策，但仍然未實(shí)現機器的自主決策，即便有了環(huán)境學(xué)習，人做決策的時(shí)候往往也很難做到精準與實(shí)時(shí)。
首先，實(shí)際決策場(chǎng)景中影響因素復雜且繁多；其次，實(shí)際業(yè)務(wù)關(guān)注長(cháng)期回報，需要連續決策而非單次決策，而且決策效果往往延遲體現；最后，實(shí)際業(yè)務(wù)需要精細化決策，決策量龐大，部分業(yè)務(wù)還需要實(shí)時(shí)決策（比如毫秒級響應）。諸如以上原因，讓現有的基于人和傳統運籌學(xué)的決策優(yōu)化方式，很難有效解決實(shí)際業(yè)務(wù)中的大規模連續實(shí)時(shí)精準決策問(wèn)題。
業(yè)界較為常見(jiàn)的做法，是利用「強化學(xué)習」技術(shù)，通過(guò)決策體與決策環(huán)境不斷的交互，形成反饋，從而在各種試錯中找到最大的收益方式。
相比于人和運籌學(xué)，強化學(xué)習更為適合解決復雜實(shí)際決策問(wèn)題。首先，得益于深度學(xué)習技術(shù)的發(fā)展，深度強化學(xué)習技術(shù)借助深度學(xué)習，使得決策策略可以融合復雜場(chǎng)景的大量因素；其次，結合功勞分配（Credit Assignment），可考慮連續決策的長(cháng)期影響；同時(shí)可以依靠計算機強大的計算能力，提供大量精細化決策，并依靠分層強化學(xué)習技術(shù)，實(shí)現不同決策層級的自主決策。不同于傳統運籌學(xué)技術(shù)依靠漫長(cháng)復雜求解過(guò)程來(lái)響應實(shí)際決策需求，強化學(xué)習訓練得到的策略往往具有極強的實(shí)時(shí)響應能力。
然而，強化學(xué)習采用試錯方式學(xué)習，在實(shí)際應用中，強化學(xué)習的學(xué)習過(guò)程需要與真實(shí)環(huán)境有大量的交互，真實(shí)環(huán)境中的試錯代價(jià)往往是極其高昂的（比如無(wú)人駕駛、產(chǎn)線(xiàn)調整等），且是不可逆的（比如新冠疫情防疫中，若嘗試封城那就無(wú)法獲知不封城的結果，若不封城就無(wú)法獲知封城的結果）。由于當前強化學(xué)習技術(shù)極低的樣本利用效率，企業(yè)難以支撐強化學(xué)習大規模的試錯成本與代價(jià)。
「環(huán)境學(xué)習」加速了「強化學(xué)習」落地應用，通過(guò)「環(huán)境學(xué)習」構建的虛擬環(huán)境可以幫助強化學(xué)習做低成本試錯和策略迭代，「環(huán)境學(xué)習」和「強化學(xué)習」的融合方案構建了機器的自主決策能力，從而打通了“觀(guān)察”、“ 判斷”、“ 決策”、“行動(dòng)”四大決策環(huán)節，AI直接解決決策類(lèi)問(wèn)題。
該方案能夠充分發(fā)揮機器的優(yōu)勢，實(shí)現數據驅動(dòng)的定量決策，在實(shí)時(shí)決策的同時(shí)，快速跟上業(yè)務(wù)變化，做到面面俱到的“機器理性”。同時(shí)也可以成為組織溝通媒介，提升協(xié)同效率，有助于打通組織決策閉環(huán)。
目前，第四范式基于「環(huán)境學(xué)習」與「強化學(xué)習」的方案已廣泛應用于產(chǎn)品研發(fā)、制造派工排產(chǎn)、博弈類(lèi)、推薦系統與市場(chǎng)營(yíng)銷(xiāo)等場(chǎng)景中，其中幫助某零售連鎖企業(yè)實(shí)現了精準銷(xiāo)量預測及智能補貨，供應鏈成本相較于基線(xiàn)降低20%以上，為供應鏈補貨、調撥、進(jìn)銷(xiāo)存計劃提供了科學(xué)參考依據。
