強化學習

強化學習嘅抽象圖解

強化學習（粵拼：koeng⁴ faa³ hok⁶ zaap⁶；英文：reinforcement learning，簡稱「RL」）係機械學習上嘅一種學習範式：喺強化學習嘅過程當中，研究者唔會有數據 ${\displaystyle \textstyle x}$ 俾個機械學習程式睇同跟住學－唔似得監督式或者非監督式學習，而係俾個程式自主噉同周圍環境互動（個環境可以係現場，又可以係一個模擬嘅環境）：喺每一個時間點 ${\displaystyle \textstyle t}$，個程式會產生一個用輸出嘅數字表示嘅動作，而跟住佢周圍個環境會俾返一啲回輸（feedback）－簡單啲講就係話返俾個程式聽，佢個動作啱唔啱。而個程式跟手就會根據呢個回輸計吓，睇吓要點樣改佢嗰啲參數，先可以令到下次佢做行動嗰陣得到正面回應嘅機會率高啲。

概念

一個強化學習過程可以模擬成一個馬可夫決策過程（Markov decision process）：

• 環境（environment）：
  • 環境有若有若干個可能狀態（state），$s$
  • 環境狀態可以因為個體嘅行動而改變，
  • 對個實驗者嚟講，環境狀態嘅改變規律－環境狀態嘅函數－可以係已知（如果係模擬環境），又可以係未知（如果係現實世界）。
• 個體（agent）：
  • 個體有若干個可能狀態，$S_{a}$
  • 個體有若干個可能行動（action），$a$
  • 政策（policy）－指「由外界感知到嘅 $s$」去到「要採取嘅行動 $a$」嘅關係，
  • $P_{a}(s,s')=\Pr(s_{t+1}=s'\mid s_{t}=s,a_{t}=a)$ 係喺時間點 $t$，做咗行動 $a$ 之後環境由 $s$ 變成 $s'$ 嘅機會率，
  • $R_{a}(s,s')$ 係強化或者叫回報（reward），簡單講反映咗「如果做咗行動 $a$ 之後環境由 $s$ 變成 $s'$，個個體有幾「鍾意」呢個結果」。

強化學習嘅用途好廣泛，例如可以用嚟教人工智能程式打機：只要研究者用某啲方法令個程式能夠感知遊戲嘅狀態同有方法向隻遊戲俾輸入，順利嘅話，強化學習可以令個程式學識玩隻遊戲。

應用例子

Play media

用強化學習教一個程式喺一個虛擬空間入面爬嘅前後示範

睇埋

• 機械學習
• 行為論
• 操作制約
• 強化

參考

• Auer, Peter; Jaksch, Thomas; Ortner, Ronald (2010). "Near-optimal regret bounds for reinforcement learning". Journal of Machine Learning Research. 11: 1563–1600.
• Busoniu, Lucian; Babuska, Robert; De Schutter, Bart; Ernst, Damien (2010). Reinforcement Learning and Dynamic Programming using Function Approximators. Taylor & Francis CRC Press. ISBN 978-1-4398-2108-4.
• François-Lavet, Vincent; Henderson, Peter; Islam, Riashat; Bellemare, Marc G.; Pineau, Joelle (2018). "An Introduction to Deep Reinforcement Learning". Foundations and Trends in Machine Learning. 11 (3–4): 219–354. arXiv:1811.12560. Bibcode:2018arXiv181112560F. doi:10.1561/2200000071.
• Powell, Warren (2007). Approximate dynamic programming: solving the curses of dimensionality. Wiley-Interscience. ISBN 978-0-470-17155-4.
• Sutton, Richard S.; Barto, Andrew G. (1998). Reinforcement Learning: An Introduction. MIT Press. ISBN 978-0-262-19398-6.
• Sutton, Richard S. (1988). "Learning to predict by the method of temporal differences". Machine Learning. 3: 9–44. doi:10.1007/BF00115009.
• Szita, Istvan; Szepesvari, Csaba (2010). "Model-based Reinforcement Learning with Nearly Tight Exploration Complexity Bounds" (PDF). ICML 2010. Omnipress. pp. 1031–1038. Archived from the original (PDF) on 2010-07-14.

拎

• Reinforcement Learning Repository.
• Reinforcement Learning and Artificial Intelligence (RLAI, Rich Sutton's lab at the University of Alberta).
• Autonomous Learning Laboratory (ALL, Andrew Barto's lab at the University of Massachusetts Amherst)/
• Hybrid reinforcement learning.
• Real-world reinforcement learning experiments at Delft University of Technology.
• Stanford University Andrew Ng Lecture on Reinforcement Learning.
• Dissecting Reinforcement Learning Series of blog post on RL with Python code.