- ÇöÀç À§Ä¡
- home > ÄÄÇ»ÅÍ¡¤ICT¡¤¾îÇÐ > ÄÄÇ»ÅÍ¡¤IT µµ¼ > ÄÄÇ»ÅÍ°øÇÐ > ´Ü´ÜÇÑ ½ÉÃþ°ÈÇнÀ[Á¦ÀÌÆà]
¿Å±äÀÌ ¸Ó¸®¸» xii
º£Å¸¸®´õ Èıâ xiii
̵̧ȍ xv
½ÃÀÛÇϸç xvi
°¨»çÀÇ ±Û xxi
CHAPTER 01 °ÈÇнÀ ¼Ò°³ 1
1.1 °ÈÇнÀ 1
1.2 MDP·Î¼ÀÇ °ÈÇнÀ 7
1.3 °ÈÇнÀ¿¡¼ ÇнÀÇÏ´Â ÇÔ¼ö 11
1.4 ½ÉÃþ°ÈÇнÀ ¾Ë°í¸®Áò 13
1.4.1 Á¤Ã¥ ±â¹Ý ¾Ë°í¸®Áò 14
1.4.2 °¡Ä¡ ±â¹Ý ¾Ë°í¸®Áò 15
1.4.3 ¸ðµ¨ ±â¹Ý ¾Ë°í¸®Áò 16
1.4.4 °áÇÕµÈ ¹æ¹ý 17
1.4.5 ÀÌ Ã¥¿¡¼ ´Ù·ç´Â ¾Ë°í¸®Áò 18
1.4.6 È°¼ºÁ¤Ã¥°ú ºñÈ°¼ºÁ¤Ã¥ ¾Ë°í¸®Áò 19
1.4.7 ¿ä¾à 19
1.5 °ÈÇнÀÀ» À§ÇÑ ½ÉÃþÇнÀ 20
1.6 °ÈÇнÀ°ú ÁöµµÇнÀ 22
1.6.1 ¿À¶óŬÀÇ ºÎÀç 23
1.6.2 Çǵå¹éÀÇ Èñ¼Ò¼º 24
1.6.3 µ¥ÀÌÅÍ »ý¼º 24
1.7 ¿ä¾à 25
PART I Á¤Ã¥ ±â¹Ý ¾Ë°í¸®Áò°ú °¡Ä¡ ±â¹Ý ¾Ë°í¸®Áò
CHAPTER 02 REINFORCE 29
2.1 Á¤Ã¥ 30
2.2 ¸ñÀû ÇÔ¼ö 31
2.3 Á¤Ã¥ °æ»ç 31
2.3.1 Á¤Ã¥ °æ»ç °è»ê 33
2.4 ¸óÅ×Ä«¸¦·Î Ç¥º»ÃßÃâ 36
2.5 REINFORCE ¾Ë°í¸®Áò 37
2.5.1 Çâ»óµÈ REINFORCE 38
2.6 REINFORCE ±¸Çö 39
2.6.1 ÃÖ¼Ò ÇüÅÂÀÇ REINFORCE ±¸Çö 39
2.6.2 ÆÄÀÌÅäÄ¡·Î Á¤Ã¥ »ý¼ºÇϱâ 42
2.6.3 Çൿ ÃßÃâ 44
2.6.4 Á¤Ã¥ ¼Õ½Ç °è»ê 45
2.6.5 REINFORCE ÈÆ·Ã ·çÇÁ 46
2.6.6 È°¼ºÁ¤Ã¥ ÀçÇö ¸Þ¸ð¸® 47
2.7 REINFORCE ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 50
2.8 ½ÇÇè °á°ú 53
2.8.1 ½ÇÇè: ÇÒÀÎÀ² ? ÀÇ È¿°ú 53
2.8.2 ½ÇÇè: ±âÁØ°ªÀÇ È¿°ú 55
2.9 ¿ä¾à 57
2.10 ´õ ÀÐÀ»°Å¸® 57
2.11 ¿ª»ç 58
CHAPTER 03 ȓȍ(SARSA) 59
3.1 Q ÇÔ¼ö¿Í V ÇÔ¼ö 60
3.2 ½Ã°£Â÷ ÇнÀ 63
3.2.1 ½Ã°£Â÷ ÇнÀ¿¡ ´ëÇÑ Á÷°ü 66
3.3 »ì»çÀÇ Çൿ ¼±Åà 73
3.3.1 ŽÇè°ú È°¿ë 74
3.4 »ì»ç ¾Ë°í¸®Áò 75
3.4.1 È°¼ºÁ¤Ã¥ ¾Ë°í¸®Áò 76
3.5 »ì»çÀÇ Àû¿ë 77
3.5.1 Çൿ ÇÔ¼ö: ¿¦½Ç·Ð Ž¿åÀû 77
3.5.2 Q ¼Õ½ÇÀÇ °è»ê 78
3.5.3 »ì»ç ÈÆ·Ã ·çÇÁ 80
3.5.4 È°¼ºÁ¤Ã¥ ¹èÄ¡ ÀçÇö ¸Þ¸ð¸® 81
3.6 »ì»ç ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 83
3.7 ½ÇÇè °á°ú 86
3.7.1 ½ÇÇè: ÇнÀ·üÀÇ È¿°ú 86
3.8 ¿ä¾à 87
3.9 ´õ ÀÐÀ»°Å¸® 88
3.10 ¿ª»ç 89
CHAPTER 04 ½ÉÃþ Q ³×Æ®¿öÅ©(DQN) 91
4.1 DQNÀÇ Q ÇÔ¼ö ÇнÀ 92
4.2 DQNÀÇ Çൿ ¼±Åà 94
4.2.1 º¼Ã÷¸¸ Á¤Ã¥ 97
4.3 °æÇè ÀçÇö 100
4.4 DQN ¾Ë°í¸®Áò 101
4.5 DQNÀÇ Àû¿ë 103
4.5.1 Q ¼Õ½ÇÀÇ °è»ê 103
4.5.2 DQN ÈÆ·Ã ·çÇÁ 104
4.5.3 ÀçÇö ¸Þ¸ð¸® 105
4.6 DQN ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 108
4.7 ½ÇÇè °á°ú 111
4.7.1 ½ÇÇè: ½Å°æ¸Á ¾ÆÅ°ÅØóÀÇ È¿°ú 111
4.8 ¿ä¾à 113
4.9 ´õ ÀÐÀ»°Å¸® 114
4.10 ¿ª»ç 114
CHAPTER 05 Çâ»óµÈ DQN 115
5.1 ¸ñÇ¥ ³×Æ®¿öÅ© 116
5.2 ÀÌÁß DQN 119
5.3 ¿ì¼±¼øÀ§°¡ ÀÖ´Â °æÇè ÀçÇö(PER) 123
5.3.1 Áß¿äµµ Ç¥º»ÃßÃâ 125
5.4 ¼öÁ¤µÈ DQNÀÇ ±¸Çö 126
5.4.1 ³×Æ®¿öÅ© ÃʱâÈ 127
5.4.2 Q ¼Õ½ÇÀÇ °è»ê 128
5.4.3 ¸ñÇ¥ ³×Æ®¿öÅ©ÀÇ ¾÷µ¥ÀÌÆ® 129
5.4.4 ¸ñÇ¥ ³×Æ®¿öÅ©¸¦ °®´Â DQN 130
5.4.5 ÀÌÁß DQN 130
5.4.6 ¿ì¼±¼øÀ§°¡ ÀÖ´Â °æÇè ÀçÇö 131
5.5 ¾ÆŸ¸® °ÔÀÓÀ» À§ÇÑ DQN ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 137
5.6 ½ÇÇè °á°ú 142
5.6.1 ½ÇÇè: ÀÌÁß DQN°ú PERÀÇ È¿°ú 142
5.7 ¿ä¾à 146
5.8 ´õ ÀÐÀ»°Å¸® 146
PART II °áÇÕµÈ ¹æ¹ý
CHAPTER 06 ¾îµå¹êƼÁö ÇൿÀÚ-ºñÆòÀÚ(A2C) 149
6.1 ÇൿÀÚ 150
6.2 ºñÆòÀÚ 150
6.2.1 ¾îµå¹êƼÁö ÇÔ¼ö 151
6.2.2 ¾îµå¹êƼÁö ÇÔ¼ö¿¡ ´ëÇÑ ÇнÀ 155
6.3 A2C ¾Ë°í¸®Áò 156
6.4 A2CÀÇ ±¸Çö 159
6.4.1 ¾îµå¹êƼÁö ÃßÁ¤ 160
6.4.2 °¡Ä¡ ¼Õ½Ç°ú Á¤Ã¥ ¼Õ½ÇÀÇ °è»ê 162
6.4.3 ÇൿÀÚ-ºñÆòÀÚ ÈÆ·Ã ·çÇÁ 163
6.5 ³×Æ®¿öÅ© ¾ÆÅ°ÅØó 164
6.6 A2C ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 166
6.6.1 n´Ü°è À̵æÀ» ÀÌ¿ëÇÑ A2C¸¦ Æþ °ÔÀÓ¿¡ Àû¿ë 166
6.6.2 GAE¸¦ ÀÌ¿ëÇÑ A2C¸¦ Æþ °ÔÀÓ¿¡ Àû¿ë 169
6.6.3 µÎ ¹ß º¸ÇàÀÚ ¹®Á¦¿¡¼ n´Ü°è À̵æÀ» ÀÌ¿ëÇÑ A2C 170
6.7 ½ÇÇè °á°ú 173
6.7.1 ½ÇÇè: n´Ü°è À̵æÀÇ È¿°ú 173
6.7.2 ½ÇÇè: GAEÀÇ ?°¡ ¹ÌÄ¡´Â È¿°ú 175
6.8 ¿ä¾à 176
6.9 ´õ ÀÐÀ»°Å¸® 177
6.10 ¿ª»ç 177
CHAPTER 07 ±ÙÀ§ Á¤Ã¥ ÃÖÀûÈ(PPO) 179
7.1 ´ë¸®¸ñÀû 180
7.1.1 ¼º´ÉºØ±« 180
7.1.2 ¸ñÀû ÇÔ¼öÀÇ ¼öÁ¤ 182
7.2 ±ÙÀ§ Á¤Ã¥ ÃÖÀûÈ(PPO) 189
7.3 PPO ¾Ë°í¸®Áò 193
7.4 PPOÀÇ ±¸Çö 195
7.4.1 PPO Á¤Ã¥ ¼Õ½ÇÀÇ °è»ê 195
7.4.2 PPO ÈÆ·Ã ·çÇÁ 196
7.5 PPO ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 198
7.5.1 Æþ °ÔÀÓÀ» À§ÇÑ PPO 198
7.5.2 µÎ ¹ß º¸ÇàÀÚ¸¦ À§ÇÑ PPO 201
7.6 ½ÇÇè °á°ú 203
7.6.1 ½ÇÇè: GAEÀÇ ?°¡ ¹ÌÄ¡´Â È¿°ú 204
7.6.2 ½ÇÇè: Ŭ¸®ÇÎ º¯¼ö ?ÀÇ È¿°ú 205
7.7 ¿ä¾à 207
7.8 ´õ ÀÐÀ»°Å¸® 208
CHAPTER º´·ÄÈ ¹æ¹ý 209
8.1 µ¿±â º´·ÄÈ 210
8.2 ºñµ¿±â º´·ÄÈ 212
8.2.1 È£±×¿ÍÀϵå! 213
8.3 A3C ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 216
8.4 ¿ä¾à 219
8.5 ´õ ÀÐÀ»°Å¸® 219
CHAPTER 09 ¾Ë°í¸®Áò ¿ä¾à 221
PART III ½ÇÀüÀ» À§ÇÑ ¼¼ºÎ»çÇ×
CHAPTER 10 ½ÉÃþ°ÈÇнÀÀ¸·Î ÀÛ¾÷Çϱâ 225
10.1 ¼ÒÇÁÆ®¿þ¾î °øÇÐÀû ±â¹ý 226
10.1.1 ´ÜÀ§ Å×½ºÆ® 226
10.1.2 ÄÚµå Ç°Áú 232
10.1.3 ±ê ¿öÅ©Ç÷Π233
10.2 µð¹ö±ë ÆÁ 236
10.2.1 »ýÁ¸ ½ÅÈ£ 236
10.2.2 Á¤Ã¥ °æ»ç¿¡ ´ëÇÑ Áø´Ü 237
10.2.3 µ¥ÀÌÅÍ¿¡ ´ëÇÑ Áø´Ü 238
10.2.4 Àü󸮱â 239
10.2.5 ¸Þ¸ð¸® 239
10.2.6 ¾Ë°í¸®Áò ÇÔ¼ö 240
10.2.7 ½Å°æ¸Á 240
10.2.8 ¾Ë°í¸®Áò °£¼ÒÈ 243
10.2.9 ¹®Á¦ °£¼ÒÈ 243
10.2.10 ÇÏÀÌÆÛÆĶó¹ÌÅÍ 244
10.2.11 Lab ¿öÅ©Ç÷Π244
10.3 ¾ÆŸ¸® Æ®¸¯ 245
10.4 ½ÉÃþ°ÈÇнÀ ¾Ë¸¶³¼ 249
10.4.1 ÇÏÀÌÆÛÆĶó¹ÌÅÍ Ç¥ 249
10.4.2 ¾Ë°í¸®Áò ¼º´É ºñ±³ 252
10.5 ¿ä¾à 255
CHAPTER 11 SLM Lab 257
11.1 SLM Lab¿¡ ±¸ÇöµÈ ¾Ë°í¸®Áò 257
11.2 spec ÆÄÀÏ 260
11.2.1 °Ë»ö ½ºÆå ±¸¹® 262
11.3 SLM LabÀÇ ½ÇÇà 265
11.3.1 SLM LabÀÇ ¸í·É¾î 265
11.4 ½ÇÇè °á°úÀÇ ºÐ¼® 266
11.4.1 ½ÇÇè µ¥ÀÌÅÍÀÇ °³¿ä 266
11.5 ¿ä¾à 268
CHAPTER 12 ³×Æ®¿öÅ© ¾ÆÅ°ÅØó 269
12.1 ½Å°æ¸ÁÀÇ À¯Çü 269
12.1.1 ´ÙÃþ ÆÛ¼ÁÆ®·Ð(MLP) 270
12.1.2 ÇÕ¼º°ö½Å°æ¸Á(CNN) 272
12.1.3 ȸ±Í½Å°æ¸Á(RNN) 274
12.2 ³×Æ®¿öÅ© ±×·ì ¼±ÅÃÀ» À§ÇÑ °¡À̵å 275
12.2.1 MDP¿Í POMDP 275
12.2.2 ȯ°æÀ» À§ÇÑ ³×Æ®¿öÅ© ¼±Á¤ 279
12.3 Net API 282
12.3.1 ÀԷ°ú Ãâ·Â ÃþÀ§ ¸ð¾çÀÇ ÃßÁ¤ 284
12.3.2 ³×Æ®¿öÅ©ÀÇ ÀÚµ¿ »ý¼º 286
12.3.3 ÈÆ·Ã ´Ü°è 289
12.3.4 ±â¹Ý ¸Þ¼ÒµåÀÇ ³ëÃâ 290
12.4 ¿ä¾à 291
12.5 ´õ ÀÐÀ»°Å¸® 292
CHAPTER 13 Çϵå¿þ¾î 293
13.1 ÄÄÇ»ÅÍ 294
13.2 µ¥ÀÌÅÍ À¯Çü 300
13.3 °ÈÇнÀ¿¡¼ µ¥ÀÌÅÍ À¯Çü ÃÖÀûÈ 302
13.4 Çϵå¿þ¾îÀÇ ¼±Åà 307
13.5 ¿ä¾à 308
CHAPTER 14 »óÅÂ 311
14.1 »óÅÂÀÇ ¿¹Á¦ 312
14.2 »óÅÂÀÇ ¿Ï°á¼º 319
14.3 »óÅÂÀÇ º¹À⼺ 320
14.4 »óÅ Á¤º¸ ¼Õ½Ç 325
14.4.1 À̹ÌÁö ±×·¹À̽ºÄÉÀϸµ 325
14.4.2 ÀÌ»êÈ 326
14.4.3 Çؽà Ã⵿ 327
14.4.4 ¸ÞŸÁ¤º¸ ¼Õ½Ç 327
14.5 Àüó¸® 331
14.5.1 Ç¥ÁØÈ 332
14.5.2 À̹ÌÁö ó¸® 333
14.5.3 ½Ã°£Àû Àüó¸® 335
14.6 ¿ä¾à 339
CHAPTER 15 Çൿ 341
15.1 ÇൿÀÇ ¿¹Á¦ 341
15.2 ÇൿÀÇ ¿Ï°á¼º 345
15.3 ÇൿÀÇ º¹À⼺ 347
15.4 ¿ä¾à 352
15.5 ´õ ÀÐÀ»°Å¸®: Àϻ󿡼ÀÇ Çൿ ¼³°è 353
CHAPTER 16 º¸»ó 357
16.1 º¸»óÀÇ ¿ªÇÒ 357
16.2 º¸»ó ¼³°èÀÇ °¡À̵å¶óÀÎ 359
16.3 ¿ä¾à 364
CHAPTER 17 ÀüÀÌ ÇÔ¼ö 365
17.1 ½ÇÇö °¡´É¼º È®ÀÎ 366
17.2 Çö½Ç¼º È®ÀÎ 368
17.3 ¿ä¾à 371
APPENDIX A ½ÉÃþ°ÈÇнÀ ŸÀÓ¶óÀÎ 372
APPENDIX B ȯ°æÀÇ ¿¹Á¦ 374
B.1 ÀÌ»êÀû ȯ°æ 375
B.1.1 CartPole-v0 375
B.1.2 MountainCar-v0 376
B.1.3 LunarLander-v2 377
B.1.4 PongNoFrameskip-v4 378
B.1.5 BreakoutNoFrameskip-v4 378
B.2 ¿¬¼Ó ȯ°æ 379
B.2.1 Pendulum-v0 379
B.2.2 BipedalWalker-v2 380
¿¡ÇÊ·Î±× 381
º£Å¸¸®´õ Èıâ xiii
̵̧ȍ xv
½ÃÀÛÇϸç xvi
°¨»çÀÇ ±Û xxi
CHAPTER 01 °ÈÇнÀ ¼Ò°³ 1
1.1 °ÈÇнÀ 1
1.2 MDP·Î¼ÀÇ °ÈÇнÀ 7
1.3 °ÈÇнÀ¿¡¼ ÇнÀÇÏ´Â ÇÔ¼ö 11
1.4 ½ÉÃþ°ÈÇнÀ ¾Ë°í¸®Áò 13
1.4.1 Á¤Ã¥ ±â¹Ý ¾Ë°í¸®Áò 14
1.4.2 °¡Ä¡ ±â¹Ý ¾Ë°í¸®Áò 15
1.4.3 ¸ðµ¨ ±â¹Ý ¾Ë°í¸®Áò 16
1.4.4 °áÇÕµÈ ¹æ¹ý 17
1.4.5 ÀÌ Ã¥¿¡¼ ´Ù·ç´Â ¾Ë°í¸®Áò 18
1.4.6 È°¼ºÁ¤Ã¥°ú ºñÈ°¼ºÁ¤Ã¥ ¾Ë°í¸®Áò 19
1.4.7 ¿ä¾à 19
1.5 °ÈÇнÀÀ» À§ÇÑ ½ÉÃþÇнÀ 20
1.6 °ÈÇнÀ°ú ÁöµµÇнÀ 22
1.6.1 ¿À¶óŬÀÇ ºÎÀç 23
1.6.2 Çǵå¹éÀÇ Èñ¼Ò¼º 24
1.6.3 µ¥ÀÌÅÍ »ý¼º 24
1.7 ¿ä¾à 25
PART I Á¤Ã¥ ±â¹Ý ¾Ë°í¸®Áò°ú °¡Ä¡ ±â¹Ý ¾Ë°í¸®Áò
CHAPTER 02 REINFORCE 29
2.1 Á¤Ã¥ 30
2.2 ¸ñÀû ÇÔ¼ö 31
2.3 Á¤Ã¥ °æ»ç 31
2.3.1 Á¤Ã¥ °æ»ç °è»ê 33
2.4 ¸óÅ×Ä«¸¦·Î Ç¥º»ÃßÃâ 36
2.5 REINFORCE ¾Ë°í¸®Áò 37
2.5.1 Çâ»óµÈ REINFORCE 38
2.6 REINFORCE ±¸Çö 39
2.6.1 ÃÖ¼Ò ÇüÅÂÀÇ REINFORCE ±¸Çö 39
2.6.2 ÆÄÀÌÅäÄ¡·Î Á¤Ã¥ »ý¼ºÇϱâ 42
2.6.3 Çൿ ÃßÃâ 44
2.6.4 Á¤Ã¥ ¼Õ½Ç °è»ê 45
2.6.5 REINFORCE ÈÆ·Ã ·çÇÁ 46
2.6.6 È°¼ºÁ¤Ã¥ ÀçÇö ¸Þ¸ð¸® 47
2.7 REINFORCE ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 50
2.8 ½ÇÇè °á°ú 53
2.8.1 ½ÇÇè: ÇÒÀÎÀ² ? ÀÇ È¿°ú 53
2.8.2 ½ÇÇè: ±âÁØ°ªÀÇ È¿°ú 55
2.9 ¿ä¾à 57
2.10 ´õ ÀÐÀ»°Å¸® 57
2.11 ¿ª»ç 58
CHAPTER 03 ȓȍ(SARSA) 59
3.1 Q ÇÔ¼ö¿Í V ÇÔ¼ö 60
3.2 ½Ã°£Â÷ ÇнÀ 63
3.2.1 ½Ã°£Â÷ ÇнÀ¿¡ ´ëÇÑ Á÷°ü 66
3.3 »ì»çÀÇ Çൿ ¼±Åà 73
3.3.1 ŽÇè°ú È°¿ë 74
3.4 »ì»ç ¾Ë°í¸®Áò 75
3.4.1 È°¼ºÁ¤Ã¥ ¾Ë°í¸®Áò 76
3.5 »ì»çÀÇ Àû¿ë 77
3.5.1 Çൿ ÇÔ¼ö: ¿¦½Ç·Ð Ž¿åÀû 77
3.5.2 Q ¼Õ½ÇÀÇ °è»ê 78
3.5.3 »ì»ç ÈÆ·Ã ·çÇÁ 80
3.5.4 È°¼ºÁ¤Ã¥ ¹èÄ¡ ÀçÇö ¸Þ¸ð¸® 81
3.6 »ì»ç ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 83
3.7 ½ÇÇè °á°ú 86
3.7.1 ½ÇÇè: ÇнÀ·üÀÇ È¿°ú 86
3.8 ¿ä¾à 87
3.9 ´õ ÀÐÀ»°Å¸® 88
3.10 ¿ª»ç 89
CHAPTER 04 ½ÉÃþ Q ³×Æ®¿öÅ©(DQN) 91
4.1 DQNÀÇ Q ÇÔ¼ö ÇнÀ 92
4.2 DQNÀÇ Çൿ ¼±Åà 94
4.2.1 º¼Ã÷¸¸ Á¤Ã¥ 97
4.3 °æÇè ÀçÇö 100
4.4 DQN ¾Ë°í¸®Áò 101
4.5 DQNÀÇ Àû¿ë 103
4.5.1 Q ¼Õ½ÇÀÇ °è»ê 103
4.5.2 DQN ÈÆ·Ã ·çÇÁ 104
4.5.3 ÀçÇö ¸Þ¸ð¸® 105
4.6 DQN ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 108
4.7 ½ÇÇè °á°ú 111
4.7.1 ½ÇÇè: ½Å°æ¸Á ¾ÆÅ°ÅØóÀÇ È¿°ú 111
4.8 ¿ä¾à 113
4.9 ´õ ÀÐÀ»°Å¸® 114
4.10 ¿ª»ç 114
CHAPTER 05 Çâ»óµÈ DQN 115
5.1 ¸ñÇ¥ ³×Æ®¿öÅ© 116
5.2 ÀÌÁß DQN 119
5.3 ¿ì¼±¼øÀ§°¡ ÀÖ´Â °æÇè ÀçÇö(PER) 123
5.3.1 Áß¿äµµ Ç¥º»ÃßÃâ 125
5.4 ¼öÁ¤µÈ DQNÀÇ ±¸Çö 126
5.4.1 ³×Æ®¿öÅ© ÃʱâÈ 127
5.4.2 Q ¼Õ½ÇÀÇ °è»ê 128
5.4.3 ¸ñÇ¥ ³×Æ®¿öÅ©ÀÇ ¾÷µ¥ÀÌÆ® 129
5.4.4 ¸ñÇ¥ ³×Æ®¿öÅ©¸¦ °®´Â DQN 130
5.4.5 ÀÌÁß DQN 130
5.4.6 ¿ì¼±¼øÀ§°¡ ÀÖ´Â °æÇè ÀçÇö 131
5.5 ¾ÆŸ¸® °ÔÀÓÀ» À§ÇÑ DQN ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 137
5.6 ½ÇÇè °á°ú 142
5.6.1 ½ÇÇè: ÀÌÁß DQN°ú PERÀÇ È¿°ú 142
5.7 ¿ä¾à 146
5.8 ´õ ÀÐÀ»°Å¸® 146
PART II °áÇÕµÈ ¹æ¹ý
CHAPTER 06 ¾îµå¹êƼÁö ÇൿÀÚ-ºñÆòÀÚ(A2C) 149
6.1 ÇൿÀÚ 150
6.2 ºñÆòÀÚ 150
6.2.1 ¾îµå¹êƼÁö ÇÔ¼ö 151
6.2.2 ¾îµå¹êƼÁö ÇÔ¼ö¿¡ ´ëÇÑ ÇнÀ 155
6.3 A2C ¾Ë°í¸®Áò 156
6.4 A2CÀÇ ±¸Çö 159
6.4.1 ¾îµå¹êƼÁö ÃßÁ¤ 160
6.4.2 °¡Ä¡ ¼Õ½Ç°ú Á¤Ã¥ ¼Õ½ÇÀÇ °è»ê 162
6.4.3 ÇൿÀÚ-ºñÆòÀÚ ÈÆ·Ã ·çÇÁ 163
6.5 ³×Æ®¿öÅ© ¾ÆÅ°ÅØó 164
6.6 A2C ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 166
6.6.1 n´Ü°è À̵æÀ» ÀÌ¿ëÇÑ A2C¸¦ Æþ °ÔÀÓ¿¡ Àû¿ë 166
6.6.2 GAE¸¦ ÀÌ¿ëÇÑ A2C¸¦ Æþ °ÔÀÓ¿¡ Àû¿ë 169
6.6.3 µÎ ¹ß º¸ÇàÀÚ ¹®Á¦¿¡¼ n´Ü°è À̵æÀ» ÀÌ¿ëÇÑ A2C 170
6.7 ½ÇÇè °á°ú 173
6.7.1 ½ÇÇè: n´Ü°è À̵æÀÇ È¿°ú 173
6.7.2 ½ÇÇè: GAEÀÇ ?°¡ ¹ÌÄ¡´Â È¿°ú 175
6.8 ¿ä¾à 176
6.9 ´õ ÀÐÀ»°Å¸® 177
6.10 ¿ª»ç 177
CHAPTER 07 ±ÙÀ§ Á¤Ã¥ ÃÖÀûÈ(PPO) 179
7.1 ´ë¸®¸ñÀû 180
7.1.1 ¼º´ÉºØ±« 180
7.1.2 ¸ñÀû ÇÔ¼öÀÇ ¼öÁ¤ 182
7.2 ±ÙÀ§ Á¤Ã¥ ÃÖÀûÈ(PPO) 189
7.3 PPO ¾Ë°í¸®Áò 193
7.4 PPOÀÇ ±¸Çö 195
7.4.1 PPO Á¤Ã¥ ¼Õ½ÇÀÇ °è»ê 195
7.4.2 PPO ÈÆ·Ã ·çÇÁ 196
7.5 PPO ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 198
7.5.1 Æþ °ÔÀÓÀ» À§ÇÑ PPO 198
7.5.2 µÎ ¹ß º¸ÇàÀÚ¸¦ À§ÇÑ PPO 201
7.6 ½ÇÇè °á°ú 203
7.6.1 ½ÇÇè: GAEÀÇ ?°¡ ¹ÌÄ¡´Â È¿°ú 204
7.6.2 ½ÇÇè: Ŭ¸®ÇÎ º¯¼ö ?ÀÇ È¿°ú 205
7.7 ¿ä¾à 207
7.8 ´õ ÀÐÀ»°Å¸® 208
CHAPTER º´·ÄÈ ¹æ¹ý 209
8.1 µ¿±â º´·ÄÈ 210
8.2 ºñµ¿±â º´·ÄÈ 212
8.2.1 È£±×¿ÍÀϵå! 213
8.3 A3C ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 216
8.4 ¿ä¾à 219
8.5 ´õ ÀÐÀ»°Å¸® 219
CHAPTER 09 ¾Ë°í¸®Áò ¿ä¾à 221
PART III ½ÇÀüÀ» À§ÇÑ ¼¼ºÎ»çÇ×
CHAPTER 10 ½ÉÃþ°ÈÇнÀÀ¸·Î ÀÛ¾÷Çϱâ 225
10.1 ¼ÒÇÁÆ®¿þ¾î °øÇÐÀû ±â¹ý 226
10.1.1 ´ÜÀ§ Å×½ºÆ® 226
10.1.2 ÄÚµå Ç°Áú 232
10.1.3 ±ê ¿öÅ©Ç÷Π233
10.2 µð¹ö±ë ÆÁ 236
10.2.1 »ýÁ¸ ½ÅÈ£ 236
10.2.2 Á¤Ã¥ °æ»ç¿¡ ´ëÇÑ Áø´Ü 237
10.2.3 µ¥ÀÌÅÍ¿¡ ´ëÇÑ Áø´Ü 238
10.2.4 Àü󸮱â 239
10.2.5 ¸Þ¸ð¸® 239
10.2.6 ¾Ë°í¸®Áò ÇÔ¼ö 240
10.2.7 ½Å°æ¸Á 240
10.2.8 ¾Ë°í¸®Áò °£¼ÒÈ 243
10.2.9 ¹®Á¦ °£¼ÒÈ 243
10.2.10 ÇÏÀÌÆÛÆĶó¹ÌÅÍ 244
10.2.11 Lab ¿öÅ©Ç÷Π244
10.3 ¾ÆŸ¸® Æ®¸¯ 245
10.4 ½ÉÃþ°ÈÇнÀ ¾Ë¸¶³¼ 249
10.4.1 ÇÏÀÌÆÛÆĶó¹ÌÅÍ Ç¥ 249
10.4.2 ¾Ë°í¸®Áò ¼º´É ºñ±³ 252
10.5 ¿ä¾à 255
CHAPTER 11 SLM Lab 257
11.1 SLM Lab¿¡ ±¸ÇöµÈ ¾Ë°í¸®Áò 257
11.2 spec ÆÄÀÏ 260
11.2.1 °Ë»ö ½ºÆå ±¸¹® 262
11.3 SLM LabÀÇ ½ÇÇà 265
11.3.1 SLM LabÀÇ ¸í·É¾î 265
11.4 ½ÇÇè °á°úÀÇ ºÐ¼® 266
11.4.1 ½ÇÇè µ¥ÀÌÅÍÀÇ °³¿ä 266
11.5 ¿ä¾à 268
CHAPTER 12 ³×Æ®¿öÅ© ¾ÆÅ°ÅØó 269
12.1 ½Å°æ¸ÁÀÇ À¯Çü 269
12.1.1 ´ÙÃþ ÆÛ¼ÁÆ®·Ð(MLP) 270
12.1.2 ÇÕ¼º°ö½Å°æ¸Á(CNN) 272
12.1.3 ȸ±Í½Å°æ¸Á(RNN) 274
12.2 ³×Æ®¿öÅ© ±×·ì ¼±ÅÃÀ» À§ÇÑ °¡À̵å 275
12.2.1 MDP¿Í POMDP 275
12.2.2 ȯ°æÀ» À§ÇÑ ³×Æ®¿öÅ© ¼±Á¤ 279
12.3 Net API 282
12.3.1 ÀԷ°ú Ãâ·Â ÃþÀ§ ¸ð¾çÀÇ ÃßÁ¤ 284
12.3.2 ³×Æ®¿öÅ©ÀÇ ÀÚµ¿ »ý¼º 286
12.3.3 ÈÆ·Ã ´Ü°è 289
12.3.4 ±â¹Ý ¸Þ¼ÒµåÀÇ ³ëÃâ 290
12.4 ¿ä¾à 291
12.5 ´õ ÀÐÀ»°Å¸® 292
CHAPTER 13 Çϵå¿þ¾î 293
13.1 ÄÄÇ»ÅÍ 294
13.2 µ¥ÀÌÅÍ À¯Çü 300
13.3 °ÈÇнÀ¿¡¼ µ¥ÀÌÅÍ À¯Çü ÃÖÀûÈ 302
13.4 Çϵå¿þ¾îÀÇ ¼±Åà 307
13.5 ¿ä¾à 308
CHAPTER 14 »óÅÂ 311
14.1 »óÅÂÀÇ ¿¹Á¦ 312
14.2 »óÅÂÀÇ ¿Ï°á¼º 319
14.3 »óÅÂÀÇ º¹À⼺ 320
14.4 »óÅ Á¤º¸ ¼Õ½Ç 325
14.4.1 À̹ÌÁö ±×·¹À̽ºÄÉÀϸµ 325
14.4.2 ÀÌ»êÈ 326
14.4.3 Çؽà Ã⵿ 327
14.4.4 ¸ÞŸÁ¤º¸ ¼Õ½Ç 327
14.5 Àüó¸® 331
14.5.1 Ç¥ÁØÈ 332
14.5.2 À̹ÌÁö ó¸® 333
14.5.3 ½Ã°£Àû Àüó¸® 335
14.6 ¿ä¾à 339
CHAPTER 15 Çൿ 341
15.1 ÇൿÀÇ ¿¹Á¦ 341
15.2 ÇൿÀÇ ¿Ï°á¼º 345
15.3 ÇൿÀÇ º¹À⼺ 347
15.4 ¿ä¾à 352
15.5 ´õ ÀÐÀ»°Å¸®: Àϻ󿡼ÀÇ Çൿ ¼³°è 353
CHAPTER 16 º¸»ó 357
16.1 º¸»óÀÇ ¿ªÇÒ 357
16.2 º¸»ó ¼³°èÀÇ °¡À̵å¶óÀÎ 359
16.3 ¿ä¾à 364
CHAPTER 17 ÀüÀÌ ÇÔ¼ö 365
17.1 ½ÇÇö °¡´É¼º È®ÀÎ 366
17.2 Çö½Ç¼º È®ÀÎ 368
17.3 ¿ä¾à 371
APPENDIX A ½ÉÃþ°ÈÇнÀ ŸÀÓ¶óÀÎ 372
APPENDIX B ȯ°æÀÇ ¿¹Á¦ 374
B.1 ÀÌ»êÀû ȯ°æ 375
B.1.1 CartPole-v0 375
B.1.2 MountainCar-v0 376
B.1.3 LunarLander-v2 377
B.1.4 PongNoFrameskip-v4 378
B.1.5 BreakoutNoFrameskip-v4 378
B.2 ¿¬¼Ó ȯ°æ 379
B.2.1 Pendulum-v0 379
B.2.2 BipedalWalker-v2 380
¿¡ÇÊ·Î±× 381
ÀúÀÚ: ·Î¶ó ±×·¹¼
¿Å±äÀÌ ¸Ó¸®¸» xii
º£Å¸¸®´õ Èıâ xiii
̵̧ȍ xv
½ÃÀÛÇϸç xvi
°¨»çÀÇ ±Û xxi
CHAPTER 01 °ÈÇнÀ ¼Ò°³ 1
1.1 °ÈÇнÀ 1
1.2 MDP·Î¼ÀÇ °ÈÇнÀ 7
1.3 °ÈÇнÀ¿¡¼ ÇнÀÇÏ´Â ÇÔ¼ö 11
1.4 ½ÉÃþ°ÈÇнÀ ¾Ë°í¸®Áò 13
1.4.1 Á¤Ã¥ ±â¹Ý ¾Ë°í¸®Áò 14
1.4.2 °¡Ä¡ ±â¹Ý ¾Ë°í¸®Áò 15
1.4.3 ¸ðµ¨ ±â¹Ý ¾Ë°í¸®Áò 16
1.4.4 °áÇÕµÈ ¹æ¹ý 17
1.4.5 ÀÌ Ã¥¿¡¼ ´Ù·ç´Â ¾Ë°í¸®Áò 18
1.4.6 È°¼ºÁ¤Ã¥°ú ºñÈ°¼ºÁ¤Ã¥ ¾Ë°í¸®Áò 19
1.4.7 ¿ä¾à 19
1.5 °ÈÇнÀÀ» À§ÇÑ ½ÉÃþÇнÀ 20
1.6 °ÈÇнÀ°ú ÁöµµÇнÀ 22
1.6.1 ¿À¶óŬÀÇ ºÎÀç 23
1.6.2 Çǵå¹éÀÇ Èñ¼Ò¼º 24
1.6.3 µ¥ÀÌÅÍ »ý¼º 24
1.7 ¿ä¾à 25
PART I Á¤Ã¥ ±â¹Ý ¾Ë°í¸®Áò°ú °¡Ä¡ ±â¹Ý ¾Ë°í¸®Áò
CHAPTER 02 REINFORCE 29
2.1 Á¤Ã¥ 30
2.2 ¸ñÀû ÇÔ¼ö 31
2.3 Á¤Ã¥ °æ»ç 31
2.3.1 Á¤Ã¥ °æ»ç °è»ê 33
2.4 ¸óÅ×Ä«¸¦·Î Ç¥º»ÃßÃâ 36
2.5 REINFORCE ¾Ë°í¸®Áò 37
2.5.1 Çâ»óµÈ REINFORCE 38
2.6 REINFORCE ±¸Çö 39
2.6.1 ÃÖ¼Ò ÇüÅÂÀÇ REINFORCE ±¸Çö 39
2.6.2 ÆÄÀÌÅäÄ¡·Î Á¤Ã¥ »ý¼ºÇϱâ 42
2.6.3 Çൿ ÃßÃâ 44
2.6.4 Á¤Ã¥ ¼Õ½Ç °è»ê 45
2.6.5 REINFORCE ÈÆ·Ã ·çÇÁ 46
2.6.6 È°¼ºÁ¤Ã¥ ÀçÇö ¸Þ¸ð¸® 47
2.7 REINFORCE ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 50
2.8 ½ÇÇè °á°ú 53
2.8.1 ½ÇÇè: ÇÒÀÎÀ² ? ÀÇ È¿°ú 53
2.8.2 ½ÇÇè: ±âÁØ°ªÀÇ È¿°ú 55
2.9 ¿ä¾à 57
2.10 ´õ ÀÐÀ»°Å¸® 57
2.11 ¿ª»ç 58
CHAPTER 03 ȓȍ(SARSA) 59
3.1 Q ÇÔ¼ö¿Í V ÇÔ¼ö 60
3.2 ½Ã°£Â÷ ÇнÀ 63
3.2.1 ½Ã°£Â÷ ÇнÀ¿¡ ´ëÇÑ Á÷°ü 66
3.3 »ì»çÀÇ Çൿ ¼±Åà 73
3.3.1 ŽÇè°ú È°¿ë 74
3.4 »ì»ç ¾Ë°í¸®Áò 75
3.4.1 È°¼ºÁ¤Ã¥ ¾Ë°í¸®Áò 76
3.5 »ì»çÀÇ Àû¿ë 77
3.5.1 Çൿ ÇÔ¼ö: ¿¦½Ç·Ð Ž¿åÀû 77
3.5.2 Q ¼Õ½ÇÀÇ °è»ê 78
3.5.3 »ì»ç ÈÆ·Ã ·çÇÁ 80
3.5.4 È°¼ºÁ¤Ã¥ ¹èÄ¡ ÀçÇö ¸Þ¸ð¸® 81
3.6 »ì»ç ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 83
3.7 ½ÇÇè °á°ú 86
3.7.1 ½ÇÇè: ÇнÀ·üÀÇ È¿°ú 86
3.8 ¿ä¾à 87
3.9 ´õ ÀÐÀ»°Å¸® 88
3.10 ¿ª»ç 89
CHAPTER 04 ½ÉÃþ Q ³×Æ®¿öÅ©(DQN) 91
4.1 DQNÀÇ Q ÇÔ¼ö ÇнÀ 92
4.2 DQNÀÇ Çൿ ¼±Åà 94
4.2.1 º¼Ã÷¸¸ Á¤Ã¥ 97
4.3 °æÇè ÀçÇö 100
4.4 DQN ¾Ë°í¸®Áò 101
4.5 DQNÀÇ Àû¿ë 103
4.5.1 Q ¼Õ½ÇÀÇ °è»ê 103
4.5.2 DQN ÈÆ·Ã ·çÇÁ 104
4.5.3 ÀçÇö ¸Þ¸ð¸® 105
4.6 DQN ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 108
4.7 ½ÇÇè °á°ú 111
4.7.1 ½ÇÇè: ½Å°æ¸Á ¾ÆÅ°ÅØóÀÇ È¿°ú 111
4.8 ¿ä¾à 113
4.9 ´õ ÀÐÀ»°Å¸® 114
4.10 ¿ª»ç 114
CHAPTER 05 Çâ»óµÈ DQN 115
5.1 ¸ñÇ¥ ³×Æ®¿öÅ© 116
5.2 ÀÌÁß DQN 119
5.3 ¿ì¼±¼øÀ§°¡ ÀÖ´Â °æÇè ÀçÇö(PER) 123
5.3.1 Áß¿äµµ Ç¥º»ÃßÃâ 125
5.4 ¼öÁ¤µÈ DQNÀÇ ±¸Çö 126
5.4.1 ³×Æ®¿öÅ© ÃʱâÈ 127
5.4.2 Q ¼Õ½ÇÀÇ °è»ê 128
5.4.3 ¸ñÇ¥ ³×Æ®¿öÅ©ÀÇ ¾÷µ¥ÀÌÆ® 129
5.4.4 ¸ñÇ¥ ³×Æ®¿öÅ©¸¦ °®´Â DQN 130
5.4.5 ÀÌÁß DQN 130
5.4.6 ¿ì¼±¼øÀ§°¡ ÀÖ´Â °æÇè ÀçÇö 131
5.5 ¾ÆŸ¸® °ÔÀÓÀ» À§ÇÑ DQN ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 137
5.6 ½ÇÇè °á°ú 142
5.6.1 ½ÇÇè: ÀÌÁß DQN°ú PERÀÇ È¿°ú 142
5.7 ¿ä¾à 146
5.8 ´õ ÀÐÀ»°Å¸® 146
PART II °áÇÕµÈ ¹æ¹ý
CHAPTER 06 ¾îµå¹êƼÁö ÇൿÀÚ-ºñÆòÀÚ(A2C) 149
6.1 ÇൿÀÚ 150
6.2 ºñÆòÀÚ 150
6.2.1 ¾îµå¹êƼÁö ÇÔ¼ö 151
6.2.2 ¾îµå¹êƼÁö ÇÔ¼ö¿¡ ´ëÇÑ ÇнÀ 155
6.3 A2C ¾Ë°í¸®Áò 156
6.4 A2CÀÇ ±¸Çö 159
6.4.1 ¾îµå¹êƼÁö ÃßÁ¤ 160
6.4.2 °¡Ä¡ ¼Õ½Ç°ú Á¤Ã¥ ¼Õ½ÇÀÇ °è»ê 162
6.4.3 ÇൿÀÚ-ºñÆòÀÚ ÈÆ·Ã ·çÇÁ 163
6.5 ³×Æ®¿öÅ© ¾ÆÅ°ÅØó 164
6.6 A2C ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 166
6.6.1 n´Ü°è À̵æÀ» ÀÌ¿ëÇÑ A2C¸¦ Æþ °ÔÀÓ¿¡ Àû¿ë 166
6.6.2 GAE¸¦ ÀÌ¿ëÇÑ A2C¸¦ Æþ °ÔÀÓ¿¡ Àû¿ë 169
6.6.3 µÎ ¹ß º¸ÇàÀÚ ¹®Á¦¿¡¼ n´Ü°è À̵æÀ» ÀÌ¿ëÇÑ A2C 170
6.7 ½ÇÇè °á°ú 173
6.7.1 ½ÇÇè: n´Ü°è À̵æÀÇ È¿°ú 173
6.7.2 ½ÇÇè: GAEÀÇ ?°¡ ¹ÌÄ¡´Â È¿°ú 175
6.8 ¿ä¾à 176
6.9 ´õ ÀÐÀ»°Å¸® 177
6.10 ¿ª»ç 177
CHAPTER 07 ±ÙÀ§ Á¤Ã¥ ÃÖÀûÈ(PPO) 179
7.1 ´ë¸®¸ñÀû 180
7.1.1 ¼º´ÉºØ±« 180
7.1.2 ¸ñÀû ÇÔ¼öÀÇ ¼öÁ¤ 182
7.2 ±ÙÀ§ Á¤Ã¥ ÃÖÀûÈ(PPO) 189
7.3 PPO ¾Ë°í¸®Áò 193
7.4 PPOÀÇ ±¸Çö 195
7.4.1 PPO Á¤Ã¥ ¼Õ½ÇÀÇ °è»ê 195
7.4.2 PPO ÈÆ·Ã ·çÇÁ 196
7.5 PPO ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 198
7.5.1 Æþ °ÔÀÓÀ» À§ÇÑ PPO 198
7.5.2 µÎ ¹ß º¸ÇàÀÚ¸¦ À§ÇÑ PPO 201
7.6 ½ÇÇè °á°ú 203
7.6.1 ½ÇÇè: GAEÀÇ ?°¡ ¹ÌÄ¡´Â È¿°ú 204
7.6.2 ½ÇÇè: Ŭ¸®ÇÎ º¯¼ö ?ÀÇ È¿°ú 205
7.7 ¿ä¾à 207
7.8 ´õ ÀÐÀ»°Å¸® 208
CHAPTER º´·ÄÈ ¹æ¹ý 209
8.1 µ¿±â º´·ÄÈ 210
8.2 ºñµ¿±â º´·ÄÈ 212
8.2.1 È£±×¿ÍÀϵå! 213
8.3 A3C ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 216
8.4 ¿ä¾à 219
8.5 ´õ ÀÐÀ»°Å¸® 219
CHAPTER 09 ¾Ë°í¸®Áò ¿ä¾à 221
PART III ½ÇÀüÀ» À§ÇÑ ¼¼ºÎ»çÇ×
CHAPTER 10 ½ÉÃþ°ÈÇнÀÀ¸·Î ÀÛ¾÷Çϱâ 225
10.1 ¼ÒÇÁÆ®¿þ¾î °øÇÐÀû ±â¹ý 226
10.1.1 ´ÜÀ§ Å×½ºÆ® 226
10.1.2 ÄÚµå Ç°Áú 232
10.1.3 ±ê ¿öÅ©Ç÷Π233
10.2 µð¹ö±ë ÆÁ 236
10.2.1 »ýÁ¸ ½ÅÈ£ 236
10.2.2 Á¤Ã¥ °æ»ç¿¡ ´ëÇÑ Áø´Ü 237
10.2.3 µ¥ÀÌÅÍ¿¡ ´ëÇÑ Áø´Ü 238
10.2.4 Àü󸮱â 239
10.2.5 ¸Þ¸ð¸® 239
10.2.6 ¾Ë°í¸®Áò ÇÔ¼ö 240
10.2.7 ½Å°æ¸Á 240
10.2.8 ¾Ë°í¸®Áò °£¼ÒÈ 243
10.2.9 ¹®Á¦ °£¼ÒÈ 243
10.2.10 ÇÏÀÌÆÛÆĶó¹ÌÅÍ 244
10.2.11 Lab ¿öÅ©Ç÷Π244
10.3 ¾ÆŸ¸® Æ®¸¯ 245
10.4 ½ÉÃþ°ÈÇнÀ ¾Ë¸¶³¼ 249
10.4.1 ÇÏÀÌÆÛÆĶó¹ÌÅÍ Ç¥ 249
10.4.2 ¾Ë°í¸®Áò ¼º´É ºñ±³ 252
10.5 ¿ä¾à 255
CHAPTER 11 SLM Lab 257
11.1 SLM Lab¿¡ ±¸ÇöµÈ ¾Ë°í¸®Áò 257
11.2 spec ÆÄÀÏ 260
11.2.1 °Ë»ö ½ºÆå ±¸¹® 262
11.3 SLM LabÀÇ ½ÇÇà 265
11.3.1 SLM LabÀÇ ¸í·É¾î 265
11.4 ½ÇÇè °á°úÀÇ ºÐ¼® 266
11.4.1 ½ÇÇè µ¥ÀÌÅÍÀÇ °³¿ä 266
11.5 ¿ä¾à 268
CHAPTER 12 ³×Æ®¿öÅ© ¾ÆÅ°ÅØó 269
12.1 ½Å°æ¸ÁÀÇ À¯Çü 269
12.1.1 ´ÙÃþ ÆÛ¼ÁÆ®·Ð(MLP) 270
12.1.2 ÇÕ¼º°ö½Å°æ¸Á(CNN) 272
12.1.3 ȸ±Í½Å°æ¸Á(RNN) 274
12.2 ³×Æ®¿öÅ© ±×·ì ¼±ÅÃÀ» À§ÇÑ °¡À̵å 275
12.2.1 MDP¿Í POMDP 275
12.2.2 ȯ°æÀ» À§ÇÑ ³×Æ®¿öÅ© ¼±Á¤ 279
12.3 Net API 282
12.3.1 ÀԷ°ú Ãâ·Â ÃþÀ§ ¸ð¾çÀÇ ÃßÁ¤ 284
12.3.2 ³×Æ®¿öÅ©ÀÇ ÀÚµ¿ »ý¼º 286
12.3.3 ÈÆ·Ã ´Ü°è 289
12.3.4 ±â¹Ý ¸Þ¼ÒµåÀÇ ³ëÃâ 290
12.4 ¿ä¾à 291
12.5 ´õ ÀÐÀ»°Å¸® 292
CHAPTER 13 Çϵå¿þ¾î 293
13.1 ÄÄÇ»ÅÍ 294
13.2 µ¥ÀÌÅÍ À¯Çü 300
13.3 °ÈÇнÀ¿¡¼ µ¥ÀÌÅÍ À¯Çü ÃÖÀûÈ 302
13.4 Çϵå¿þ¾îÀÇ ¼±Åà 307
13.5 ¿ä¾à 308
CHAPTER 14 »óÅÂ 311
14.1 »óÅÂÀÇ ¿¹Á¦ 312
14.2 »óÅÂÀÇ ¿Ï°á¼º 319
14.3 »óÅÂÀÇ º¹À⼺ 320
14.4 »óÅ Á¤º¸ ¼Õ½Ç 325
14.4.1 À̹ÌÁö ±×·¹À̽ºÄÉÀϸµ 325
14.4.2 ÀÌ»êÈ 326
14.4.3 Çؽà Ã⵿ 327
14.4.4 ¸ÞŸÁ¤º¸ ¼Õ½Ç 327
14.5 Àüó¸® 331
14.5.1 Ç¥ÁØÈ 332
14.5.2 À̹ÌÁö ó¸® 333
14.5.3 ½Ã°£Àû Àüó¸® 335
14.6 ¿ä¾à 339
CHAPTER 15 Çൿ 341
15.1 ÇൿÀÇ ¿¹Á¦ 341
15.2 ÇൿÀÇ ¿Ï°á¼º 345
15.3 ÇൿÀÇ º¹À⼺ 347
15.4 ¿ä¾à 352
15.5 ´õ ÀÐÀ»°Å¸®: Àϻ󿡼ÀÇ Çൿ ¼³°è 353
CHAPTER 16 º¸»ó 357
16.1 º¸»óÀÇ ¿ªÇÒ 357
16.2 º¸»ó ¼³°èÀÇ °¡À̵å¶óÀÎ 359
16.3 ¿ä¾à 364
CHAPTER 17 ÀüÀÌ ÇÔ¼ö 365
17.1 ½ÇÇö °¡´É¼º È®ÀÎ 366
17.2 Çö½Ç¼º È®ÀÎ 368
17.3 ¿ä¾à 371
APPENDIX A ½ÉÃþ°ÈÇнÀ ŸÀÓ¶óÀÎ 372
APPENDIX B ȯ°æÀÇ ¿¹Á¦ 374
B.1 ÀÌ»êÀû ȯ°æ 375
B.1.1 CartPole-v0 375
B.1.2 MountainCar-v0 376
B.1.3 LunarLander-v2 377
B.1.4 PongNoFrameskip-v4 378
B.1.5 BreakoutNoFrameskip-v4 378
B.2 ¿¬¼Ó ȯ°æ 379
B.2.1 Pendulum-v0 379
B.2.2 BipedalWalker-v2 380
¿¡ÇÊ·Î±× 381
º£Å¸¸®´õ Èıâ xiii
̵̧ȍ xv
½ÃÀÛÇϸç xvi
°¨»çÀÇ ±Û xxi
CHAPTER 01 °ÈÇнÀ ¼Ò°³ 1
1.1 °ÈÇнÀ 1
1.2 MDP·Î¼ÀÇ °ÈÇнÀ 7
1.3 °ÈÇнÀ¿¡¼ ÇнÀÇÏ´Â ÇÔ¼ö 11
1.4 ½ÉÃþ°ÈÇнÀ ¾Ë°í¸®Áò 13
1.4.1 Á¤Ã¥ ±â¹Ý ¾Ë°í¸®Áò 14
1.4.2 °¡Ä¡ ±â¹Ý ¾Ë°í¸®Áò 15
1.4.3 ¸ðµ¨ ±â¹Ý ¾Ë°í¸®Áò 16
1.4.4 °áÇÕµÈ ¹æ¹ý 17
1.4.5 ÀÌ Ã¥¿¡¼ ´Ù·ç´Â ¾Ë°í¸®Áò 18
1.4.6 È°¼ºÁ¤Ã¥°ú ºñÈ°¼ºÁ¤Ã¥ ¾Ë°í¸®Áò 19
1.4.7 ¿ä¾à 19
1.5 °ÈÇнÀÀ» À§ÇÑ ½ÉÃþÇнÀ 20
1.6 °ÈÇнÀ°ú ÁöµµÇнÀ 22
1.6.1 ¿À¶óŬÀÇ ºÎÀç 23
1.6.2 Çǵå¹éÀÇ Èñ¼Ò¼º 24
1.6.3 µ¥ÀÌÅÍ »ý¼º 24
1.7 ¿ä¾à 25
PART I Á¤Ã¥ ±â¹Ý ¾Ë°í¸®Áò°ú °¡Ä¡ ±â¹Ý ¾Ë°í¸®Áò
CHAPTER 02 REINFORCE 29
2.1 Á¤Ã¥ 30
2.2 ¸ñÀû ÇÔ¼ö 31
2.3 Á¤Ã¥ °æ»ç 31
2.3.1 Á¤Ã¥ °æ»ç °è»ê 33
2.4 ¸óÅ×Ä«¸¦·Î Ç¥º»ÃßÃâ 36
2.5 REINFORCE ¾Ë°í¸®Áò 37
2.5.1 Çâ»óµÈ REINFORCE 38
2.6 REINFORCE ±¸Çö 39
2.6.1 ÃÖ¼Ò ÇüÅÂÀÇ REINFORCE ±¸Çö 39
2.6.2 ÆÄÀÌÅäÄ¡·Î Á¤Ã¥ »ý¼ºÇϱâ 42
2.6.3 Çൿ ÃßÃâ 44
2.6.4 Á¤Ã¥ ¼Õ½Ç °è»ê 45
2.6.5 REINFORCE ÈÆ·Ã ·çÇÁ 46
2.6.6 È°¼ºÁ¤Ã¥ ÀçÇö ¸Þ¸ð¸® 47
2.7 REINFORCE ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 50
2.8 ½ÇÇè °á°ú 53
2.8.1 ½ÇÇè: ÇÒÀÎÀ² ? ÀÇ È¿°ú 53
2.8.2 ½ÇÇè: ±âÁØ°ªÀÇ È¿°ú 55
2.9 ¿ä¾à 57
2.10 ´õ ÀÐÀ»°Å¸® 57
2.11 ¿ª»ç 58
CHAPTER 03 ȓȍ(SARSA) 59
3.1 Q ÇÔ¼ö¿Í V ÇÔ¼ö 60
3.2 ½Ã°£Â÷ ÇнÀ 63
3.2.1 ½Ã°£Â÷ ÇнÀ¿¡ ´ëÇÑ Á÷°ü 66
3.3 »ì»çÀÇ Çൿ ¼±Åà 73
3.3.1 ŽÇè°ú È°¿ë 74
3.4 »ì»ç ¾Ë°í¸®Áò 75
3.4.1 È°¼ºÁ¤Ã¥ ¾Ë°í¸®Áò 76
3.5 »ì»çÀÇ Àû¿ë 77
3.5.1 Çൿ ÇÔ¼ö: ¿¦½Ç·Ð Ž¿åÀû 77
3.5.2 Q ¼Õ½ÇÀÇ °è»ê 78
3.5.3 »ì»ç ÈÆ·Ã ·çÇÁ 80
3.5.4 È°¼ºÁ¤Ã¥ ¹èÄ¡ ÀçÇö ¸Þ¸ð¸® 81
3.6 »ì»ç ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 83
3.7 ½ÇÇè °á°ú 86
3.7.1 ½ÇÇè: ÇнÀ·üÀÇ È¿°ú 86
3.8 ¿ä¾à 87
3.9 ´õ ÀÐÀ»°Å¸® 88
3.10 ¿ª»ç 89
CHAPTER 04 ½ÉÃþ Q ³×Æ®¿öÅ©(DQN) 91
4.1 DQNÀÇ Q ÇÔ¼ö ÇнÀ 92
4.2 DQNÀÇ Çൿ ¼±Åà 94
4.2.1 º¼Ã÷¸¸ Á¤Ã¥ 97
4.3 °æÇè ÀçÇö 100
4.4 DQN ¾Ë°í¸®Áò 101
4.5 DQNÀÇ Àû¿ë 103
4.5.1 Q ¼Õ½ÇÀÇ °è»ê 103
4.5.2 DQN ÈÆ·Ã ·çÇÁ 104
4.5.3 ÀçÇö ¸Þ¸ð¸® 105
4.6 DQN ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 108
4.7 ½ÇÇè °á°ú 111
4.7.1 ½ÇÇè: ½Å°æ¸Á ¾ÆÅ°ÅØóÀÇ È¿°ú 111
4.8 ¿ä¾à 113
4.9 ´õ ÀÐÀ»°Å¸® 114
4.10 ¿ª»ç 114
CHAPTER 05 Çâ»óµÈ DQN 115
5.1 ¸ñÇ¥ ³×Æ®¿öÅ© 116
5.2 ÀÌÁß DQN 119
5.3 ¿ì¼±¼øÀ§°¡ ÀÖ´Â °æÇè ÀçÇö(PER) 123
5.3.1 Áß¿äµµ Ç¥º»ÃßÃâ 125
5.4 ¼öÁ¤µÈ DQNÀÇ ±¸Çö 126
5.4.1 ³×Æ®¿öÅ© ÃʱâÈ 127
5.4.2 Q ¼Õ½ÇÀÇ °è»ê 128
5.4.3 ¸ñÇ¥ ³×Æ®¿öÅ©ÀÇ ¾÷µ¥ÀÌÆ® 129
5.4.4 ¸ñÇ¥ ³×Æ®¿öÅ©¸¦ °®´Â DQN 130
5.4.5 ÀÌÁß DQN 130
5.4.6 ¿ì¼±¼øÀ§°¡ ÀÖ´Â °æÇè ÀçÇö 131
5.5 ¾ÆŸ¸® °ÔÀÓÀ» À§ÇÑ DQN ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 137
5.6 ½ÇÇè °á°ú 142
5.6.1 ½ÇÇè: ÀÌÁß DQN°ú PERÀÇ È¿°ú 142
5.7 ¿ä¾à 146
5.8 ´õ ÀÐÀ»°Å¸® 146
PART II °áÇÕµÈ ¹æ¹ý
CHAPTER 06 ¾îµå¹êƼÁö ÇൿÀÚ-ºñÆòÀÚ(A2C) 149
6.1 ÇൿÀÚ 150
6.2 ºñÆòÀÚ 150
6.2.1 ¾îµå¹êƼÁö ÇÔ¼ö 151
6.2.2 ¾îµå¹êƼÁö ÇÔ¼ö¿¡ ´ëÇÑ ÇнÀ 155
6.3 A2C ¾Ë°í¸®Áò 156
6.4 A2CÀÇ ±¸Çö 159
6.4.1 ¾îµå¹êƼÁö ÃßÁ¤ 160
6.4.2 °¡Ä¡ ¼Õ½Ç°ú Á¤Ã¥ ¼Õ½ÇÀÇ °è»ê 162
6.4.3 ÇൿÀÚ-ºñÆòÀÚ ÈÆ·Ã ·çÇÁ 163
6.5 ³×Æ®¿öÅ© ¾ÆÅ°ÅØó 164
6.6 A2C ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 166
6.6.1 n´Ü°è À̵æÀ» ÀÌ¿ëÇÑ A2C¸¦ Æþ °ÔÀÓ¿¡ Àû¿ë 166
6.6.2 GAE¸¦ ÀÌ¿ëÇÑ A2C¸¦ Æþ °ÔÀÓ¿¡ Àû¿ë 169
6.6.3 µÎ ¹ß º¸ÇàÀÚ ¹®Á¦¿¡¼ n´Ü°è À̵æÀ» ÀÌ¿ëÇÑ A2C 170
6.7 ½ÇÇè °á°ú 173
6.7.1 ½ÇÇè: n´Ü°è À̵æÀÇ È¿°ú 173
6.7.2 ½ÇÇè: GAEÀÇ ?°¡ ¹ÌÄ¡´Â È¿°ú 175
6.8 ¿ä¾à 176
6.9 ´õ ÀÐÀ»°Å¸® 177
6.10 ¿ª»ç 177
CHAPTER 07 ±ÙÀ§ Á¤Ã¥ ÃÖÀûÈ(PPO) 179
7.1 ´ë¸®¸ñÀû 180
7.1.1 ¼º´ÉºØ±« 180
7.1.2 ¸ñÀû ÇÔ¼öÀÇ ¼öÁ¤ 182
7.2 ±ÙÀ§ Á¤Ã¥ ÃÖÀûÈ(PPO) 189
7.3 PPO ¾Ë°í¸®Áò 193
7.4 PPOÀÇ ±¸Çö 195
7.4.1 PPO Á¤Ã¥ ¼Õ½ÇÀÇ °è»ê 195
7.4.2 PPO ÈÆ·Ã ·çÇÁ 196
7.5 PPO ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 198
7.5.1 Æþ °ÔÀÓÀ» À§ÇÑ PPO 198
7.5.2 µÎ ¹ß º¸ÇàÀÚ¸¦ À§ÇÑ PPO 201
7.6 ½ÇÇè °á°ú 203
7.6.1 ½ÇÇè: GAEÀÇ ?°¡ ¹ÌÄ¡´Â È¿°ú 204
7.6.2 ½ÇÇè: Ŭ¸®ÇÎ º¯¼ö ?ÀÇ È¿°ú 205
7.7 ¿ä¾à 207
7.8 ´õ ÀÐÀ»°Å¸® 208
CHAPTER º´·ÄÈ ¹æ¹ý 209
8.1 µ¿±â º´·ÄÈ 210
8.2 ºñµ¿±â º´·ÄÈ 212
8.2.1 È£±×¿ÍÀϵå! 213
8.3 A3C ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 216
8.4 ¿ä¾à 219
8.5 ´õ ÀÐÀ»°Å¸® 219
CHAPTER 09 ¾Ë°í¸®Áò ¿ä¾à 221
PART III ½ÇÀüÀ» À§ÇÑ ¼¼ºÎ»çÇ×
CHAPTER 10 ½ÉÃþ°ÈÇнÀÀ¸·Î ÀÛ¾÷Çϱâ 225
10.1 ¼ÒÇÁÆ®¿þ¾î °øÇÐÀû ±â¹ý 226
10.1.1 ´ÜÀ§ Å×½ºÆ® 226
10.1.2 ÄÚµå Ç°Áú 232
10.1.3 ±ê ¿öÅ©Ç÷Π233
10.2 µð¹ö±ë ÆÁ 236
10.2.1 »ýÁ¸ ½ÅÈ£ 236
10.2.2 Á¤Ã¥ °æ»ç¿¡ ´ëÇÑ Áø´Ü 237
10.2.3 µ¥ÀÌÅÍ¿¡ ´ëÇÑ Áø´Ü 238
10.2.4 Àü󸮱â 239
10.2.5 ¸Þ¸ð¸® 239
10.2.6 ¾Ë°í¸®Áò ÇÔ¼ö 240
10.2.7 ½Å°æ¸Á 240
10.2.8 ¾Ë°í¸®Áò °£¼ÒÈ 243
10.2.9 ¹®Á¦ °£¼ÒÈ 243
10.2.10 ÇÏÀÌÆÛÆĶó¹ÌÅÍ 244
10.2.11 Lab ¿öÅ©Ç÷Π244
10.3 ¾ÆŸ¸® Æ®¸¯ 245
10.4 ½ÉÃþ°ÈÇнÀ ¾Ë¸¶³¼ 249
10.4.1 ÇÏÀÌÆÛÆĶó¹ÌÅÍ Ç¥ 249
10.4.2 ¾Ë°í¸®Áò ¼º´É ºñ±³ 252
10.5 ¿ä¾à 255
CHAPTER 11 SLM Lab 257
11.1 SLM Lab¿¡ ±¸ÇöµÈ ¾Ë°í¸®Áò 257
11.2 spec ÆÄÀÏ 260
11.2.1 °Ë»ö ½ºÆå ±¸¹® 262
11.3 SLM LabÀÇ ½ÇÇà 265
11.3.1 SLM LabÀÇ ¸í·É¾î 265
11.4 ½ÇÇè °á°úÀÇ ºÐ¼® 266
11.4.1 ½ÇÇè µ¥ÀÌÅÍÀÇ °³¿ä 266
11.5 ¿ä¾à 268
CHAPTER 12 ³×Æ®¿öÅ© ¾ÆÅ°ÅØó 269
12.1 ½Å°æ¸ÁÀÇ À¯Çü 269
12.1.1 ´ÙÃþ ÆÛ¼ÁÆ®·Ð(MLP) 270
12.1.2 ÇÕ¼º°ö½Å°æ¸Á(CNN) 272
12.1.3 ȸ±Í½Å°æ¸Á(RNN) 274
12.2 ³×Æ®¿öÅ© ±×·ì ¼±ÅÃÀ» À§ÇÑ °¡À̵å 275
12.2.1 MDP¿Í POMDP 275
12.2.2 ȯ°æÀ» À§ÇÑ ³×Æ®¿öÅ© ¼±Á¤ 279
12.3 Net API 282
12.3.1 ÀԷ°ú Ãâ·Â ÃþÀ§ ¸ð¾çÀÇ ÃßÁ¤ 284
12.3.2 ³×Æ®¿öÅ©ÀÇ ÀÚµ¿ »ý¼º 286
12.3.3 ÈÆ·Ã ´Ü°è 289
12.3.4 ±â¹Ý ¸Þ¼ÒµåÀÇ ³ëÃâ 290
12.4 ¿ä¾à 291
12.5 ´õ ÀÐÀ»°Å¸® 292
CHAPTER 13 Çϵå¿þ¾î 293
13.1 ÄÄÇ»ÅÍ 294
13.2 µ¥ÀÌÅÍ À¯Çü 300
13.3 °ÈÇнÀ¿¡¼ µ¥ÀÌÅÍ À¯Çü ÃÖÀûÈ 302
13.4 Çϵå¿þ¾îÀÇ ¼±Åà 307
13.5 ¿ä¾à 308
CHAPTER 14 »óÅÂ 311
14.1 »óÅÂÀÇ ¿¹Á¦ 312
14.2 »óÅÂÀÇ ¿Ï°á¼º 319
14.3 »óÅÂÀÇ º¹À⼺ 320
14.4 »óÅ Á¤º¸ ¼Õ½Ç 325
14.4.1 À̹ÌÁö ±×·¹À̽ºÄÉÀϸµ 325
14.4.2 ÀÌ»êÈ 326
14.4.3 Çؽà Ã⵿ 327
14.4.4 ¸ÞŸÁ¤º¸ ¼Õ½Ç 327
14.5 Àüó¸® 331
14.5.1 Ç¥ÁØÈ 332
14.5.2 À̹ÌÁö ó¸® 333
14.5.3 ½Ã°£Àû Àüó¸® 335
14.6 ¿ä¾à 339
CHAPTER 15 Çൿ 341
15.1 ÇൿÀÇ ¿¹Á¦ 341
15.2 ÇൿÀÇ ¿Ï°á¼º 345
15.3 ÇൿÀÇ º¹À⼺ 347
15.4 ¿ä¾à 352
15.5 ´õ ÀÐÀ»°Å¸®: Àϻ󿡼ÀÇ Çൿ ¼³°è 353
CHAPTER 16 º¸»ó 357
16.1 º¸»óÀÇ ¿ªÇÒ 357
16.2 º¸»ó ¼³°èÀÇ °¡À̵å¶óÀÎ 359
16.3 ¿ä¾à 364
CHAPTER 17 ÀüÀÌ ÇÔ¼ö 365
17.1 ½ÇÇö °¡´É¼º È®ÀÎ 366
17.2 Çö½Ç¼º È®ÀÎ 368
17.3 ¿ä¾à 371
APPENDIX A ½ÉÃþ°ÈÇнÀ ŸÀÓ¶óÀÎ 372
APPENDIX B ȯ°æÀÇ ¿¹Á¦ 374
B.1 ÀÌ»êÀû ȯ°æ 375
B.1.1 CartPole-v0 375
B.1.2 MountainCar-v0 376
B.1.3 LunarLander-v2 377
B.1.4 PongNoFrameskip-v4 378
B.1.5 BreakoutNoFrameskip-v4 378
B.2 ¿¬¼Ó ȯ°æ 379
B.2.1 Pendulum-v0 379
B.2.2 BipedalWalker-v2 380
¿¡ÇÊ·Î±× 381
½ÉÃþ°ÈÇнÀÀÇ È®°íÇÑ ±â¹ÝÀ» ´ÙÁö±â À§ÇÑ ¿Ïº®ÇÑ ¹æ¹ý!
Áö±Ý ´çÀå È°¿ëÇÒ ¼ö ÀÖ´Â ½ÉÃþ°ÈÇнÀÀÇ ÀÌ·Ð ¹× ½Ç¹«¸¦ ¼Ò°³ÇÕ´Ï´Ù.
ÀÌ Ã¥Àº À̷аú ½Ç¹«Àû ³»¿ëÀ» µ¶Æ¯ÇÏ°Ô °áÇÕÇÑ ½ÉÃþ°ÈÇнÀ ¼Ò°³¼ÀÔ´Ï´Ù. Á÷°üÀûÀÎ ¼³¸í¿¡¼ ½ÃÀÛÇÏ¿© ½ÉÃþ°ÈÇнÀ ¾Ë°í¸®Áò¿¡ ´ëÇÑ ÀÚ¼¼ÇÑ ¼³¸í°ú SLM Lab ¶óÀ̺귯¸®¸¦ ÀÌ¿ëÇÑ ±¸Çö ¹æ¹ýÀ¸·Î À̾îÁö°í, ¸¶Áö¸·À¸·Î´Â ½ÉÃþ°ÈÇнÀÀ» ½Ç¹«¿¡ Àû¿ëÇϱâ À§ÇÑ ¼¼ºÎ ³»¿ëÀ» ´Ù·ì´Ï´Ù.
±âº»ÀûÀÎ ±â°èÇнÀ °³³ä¿¡ ´ëÇÑ ÀÌÇØ¿Í ÆÄÀ̽ãÀ» ´Ù·ê ÁÙ ¾Æ´Â ÄÄÇ»ÅÍ°úÇÐ Àü°ø Çлý ¹× ¼ÒÇÁÆ®¿þ¾î ¿£Áö´Ï¾î ¸ðµÎ¿¡°Ô ÃÖ¼±ÀÇ ¼±ÅÃÀÌ µÉ °ÍÀÔ´Ï´Ù.
ÁÖ¿ä ³»¿ë
?½ÉÃþ°ÈÇнÀ ¹®Á¦ÀÇ ¸ðµç ÇÙ½É ³»¿ëÀ» ´Ù·ì´Ï´Ù.
?REINFORCE, »ç¸£»ç(SARSA), DQN, ÀÌÁßDQN, ¿ì¼±¼øÀ§°¡ ÀÖ´Â °æÇèÀçÇö(PER)°ú °°Àº Á¤Ã¥-±â¹Ý ¾Ë°í¸®Áò°ú °¡Ä¡-±â¹Ý ¾Ë°í¸®Áò¿¡ ´ëÇØ ¾Ë¾Æº¾´Ï´Ù.
?ÇൿÀÚ-ºñÆòÀÚ(Actor-Critic)¿Í ±ÙÀ§ Á¤Ã¥ ÃÖÀûÈ(PPO)¿Í °°Àº °áÇÕµÈ ¾Ë°í¸®Áò¿¡ ´ëÇØ ½Éµµ ÀÖ°Ô ¾Ë¾Æº¾´Ï´Ù.
?¾Ë°í¸®ÁòÀÌ µ¿±â ¹× ºñµ¿±â ¹æ½ÄÀ¸·Î º´·ÄȵǴ °úÁ¤À» ÀÌÇØÇÕ´Ï´Ù.
?SLM Lab¿¡¼ ¾Ë°í¸®ÁòÀ» ½ÇÇàÇØ º¸°í, ½ÉÃþ°ÈÇнÀÀ» ½Ç¹«¿¡ Àû¿ëÇϱâ À§ÇÑ ¼¼ºÎ»çÇ×µéÀ» ÇнÀÇÕ´Ï´Ù.
?Æ©´×µÈ ÇÏÀÌÆÛÆĶó¹ÌÅ͸¦ »ç¿ëÇÑ °á°ú¸¦ ÅëÇØ ¾Ë°í¸®ÁòÀ» ŽÇèÇÕ´Ï´Ù.
?½ÉÃþ°ÈÇнÀ ȯ°æÀÇ ¼³°è ¹æ¹ýÀ» ÀÌÇØÇÕ´Ï´Ù.
Áö±Ý ´çÀå È°¿ëÇÒ ¼ö ÀÖ´Â ½ÉÃþ°ÈÇнÀÀÇ ÀÌ·Ð ¹× ½Ç¹«¸¦ ¼Ò°³ÇÕ´Ï´Ù.
ÀÌ Ã¥Àº À̷аú ½Ç¹«Àû ³»¿ëÀ» µ¶Æ¯ÇÏ°Ô °áÇÕÇÑ ½ÉÃþ°ÈÇнÀ ¼Ò°³¼ÀÔ´Ï´Ù. Á÷°üÀûÀÎ ¼³¸í¿¡¼ ½ÃÀÛÇÏ¿© ½ÉÃþ°ÈÇнÀ ¾Ë°í¸®Áò¿¡ ´ëÇÑ ÀÚ¼¼ÇÑ ¼³¸í°ú SLM Lab ¶óÀ̺귯¸®¸¦ ÀÌ¿ëÇÑ ±¸Çö ¹æ¹ýÀ¸·Î À̾îÁö°í, ¸¶Áö¸·À¸·Î´Â ½ÉÃþ°ÈÇнÀÀ» ½Ç¹«¿¡ Àû¿ëÇϱâ À§ÇÑ ¼¼ºÎ ³»¿ëÀ» ´Ù·ì´Ï´Ù.
±âº»ÀûÀÎ ±â°èÇнÀ °³³ä¿¡ ´ëÇÑ ÀÌÇØ¿Í ÆÄÀ̽ãÀ» ´Ù·ê ÁÙ ¾Æ´Â ÄÄÇ»ÅÍ°úÇÐ Àü°ø Çлý ¹× ¼ÒÇÁÆ®¿þ¾î ¿£Áö´Ï¾î ¸ðµÎ¿¡°Ô ÃÖ¼±ÀÇ ¼±ÅÃÀÌ µÉ °ÍÀÔ´Ï´Ù.
ÁÖ¿ä ³»¿ë
?½ÉÃþ°ÈÇнÀ ¹®Á¦ÀÇ ¸ðµç ÇÙ½É ³»¿ëÀ» ´Ù·ì´Ï´Ù.
?REINFORCE, »ç¸£»ç(SARSA), DQN, ÀÌÁßDQN, ¿ì¼±¼øÀ§°¡ ÀÖ´Â °æÇèÀçÇö(PER)°ú °°Àº Á¤Ã¥-±â¹Ý ¾Ë°í¸®Áò°ú °¡Ä¡-±â¹Ý ¾Ë°í¸®Áò¿¡ ´ëÇØ ¾Ë¾Æº¾´Ï´Ù.
?ÇൿÀÚ-ºñÆòÀÚ(Actor-Critic)¿Í ±ÙÀ§ Á¤Ã¥ ÃÖÀûÈ(PPO)¿Í °°Àº °áÇÕµÈ ¾Ë°í¸®Áò¿¡ ´ëÇØ ½Éµµ ÀÖ°Ô ¾Ë¾Æº¾´Ï´Ù.
?¾Ë°í¸®ÁòÀÌ µ¿±â ¹× ºñµ¿±â ¹æ½ÄÀ¸·Î º´·ÄȵǴ °úÁ¤À» ÀÌÇØÇÕ´Ï´Ù.
?SLM Lab¿¡¼ ¾Ë°í¸®ÁòÀ» ½ÇÇàÇØ º¸°í, ½ÉÃþ°ÈÇнÀÀ» ½Ç¹«¿¡ Àû¿ëÇϱâ À§ÇÑ ¼¼ºÎ»çÇ×µéÀ» ÇнÀÇÕ´Ï´Ù.
?Æ©´×µÈ ÇÏÀÌÆÛÆĶó¹ÌÅ͸¦ »ç¿ëÇÑ °á°ú¸¦ ÅëÇØ ¾Ë°í¸®ÁòÀ» ŽÇèÇÕ´Ï´Ù.
?½ÉÃþ°ÈÇнÀ ȯ°æÀÇ ¼³°è ¹æ¹ýÀ» ÀÌÇØÇÕ´Ï´Ù.