- ÇöÀç À§Ä¡
- home > ÄÄÇ»ÅÍ¡¤ICT¡¤¾îÇÐ > ÄÄÇ»ÅÍ¡¤IT µµ¼ > ÄÄÇ»ÅÍ°øÇÐ > ¾È³ç, Æ®·£½ºÆ÷¸Ó[¿¡ÀÌÄÜÃâÆÇ]
ÀÚ¿¬¾î 󸮸¦ À§ÇÑ AI ¸ðµ¨ÀÇ ÇÙ½É ±â¼ú°ú È°¿ë¹ý¿¡ ´ëÇؼ ´Ù·é´Ù. N-gramÀ¸·Î Á¢±ÙÇÏ´Â ÀüÅëÀûÀÎ ¸ðµ¨ ¹æ½ÄÀÇ ÇѰ踦 ¼³¸íÇÏ°í, AI ¸ðµ¨ÀÌ ±× ¹®Á¦¸¦ ¾î¶»°Ô ÇØ°áÇÒ ¼ö ÀÖ´ÂÁö ¼³¸íÇÑ´Ù. ¾îÅÙ¼Ç ³×Æ®¿öÅ©ÀÇ ¹è°æ°ú ÇÙ½É ¿ø¸®¸¦ ÀÚ¼¼ÇÏ°Ô ¼³¸íÇÏ°í ÀÖ°í, ÀÌ ±¸Á¶¸¦ ÅëÇؼ Æ®·£½ºÆ÷¸Ó³ª BERT µîÀÇ ±¸Á¶¸¦ ¼³¸íÇÑ´Ù. ¶ÇÇÑ ÀÚ¿¬¾î 󸮿¡ ÀÖ¾î¼ ¸ÞŸÇнÀ ¹æ¹ýµµ °£·«ÇÏ°Ô ¼Ò°³ÇÑ´Ù.
ÀúÀÚ: ÀÌÁø±â (ÁöÀºÀÌ)
1Àå ´ÙÀ½ ´Ü¾î´Â¿ä? ¾ð¾î ¸ðµ¨
__1.1. ¾ð¾î ¸ðµ¨Àº È®·ü °ÔÀÓ
__1.2. N-gram ¾ð¾î ¸ðµ¨
____1.2.1. ÅؽºÆ® Àüó¸®
____1.2.2. Á¦·Î Ä«¿îÆ® ÇØ°áÇϱâ
____1.2.3. N-gram ¸ðµ¨ ÇнÀÇϱâ
____1.2.4. N-gram ¾ð¾î ¸ðµ¨ÀÇ ÇÑ°è
__1.3. Word2Vec ±â¹ÝÀÇ ¾ð¾î ¸ðµ¨
__1.4. RNN ±â¹ÝÀÇ ¾ð¾î ¸ðµ¨
__1.4.1. RNNÀÇ ±¸Á¶
__1.4.2. GRU ¾ð¾î ¸ðµ¨ ±¸ÇöÇϱâ
__1.4.3. GRU ¾ð¾î ¸ðµ¨·Î ¹®Àå »ý¼ºÇϱâ
2Àå ÁýÁßÇØ º¸ÀÚ! ¾îÅÙ¼Ç
__2.1. ÇϳªÀÇ º¤ÅÍ·Î ¸ðµç Á¤º¸¸¦ ´ã´Â RNN
__2.2. ¿Ö ¾îÅÙ¼Ç(Attention)ÇÏÁö ¾ÊÁö?
__2.3. ¾î¶»°Ô ¾îÅÙ¼Ç(Attention)ÇÏÁö?
____2.3.1. ¹¯°í Âü°íÇÏ°í ´äÇϱâ
____2.3.2. ¾îÅÙ¼Ç °è»êÇØ º¸±â
____2.3.3. ¾îÅÙ¼Ç ±¸ÇöÇϱâ
____2.3.4 ¸ðµ¨¸µ ÇнÀÇϱâ
3Àå ¾È³ç, Æ®·£½ºÆ÷¸Ó
__3.1. Æ®·£½ºÆ÷¸ÓÀÇ ±¸Á¶
__3.2. Æ®·£½ºÆ÷¸Ó ±¸ÇöÇϱâ
____3.2.1. ÀÎÄÚ´õ
__3.3. Why Transformer
__3.4. Æ®·£½ºÆ÷¸Ó ÇнÀ °á°ú
____3.4.1. Perplexity(PPL)
____3.4.2. BLEU ½ºÄÚ¾î
4Àå Áß°£ºÎÅÍ ÇнÀÇÏÀÚ! »çÀüÇнÀ°ú ÆÄÀÎÆ©´×
__4.1. »çÀüÇнÀ°ú Fine-Tuning
__4.2. BERT
____4.2.1. BERTÀÇ ¸ðµ¨ ±¸Á¶¿Í ÀÌÇØÇϱâ
____4.2.2. BERT ¸ðµ¨ÀÇ ÀÔ·Â ÀÌÇØÇϱâ
____4.2.3. »çÀüÇнÀ ÀÌÇØÇϱâ
____4.2.4. Masked Language Model(MLM)
____4.2.5. Next Sentence Prediction(NSP)
____4.2.6. »çÀüÇнÀÀ» À§ÇÑ µ¥ÀÌÅͼ Áغñ¿Í Self-supervised Learning
____4.2.7. »çÀüÇнÀ ÆÄÇìÄ¡±â
____4.2.8. »çÀüÇнÀ Á¤¸®Çϱâ
____4.2.9. Fine-Tuning ÀÌÇØÇϱâ
____4.2.10. ÅؽºÆ® ºÐ·ù ¸ðµ¨·Î ÆÄÀÎÆ©´×Çϱâ
____4.2.11. ÁúÀÇÀÀ´ä ¸ðµ¨·Î ÆÄÀÎÆ©´×Çϱâ
__4.3. GPT
____4.3.1. GPTÀÇ »çÀüÇнÀ
____4.3.2. Masked Self-Attention
__4.4. RoBERTa
____4.4.1. Á¤Àû ¶Ç´Â µ¿Àû ¸¶½ºÅ· Àü·«
____4.4.2. NSP Àü·«
____4.4.3. ¹èÄ¡ »çÀÌÁî¿Í µ¥ÀÌÅͼ ũ±â
__4.5. ALBERT
____4.5.1. Factorized Embedding Parameterization
____4.5.2. Cross-layer Parameter Sharing
____4.5.3. Sentence Order Prediction(SOP)
____4.5.4. ALBERT Á¤¸®
__4.6. ELECTRA
____4.6.1. ÇнÀ ±¸Á¶
____4.6.2. RTD
__4.7. DistilBERT
____4.7.1. Áö½Ä Áõ·ù
____4.7.2. DistilBERTÀÇ ±¸Á¶¿Í ¼º´É ºñ±³
__4.8. BigBird
____4.8.1. Àüü ¹®Àå¿¡ ´ëÇÑ ¾îÅÙ¼Ç, ±Û·Î¹ú ¾îÅÙ¼Ç
____4.8.2. °¡±î¿î ´Ü¾î¿¡¸¸ ÁýÁßÇϱâ, ·ÎÄà ¾îÅÙ¼Ç
____4.8.3. ÀÓÀÇÀÇ ÅäÅ«¿¡ ´ëÇÑ ¾îÅÙ¼Ç, ·£´ý ¾îÅÙ¼Ç
____4.8.4. ÅäÅ« ±æÀÌ¿¡ µû¸¥ ¿¬»ê·® ºñ±³
__4.9. ¸®Æ÷¸Ó
____4.9.1. Æ®·£½ºÆ÷¸Ó ±¸Á¶ÀÇ ¹®Á¦Á¡
____4.9.2. LSH ¾îÅÙ¼Ç
____4.9.3. Reversible Æ®·£½ºÆ÷¸Ó
__4.10. GLUE µ¥ÀÌÅͼÂ
____4.10.1. CoLA
____4.10.2. SST-2 µ¥ÀÌÅͼÂ
____4.10.3. MRPC
____4.10.4. QQP
____4.10.5. STS-B
____4.10.6. MNLI
____4.10.7. QNLI
____4.10.8. RTE
____4.10.9. WNLI
____4.10.10. GLUE µ¥ÀÌÅͼÂÀÇ Æò°¡ ÁöÇ¥
5Àå ¾î¶»°Ô ¹è¿ìÁö? ¸ÞŸ·¯´×
__5.1. ÇнÀÀ» À§ÇÑ ÇнÀ, ¸ÞŸ·¯´×
__5.2. ¸ÞŸ·¯´×À» ÀÌ¿ëÇÑ Amazon ¸®ºä °¨Á¤ ºÐ·ù ÇнÀÇϱâ
____5.2.1. µ¥ÀÌÅͼ°ú µ¥ÀÌÅͷδõ ¸¸µé±â
__5.3. GPT2¿¡¼ÀÇ ¸ÞŸ·¯´×
____5.3.1. GPT2¸¦ ÇнÀÇϱâ À§ÇÑ Á¢±Ù ¹æ¹ý
____5.3.2. GPT2ÀÇ ÇнÀ µ¥ÀÌÅͼ°ú ¸ÖƼŽºÅ©
____5.3.3. GPT2 ¼º´É Æò°¡ °á°ú
____5.3.4. GP2¸¦ ÅëÇÑ ¹®Àå »ý¼º
____5.3.5. GPT2¸¦ ÀÌ¿ëÇÑ Ç»¼¦ ·¯´×
ºÎ·Ï. ¾çÀÚÈ
__1.1. ¾çÀÚÈ¿¡ ´ëÇÑ ¼öÇÐÀûÀÎ ÀÌÇØ¿Í ÄÚµå ±¸Çö
__1.2. ¾çÀÚÈµÈ Çà·ÄÀ» ÀÌ¿ëÇÑ Çà·Ä °ö¼À°ú µ¡¼À
__1.3. µ¿Àû ¾çÀÚÈ¿Í Á¤Àû ¾çÀÚÈ
__1.4. BERT ¾çÀÚÈÇϱâ
__1.1. ¾ð¾î ¸ðµ¨Àº È®·ü °ÔÀÓ
__1.2. N-gram ¾ð¾î ¸ðµ¨
____1.2.1. ÅؽºÆ® Àüó¸®
____1.2.2. Á¦·Î Ä«¿îÆ® ÇØ°áÇϱâ
____1.2.3. N-gram ¸ðµ¨ ÇнÀÇϱâ
____1.2.4. N-gram ¾ð¾î ¸ðµ¨ÀÇ ÇÑ°è
__1.3. Word2Vec ±â¹ÝÀÇ ¾ð¾î ¸ðµ¨
__1.4. RNN ±â¹ÝÀÇ ¾ð¾î ¸ðµ¨
__1.4.1. RNNÀÇ ±¸Á¶
__1.4.2. GRU ¾ð¾î ¸ðµ¨ ±¸ÇöÇϱâ
__1.4.3. GRU ¾ð¾î ¸ðµ¨·Î ¹®Àå »ý¼ºÇϱâ
2Àå ÁýÁßÇØ º¸ÀÚ! ¾îÅÙ¼Ç
__2.1. ÇϳªÀÇ º¤ÅÍ·Î ¸ðµç Á¤º¸¸¦ ´ã´Â RNN
__2.2. ¿Ö ¾îÅÙ¼Ç(Attention)ÇÏÁö ¾ÊÁö?
__2.3. ¾î¶»°Ô ¾îÅÙ¼Ç(Attention)ÇÏÁö?
____2.3.1. ¹¯°í Âü°íÇÏ°í ´äÇϱâ
____2.3.2. ¾îÅÙ¼Ç °è»êÇØ º¸±â
____2.3.3. ¾îÅÙ¼Ç ±¸ÇöÇϱâ
____2.3.4 ¸ðµ¨¸µ ÇнÀÇϱâ
3Àå ¾È³ç, Æ®·£½ºÆ÷¸Ó
__3.1. Æ®·£½ºÆ÷¸ÓÀÇ ±¸Á¶
__3.2. Æ®·£½ºÆ÷¸Ó ±¸ÇöÇϱâ
____3.2.1. ÀÎÄÚ´õ
__3.3. Why Transformer
__3.4. Æ®·£½ºÆ÷¸Ó ÇнÀ °á°ú
____3.4.1. Perplexity(PPL)
____3.4.2. BLEU ½ºÄÚ¾î
4Àå Áß°£ºÎÅÍ ÇнÀÇÏÀÚ! »çÀüÇнÀ°ú ÆÄÀÎÆ©´×
__4.1. »çÀüÇнÀ°ú Fine-Tuning
__4.2. BERT
____4.2.1. BERTÀÇ ¸ðµ¨ ±¸Á¶¿Í ÀÌÇØÇϱâ
____4.2.2. BERT ¸ðµ¨ÀÇ ÀÔ·Â ÀÌÇØÇϱâ
____4.2.3. »çÀüÇнÀ ÀÌÇØÇϱâ
____4.2.4. Masked Language Model(MLM)
____4.2.5. Next Sentence Prediction(NSP)
____4.2.6. »çÀüÇнÀÀ» À§ÇÑ µ¥ÀÌÅͼ Áغñ¿Í Self-supervised Learning
____4.2.7. »çÀüÇнÀ ÆÄÇìÄ¡±â
____4.2.8. »çÀüÇнÀ Á¤¸®Çϱâ
____4.2.9. Fine-Tuning ÀÌÇØÇϱâ
____4.2.10. ÅؽºÆ® ºÐ·ù ¸ðµ¨·Î ÆÄÀÎÆ©´×Çϱâ
____4.2.11. ÁúÀÇÀÀ´ä ¸ðµ¨·Î ÆÄÀÎÆ©´×Çϱâ
__4.3. GPT
____4.3.1. GPTÀÇ »çÀüÇнÀ
____4.3.2. Masked Self-Attention
__4.4. RoBERTa
____4.4.1. Á¤Àû ¶Ç´Â µ¿Àû ¸¶½ºÅ· Àü·«
____4.4.2. NSP Àü·«
____4.4.3. ¹èÄ¡ »çÀÌÁî¿Í µ¥ÀÌÅͼ ũ±â
__4.5. ALBERT
____4.5.1. Factorized Embedding Parameterization
____4.5.2. Cross-layer Parameter Sharing
____4.5.3. Sentence Order Prediction(SOP)
____4.5.4. ALBERT Á¤¸®
__4.6. ELECTRA
____4.6.1. ÇнÀ ±¸Á¶
____4.6.2. RTD
__4.7. DistilBERT
____4.7.1. Áö½Ä Áõ·ù
____4.7.2. DistilBERTÀÇ ±¸Á¶¿Í ¼º´É ºñ±³
__4.8. BigBird
____4.8.1. Àüü ¹®Àå¿¡ ´ëÇÑ ¾îÅÙ¼Ç, ±Û·Î¹ú ¾îÅÙ¼Ç
____4.8.2. °¡±î¿î ´Ü¾î¿¡¸¸ ÁýÁßÇϱâ, ·ÎÄà ¾îÅÙ¼Ç
____4.8.3. ÀÓÀÇÀÇ ÅäÅ«¿¡ ´ëÇÑ ¾îÅÙ¼Ç, ·£´ý ¾îÅÙ¼Ç
____4.8.4. ÅäÅ« ±æÀÌ¿¡ µû¸¥ ¿¬»ê·® ºñ±³
__4.9. ¸®Æ÷¸Ó
____4.9.1. Æ®·£½ºÆ÷¸Ó ±¸Á¶ÀÇ ¹®Á¦Á¡
____4.9.2. LSH ¾îÅÙ¼Ç
____4.9.3. Reversible Æ®·£½ºÆ÷¸Ó
__4.10. GLUE µ¥ÀÌÅͼÂ
____4.10.1. CoLA
____4.10.2. SST-2 µ¥ÀÌÅͼÂ
____4.10.3. MRPC
____4.10.4. QQP
____4.10.5. STS-B
____4.10.6. MNLI
____4.10.7. QNLI
____4.10.8. RTE
____4.10.9. WNLI
____4.10.10. GLUE µ¥ÀÌÅͼÂÀÇ Æò°¡ ÁöÇ¥
5Àå ¾î¶»°Ô ¹è¿ìÁö? ¸ÞŸ·¯´×
__5.1. ÇнÀÀ» À§ÇÑ ÇнÀ, ¸ÞŸ·¯´×
__5.2. ¸ÞŸ·¯´×À» ÀÌ¿ëÇÑ Amazon ¸®ºä °¨Á¤ ºÐ·ù ÇнÀÇϱâ
____5.2.1. µ¥ÀÌÅͼ°ú µ¥ÀÌÅͷδõ ¸¸µé±â
__5.3. GPT2¿¡¼ÀÇ ¸ÞŸ·¯´×
____5.3.1. GPT2¸¦ ÇнÀÇϱâ À§ÇÑ Á¢±Ù ¹æ¹ý
____5.3.2. GPT2ÀÇ ÇнÀ µ¥ÀÌÅͼ°ú ¸ÖƼŽºÅ©
____5.3.3. GPT2 ¼º´É Æò°¡ °á°ú
____5.3.4. GP2¸¦ ÅëÇÑ ¹®Àå »ý¼º
____5.3.5. GPT2¸¦ ÀÌ¿ëÇÑ Ç»¼¦ ·¯´×
ºÎ·Ï. ¾çÀÚÈ
__1.1. ¾çÀÚÈ¿¡ ´ëÇÑ ¼öÇÐÀûÀÎ ÀÌÇØ¿Í ÄÚµå ±¸Çö
__1.2. ¾çÀÚÈµÈ Çà·ÄÀ» ÀÌ¿ëÇÑ Çà·Ä °ö¼À°ú µ¡¼À
__1.3. µ¿Àû ¾çÀÚÈ¿Í Á¤Àû ¾çÀÚÈ
__1.4. BERT ¾çÀÚÈÇϱâ
¢Â ÀÌ Ã¥¿¡¼ ´Ù·ç´Â ³»¿ë ¢Â
¡ß N-gramÀ» ÀÌ¿ëÇÑ ÀÚ¿¬¾î ó¸® ±â¹ý
¡ß ÀÚ¿¬¾î 󸮸¦ À§ÇÑ RNN ±â¹ÝÀÇ AI ¸ðµ¨ ±¸Á¶ ¹× Àå´ÜÁ¡
¡ß ¾îÅÙ¼Ç ³×Æ®¿öÅ©ÀÇ Åº»ý ¹è°æ°ú ÇÙ½É ¿ø¸®
¡ß ¾îÅÙ¼Ç ³×Æ®¿öÅ©¸¦ È°¿ëÇÑ Æ®·£½ºÆ÷¸ÓÀÇ ±¸Á¶
¡ß BERTÀÇ ±¸Á¶ ¹× »çÀüÇнÀ/ÆÄÀÎÆ©´× ¹æ¹ý
¡ß BERT ÀÌÈÄÀÇ AI ¸ðµ¨µé
¡ß ÀÚ¿¬¾î 󸮿¡ ´ëÇÑ ¸ÞŸ·¯´× ¹æ¹ý
¢Â ÀÌ Ã¥ÀÇ ´ë»ó µ¶ÀÚ ¢Â
¾î´À Á¤µµ ÆÄÀ̽ã Äڵ带 ÀÐ°í ±¸ÇöÇÒ ¼ö ÀÖÀ¸¸ç ¸Ó½Å·¯´×¿¡ ´ëÇÑ ±âÃÊ ¿ª·®ÀÌ ÀÖ´Â µ¶ÀÚ¸¦ ´ë»óÀ¸·Î Àú¼úÇß´Ù. ÆÄÀ̽ãÀ» Á¢Çغ» Àû ¾ø°Å³ª ¸Ó½Å·¯´×¿¡ ÀÔ¹®ÇÏ´Â µ¶ÀÚ°¡ °øºÎÇϱ⿡ ¾î·Á¿ï ¼ö ÀÖ´Ù.
¢Â ÀÌ Ã¥ÀÇ ±¸¼º ¢Â
1Àå¿¡¼´Â ¾ð¾î ¸ðµ¨¿¡ °üÇÑ ³»¿ëÀ» ´Ù·ð´Ù. ¾ð¾î ¸ðµ¨ÀÌ ¹«¾ùÀÎÁö È®·üÀûÀ¸·Î Á¤ÀÇÇÑ ÈÄ, N-gram ±â¹ýÀ» ÀÌ¿ëÇؼ ¾ð¾î ¸ðµ¨À» ¼³¸íÇÏ°í ±× °úÁ¤À» Äڵ带 ÅëÇØ ±¸ÇöÇß´Ù. ¶ÇÇÑ N-gram ÀÌÈÄ¿¡ ¿À·§µ¿¾È »ç¿ëµÆ´ø ÀΰøÁö´É ¸ðµ¨ÀÎ RNN °è¿ÀÇ ÀΰøÁö´É ¸ðµ¨µµ ¼³¸íÇß´Ù. RNN °è¿ÀÇ ¾ð¾î ¸ðµ¨µµ °£´ÜÇÏ°Ô ÇнÀÇغ¼ ¼ö ÀÖµµ·Ï »ùÇà Äڵ带 ±¸ÇöÇß´Ù.
2Àå¿¡¼´Â ¾îÅټǿ¡ ´ëÇؼ ÀÚ¼¼ÇÏ°Ô ´Ù·ð´Ù. ¾îÅÙ¼ÇÀº Æ®·£½ºÆ÷¸ÓÀÇ ÇÙ½ÉÀ» ÀÌ·ç´Â ¿¬»êÀÌ´Ù. ¾îÅÙ¼Ç ¿¬»êÀ» RNN °è¿¿¡ Ãß°¡ÇßÀ» ¶§ ¾î¶°ÇÑ ÀåÁ¡ÀÌ ÀÖ´ÂÁö ¼³¸íÇßÇÏ°í °ü·ÃµÈ »ùÇà Äڵ嵵 °øºÎÇغ¼ ¼ö ÀÖµµ·Ï ±¸ÇöÇß´Ù.
3ÀåºÎÅÍ º»°ÝÀûÀ¸·Î Æ®·£½ºÆ÷¸ÓÀÇ ±¸Á¶¸¦ ´Ù·ð´Ù. 2Àå¿¡¼ ´Ù·é ¾îÅÙ¼ÇÀ» ±â¹ÝÀ¸·Î Æ®·£½ºÆ÷¸Ó¸¦ ¾î¶»°Ô ±¸ÇöÇß´ÂÁö ±¸Á¶ÀûÀ¸·Î ¼³¸íÇß´Ù.
4Àå¿¡¼´Â BERT ¸ðµ¨¿¡ ´ëÇؼ ¼³¸íÇß´Ù. BERT¸¦ »çÀü ÇнÀÇÏ´Â ¹æ¹ý¿¡ ´ëÇؼ ¼Ò°³Çß°í, »çÀüÇнÀµÈ ¸ðµ¨À» ÆÄÀÎÆ©´×ÇÏ´Â ¹æ¹ý¿¡ ´ëÇؼµµ ¼Ò°³ÇÏ¸ç ¶ÇÇÑ BERT ÀÌÈÄ¿¡ ¹ßÇ¥µÈ °³¼±µÈ ¸ðµ¨µµ ¸î °¡Áö ¼Ò°³Çß´Ù.
5Àå¿¡¼´Â GPT °è¿ÀÇ ¸ðµ¨À» ¼³¸íÇß´Ù. GPT2¿¡¼ºÎÅÍ´Â ¸ÞŸ·¯´×ÀÇ °³³äÀÌ Ãß°¡µÈ´Ù. ÀÚ¿¬¾î 󸮿¡¼ ¸ÞŸ·¯´×ÀÌ ¿Ö ÇÊ¿äÇÏ°í ¾î¶² ¹æ¹ýÀ¸·Î ÇнÀµÇ´ÂÁö ¼Ò°³Çß´Ù. ´Ù¸¸ GPT2/GPT3ÀÇ Á¤È®ÇÑ ÇнÀ ¹æ¹ýÀº °ø°³µÇÁö ¾Ê¾Ò±â ¶§¹®¿¡ ÇнÀ °úÁ¤Àº ÄÚµå·Î ±¸ÇöÇÏÁö ¸øÇß´Ù.
¸¶Áö¸·À¸·Î ºÎ·Ï¿¡¼´Â µö·¯´× ¸ðµ¨ÀÇ ¾çÀÚÈ¿¡ ´ëÇؼ »ìÆ캻´Ù. µö·¯´× ¸ðµ¨ÀÇ ¼º´ÉÀÌ ºñ¾àÀûÀ¸·Î ¹ßÀüÇßÁö¸¸ ±×¿Í µ¿½Ã¿¡ ¸ðµ¨ÀÇ ¿¬»ê·®°ú ÆĶó¹ÌÅÍ ¼öµµ ±²ÀåÈ÷ ¸¹¾ÆÁ³´Ù. Å« ¸ðµ¨À» °£´ÜÇÏ°Ô °æ·®ÈÇÒ ¼ö ÀÖ´Â ¹æ¹ýÀ¸·Î ¾çÀÚÈ°¡ ÀÖ´Ù. ºÎ·Ï¿¡¼´Â ¾çÀÚÈÀÇ ±âº» ¿ø¸®¿¡ ´ëÇؼ ´Ù·ç°í 4Àå¿¡¼ »ìÆ캻 BERT¸¦ ÆÄÀÎ Æ©´×Çؼ ÇнÀÇÑ ºÐ·ù ¸ðµ¨À» °æ·®ÈÇÏ´Â ³»¿ëÀ» ´Ù·é´Ù.
¢Â ÁöÀºÀÌÀÇ ¸» ¢Â
2015³â Àü±îÁöµµ AI¶ó´Â ¿ë¾î´Â IT Àü¹®Á÷¿¡ Á¾»çÇÏ´Â ¼Ò¼ö¸¸ÀÌ ¾Ë°í ÀÖ´Â Àü¹® ¿ë¾î¿´½À´Ï´Ù. »ç¶÷µéÀº À̼¼µ¹ 9´ÜÀ» ÀÌ±ä ¾ËÆÄ°íÀÇ ¹ÙµÏ ½Ç·Â¿¡ ³î¶ó¿òÀ» °¨ÃßÁö ¸øÇß°í ½ÇÁ¦ ±âÀÚ°¡ ¾´ ±â»ç¿Í ºñ½ÁÇÑ ¼öÁØÀÇ °¡Â¥ ±â»ç¹®À» º¸°í ±â°è°¡ Á¤¸» »ç¶÷°ú °°ÀÌ ¸»ÇÏ°í »ý°¢ÇÒ ¼ö ÀÖ´Ù´Â °ÍÀ» ¾Ë°Ô µÆ½À´Ï´Ù. ±×·ÎºÎÅÍ 7³âÀÌ Áö³ Áö±Ý AI´Â ´©±¸³ª »ó½ÄÀ¸·Î ¾Ë°í ÀÖ´Â ¿ë¾î°¡ µÆ°í, AI´Â ´õ¿í ¹ßÀüÇؼ ƯÁ¤ ¿µ¿ª¿¡¼´Â ÀÌ¹Ì »ç¶÷À» ¶Ù¾î³Ñ´Â ¼º´ÉÀ» º¸ÀÌ°í ÀÖ½À´Ï´Ù. 2015³âºÎÅÍ 2022³â ÇöÀç±îÁö ¼ö¸¹Àº ±Û·Î¹ú ´ë±â¾÷°ú ÇØ¿Ü À¯¸í´ëÇп¡¼ AI¿¡ ´ëÇØ ¼ö¸¹Àº ¿¬±¸°¡ ÀÌ·ïÁ³½À´Ï´Ù. ±× ¿¬±¸ÀÇ ¼º°ú´Â ¿©·¯ °¡Áö°¡ ÀÖ°ÚÁö¸¸, Á¦°¡ °¡Àå ³ôÀÌ Æò°¡ÇÏ´Â °ÍÀº AI ±â¼ú¿¡ ´ëÇÑ Á¢±Ù¼ºÀÌ ´ëÁß¿¡°Ô Á¶±Ý ´õ °¡±î¿öÁ³´Ù´Â °ÍÀÔ´Ï´Ù. ¸ðµ¨À» °³¹ßÇÒ ¶§ »ç¿ëÇÏ´Â Ç÷§Æûµµ »ç¿ëÇϱ⠽±°Ô ¹Ù²î¾ú°í, ¸ðµ¨À» ÇнÀÇÒ ¶§ »ç¿ëÇÏ´Â µ¥ÀÌÅÍ ¿ª½Ã ¿©·¯ ±â°ü¿¡¼ ¿ÀÇ µ¥ÀÌÅÍ ÇüÅ·Π´Ù¿î·ÎµåÇÒ ¼ö ÀÖ°Ô µÆ½À´Ï´Ù. ¶ÇÇÑ AI ±â¼ú¿¡ ´ëÇÑ ºí·Î±×³ª ¿µ»óµµ ¸¹¾Æ¼ È¥ÀÚ AI °øºÎ¸¦ ½ÃÀÛÇÏ´Â °Íµµ ÈξÀ ¼ö¿ùÇØÁ³½À´Ï´Ù.
ÀÌ Ã¥À» ÅëÇؼ AI°¡ ¿¹Àüó·³ ±×·¸°Ô ÁøÀÔÀ庮ÀÌ ³ôÀº Çй®ÀÌ ¾Æ´Ï¶ó´Â °ÍÀ» ¾Ë·ÁÁÖ°í ½Í½À´Ï´Ù. ¼ö¸¹Àº ´ë±â¾÷°ú ¿¬±¸ ±â°ü¿¡¼ ÇÙ½É ¾Ë°í¸®ÁòÀ» ¿ÀǼҽº·Î °ø°³Çß°í, ±× ¾Ë°í¸®ÁòÀ¸·Î ÇнÀÇÑ ¸ðµ¨À» ´Ù¿î·ÎµåÇؼ »ç¿ëÇÒ ¼ö ÀÖµµ·Ï °ø°³Çß½À´Ï´Ù. AI ±â¼ú, ƯÈ÷ ÀÚ¿¬¾î 󸮸¦ À§ÇÑ AI¸¦ °øºÎÇÏ°íÀÚ ÇÏ´Â »ç¶÷µé¿¡°Ô ÀÌ Ã¥ÀÌ µðµõµ¹ ¿ªÇÒÀ» ÇÒ ¼ö ÀÖ¾úÀ¸¸é ÁÁ°Ú½À´Ï´Ù.
¡ß N-gramÀ» ÀÌ¿ëÇÑ ÀÚ¿¬¾î ó¸® ±â¹ý
¡ß ÀÚ¿¬¾î 󸮸¦ À§ÇÑ RNN ±â¹ÝÀÇ AI ¸ðµ¨ ±¸Á¶ ¹× Àå´ÜÁ¡
¡ß ¾îÅÙ¼Ç ³×Æ®¿öÅ©ÀÇ Åº»ý ¹è°æ°ú ÇÙ½É ¿ø¸®
¡ß ¾îÅÙ¼Ç ³×Æ®¿öÅ©¸¦ È°¿ëÇÑ Æ®·£½ºÆ÷¸ÓÀÇ ±¸Á¶
¡ß BERTÀÇ ±¸Á¶ ¹× »çÀüÇнÀ/ÆÄÀÎÆ©´× ¹æ¹ý
¡ß BERT ÀÌÈÄÀÇ AI ¸ðµ¨µé
¡ß ÀÚ¿¬¾î 󸮿¡ ´ëÇÑ ¸ÞŸ·¯´× ¹æ¹ý
¢Â ÀÌ Ã¥ÀÇ ´ë»ó µ¶ÀÚ ¢Â
¾î´À Á¤µµ ÆÄÀ̽ã Äڵ带 ÀÐ°í ±¸ÇöÇÒ ¼ö ÀÖÀ¸¸ç ¸Ó½Å·¯´×¿¡ ´ëÇÑ ±âÃÊ ¿ª·®ÀÌ ÀÖ´Â µ¶ÀÚ¸¦ ´ë»óÀ¸·Î Àú¼úÇß´Ù. ÆÄÀ̽ãÀ» Á¢Çغ» Àû ¾ø°Å³ª ¸Ó½Å·¯´×¿¡ ÀÔ¹®ÇÏ´Â µ¶ÀÚ°¡ °øºÎÇϱ⿡ ¾î·Á¿ï ¼ö ÀÖ´Ù.
¢Â ÀÌ Ã¥ÀÇ ±¸¼º ¢Â
1Àå¿¡¼´Â ¾ð¾î ¸ðµ¨¿¡ °üÇÑ ³»¿ëÀ» ´Ù·ð´Ù. ¾ð¾î ¸ðµ¨ÀÌ ¹«¾ùÀÎÁö È®·üÀûÀ¸·Î Á¤ÀÇÇÑ ÈÄ, N-gram ±â¹ýÀ» ÀÌ¿ëÇؼ ¾ð¾î ¸ðµ¨À» ¼³¸íÇÏ°í ±× °úÁ¤À» Äڵ带 ÅëÇØ ±¸ÇöÇß´Ù. ¶ÇÇÑ N-gram ÀÌÈÄ¿¡ ¿À·§µ¿¾È »ç¿ëµÆ´ø ÀΰøÁö´É ¸ðµ¨ÀÎ RNN °è¿ÀÇ ÀΰøÁö´É ¸ðµ¨µµ ¼³¸íÇß´Ù. RNN °è¿ÀÇ ¾ð¾î ¸ðµ¨µµ °£´ÜÇÏ°Ô ÇнÀÇغ¼ ¼ö ÀÖµµ·Ï »ùÇà Äڵ带 ±¸ÇöÇß´Ù.
2Àå¿¡¼´Â ¾îÅټǿ¡ ´ëÇؼ ÀÚ¼¼ÇÏ°Ô ´Ù·ð´Ù. ¾îÅÙ¼ÇÀº Æ®·£½ºÆ÷¸ÓÀÇ ÇÙ½ÉÀ» ÀÌ·ç´Â ¿¬»êÀÌ´Ù. ¾îÅÙ¼Ç ¿¬»êÀ» RNN °è¿¿¡ Ãß°¡ÇßÀ» ¶§ ¾î¶°ÇÑ ÀåÁ¡ÀÌ ÀÖ´ÂÁö ¼³¸íÇßÇÏ°í °ü·ÃµÈ »ùÇà Äڵ嵵 °øºÎÇغ¼ ¼ö ÀÖµµ·Ï ±¸ÇöÇß´Ù.
3ÀåºÎÅÍ º»°ÝÀûÀ¸·Î Æ®·£½ºÆ÷¸ÓÀÇ ±¸Á¶¸¦ ´Ù·ð´Ù. 2Àå¿¡¼ ´Ù·é ¾îÅÙ¼ÇÀ» ±â¹ÝÀ¸·Î Æ®·£½ºÆ÷¸Ó¸¦ ¾î¶»°Ô ±¸ÇöÇß´ÂÁö ±¸Á¶ÀûÀ¸·Î ¼³¸íÇß´Ù.
4Àå¿¡¼´Â BERT ¸ðµ¨¿¡ ´ëÇؼ ¼³¸íÇß´Ù. BERT¸¦ »çÀü ÇнÀÇÏ´Â ¹æ¹ý¿¡ ´ëÇؼ ¼Ò°³Çß°í, »çÀüÇнÀµÈ ¸ðµ¨À» ÆÄÀÎÆ©´×ÇÏ´Â ¹æ¹ý¿¡ ´ëÇؼµµ ¼Ò°³ÇÏ¸ç ¶ÇÇÑ BERT ÀÌÈÄ¿¡ ¹ßÇ¥µÈ °³¼±µÈ ¸ðµ¨µµ ¸î °¡Áö ¼Ò°³Çß´Ù.
5Àå¿¡¼´Â GPT °è¿ÀÇ ¸ðµ¨À» ¼³¸íÇß´Ù. GPT2¿¡¼ºÎÅÍ´Â ¸ÞŸ·¯´×ÀÇ °³³äÀÌ Ãß°¡µÈ´Ù. ÀÚ¿¬¾î 󸮿¡¼ ¸ÞŸ·¯´×ÀÌ ¿Ö ÇÊ¿äÇÏ°í ¾î¶² ¹æ¹ýÀ¸·Î ÇнÀµÇ´ÂÁö ¼Ò°³Çß´Ù. ´Ù¸¸ GPT2/GPT3ÀÇ Á¤È®ÇÑ ÇнÀ ¹æ¹ýÀº °ø°³µÇÁö ¾Ê¾Ò±â ¶§¹®¿¡ ÇнÀ °úÁ¤Àº ÄÚµå·Î ±¸ÇöÇÏÁö ¸øÇß´Ù.
¸¶Áö¸·À¸·Î ºÎ·Ï¿¡¼´Â µö·¯´× ¸ðµ¨ÀÇ ¾çÀÚÈ¿¡ ´ëÇؼ »ìÆ캻´Ù. µö·¯´× ¸ðµ¨ÀÇ ¼º´ÉÀÌ ºñ¾àÀûÀ¸·Î ¹ßÀüÇßÁö¸¸ ±×¿Í µ¿½Ã¿¡ ¸ðµ¨ÀÇ ¿¬»ê·®°ú ÆĶó¹ÌÅÍ ¼öµµ ±²ÀåÈ÷ ¸¹¾ÆÁ³´Ù. Å« ¸ðµ¨À» °£´ÜÇÏ°Ô °æ·®ÈÇÒ ¼ö ÀÖ´Â ¹æ¹ýÀ¸·Î ¾çÀÚÈ°¡ ÀÖ´Ù. ºÎ·Ï¿¡¼´Â ¾çÀÚÈÀÇ ±âº» ¿ø¸®¿¡ ´ëÇؼ ´Ù·ç°í 4Àå¿¡¼ »ìÆ캻 BERT¸¦ ÆÄÀÎ Æ©´×Çؼ ÇнÀÇÑ ºÐ·ù ¸ðµ¨À» °æ·®ÈÇÏ´Â ³»¿ëÀ» ´Ù·é´Ù.
¢Â ÁöÀºÀÌÀÇ ¸» ¢Â
2015³â Àü±îÁöµµ AI¶ó´Â ¿ë¾î´Â IT Àü¹®Á÷¿¡ Á¾»çÇÏ´Â ¼Ò¼ö¸¸ÀÌ ¾Ë°í ÀÖ´Â Àü¹® ¿ë¾î¿´½À´Ï´Ù. »ç¶÷µéÀº À̼¼µ¹ 9´ÜÀ» ÀÌ±ä ¾ËÆÄ°íÀÇ ¹ÙµÏ ½Ç·Â¿¡ ³î¶ó¿òÀ» °¨ÃßÁö ¸øÇß°í ½ÇÁ¦ ±âÀÚ°¡ ¾´ ±â»ç¿Í ºñ½ÁÇÑ ¼öÁØÀÇ °¡Â¥ ±â»ç¹®À» º¸°í ±â°è°¡ Á¤¸» »ç¶÷°ú °°ÀÌ ¸»ÇÏ°í »ý°¢ÇÒ ¼ö ÀÖ´Ù´Â °ÍÀ» ¾Ë°Ô µÆ½À´Ï´Ù. ±×·ÎºÎÅÍ 7³âÀÌ Áö³ Áö±Ý AI´Â ´©±¸³ª »ó½ÄÀ¸·Î ¾Ë°í ÀÖ´Â ¿ë¾î°¡ µÆ°í, AI´Â ´õ¿í ¹ßÀüÇؼ ƯÁ¤ ¿µ¿ª¿¡¼´Â ÀÌ¹Ì »ç¶÷À» ¶Ù¾î³Ñ´Â ¼º´ÉÀ» º¸ÀÌ°í ÀÖ½À´Ï´Ù. 2015³âºÎÅÍ 2022³â ÇöÀç±îÁö ¼ö¸¹Àº ±Û·Î¹ú ´ë±â¾÷°ú ÇØ¿Ü À¯¸í´ëÇп¡¼ AI¿¡ ´ëÇØ ¼ö¸¹Àº ¿¬±¸°¡ ÀÌ·ïÁ³½À´Ï´Ù. ±× ¿¬±¸ÀÇ ¼º°ú´Â ¿©·¯ °¡Áö°¡ ÀÖ°ÚÁö¸¸, Á¦°¡ °¡Àå ³ôÀÌ Æò°¡ÇÏ´Â °ÍÀº AI ±â¼ú¿¡ ´ëÇÑ Á¢±Ù¼ºÀÌ ´ëÁß¿¡°Ô Á¶±Ý ´õ °¡±î¿öÁ³´Ù´Â °ÍÀÔ´Ï´Ù. ¸ðµ¨À» °³¹ßÇÒ ¶§ »ç¿ëÇÏ´Â Ç÷§Æûµµ »ç¿ëÇϱ⠽±°Ô ¹Ù²î¾ú°í, ¸ðµ¨À» ÇнÀÇÒ ¶§ »ç¿ëÇÏ´Â µ¥ÀÌÅÍ ¿ª½Ã ¿©·¯ ±â°ü¿¡¼ ¿ÀÇ µ¥ÀÌÅÍ ÇüÅ·Π´Ù¿î·ÎµåÇÒ ¼ö ÀÖ°Ô µÆ½À´Ï´Ù. ¶ÇÇÑ AI ±â¼ú¿¡ ´ëÇÑ ºí·Î±×³ª ¿µ»óµµ ¸¹¾Æ¼ È¥ÀÚ AI °øºÎ¸¦ ½ÃÀÛÇÏ´Â °Íµµ ÈξÀ ¼ö¿ùÇØÁ³½À´Ï´Ù.
ÀÌ Ã¥À» ÅëÇؼ AI°¡ ¿¹Àüó·³ ±×·¸°Ô ÁøÀÔÀ庮ÀÌ ³ôÀº Çй®ÀÌ ¾Æ´Ï¶ó´Â °ÍÀ» ¾Ë·ÁÁÖ°í ½Í½À´Ï´Ù. ¼ö¸¹Àº ´ë±â¾÷°ú ¿¬±¸ ±â°ü¿¡¼ ÇÙ½É ¾Ë°í¸®ÁòÀ» ¿ÀǼҽº·Î °ø°³Çß°í, ±× ¾Ë°í¸®ÁòÀ¸·Î ÇнÀÇÑ ¸ðµ¨À» ´Ù¿î·ÎµåÇؼ »ç¿ëÇÒ ¼ö ÀÖµµ·Ï °ø°³Çß½À´Ï´Ù. AI ±â¼ú, ƯÈ÷ ÀÚ¿¬¾î 󸮸¦ À§ÇÑ AI¸¦ °øºÎÇÏ°íÀÚ ÇÏ´Â »ç¶÷µé¿¡°Ô ÀÌ Ã¥ÀÌ µðµõµ¹ ¿ªÇÒÀ» ÇÒ ¼ö ÀÖ¾úÀ¸¸é ÁÁ°Ú½À´Ï´Ù.