- ÇöÀç À§Ä¡
- home > ÄÄÇ»ÅÍ¡¤ICT¡¤¾îÇÐ > ÄÄÇ»ÅÍ¡¤IT µµ¼ > ³×Æ®¿öÅ© > ºòµ¥ÀÌÅÍ Àü¹®°¡ÀÇ ÇÏµÓ °ü¸®[¼º¾È´ç]
ºòµ¥ÀÌÅÍ Àü¹®°¡ÀÇ ÇÏµÓ °ü¸®
µ¥ÀÌÅÍ ¾çÀÌ ¸¹Àº ÆäÀ̽ººÏ°°Àº ±â¾÷¿¡¼ ¼¹öÀÇ Æ®·¡ÇÈÀÌ ¸ô¸®Áö ¾Ê°í »ç¿ëÀÚ°¡ ºü¸¥ Çǵå¹éÀ» ¹Þµµ·Ï ÇÏ·Á¸é? µ¥ÀÌÅ͸¦ ºÐ»êÇؼ È¿À²ÀûÀ¸·Î ó¸®ÇØ¾ß ÇÑ´Ù.
ÄÚ³¢¸® ¸ð¾çÀÇ ¾ÆÀÌÄÜÀ¸·Î ¿¬»óµÇ´Â ¾ÆÆÄÄ¡ ÇϵÓ(Apache Hadoop, High-Availability Distributed Object-Oriented Platform)Àº 1996³â 6¿ù ¹Ì±¹ µ¨¶ó¿þ¾î¿¡¼ ¼³¸³µÈ ¾ÆÆÄÄ¡ HTTP ¼¹ö¸¦ Æ÷ÇÔÇÑ ¾ÆÆÄÄ¡ ¿ÀÇ ¼Ò½º ¼ÒÇÁÆ®¿þ¾î ÇÁ·ÎÁ§Æ®¸¦ Áö¿øÇÏ´Â ¾ÆÆÄÄ¡ ¼ÒÇÁÆ®¿þ¾î Àç´Ü(Apache Software Foundation, ASF)¿¡¼ °³¹ßÇØ ¾ÆÆÄÄ¡ ÇϵÓÀ¸·Îµµ ºÒ¸°´Ù. ºòµ¥ÀÌÅÍ ½Ã´ë¿¡ ¼Óµµ¿Í ½Å·Ú¼ºÀÌ ´äº¸µÇ¸é¼ ºñ¿ëµµ Àú·ÅÇÑ »ï¹ÚÀÚÀÇ È¿À²ÀûÀÎ ¼Ö·ç¼ÇÀ¸·Î °¢±¤¹Þ´Â ÇϵÓÀº 2003, 2005³â¿¡ ¹ßÇ¥µÈ ±¸±Û ºÐ»ê ÆÄÀÏ ½Ã½ºÅÛ(GFS)°ú ¸Ê¸®µà½º((MapReduce)¸¦ ±¸ÇöÇÑ °ÍÀ¸·Î ´ë·®ÀÇ ÀڷḦ ó¸®ÇÒ ¼ö ÀÖ´Â ´ëÇü ÄÄÇ»ÅÍ Å¬·¯½ºÅÍ¿¡¼ µ¿ÀÛÇÏ´Â ºÐ»ê ÀÀ¿ë ÇÁ·Î±×·¥À» Áö¿øÇÏ´Â ÇÁ¸®¿þ¾î ÀÚ¹Ù ¼ÒÇÁÆ®¿þ¾î ÇÁ·¹ÀÓ¿öÅ©¸¦ ¸»ÇÑ´Ù. ÇϵÓÀº ºòµ¥ÀÌÅ͸¦ ´Ù·ç´Â ´Ù¾çÇÑ ±â¾÷¿¡¼ µµÀÔÇÏ°í Àִµ¥ ÀͽºÇǵð¾Æ, È£ÅÚ½º´åÄÄ, Å×½½¶ó, ±¹³» KT°°Àº ±â¾÷ µîÀÌ ÇϵÓÀ» ¿©·¯ ºÐ¾ß¿¡ µµÀÔÇÏ¿© ÇÏµÓ ±â¹Ý Ç÷§Æûµµ ±¸ÃàÇÏ°í ÀÖ´Ù.
¡®Expert HADOOP Administration¡¯ ¿ø¼ ÀúÀÚ·Î ÇÏµÓ °ü¸®ÀڷμÀÇ ±â¼úÀûÀÎ ¹è°æ°ú ÁýÇÊ °æÇèÀÌ Ç³ºÎÇÑ »ù R. ¾Ë¶óÆÄƼ(Sam R. Alapati)´Â Çϵӿ¡ ´ëÇÑ Å« ±×¸²À» º¼ ¼ö ÀÖµµ·Ï ÇØÁØ´Ù. ÇÏµÓ »ýÅ°èÀÇ ÇÏµÓ ÄÄÆ÷³ÍÆ®µéÀÎ ¾Æºê·Î, Ç÷ë, HBase, HCatalog, ÇÏÀ̺ê, ÈÞ, Ä«ÇÁÄ«, ¸ÓÇÏ¿ô, ¿ìÁö, ÇDZ×, ½ºÄò, ½ºÅè, Å×Áî µîÀº ÇϳªÇϳª°¡ Ã¥ ÇÑ ±ÇÀ¸·Îµµ ³ª¿Í ÀÖÀ» ¸¸Å Å« ÁÖÁ¦ÀÌÁö¸¸ ÀÌ Ã¥¿¡¼´Â ÀÌ·± ¼Ö·ç¼ÇµéÀ» ºüÁü¾øÀÌ ¼Ò°³ÇÏ°í ¾ð±ÞÇÑ´Ù. ÀúÀÚ´Â ÇÏµÓ »ýÅ°迡¼ Å©°Ô ¾á°ú ÇÏµÓ ºÐ»ê ÆÄÀÏ ½Ã½ºÅÛ(HDFS)À» ¹èÄ¡ÇÏ¸é¼ ÇϵÓÀ¸·Î ¹èÄ¡, ÀÎÅÍ·¢Æ¼ºê, ½Ç½Ã°£ µ¥ÀÌÅÍ Á¢±ÙÀ» À§Çؼ´Â ½ºÅ©¸³Æ®·Î´Â ÇDZ×, SQL·Î´Â ÇÏÀ̺ê, ½ºÆÄÅ©, ÀÚ¹Ù ½ºÄ®¶ó·Î´Â ij½ºÄÉÀ̵ù, ½ºÆ®¸²À¸·Î´Â ½ºÆÄÅ© ½ºÆ®¸®¹Ö, Àθ޸𸮷δ ½ºÆÄÅ©, °Ë»öÀ¸·Î´Â ¼Ö¶ó(Solr), NoSQL·Î´Â HBase¿Í ¾îÅ¥¹Ä·Î, ¸Ó½Å·¯´×À¸·Î´Â ½ºÆÄÅ© MR°ú ½ºÆÄÅ© R µîÀ» »ç¿ëÇÑ´Ù¸ç ÇϵÓÀÇ ÇÙ½É ÄÄÆ÷³ÍÆ®¿Í ÅøÀ» ÇÑ´«¿¡ º¸¿©ÁØ´Ù. ¶Ç ÇϵÓÀ» °ü¸®Çϱâ À§ÇØ ¾Ë¾Æ¾ß ÇÏ´Â °Í, ÇÏµÓ 1°ú 2ÀÇ Â÷ÀÌÁ¡À» ´Ù·ëÀ¸·Î½á ÇÏµÓ 3 ½Ã´ë¿¡µµ ´ëºñÇÒ ¼ö ÀÖµµ·Ï Çϸç, ÇÏµÓ °ü¸®ÀÇ ÇÙ½É ¿µ¿ª±îÁö ¼Ò°³ÇÑ´Ù.
¿ªÀÚ ¾ÈÁø¼·¾¾´Â ¿ª½Ã ºòµ¥ÀÌÅÍ¿Í °ü·ÃµÈ ±â¾÷ÀÎ SAP ÄÚ¸®¾Æ¿¡¼ µ¥ÀÌÅͺ£À̽º ¿£ÁøÀ» °³¹ßÇÏ¸é¼ Çϵӿ¡ ´ëÇÑ °æÇèµµ dzºÎÇÑ ÇÁ·Î±×·¡¸Ó·Î¼ ÀÌ Ã¥À» »ó¼¼ÇÏ°í ÀÌÇØÇÒ ¼ö ÀÖ´Â ¼öÁرîÁö ¹ø¿ªÇÏ°íÀÚ ¾Ö½è´Ù.
ÀÌ Ã¥Àº Å©°Ô 5ºÎ 21ÀåÀ¸·Î ±¸¼ºµÇ¾î ÀÖ´Ù. 1ºÎ¿¡¼´Â ÇϵÓÀÇ ¾ÆÅ°ÅØó¿Í ÇÏµÓ Å¬·¯½ºÅ͸¦, 2ºÎ¿¡¼´Â ÇÏµÓ ¾ÖÇø®ÄÉÀÌ¼Ç ÇÁ·¹ÀÓ¿öÅ©, 3ºÎ¿¡¼´Â ÇÏµÓ µ¥ÀÌÅÍ °ü¸® ¹× º¸È£, °í°¡¿ë¼º, 4ºÎ¿¡¼´Â µ¥ÀÌÅÍ À̵¿, ¸®¼Ò½º ÇÒ´ç, Àâ ½ºÄÉÁÙ¸µ, º¸¾È, 5ºÎ¿¡¼´Â ¸ð´ÏÅ͸µ, ÃÖÀûÈ, ¹®Á¦ ÇØ°á µîÀ» ´Ù·é´Ù. ºòµ¥ÀÌÅÍ¿Í ¸Ó½Å·¯´×ÀÇ ½Ã´ë, ²À ÇÊ¿äÇÑ Àü¹®°¡ÀÎ ÇÏµÓ °ü¸®ÀÚ°¡ µÇ±â À§ÇØ ¹Ýµå½Ã Àоî¾ß ÇÒ Ã¥À¸·Î ÃßõÇÒ ¸¸ÇÏ´Ù.
µ¥ÀÌÅÍ ¾çÀÌ ¸¹Àº ÆäÀ̽ººÏ°°Àº ±â¾÷¿¡¼ ¼¹öÀÇ Æ®·¡ÇÈÀÌ ¸ô¸®Áö ¾Ê°í »ç¿ëÀÚ°¡ ºü¸¥ Çǵå¹éÀ» ¹Þµµ·Ï ÇÏ·Á¸é? µ¥ÀÌÅ͸¦ ºÐ»êÇؼ È¿À²ÀûÀ¸·Î ó¸®ÇØ¾ß ÇÑ´Ù.
ÄÚ³¢¸® ¸ð¾çÀÇ ¾ÆÀÌÄÜÀ¸·Î ¿¬»óµÇ´Â ¾ÆÆÄÄ¡ ÇϵÓ(Apache Hadoop, High-Availability Distributed Object-Oriented Platform)Àº 1996³â 6¿ù ¹Ì±¹ µ¨¶ó¿þ¾î¿¡¼ ¼³¸³µÈ ¾ÆÆÄÄ¡ HTTP ¼¹ö¸¦ Æ÷ÇÔÇÑ ¾ÆÆÄÄ¡ ¿ÀÇ ¼Ò½º ¼ÒÇÁÆ®¿þ¾î ÇÁ·ÎÁ§Æ®¸¦ Áö¿øÇÏ´Â ¾ÆÆÄÄ¡ ¼ÒÇÁÆ®¿þ¾î Àç´Ü(Apache Software Foundation, ASF)¿¡¼ °³¹ßÇØ ¾ÆÆÄÄ¡ ÇϵÓÀ¸·Îµµ ºÒ¸°´Ù. ºòµ¥ÀÌÅÍ ½Ã´ë¿¡ ¼Óµµ¿Í ½Å·Ú¼ºÀÌ ´äº¸µÇ¸é¼ ºñ¿ëµµ Àú·ÅÇÑ »ï¹ÚÀÚÀÇ È¿À²ÀûÀÎ ¼Ö·ç¼ÇÀ¸·Î °¢±¤¹Þ´Â ÇϵÓÀº 2003, 2005³â¿¡ ¹ßÇ¥µÈ ±¸±Û ºÐ»ê ÆÄÀÏ ½Ã½ºÅÛ(GFS)°ú ¸Ê¸®µà½º((MapReduce)¸¦ ±¸ÇöÇÑ °ÍÀ¸·Î ´ë·®ÀÇ ÀڷḦ ó¸®ÇÒ ¼ö ÀÖ´Â ´ëÇü ÄÄÇ»ÅÍ Å¬·¯½ºÅÍ¿¡¼ µ¿ÀÛÇÏ´Â ºÐ»ê ÀÀ¿ë ÇÁ·Î±×·¥À» Áö¿øÇÏ´Â ÇÁ¸®¿þ¾î ÀÚ¹Ù ¼ÒÇÁÆ®¿þ¾î ÇÁ·¹ÀÓ¿öÅ©¸¦ ¸»ÇÑ´Ù. ÇϵÓÀº ºòµ¥ÀÌÅ͸¦ ´Ù·ç´Â ´Ù¾çÇÑ ±â¾÷¿¡¼ µµÀÔÇÏ°í Àִµ¥ ÀͽºÇǵð¾Æ, È£ÅÚ½º´åÄÄ, Å×½½¶ó, ±¹³» KT°°Àº ±â¾÷ µîÀÌ ÇϵÓÀ» ¿©·¯ ºÐ¾ß¿¡ µµÀÔÇÏ¿© ÇÏµÓ ±â¹Ý Ç÷§Æûµµ ±¸ÃàÇÏ°í ÀÖ´Ù.
¡®Expert HADOOP Administration¡¯ ¿ø¼ ÀúÀÚ·Î ÇÏµÓ °ü¸®ÀڷμÀÇ ±â¼úÀûÀÎ ¹è°æ°ú ÁýÇÊ °æÇèÀÌ Ç³ºÎÇÑ »ù R. ¾Ë¶óÆÄƼ(Sam R. Alapati)´Â Çϵӿ¡ ´ëÇÑ Å« ±×¸²À» º¼ ¼ö ÀÖµµ·Ï ÇØÁØ´Ù. ÇÏµÓ »ýÅ°èÀÇ ÇÏµÓ ÄÄÆ÷³ÍÆ®µéÀÎ ¾Æºê·Î, Ç÷ë, HBase, HCatalog, ÇÏÀ̺ê, ÈÞ, Ä«ÇÁÄ«, ¸ÓÇÏ¿ô, ¿ìÁö, ÇDZ×, ½ºÄò, ½ºÅè, Å×Áî µîÀº ÇϳªÇϳª°¡ Ã¥ ÇÑ ±ÇÀ¸·Îµµ ³ª¿Í ÀÖÀ» ¸¸Å Å« ÁÖÁ¦ÀÌÁö¸¸ ÀÌ Ã¥¿¡¼´Â ÀÌ·± ¼Ö·ç¼ÇµéÀ» ºüÁü¾øÀÌ ¼Ò°³ÇÏ°í ¾ð±ÞÇÑ´Ù. ÀúÀÚ´Â ÇÏµÓ »ýÅ°迡¼ Å©°Ô ¾á°ú ÇÏµÓ ºÐ»ê ÆÄÀÏ ½Ã½ºÅÛ(HDFS)À» ¹èÄ¡ÇÏ¸é¼ ÇϵÓÀ¸·Î ¹èÄ¡, ÀÎÅÍ·¢Æ¼ºê, ½Ç½Ã°£ µ¥ÀÌÅÍ Á¢±ÙÀ» À§Çؼ´Â ½ºÅ©¸³Æ®·Î´Â ÇDZ×, SQL·Î´Â ÇÏÀ̺ê, ½ºÆÄÅ©, ÀÚ¹Ù ½ºÄ®¶ó·Î´Â ij½ºÄÉÀ̵ù, ½ºÆ®¸²À¸·Î´Â ½ºÆÄÅ© ½ºÆ®¸®¹Ö, Àθ޸𸮷δ ½ºÆÄÅ©, °Ë»öÀ¸·Î´Â ¼Ö¶ó(Solr), NoSQL·Î´Â HBase¿Í ¾îÅ¥¹Ä·Î, ¸Ó½Å·¯´×À¸·Î´Â ½ºÆÄÅ© MR°ú ½ºÆÄÅ© R µîÀ» »ç¿ëÇÑ´Ù¸ç ÇϵÓÀÇ ÇÙ½É ÄÄÆ÷³ÍÆ®¿Í ÅøÀ» ÇÑ´«¿¡ º¸¿©ÁØ´Ù. ¶Ç ÇϵÓÀ» °ü¸®Çϱâ À§ÇØ ¾Ë¾Æ¾ß ÇÏ´Â °Í, ÇÏµÓ 1°ú 2ÀÇ Â÷ÀÌÁ¡À» ´Ù·ëÀ¸·Î½á ÇÏµÓ 3 ½Ã´ë¿¡µµ ´ëºñÇÒ ¼ö ÀÖµµ·Ï Çϸç, ÇÏµÓ °ü¸®ÀÇ ÇÙ½É ¿µ¿ª±îÁö ¼Ò°³ÇÑ´Ù.
¿ªÀÚ ¾ÈÁø¼·¾¾´Â ¿ª½Ã ºòµ¥ÀÌÅÍ¿Í °ü·ÃµÈ ±â¾÷ÀÎ SAP ÄÚ¸®¾Æ¿¡¼ µ¥ÀÌÅͺ£À̽º ¿£ÁøÀ» °³¹ßÇÏ¸é¼ Çϵӿ¡ ´ëÇÑ °æÇèµµ dzºÎÇÑ ÇÁ·Î±×·¡¸Ó·Î¼ ÀÌ Ã¥À» »ó¼¼ÇÏ°í ÀÌÇØÇÒ ¼ö ÀÖ´Â ¼öÁرîÁö ¹ø¿ªÇÏ°íÀÚ ¾Ö½è´Ù.
ÀÌ Ã¥Àº Å©°Ô 5ºÎ 21ÀåÀ¸·Î ±¸¼ºµÇ¾î ÀÖ´Ù. 1ºÎ¿¡¼´Â ÇϵÓÀÇ ¾ÆÅ°ÅØó¿Í ÇÏµÓ Å¬·¯½ºÅ͸¦, 2ºÎ¿¡¼´Â ÇÏµÓ ¾ÖÇø®ÄÉÀÌ¼Ç ÇÁ·¹ÀÓ¿öÅ©, 3ºÎ¿¡¼´Â ÇÏµÓ µ¥ÀÌÅÍ °ü¸® ¹× º¸È£, °í°¡¿ë¼º, 4ºÎ¿¡¼´Â µ¥ÀÌÅÍ À̵¿, ¸®¼Ò½º ÇÒ´ç, Àâ ½ºÄÉÁÙ¸µ, º¸¾È, 5ºÎ¿¡¼´Â ¸ð´ÏÅ͸µ, ÃÖÀûÈ, ¹®Á¦ ÇØ°á µîÀ» ´Ù·é´Ù. ºòµ¥ÀÌÅÍ¿Í ¸Ó½Å·¯´×ÀÇ ½Ã´ë, ²À ÇÊ¿äÇÑ Àü¹®°¡ÀÎ ÇÏµÓ °ü¸®ÀÚ°¡ µÇ±â À§ÇØ ¹Ýµå½Ã Àоî¾ß ÇÒ Ã¥À¸·Î ÃßõÇÒ ¸¸ÇÏ´Ù.
ÀúÀÚ: »ù R. ¾Ë¶óÆÄƼ
¸Ó¸®¸» 15
ÀúÀÚ ¼¹® 16
ÀÌ Ã¥Àº ´©±¸¸¦ À§ÇÑ °ÍÀΰ¡? 17
ÀÌ Ã¥ÀÇ ±¸Á¶¿Í ´Ù·ç°í ÀÖ´Â ÁÖÁ¦µé 17
°¨»çÀÇ ¸» 21
ÀúÀÚ¿¡ ´ëÇÏ¿© 23
¿ªÀÚ ¼¹® 24
¿ªÀÚ¿¡ ´ëÇÏ¿© 25
PART ¥°¤ý ÇÏµÓ ¼Ò°³ ¡¦¾ÆÅ°ÅØó¿Í ÇÏµÓ Å¬·¯½ºÅÍ ¤ý26
Chatper 1. ÇÏµÓ ¼Ò°³ ¹× ÇϵÓÀÇ ÁÖº¯ ȯ°æ 28
¢º ÇϵӰú ÇϵÓÀÇ »ýÅ°迡 ´ëÇÑ °³¿ä 28
ÇϵÓÀÇ Æ¯Â¡µé 30
ºòµ¥ÀÌÅÍ¿Í ÇÏµÓ 31
ÇϵÓÀ» »ç¿ëÇÏ´Â ÀϹÝÀû ½Ã³ª¸®¿À 32
ÀüÅëÀûÀÎ µ¥ÀÌÅͺ£À̽º ½Ã½ºÅÛ 33
µ¥ÀÌÅÍ È£¼ö 35
ºòµ¥ÀÌÅÍ, µ¥ÀÌÅÍ °úÇÐ ±×¸®°í ÇÏµÓ 36
¢º Ŭ·¯½ºÅÍ ÄÄÇ»Æðú ÇÏµÓ Å¬·¯½ºµé 37
Ŭ·¯½ºÅÍ ÄÄÇ»Æà 37
ÇÏµÓ Å¬·¯½ºÅ͵é 38
¢º ÇÏµÓ ÄÄÆ÷³ÍÆ®µé°ú ÇÏµÓ »ýÅ°è 40
¢º ÇÏµÓ °ü¸®ÀÚµéÀÌ ÇÏ´Â ÀÏ 43
ÇÏµÓ °ü¸® ¡¦ »õ·Î¿î Æз¯´ÙÀÓ 44
ÇϵÓÀ» °ü¸®Çϱâ À§ÇØ ¾Ë¾Æ¾ß ÇÏ´Â °Í 46
ÇÏµÓ °ü¸®ÀÚ Åø¼¼Æ® 47
¢º ÇÏµÓ 1°ú ÇÏµÓ 2ÀÇ ÁÖ¿ä Â÷ÀÌÁ¡ 47
¾ÆÅ°ÅØóÀÇ Â÷ÀÌ 47
°í°¡¿ë¼º ±â´Éµé 48
´ÙÁß Ã³¸® ¿£Áøµé 48
ÇÁ·Î¼¼½Ì°ú ½ºÄÉÁÙ¸µÀÇ ºÐ¸® 49
ÇÏµÓ 1°ú ÇÏµÓ 2ÀÇ ¸®¼Ò½º ÇÒ´ç ¹æ½Ä 49
¢º ºÐ»êÇü µ¥ÀÌÅÍ Ã³¸®: ¸Ê¸®µà½º, ½ºÆÄÅ©, ÇÏÀ̺ê, ÇÇ±× 50
¸Ê¸®µà½º 50
¾ÆÆÄÄ¡ ½ºÆÄÅ© 51
¢º µ¥ÀÌÅÍ ÅëÇÕ: ¾ÆÆÄÄ¡ ½ºÄò, ¾ÆÆÄÄ¡ Ç÷ë, ¾ÆÆÄÄ¡ Ä«ÇÁÄ« 53
¢º ÇÏµÓ °ü¸®ÀÇ ÇÙ½É ¿µ¿ª 54
Ŭ·¯½ºÅÍ ½ºÅ丮Áö °ü¸® 55
Ŭ·¯½ºÅÍ ¸®¼Ò½º ÇÒ´ç 55
Àâ ½ºÄÉÁÙ¸µ 56
ÇÏµÓ µ¥ÀÌÅÍ º¸¾È 57
¢º ¿ä¾à 58
Chatper 2. ÇÏµÓ ¾ÆÅ°ÅØó °³¿ä 59
¢º ºÐ»ê ÄÄÇ»Æðú ÇÏµÓ 59
¢º ÇÏµÓ ¾ÆÅ°ÅØó 60
ÇÏµÓ Å¬·¯½ºÅÍ 61
¸¶½ºÅÍ ³ëµå¿Í ¿öÄ¿ ³ëµå 61
ÇÏµÓ ¼ºñ½º 62
¢º µ¥ÀÌÅÍ ½ºÅ丮Áö - ÇÏµÓ ºÐ»ê ÆÄÀÏ ½Ã½ºÅÛ 63
HDFS Ư¡µé 63
HDFS ¾ÆÅ°ÅØó 64
HDFS ÆÄÀÏ ½Ã½ºÅÛ 66
³×ÀÓ³ëµå ¿ÀÆÛ·¹ÀÌ¼Ç 69
¢º ÇÏµÓ ¿î¿µ ½Ã½ºÅÛÀÎ ¾áÀ» »ç¿ëÇÑ µ¥ÀÌÅÍ ÇÁ·Î¼¼½Ì 74
¾áÀÇ ¾ÆÅ°ÅØó 75
¸®¼Ò½º¸¦ ÇÒ´çÇϱâ À§ÇØ ¾ÖÇø®ÄÉÀ̼Ǹ¶½ºÅÍ°¡ ¸®¼Ò½º¸Å´ÏÀú¿Í Çù·ÂÇÏ´Â ¹æ¹ý 80
¢º ¿ä¾à 82
Chapter 3 °£´ÜÇÑ ÇÏµÓ Å¬·¯½ºÅÍ »ý¼º ¹× ȯ°æ ¼³Á¤ 83
¢º ÇÏµÓ ¹èÆ÷ÆÇ°ú ¼³Ä¡ ŸÀÔ 84
ÇÏµÓ ¹èÆ÷ÆÇ 84
ÇÏµÓ ¼³Ä¡ ŸÀÔ 85
¢º °¡»ó ºÐ»ê ÇÏµÓ Å¬·¯½ºÅÍ ¼³Á¤Çϱâ 86
¿î¿µ ½Ã½ºÅÛÀÇ Á¶°Ç ÃæÁ·½ÃÅ°±â 87
Ä¿³Î ¸Å°³º¯¼öÀÇ ¼öÁ¤ 87
SSH ¼³Á¤ 93
ÀÚ¹Ù ¼³Ä¡ 94
ÇÏµÓ ¼ÒÇÁÆ®¿þ¾î ¼³Ä¡ 95
ÇÏµÓ¿ë »ç¿ëÀÚ °èÁ¤ »ý¼º 96
Çʼö µð·ºÅ丮 »ý¼º 96
¢º ÇÏµÓ ¼³Á¤Çϱâ 97
ȯ°æ ¼³Á¤ ÆÄÀÏ 98
Àбâ Àü¿ë µðÆúÆ® ¼³Á¤ ÆÄÀÏ 99
»çÀÌÆ® ¼³Á¤ ÆÄÀÏ 100
ÀÌ¿ÜÀÇ ÇÏµÓ °ü·Ã ¼³Á¤ ÆÄÀÏ 100
¼³Á¤ ÆÄÀÏ °£ÀÇ ¼³Á¤ ¿ì¼±¼øÀ§ 101
º¯¼ö È®Àå°ú ¼³Á¤ ¸Å°³º¯¼ö 104
ÇÏµÓ µ¥¸ó ȯ°æ ¼³Á¤ 104
core-site.xml ÆÄÀÏ·Î ÄÚ¾î ÇÏµÓ ¼Ó¼º ¼³Á¤Çϱâ 106
mapred-site.xml ÆÄÀÏ·Î ¸Ê¸®µà½º ¼³Á¤Çϱâ 108
yarn-site.xml·Î ¾á ¼³Á¤Çϱâ 109
¢º »õ·Î¿î ÇÏµÓ Å¬·¯½ºÅÍ ¿î¿µÇϱâ 111
ºÐ»ê ÆÄÀÏ ½Ã½ºÅÛ Æ÷¸ËÇϱâ 112
HDFS¿Í ¾á ¼ºñ½º ½ÃÀÛÇϱâ 102
¼ºñ½º µ¿ÀÛ ¿©ºÎ È®ÀÎÇϱâ 115
¼ºñ½º ÁßÁöÇϱâ 116
¢º ¿ä¾à 116
Chapter 4. ÇÏµÓ Å¬·¯½ºÅÍ °èȹÇϱâ 118
¢º Ŭ·¯½ºÅ͸¦ °èȹÇÒ ¶§ ÀϹÝÀûÀ¸·Î °í·ÁÇØ¾ß ÇÒ °Íµé 118
¼¹ö ±¸¼º ¿ä¼Ò 120
³ëµå¸¦ ¼±ÅÃÇÏ´Â ±âÁØ 120
¢º ½Ì±Û ·¢¿¡¼ ¸ÖƼ ·¢À¸·Î °¡±â 121
ÇÏµÓ Å¬·¯½ºÅÍ Å©±â °áÁ¤Çϱâ 121
CPU, ¸Þ¸ð¸® ±×¸®°í ½ºÅ丮Áö¸¦ °áÁ¤ÇÏ´Â ÀϹÝÀûÀÎ ¿øÄ¢µé 121
¸¶½ºÅÍ ³ëµå¿¡ ´ëÇØ Æ¯º°È÷ °í·ÁÇØ¾ß ÇÒ Á¡ 125
¼¹ö »çÀÌÁî¿¡ ´ëÇÑ Ãßõ 126
Ŭ·¯½ºÅÍ È®ÀåÇϱâ 127
Å« ±Ô¸ðÀÇ Å¬·¯½ºÅ͸¦ À§ÇÑ °¡À̵å¶óÀÎ 127
¢º ¸ÖƼ³ëµå Ŭ·¯½ºÅÍ ¸¸µé±â 128
Å×½ºÆ® Ŭ·¯½ºÅ͸¦ ¸¸µå´Â ¹æ¹ý 129
¢º ÇÏµÓ ¼³Á¤ ÆÄÀÏ ¼öÁ¤Çϱâ 133
HDFS ¼³Á¤ º¯°æ(hdfs-site.xml ÆÄÀÏ) 133
HDFS ¸Å°³º¯¼ö ¼öÁ¤Çϱâ 134
¾á ¼³Á¤ ¼öÁ¤ 135
¸Ê¸®µà½º ¼³Á¤ º¯°æÇϱâ 139
¢º Ŭ·¯½ºÅÍ ½ÃÀÛÇϱâ 141
½ºÅ©¸³Æ®·Î Ŭ·¯½ºÅÍ ½ÃÀÛÇÏ°í Á¾·áÇϱâ 143
»õ·Î¿î Ŭ·¯½ºÅÍ ÆÄÀÏ ½Ã½ºÅÛÀ» ºü¸£°Ô Á¡°ËÇϱâ 144
¢º ÇÏµÓ ¼ºñ½º, À¥ ÀÎÅÍÆäÀ̽º ±×¸®°í Æ÷Æ® ¼³Á¤Çϱâ 145
¼ºñ½º ¼³Á¤°ú À¥ ÀÎÅÍÆäÀ̽º 145
ÇÏµÓ ¼ºñ½º Æ÷Æ® ¼³Á¤Çϱâ 148
ÇÏµÓ Å¬¶óÀ̾ðÆ® 150
¢º ¿ä¾à 152
PART ¥±¤ý ÇÏµÓ ¾ÖÇø®ÄÉÀÌ¼Ç ÇÁ·¹ÀÓ¿öÅ© ¤ý154
Chatper 5. Ŭ·¯½ºÅÍ¿¡¼ ¾ßÇø®ÄÉÀÌ¼Ç ½ÇÇàÇϱ⠡¦ ¸Ê¸®µà½º ÇÁ·¹ÀÓ¿öÅ©(
ÀúÀÚ ¼¹® 16
ÀÌ Ã¥Àº ´©±¸¸¦ À§ÇÑ °ÍÀΰ¡? 17
ÀÌ Ã¥ÀÇ ±¸Á¶¿Í ´Ù·ç°í ÀÖ´Â ÁÖÁ¦µé 17
°¨»çÀÇ ¸» 21
ÀúÀÚ¿¡ ´ëÇÏ¿© 23
¿ªÀÚ ¼¹® 24
¿ªÀÚ¿¡ ´ëÇÏ¿© 25
PART ¥°¤ý ÇÏµÓ ¼Ò°³ ¡¦¾ÆÅ°ÅØó¿Í ÇÏµÓ Å¬·¯½ºÅÍ ¤ý26
Chatper 1. ÇÏµÓ ¼Ò°³ ¹× ÇϵÓÀÇ ÁÖº¯ ȯ°æ 28
¢º ÇϵӰú ÇϵÓÀÇ »ýÅ°迡 ´ëÇÑ °³¿ä 28
ÇϵÓÀÇ Æ¯Â¡µé 30
ºòµ¥ÀÌÅÍ¿Í ÇÏµÓ 31
ÇϵÓÀ» »ç¿ëÇÏ´Â ÀϹÝÀû ½Ã³ª¸®¿À 32
ÀüÅëÀûÀÎ µ¥ÀÌÅͺ£À̽º ½Ã½ºÅÛ 33
µ¥ÀÌÅÍ È£¼ö 35
ºòµ¥ÀÌÅÍ, µ¥ÀÌÅÍ °úÇÐ ±×¸®°í ÇÏµÓ 36
¢º Ŭ·¯½ºÅÍ ÄÄÇ»Æðú ÇÏµÓ Å¬·¯½ºµé 37
Ŭ·¯½ºÅÍ ÄÄÇ»Æà 37
ÇÏµÓ Å¬·¯½ºÅ͵é 38
¢º ÇÏµÓ ÄÄÆ÷³ÍÆ®µé°ú ÇÏµÓ »ýÅ°è 40
¢º ÇÏµÓ °ü¸®ÀÚµéÀÌ ÇÏ´Â ÀÏ 43
ÇÏµÓ °ü¸® ¡¦ »õ·Î¿î Æз¯´ÙÀÓ 44
ÇϵÓÀ» °ü¸®Çϱâ À§ÇØ ¾Ë¾Æ¾ß ÇÏ´Â °Í 46
ÇÏµÓ °ü¸®ÀÚ Åø¼¼Æ® 47
¢º ÇÏµÓ 1°ú ÇÏµÓ 2ÀÇ ÁÖ¿ä Â÷ÀÌÁ¡ 47
¾ÆÅ°ÅØóÀÇ Â÷ÀÌ 47
°í°¡¿ë¼º ±â´Éµé 48
´ÙÁß Ã³¸® ¿£Áøµé 48
ÇÁ·Î¼¼½Ì°ú ½ºÄÉÁÙ¸µÀÇ ºÐ¸® 49
ÇÏµÓ 1°ú ÇÏµÓ 2ÀÇ ¸®¼Ò½º ÇÒ´ç ¹æ½Ä 49
¢º ºÐ»êÇü µ¥ÀÌÅÍ Ã³¸®: ¸Ê¸®µà½º, ½ºÆÄÅ©, ÇÏÀ̺ê, ÇÇ±× 50
¸Ê¸®µà½º 50
¾ÆÆÄÄ¡ ½ºÆÄÅ© 51
¢º µ¥ÀÌÅÍ ÅëÇÕ: ¾ÆÆÄÄ¡ ½ºÄò, ¾ÆÆÄÄ¡ Ç÷ë, ¾ÆÆÄÄ¡ Ä«ÇÁÄ« 53
¢º ÇÏµÓ °ü¸®ÀÇ ÇÙ½É ¿µ¿ª 54
Ŭ·¯½ºÅÍ ½ºÅ丮Áö °ü¸® 55
Ŭ·¯½ºÅÍ ¸®¼Ò½º ÇÒ´ç 55
Àâ ½ºÄÉÁÙ¸µ 56
ÇÏµÓ µ¥ÀÌÅÍ º¸¾È 57
¢º ¿ä¾à 58
Chatper 2. ÇÏµÓ ¾ÆÅ°ÅØó °³¿ä 59
¢º ºÐ»ê ÄÄÇ»Æðú ÇÏµÓ 59
¢º ÇÏµÓ ¾ÆÅ°ÅØó 60
ÇÏµÓ Å¬·¯½ºÅÍ 61
¸¶½ºÅÍ ³ëµå¿Í ¿öÄ¿ ³ëµå 61
ÇÏµÓ ¼ºñ½º 62
¢º µ¥ÀÌÅÍ ½ºÅ丮Áö - ÇÏµÓ ºÐ»ê ÆÄÀÏ ½Ã½ºÅÛ 63
HDFS Ư¡µé 63
HDFS ¾ÆÅ°ÅØó 64
HDFS ÆÄÀÏ ½Ã½ºÅÛ 66
³×ÀÓ³ëµå ¿ÀÆÛ·¹ÀÌ¼Ç 69
¢º ÇÏµÓ ¿î¿µ ½Ã½ºÅÛÀÎ ¾áÀ» »ç¿ëÇÑ µ¥ÀÌÅÍ ÇÁ·Î¼¼½Ì 74
¾áÀÇ ¾ÆÅ°ÅØó 75
¸®¼Ò½º¸¦ ÇÒ´çÇϱâ À§ÇØ ¾ÖÇø®ÄÉÀ̼Ǹ¶½ºÅÍ°¡ ¸®¼Ò½º¸Å´ÏÀú¿Í Çù·ÂÇÏ´Â ¹æ¹ý 80
¢º ¿ä¾à 82
Chapter 3 °£´ÜÇÑ ÇÏµÓ Å¬·¯½ºÅÍ »ý¼º ¹× ȯ°æ ¼³Á¤ 83
¢º ÇÏµÓ ¹èÆ÷ÆÇ°ú ¼³Ä¡ ŸÀÔ 84
ÇÏµÓ ¹èÆ÷ÆÇ 84
ÇÏµÓ ¼³Ä¡ ŸÀÔ 85
¢º °¡»ó ºÐ»ê ÇÏµÓ Å¬·¯½ºÅÍ ¼³Á¤Çϱâ 86
¿î¿µ ½Ã½ºÅÛÀÇ Á¶°Ç ÃæÁ·½ÃÅ°±â 87
Ä¿³Î ¸Å°³º¯¼öÀÇ ¼öÁ¤ 87
SSH ¼³Á¤ 93
ÀÚ¹Ù ¼³Ä¡ 94
ÇÏµÓ ¼ÒÇÁÆ®¿þ¾î ¼³Ä¡ 95
ÇÏµÓ¿ë »ç¿ëÀÚ °èÁ¤ »ý¼º 96
Çʼö µð·ºÅ丮 »ý¼º 96
¢º ÇÏµÓ ¼³Á¤Çϱâ 97
ȯ°æ ¼³Á¤ ÆÄÀÏ 98
Àбâ Àü¿ë µðÆúÆ® ¼³Á¤ ÆÄÀÏ 99
»çÀÌÆ® ¼³Á¤ ÆÄÀÏ 100
ÀÌ¿ÜÀÇ ÇÏµÓ °ü·Ã ¼³Á¤ ÆÄÀÏ 100
¼³Á¤ ÆÄÀÏ °£ÀÇ ¼³Á¤ ¿ì¼±¼øÀ§ 101
º¯¼ö È®Àå°ú ¼³Á¤ ¸Å°³º¯¼ö 104
ÇÏµÓ µ¥¸ó ȯ°æ ¼³Á¤ 104
core-site.xml ÆÄÀÏ·Î ÄÚ¾î ÇÏµÓ ¼Ó¼º ¼³Á¤Çϱâ 106
mapred-site.xml ÆÄÀÏ·Î ¸Ê¸®µà½º ¼³Á¤Çϱâ 108
yarn-site.xml·Î ¾á ¼³Á¤Çϱâ 109
¢º »õ·Î¿î ÇÏµÓ Å¬·¯½ºÅÍ ¿î¿µÇϱâ 111
ºÐ»ê ÆÄÀÏ ½Ã½ºÅÛ Æ÷¸ËÇϱâ 112
HDFS¿Í ¾á ¼ºñ½º ½ÃÀÛÇϱâ 102
¼ºñ½º µ¿ÀÛ ¿©ºÎ È®ÀÎÇϱâ 115
¼ºñ½º ÁßÁöÇϱâ 116
¢º ¿ä¾à 116
Chapter 4. ÇÏµÓ Å¬·¯½ºÅÍ °èȹÇϱâ 118
¢º Ŭ·¯½ºÅ͸¦ °èȹÇÒ ¶§ ÀϹÝÀûÀ¸·Î °í·ÁÇØ¾ß ÇÒ °Íµé 118
¼¹ö ±¸¼º ¿ä¼Ò 120
³ëµå¸¦ ¼±ÅÃÇÏ´Â ±âÁØ 120
¢º ½Ì±Û ·¢¿¡¼ ¸ÖƼ ·¢À¸·Î °¡±â 121
ÇÏµÓ Å¬·¯½ºÅÍ Å©±â °áÁ¤Çϱâ 121
CPU, ¸Þ¸ð¸® ±×¸®°í ½ºÅ丮Áö¸¦ °áÁ¤ÇÏ´Â ÀϹÝÀûÀÎ ¿øÄ¢µé 121
¸¶½ºÅÍ ³ëµå¿¡ ´ëÇØ Æ¯º°È÷ °í·ÁÇØ¾ß ÇÒ Á¡ 125
¼¹ö »çÀÌÁî¿¡ ´ëÇÑ Ãßõ 126
Ŭ·¯½ºÅÍ È®ÀåÇϱâ 127
Å« ±Ô¸ðÀÇ Å¬·¯½ºÅ͸¦ À§ÇÑ °¡À̵å¶óÀÎ 127
¢º ¸ÖƼ³ëµå Ŭ·¯½ºÅÍ ¸¸µé±â 128
Å×½ºÆ® Ŭ·¯½ºÅ͸¦ ¸¸µå´Â ¹æ¹ý 129
¢º ÇÏµÓ ¼³Á¤ ÆÄÀÏ ¼öÁ¤Çϱâ 133
HDFS ¼³Á¤ º¯°æ(hdfs-site.xml ÆÄÀÏ) 133
HDFS ¸Å°³º¯¼ö ¼öÁ¤Çϱâ 134
¾á ¼³Á¤ ¼öÁ¤ 135
¸Ê¸®µà½º ¼³Á¤ º¯°æÇϱâ 139
¢º Ŭ·¯½ºÅÍ ½ÃÀÛÇϱâ 141
½ºÅ©¸³Æ®·Î Ŭ·¯½ºÅÍ ½ÃÀÛÇÏ°í Á¾·áÇϱâ 143
»õ·Î¿î Ŭ·¯½ºÅÍ ÆÄÀÏ ½Ã½ºÅÛÀ» ºü¸£°Ô Á¡°ËÇϱâ 144
¢º ÇÏµÓ ¼ºñ½º, À¥ ÀÎÅÍÆäÀ̽º ±×¸®°í Æ÷Æ® ¼³Á¤Çϱâ 145
¼ºñ½º ¼³Á¤°ú À¥ ÀÎÅÍÆäÀ̽º 145
ÇÏµÓ ¼ºñ½º Æ÷Æ® ¼³Á¤Çϱâ 148
ÇÏµÓ Å¬¶óÀ̾ðÆ® 150
¢º ¿ä¾à 152
PART ¥±¤ý ÇÏµÓ ¾ÖÇø®ÄÉÀÌ¼Ç ÇÁ·¹ÀÓ¿öÅ© ¤ý154
Chatper 5. Ŭ·¯½ºÅÍ¿¡¼ ¾ßÇø®ÄÉÀÌ¼Ç ½ÇÇàÇϱ⠡¦ ¸Ê¸®µà½º ÇÁ·¹ÀÓ¿öÅ©(