µðÁöÅПÀÓ½º

 


3ÀÏ °É¸®´ø ÀÏÀ» ¼ø½Ä°£¿¡¡¦ ÅäÁ¾º¥Ã³ Çس´Ù

ÇÁ¸°Æ® ÆäÀ̽ººÏ Æ®À§ÅÍ Ä«Ä«¿À½ºÅ丮
À̵ð¾ö ºòµ¥ÀÌÅÍ °Ë»ö¿£Áø `·Î±×ÇÁ·¹¼Ò` ¿Ü±¹»êº¸´Ù ¾ÐµµÀû ¼º´É
¡á±â¾÷¿­Àü À̵ð¾ö

ºòµ¥ÀÌÅÍ´Â ´Ü¼øÈ÷ Å« µ¥ÀÌÅÍ°¡ ¾Æ´Ï¶ó Å©°í ¸¹°í ºü¸£°í º¹ÀâÇÑ ÇüŸ¦ Áö´Ñ µ¥ÀÌÅ͸¦ ¸»ÇÑ´Ù. Àü¿¡´Â ´ëºÎºÐ ±×³É Èê·Áº¸³»°Å³ª ½×¾ÆµÎ±â¸¸ Çß´Ù. ±×·¯³ª ºÐ¼® ±â¼úÀÇ ¹ß´Þ·Î Á¤ÇüÀÌµç ºñÁ¤ÇüÀÌµç ºÐ¼®ÀÌ °¡´ÉÇØÁ³°í ¼­·Î ¿«¾î ½Ç½Ã°£À¸·Î ºÐ¼®ÇÒ ¼ö ÀÖ´Â Ç÷§Æûµµ µîÀåÇÏ°í ÀÖ´Ù.

ºòµ¥ÀÌÅ͸¦ ºÐ¼®Çϱ⠽ÃÀÛÇÏÀÚ Áö±Ý±îÁö ¹ß°ßÇÏÁö ¸øÇß´ø »õ·Î¿î ÆÐÅÏÀÌ µå·¯³ª°í ÀÖ´Ù. ±× ¼Ó¿¡ ´Ù¾çÇÑ Àǹ̰¡ ³»Æ÷µÅ ÀÖ´Ù´Â °ÍÀ» ¾Ë°Ô µÆ´Ù. µ¥ÀÌÅÍÀÇ ÆÐÅÏ ¼Ó¿¡¼­ ºñÁî´Ï½º¿¡ ÇÊ¿äÇÑ ÀλçÀÌÆ®¸¦ ¾òÀ» »Ó ¾Æ´Ï¶ó µ¥ÀÌÅ͸¦ ´Ù·ç´Â µ¥ ÀÖ¾î º¸´Ù ¿Ïº®ÇÑ º¸¾Èü°è¸¦ ±¸ÃàÇÒ ¼ö ÀÖ°Ô µÆ°í ºñ¿ëÀý°¨°ú »ý»ê¼º Çâ»óÀÌ ÀÌ·ïÁ³´Ù.

À̵ð¾ö(´ëÇ¥ ¾çºÀ¿­)Àº ºòµ¥ÀÌÅÍ À̽´¿Í ÇÔ²² ºÎ»óÇÑ ±â¾÷ÀÌ´Ù. À̵ð¾öÀÇ ½Ç½Ã°£ ºòµ¥ÀÌÅÍ ºÐ¼® ½Ã½ºÅÛ `·Î±×ÇÁ·¹¼Ò'(LOGPRESSO)´Â ´ë¿ë·® ºñÁ¤Çü µ¥ÀÌÅ͸¦ ½Ç½Ã°£ ¼öÁý¤ý°Ë»ö¤ýºÐ¼®¤ý½Ã°¢È­ÇØ ±â¾÷ÀÇ ÀÇ»ç°áÁ¤À» µ½´Â´Ù.

À̵ð¾öÀº Áö³­ 4¿ù ÀïÀïÇÑ ¿Ü»êÀ» ¹°¸®Ä¡°í ±¹³» LÅë½Å»ç°¡ ¹ßÁÖÇÑ ½Ç½Ã°£ ¼­ºñ½ºÇ°Áú ¸ð´ÏÅ͸µ ½Ã½ºÅÛÀÇ ºòµ¥ÀÌÅÍ ºÐ¼® ¿£Áø ±¸Ãà »ç¾÷ÀÚ·Î ¼±Á¤µÅ ¾÷°è¸¦ ³î¶ó°Ô Çß´Ù. ¼³¸³ 1³â¹Û¿¡ ¾È µÈ ½Å»ýº¥Ã³°¡ ¿Ü»êÀÌ Àå¾ÇÇÑ ±¹³» ºòµ¥ÀÌÅÍ °Ë»ö¼Ö·ç¼Ç ½ÃÀå¿¡, ±×°Íµµ Åë½Å3»ç Áß ÇÑ °÷¿¡ °Ë»ö¿£ÁøÀ» Á¦°øÇÔÀ¸·Î½á ÆÄÀåÀ» ¸ô°í ¿Â °ÍÀÌ´Ù.

À̵ð¾öÀº ÃÖ±Ù ±ÝÀ¶±Ç ÀÌ»ó±ÝÀ¶°Å·¡Å½Áö½Ã½ºÅÛ(FDS) ¼º´É ¾÷±×·¹À̵å BMT¿¡¼­µµ ÀÕµû¶ó ¼öÀ§¸¦ Â÷ÁöÇß´Ù. ±ÝÀ¶±Ç FDS¿¡¼­´Â ·Î±×¸¦ ¸ðµÎ ¸ðÀ» ¼ö ÀÖ¾î¾ß ÇÏ°í ½Ç½Ã°£ ÇàÀ§¸¦ µé¿©´Ùº¼ ¼ö ÀÖ´Â ·ê(rule) ¿£ÁøÀÌ ÇÊ¿äÇÏ´Ù. ·Î±×ÇÁ·¹¼Ò´Â À̸¦ ¸¸Á·½ÃÅ´À¸·Î½á ÇöÀç M, D Áõ±Ç»ç¿Í µµÀÔ Çù»óÀ» ÁøÇà ÁßÀÌ´Ù.

À̵ð¾öÀÇ ·Î±×ÇÁ·¹¼Ò°¡ ½Â½ÂÀ屸ÇÏ´Â ¿äÀÎÀº Á¦Ç°·ÂÀÌ ¶Ù¾î³ª±â ¶§¹®ÀÌ´Ù. ·Î±×ÇÁ·¹¼Ò´Â µ¥ÀÌÅÍÀÇ ¼öÁý¿¡¼­ºÎÅÍ À¯ÀǹÌÇÑ Á¤º¸µµÃâ¿¡ À̸£±â±îÁö µ¥ÀÌÅÍÀÇ Àüü »ý¸íÁֱ⸦ ¾Æ¿ì¸£´Â ¸ðµç ±â´ÉÀ» ÅëÇÕÇØ Á¦°øÇÑ´Ù. ·Î±×ÇÁ·¹¼Ò¸¦ µµÀÔÇϸé Áï°¢ ºòµ¥ÀÌÅÍ ºÐ¼®¿¡ µé¾î°¥ ¼ö ÀÖ´Ù. ±â´ÉÀÌ ÅëÇյŠÀÖ°í ±âÁ¸ ½Ã½ºÅÛ°ú ¶Ù¾î³­ ȣȯ¼ºÀ» °®±â ¶§¹®ÀÌ´Ù.

Åë½Å»ç¿¡ ¿£ÁøÀ» °ø±ÞÇÒ ¼ö ÀÖ¾ú´ø µ¥´Â ¿Ü»ê ¼Ö·ç¼Ç¿¡ ºñÇØ 5¹è ÀÌ»ó ºü¸¥ µ¥ÀÌÅÍ ºÐ·ù ¹× °Ë»ö, ºÐ¼® ´É·ÂÀÌ ÀÛ¿ëÇß´Ù. ·Î±×ÇÁ·¹¼Ò´Â 3ÀÏ ÀÌ»ó °É¸®´ø ºÐ¼®½Ã°£À» ÃÊ´ÜÀ§·Î ȹ±âÀûÀ¸·Î ´ÜÃàÇß´Ù. ½Ç½Ã°£ Åë½Åµ¥ÀÌÅÍ °Ë»ö ¹× ºÐ¼®ÀÌ °¡´ÉÇØÁø °ÍÀÌ´Ù.

ºòµ¥ÀÌÅÍ ºÐ¼®À» À§Çؼ­´Â ´Ù¾çÇÑ Á¶°ÇÀÌ ¿ä±¸µÈ´Ù. À¯´Ð½º À©µµ µî »ó¿ë¼­¹ö ¿î¿µÃ¼Á¦, ½ºÀ§Ä¡ ¶ó¿ìÅÍ ¹æÈ­º® IPS µî ³×Æ®¿öÅ©, RDBS(°ü°èÇü µ¥ÀÌÅͺ£À̽º) µîÀÇ µ¥ÀÌÅÍ¿Í À¥ ¹× À¥ ¾Û ¼­¹ö¿Í º¸¾È ¹× ÀÀ¿ëÇÁ·Î±×·¥ÀÇ ·Î±× ¼öÁýÀÌ ÇÊ¿äÇÏ´Ù. µ¥ÀÌÅÍ ÆĽÌ(parsing) ¹× Á¤±ÔÈ­ µî ´Ù¾çÇÑ Æ÷¸Ë 󸮵µ ´É¶õÇØ¾ß ÇÏ°í ¼öõ¸¸ °Ç ÀÌ»óÀÇ ¹æ´ëÇÑ ´ë¿ë·® ·Î±×¸¦ °í¼ÓÀ¸·Î ¾ÐÃà Àü¼ÛÇÏ°í ÀúÀåÇØ¾ß ÇÑ´Ù. ¿©±â¿¡ °³ÀÎÁ¤º¸ µî ¾Ïȣȭ¿Í µ¥ÀÌÅÍ À§¤ýº¯Á¶ ŽÁö, ½Ç½Ã°£ Ç® ÅؽºÆ® °Ë»ö°ú µ¥ÀÌÅÍ ºÐ¼® ´É·ÂÀÌ ºÙ¾î¾ß ÇÑ´Ù.

ÀÌ¿¡ ´ëÇÑ ÇعýÀ¸·Î¼­ À̵ð¾öÀÇ ·Î±×ÇÁ·¹¼Ò´Â ´Ù¼öÀÇ Ç¥ÁØ ÇÁ·ÎÅäÄÝ ¹× ¿¡ÀÌÀüÆ®¸¦ Áö¿øÇÏ°í ³»Àå Æļ­(parser, ÇÁ·Î±×·¥ ±¸¹® Çؼ® ¾Ë°í¸®Áò) ¹× Äõ¸®¸¦ ÀÌ¿ëÇÑ Á¤±ÔÈ­¸¦ äÅÃÇß´Ù. ±¹³»¿Ü ´ëºÎºÐÀÇ º¸¾È ¼Ö·ç¼Ç°ú ÀåºñÀÇ ·Î±× Æ÷¸Ë¿¡ ´ëÇÑ Æļ­µµ ³»ÀåÇß´Ù. ¿øº» ´ëºñ 10% Å©±âÀÇ ¿¡ÀÌÀüÆ® ½Ç½Ã°£ ¾ÐÃà Àü¼ÛÀ» Áö¿øÇÏ°í ÃÊ´ç 80¸¸ °ÇÀÇ °í¼Ó µ¥ÀÌÅ͸¦ ÀúÀåÇÒ ¼ö ÀÖ´Ù. Àӽà ÆÄÀÏ »ý¼º ¾øÀÌ ½Ç½Ã°£ ¾ÏȣȭÇÏ°í ¹«°á¼º °Ë»çµµ Áö¿øÇÑ´Ù. ½Ç½Ã°£ Ç®ÅؽºÆ® °Ë»öÀ» À§ÇØ ´Ù¾çÇÑ À妽º ³»Àå ¹æ½ÄÀ» ÃëÇÑ´Ù.

½ºÆ®¸² ºÐ¼®Àº °æÀï Á¦Ç°ÀÌ µû¶ó¿ÀÁö ¸øÇÏ´Â ·Î±×ÇÁ·¹¼Ò¸¸ÀÇ °­Á¡ÀÌ´Ù. À̺¥Æ® ÄÁÅؽºÆ® ÇÔ¼ö¸¦ ÀÌ¿ëÇÑ ÀÎ ¸Þ¸ð¸® À̺¥Æ® ¿¬°ü ºÐ¼®°ú ½ºÆ®¸² Äõ¸®¸¦ ÅëÇÑ ½Ç½Ã°£ ½ºÆ®¸®¹Ö µ¥ÀÌÅÍ ºÐ¼®Àº ÆøÁõÇÏ´Â ¹Ì·¡ ºòµ¥ÀÌÅÍ È¯°æ¿¡ ´ëºñÇØ °³¹ßÇß´Ù.

ÀÌ·¯ÇÑ ±â¼ú·Â°ú ½ºÆåÀº ÅëÇÕº¸¾È°üÁ¦¿Í ÅëÇշαװü¸® ¼Ö·ç¼Ç ½ÃÀå¿¡¼­ ·Î±×ÇÁ·¹¼Ò°¡ ºÎ»óÇÏ´Â ¹è°æÀÌ µÆ´Ù. ´Ù¾çÇÑ Ç¥ÁØ ÇÁ·ÎÅäÄÝ Áö¿øÀº ¹°·Ð, ¿¹¾àµÈ Äõ¸®¸¦ ÅëÇØ ½Ç½Ã°£ ¹× ¹èÄ¡ ETL(µ¥ÀÌÅÍ ÃßÃâ º¯È¯ ÀûÀç)¸¦ Áö¿øÇÑ´Ù. °ü°èÇü µ¥ÀÌÅͺ£À̽º µ¥ÀÌÅ͸¦ Á¶ÇÕ ºÐ¼®ÇÏ´Â À¯¿¬¼ºµµ ¶Ù¾î³ª´Ù. ¿î¿µ°üÁ¦¿¡ ÇʼöÀûÀÎ ´ë½Ãº¸µå ±¸¼ºÀ» ¼Õ½±°Ô ÇÏ´Â »ç¿ëÀÚ Á¤ÀÇ ´ë½Ãº¸µå ±â´Éµµ Ź¿ùÇÏ´Ù. ÇϵÓ(HDFS)°ú ¿¬µ¿ÇØ »ç¿ëÇÒ ¼ö ÀÖÀ¸¹Ç·Î ÇϵÓÀ¸·Î ¼öÁýÇÑ µ¥ÀÌÅ͸¦ ·Î±×ÇÁ·¹¼Ò¸¦ ÀÌ¿ëÇØ Ãß°¡ÀûÀÎ ºÐ¼®°ú ½Ã°¢È­¸¦ ¼öÇàÇÑ´Ù. ·Î±×ÇÁ·¹¼Ò´Â °æÂûû µµ·Î±³Åë°ø´Ü µî °ø°ø, ±ÝÀ¶°áÁ¦¿ø µî ±ÝÀ¶, LÅë½Å»ç µî Åë½Å°ú º´¿ø, ÀϹݱâ¾÷¿¡ °í¸¥ ·¹ÆÛ·±½º¸¦ È®º¸ÇÏ°í ÀÖ´Ù.

À̱ÔÈ­¼±ÀÓ±âÀÚ david@


¡áȸ»ç°³¿ä

´ëÇ¥ : ¾ç ºÀ ¿­

¼³¸³ : 2013³â 3¿ù

Á÷¿ø : 14¸í(°³¹ßÀÚ 10¸í)

2013³â ¸ÅÃâ : 10¾ï ¿ø

2014³â ¸ÅÃâ ¸ñÇ¥ : 30¾ï ¿ø

ÁÖ¿ä »ç¾÷ºÐ¾ß ¹× Á¦Ç° : ºòµ¥ÀÌÅÍ ÄÁ¼³Æà ¹× Ç÷§Æû °³¹ß, ºÐ¼® ¼ÒÇÁÆ®¿þ¾î °³¹ß. ½Ç½Ã°£ ºòµ¥ÀÌÅÍ ºÐ¼® ½Ã½ºÅÛ `·Î±×ÇÁ·¹¼Ò'.


[ ÀúÀÛ±ÇÀÚ ¨ÏµðÁöÅПÀÓ½º, ¹«´Ü ÀüÀç ¹× Àç¹èÆ÷ ±ÝÁö ]