Õ¹¿ª

BPÈ˹¤Éñ¾­ÍøÂçÔÚͼÏñʶ±ðÖеÄÓ¦ÓÃÑо¿

·¢²¼Ê±¼ä£º2013-11-29   |  ËùÊô·ÖÀࣺ¾«Éñҽѧ£ºÂÛÎÄ·¢±í  |  ä¯ÀÀ£º  |  ¼ÓÈëÊÕ²Ø

¡¡¡¡ÕªÒª£ºÍ¼Ïñʶ±ð¹ý³Ì°üÀ¨ÁËͼÏñÔ¤´¦Àí¡¢ÌØÕ÷ÌáÈ¡¡¢Í¼ÏñÀí½âÓë·ÖÎö¡£ÆäÖÐBPÈ˹¤Éñ¾­ÍøÂçÔÚͼÏñ·Ö¸îÖÐÔËÓýϺã»ÔÚÌØÕ÷ÌáÈ¡½×¶ÎBPÉñ¾­ÍøÂçÒ²ºÜºÃµÄµÃµ½ÁËÔËÓ㬲¢Çҵõ½Á˽ϺõÄÌØÕ÷ÌáÈ¡½á¹û£»ÔÚͼÏñÀí½âÓë·ÖÎö½×¶ÎÔËÓÃÉñ¾­ÍøÂç½øÐзÖÀàÆ÷µÄÉè¼Æ£¬¿ÉÒԵõ½¾«È·µÄ·ÖÀà½á¹û¡£

¡¡¡¡¹Ø¼ü´Ê£ºBPÉñ¾­ÍøÂ硢ͼÏñ·Ö¸î¡¢ÌØÕ÷ÌáÈ¡

¡¡¡¡1.ÒýÑÔ

¡¡¡¡BPÈ˹¤Éñ¾­ÍøÂçËã·¨ÊÇÏÖ½ñÓ¦ÓýÏΪ¹ã·ºµÄ¶à²ãÇ°Ïò·´À¡Ê½Éñ¾­ÍøÂçËã·¨£¬BPÈ˹¤Éñ¾­ÍøÂçÓнϺõÄÈÝ´íÄÜÁ¦¡¢Â³°ôÐÔ¡¢²¢ÐÐЭͬ´¦ÀíÄÜÁ¦ºÍ×ÔÊÊÓ¦ÄÜÁ¦£¬Êܵ½Á˹úÄÚÍâÖÚ¶àÁìÓòѧÕߵĹØ×¢¡£ÓÉÓÚÉñ¾­ÍøÂç¸ßЧÂʵļ¯Ìå¼ÆËãÄÜÁ¦ºÍ½ÏÇ¿µÄ³°ôÐÔ£¬ËüÔÚͼÏñ·Ö¸î·½ÃæµÄÓ¦ÓÃÒѾ­ºÜ¹ã·º£¬JainºÍKaru²ÉÓÃÁ˶àͨµÀÂ˲¨ÓëÇ°ÏòÉñ¾­ÍøÂçÏà½áºÏµÄ·½·¨ÊµÏÖͼÏñÎÆÀí·Ö¸îËã·¨¡£Éñ¾­ÍøÂçËã·¨ÔÚÌØÕ÷ÌáÈ¡½×¶Î£¬Ñ¹ËõÌØÕ÷ÊýÁ¿£¬ÒÔÌá¸ß·ÖÀàËٶȺ;«¶È¡£ÔÚͼÏñʶ±ðÁìÓòÖÐÉñ¾­ÍøÂç×÷Ϊ·ÖÀàÆ÷µÄÑо¿Ò²µÃµ½Á˺ܴóµÄ½øÕ¹£¬ÓÈÆäÊÇÆäѧϰÄÜÁ¦ºÍÈÝ´íÐÔ¶ÔÓÚģʽʶ±ðÊǷdz£ÓÐÀûµÄ£¬ÔÚÒ»¶¨³Ì¶ÈÉÏÌá¸ßÁËѵÁ·ËٶȺÍʶ±ðÂÊ¡£LeCunµÈÈËÌá³öÁ˶à²ãÌØÕ÷Ñ¡Ôñ(MultilayerSelectionProcedure)·½·¨ÓÃÓÚ×Ö·ûʶ±ð£¬Ã¿Ò»²ãÉñ¾­ÍøÂç´¦Àí½ÏµÍ²ã´ÎµÄÌØÕ÷£¬»ñÈ¡¸Ã²ãÌØÕ÷ÐÅÏ¢²¢´«¸øÉÏÒ»²ã¡£

¡¡¡¡2.BPÉñ¾­ÍøÂçµÄ»ù±¾Ô­Àí

¡¡¡¡È˹¤Éñ¾­ÍøÂçµÄÑо¿ÆðÔ´ÓÚ¶ÔÉúÎïÉñ¾­ÏµÍ³µÄÑо¿£¬Ëü½«Èô¸É´¦Àíµ¥Ôª£¨¼´Éñ¾­Ôª£©Í¨¹ýÒ»¶¨µÄ»¥Á¬Ä£ÐÍÁ¬½á³ÉÒ»¸öÍøÂ磬Õâ¸öÍøÂçͨ¹ýÒ»¶¨µÄ»úÖÆ¿ÉÒÔÄ£·ÂÈ˵ÄÉñ¾­ÏµÍ³µÄ¶¯×÷¹ý³Ì£¬ÒԴﵽʶ±ð·ÖÀàµÄÄ¿µÄ¡£È˹¤Éñ¾­ÍøÂçÇø±ðÓÚÆäËûʶ±ð·½·¨µÄ×î´óÌصãÊÇËü¶Ô´ýʶ±ðµÄ¶ÔÏó²»ÒªÇóÓÐÌ«¶àµÄ·ÖÎöÓëÁ˽⣬¾ßÓÐÒ»¶¨µÄÖÇÄÜ»¯´¦ÀíµÄÌص㡣Éñ¾­ÍøÂçµÄѧϰ¹ý³Ìʵ¼ÊÉϾÍÊDz»¶ÏµØµ÷ÕûȨֵºÍãÐÖµµÄ¹ý³Ì¡£¸ù¾ÝÓÐÎÞѵÁ·Ñù±¾µÄÖ¸µ¼¿ÉÒÔ½«Éñ¾­ÍøÂçµÄѧϰ·½Ê½·ÖΪÁ½ÖÖ£º¼à¶½Ñ§Ï°·½Ê½ºÍ·Ç¼à¶½Ñ§Ï°·½Ê½£¬Ò²³ÆΪÓе¼Ê¦Ö¸µ¼Ñ§Ï°·½Ê½ºÍÎÞµ¼Ê¦Ö¸µ¼Ñ§Ï°·½Ê½¡£¼à¶½Ñ§Ï°·½Ê½£¬ÊÇÔÚ¸ø¶¨¹Ì¶¨µÄÊäÈëÊä³öÑù±¾¼¯µÄÇé¿öÏ£¬ÓÉÍøÂç¸ù¾ÝÒ»¶¨µÄѧϰ¹æÔò½øÐÐѵÁ·Ñ§Ï°£¬Ã¿Ò»´ÎѧϰÍê³Éºó£¬Í¨¹ý¶Ô±Èʵ¼ÊµÄÊä³öºÍÆÚÍûµÄÊä³ö£¬ÒԴ˾ö¶¨ÍøÂçÊÇ·ñÐèÒªÔÙѧϰ£¬Èç¹û»¹Ã»ÓдﵽÆÚÍûµÄÎó²î£¬Ôò½«Êµ¼ÊÎó²î·´À¡µ½ÍøÂ磬½øÐÐȨֵºÍãÐÖµµÄµ÷Õû£¬Ê¹Êµ¼ÊµÄÎó²îËæ×ÅѧϰµÄ·´¸´½øÐжøÖð²½¼õС£¬Ö±ÖÁ´ïµ½ËùÒªÇóµÄÐÔÄÜÖ¸±êΪֹ¡£·Ç¼à¶½Ñ§Ï°·½Ê½£¬ÊÇÔÚûÓÐÍâ½çµÄÖ¸µ¼Ï½øÐеÄѧϰ·½Ê½£¬ÔÚѧϰ¹ý³ÌÖУ¬µ÷ÕûÍøÂçµÄȨÖز»ÊÜÍâÀ´½ÌʦµÄÓ°Ï죬µ«ÔÚÍøÂçÄÚ²¿»á¶ÔÆäÐÔÄܽøÐÐ×ÔÊÊÓ¦µ÷½Ú¡£

¡¡¡¡3.BPÉñ¾­ÍøÂç·ÖÀàÆ÷µÄÉè¼Æ

¡¡¡¡BPÉñ¾­ÍøÂçÊÇ»ùÓÚÎó²î·´Ïò´«²¥Ëã·¨(BackPropagationAlgorithm£¬BPA)µÄ¶à²ãÇ°ÏòÉñ¾­ÍøÂ磬ÓÉÊäÈë²ã¡¢Êä³ö²ã¡¢Ò»¸ö»ò¶à¸öÒþº¬²ãËù×é³É¡£BPÉñ¾­ÍøÂç½á¹¹È·¶¨Ö®ºó£¬Í¨¹ý¶ÔÊä³öºÍÊäÈëÑù±¾¼¯½øÐÐѵÁ·£¬·´¸´ÐÞÕýÍøÂçµÄȨֵºÍãÐÖµ£¬´ïµ½Ñ§Ï°ÑµÁ·µÄÆÚÍûÎó²î£¬ÒÔʹÍøÂçÄܹ»ÊµÏÖ¸ø¶¨µÄÊäÈëÊä³öÓ³Éä¹Øϵ¡£BPÈ˹¤Éñ¾­ÍøÂçµÄѧϰ¹ý³Ì·ÖΪÁ½¸ö½×¶Î£¬µÚÒ»½×¶ÎÊÇÊäÈ뼺֪µÄѧϰÑù±¾Êý¾Ý£¬¸ø¶¨ÍøÂçµÄ½á¹¹ºÍ³õʼÁ¬½ÓȨֵºÍãÐÖµ£¬´ÓÊäÈë²ãÖð²ãÏòºó¼ÆËã¸÷Éñ¾­ÔªµÄÊä³ö£»µÚ¶þ½×¶ÎÊǶÔȨֵºÍãÐÖµ½øÐÐÐ޸ģ¬¼´¸ù¾ÝÍøÂçÎó²î´Ó×îºóÒ»²ãÏòÇ°·´À¡¼ÆËã¸÷²ãȨֵºÍãÐÖµµÄÔö¼õÁ¿£¬À´Öð²ãÐÞÕý¸÷²ãȨֵºÍãÐÖµ¡£ÒÔÉÏÕý·´Á½¸ö½×¶Î·´¸´½»Ì棬ֱµ½ÍøÂçÊÕÁ²¡£¾ßÌåʵÏÖ²½ÖèÈçÏ£º

¡¡¡¡(1)ÍøÂçµÄ³õʼ»¯£ºÊ×ÏȶÔÊäÈëµÄѧϰѵÁ·Ñù±¾½øÐйéÒ»»¯´¦Àí£¬¶ÔȨֵ¾ØÕóWºÍãÐÖµÏòÁ¿¸³³õÖµ£¬½«ÍøÂç¼ÆÊýÆ÷ºÍѵÁ·´ÎÊý¼ÆÊýÆ÷ÖÃΪ1£¬ÍøÂçÎó²îÖÃΪ0¡£

¡¡¡¡(2)ÊäÈëѵÁ·Ñù±¾£¬¼ÆËãÊäÈë²ã£¬Òþº¬²ãÒÔ¼°Êä³ö²ãµÄʵ¼ÊÊä³ö¡£

¡¡¡¡(3)¼ÆËãÍøÂçÊä³öÎó²î¡£½«Êµ¼ÊµÄÊä³öºÍÆÚÍûµÄÊä³öÖµ½øÐжԱȣ¬²ÉÓþù·½¸ùÎó²îÖ¸±ê×÷ΪÍøÂçµÄÎó²îÐÔÄܺ¯Êý¡£

¡¡¡¡(4)ÈôÎó²î»¹Ã»´ïµ½ÆÚÍû±ê×¼£¬Ôò¸ù¾ÝÎó²îÐźţ¬Öð²ãµ÷ÕûȨֵ¾ØÕóºÍãÐÖµÏòÁ¿¡£

¡¡¡¡(5)Èô×îÖÕµ÷ÕûÖ®ºóµÄÍøÂçÊä³ö´ïµ½ÁËÎó²î·¶Î§Ö®ÄÚ£¬Ôò½øÐÐÏÂÒ»×éѵÁ·Ñù±¾¼ÌÐøѵÁ·ÍøÂç¡£

¡¡¡¡(6)ÈôÈ«²¿µÄѵÁ·Ñù±¾ÑµÁ·Íê±Ï£¬²¢ÇÒ´ïµ½ÁËÆÚÍûµÄÎó²î£¬ÔòѵÁ·½áÊø£¬Êä³ö×îÖÕµÄÍøÂçÁª½ÓȨֵºÍãÐÖµ¡£

¡¡¡¡BPÉñ¾­ÍøÂç¿ÉÒԱƽüÈÎÒâÁ¬Ðøº¯Êý£¬¾ßÓкÜÇ¿µÄ·ÇÏßÐÔÓ³ÉäÄÜÁ¦£¬¶øÇÒBPÉñ¾­ÍøÂçÖмä²ãÊý¡¢¸÷²ãÉñ¾­ÔªÊý¼°ÍøÂçѧϰËÙÂʵȲÎÊý¾ù¿ÉÒÔ¸ù¾Ý¾ßÌåÇé¿öÉ趨£¬Áé»îÐÔ½ÏÇ¿£¬ËùÒÔBPÉñ¾­ÍøÂçÔÚÐí¶àÁìÓòÖй㷺ӦÓá£Ò»°ãÀ´Ëµ£¬Éñ¾­ÍøÂç·½·¨Ó¦Í¬´«Í³µÄÈ˹¤ÖÇÄÜ·½·¨ÏàÁªÏµµÄ¡£Éñ¾­ÍøÂç±¾Éí½á¹¹¼°ÐÔÄÜÉϵÄÌصãʹÆä¶ÔÎÊÌâµÄ´¦Àí¸ü¸»Óе¯ÐÔ£¬¸ü¼ÓÎȽ¡¡£Éñ¾­ÍøÂçµÄ»ù±¾ÌصãÊDzÉÓÃ×Ô϶øÉϵÄÉè¼Æ˼·£¬Ê¹ÆäÈÝÒ×È·¶¨¾ßÌåµÄÄ¿±ê·Ö¸î»òʶ±ðËã·¨£¬ÔÚÔö¼ÓÁ˲»È·¶¨ÒòËصÄͬʱҲ²úÉúÁËÍøÂç×îÓÅ»¯µÄÎÊÌ⣬Õâ¾ÍÊÇËùνµÄα״̬(pseudo-trap)¡£¾¡¹ÜÔÚʵ¼ùÖв¢·ÇËùÓеÄα״̬¶ÔÓ¦Íêȫʧ°ÜµÄ½á¹û£¬µ«ÊDZϾ¹Õâ²»·ûºÏ¶ÔÖ®ÍêÃÀµÄ»òÕß˵ºÏÀíµÄÆÚÍû¡£È˹¤ÖÇÄÜÔòÒ»°ã²ÉÓÃ×ÔÉ϶øϵķ½·¨£¬Æ«ÖØÓÚÂß¼­ÍÆÀí½¨Á¢ÏµÍ³Ä£ÐÍ¡£Òò´Ë½«Éñ¾­ÍøÂçͬÈ˹¤ÖÇÄܽáºÏÆðÀ´£¬Ï൱ÓÚ¸³ÓèÉñ¾­ÍøÂç¸ß²ãÖ¸µ¼µÄ֪ʶ¼°Âß¼­ÍÆÀíµÄÄÜÁ¦£¬¾ßÓÐDZÔÚµÄÓÅÊÆ¡£

¡¡¡¡ÊäÈë²ãÖмä²ãÊä³ö²ã

¡¡¡¡Í¼1BPÈ˹¤Éñ¾­ÍøÂç½á¹¹

¡¡¡¡4.BPÉñ¾­ÍøÂçµÄѵÁ·

¡¡¡¡4.1BPÉñ¾­ÍøÂçµÄÉè¼Æ

¡¡¡¡BPÉñ¾­ÍøÂçµÄÉè¼ÆÖ÷Òª°üÀ¨Á½·½ÃæÄÚÈÝ£ºÒ»ÊÇÉñ¾­ÍøÂç½á¹¹µÄÈ·¶¨£¬ÌرðÊÇÒþº¬²ã²ãÊý¼°Òþº¬²ãµ¥ÔªÊýÄ¿µÄÈ·¶¨£»¶þÊǸ߾«¶ÈÊÕÁ²ÎÊÌ⣬Òþº¬²ãºÍÒþº¬²ãµ¥ÔªÊý¹ý¶à£¬½«µ¼ÖÂѵÁ·Ê±¼ä¹ý³¤²¢³öÏÖ¹ý¶ÈÄâºÍµÄÎÊÌ⣬Òþº¬²ãµ¥ÔªÊý¹ýÉÙÓÖµ¼ÖÂÍøÂçÊÕÁ²ËÙ¶ÈÂýÉõÖÁ²»ÊÕÁ²£¬´ï²»µ½Îó²î¾«¶ÈÒªÇó¡£ÔÚÈ·¶¨Òþº¬²ã²ãÊýÒÔ¼°Òþº¬²ãµ¥ÔªÊýĿʱ£¬Ã»ÓÐÒ»¸öÑϸñµÄÀíÂÛÒÀ¾ÝÖ¸µ¼£¬ÐèÒª¸ù¾ÝÌض¨µÄÎÊÌ⣬½áºÏ¾­Ñ鹫ʽȷ¶¨´óÖ·¶Î§À´½øÐÐÖð²½ÊÔËã±È½ÏµÃµ½¡£

תÔØÇë×¢Ã÷À´×Ô£ºhttp://www.uuqikan.com/jingshenyixuelw/6465.html


ÉÏһƪ£ºÃ»ÓÐÁË
ÏÂһƪ£ºÒ½Ñ§ÆÀÖ°ÂÛÎÄ·¢±í¼òÊöÇ¿ÖÆÒ½ÁÆÀíÂÛÎÊÌâ