BPÈ˹¤Éñ¾ÍøÂçÔÚͼÏñʶ±ðÖеÄÓ¦ÓÃÑо¿
¡¡¡¡ÕªÒª£ºÍ¼Ïñʶ±ð¹ý³Ì°üÀ¨ÁËͼÏñÔ¤´¦Àí¡¢ÌØÕ÷ÌáÈ¡¡¢Í¼ÏñÀí½âÓë·ÖÎö¡£ÆäÖÐBPÈ˹¤Éñ¾ÍøÂçÔÚͼÏñ·Ö¸îÖÐÔËÓýϺã»ÔÚÌØÕ÷ÌáÈ¡½×¶ÎBPÉñ¾ÍøÂçÒ²ºÜºÃµÄµÃµ½ÁËÔËÓ㬲¢Çҵõ½Á˽ϺõÄÌØÕ÷ÌáÈ¡½á¹û£»ÔÚͼÏñÀí½âÓë·ÖÎö½×¶ÎÔËÓÃÉñ¾ÍøÂç½øÐзÖÀàÆ÷µÄÉè¼Æ£¬¿ÉÒԵõ½¾«È·µÄ·ÖÀà½á¹û¡£
¡¡¡¡¹Ø¼ü´Ê£ºBPÉñ¾ÍøÂ硢ͼÏñ·Ö¸î¡¢ÌØÕ÷ÌáÈ¡
¡¡¡¡1.ÒýÑÔ
¡¡¡¡BPÈ˹¤Éñ¾ÍøÂçËã·¨ÊÇÏÖ½ñÓ¦ÓýÏΪ¹ã·ºµÄ¶à²ãÇ°Ïò·´À¡Ê½Éñ¾ÍøÂçËã·¨£¬BPÈ˹¤Éñ¾ÍøÂçÓнϺõÄÈÝ´íÄÜÁ¦¡¢Â³°ôÐÔ¡¢²¢ÐÐÐͬ´¦ÀíÄÜÁ¦ºÍ×ÔÊÊÓ¦ÄÜÁ¦£¬Êܵ½Á˹úÄÚÍâÖÚ¶àÁìÓòѧÕߵĹØ×¢¡£ÓÉÓÚÉñ¾ÍøÂç¸ßЧÂʵļ¯Ìå¼ÆËãÄÜÁ¦ºÍ½ÏÇ¿µÄ³°ôÐÔ£¬ËüÔÚͼÏñ·Ö¸î·½ÃæµÄÓ¦ÓÃÒѾºÜ¹ã·º£¬JainºÍKaru²ÉÓÃÁ˶àͨµÀÂ˲¨ÓëÇ°ÏòÉñ¾ÍøÂçÏà½áºÏµÄ·½·¨ÊµÏÖͼÏñÎÆÀí·Ö¸îËã·¨¡£Éñ¾ÍøÂçËã·¨ÔÚÌØÕ÷ÌáÈ¡½×¶Î£¬Ñ¹ËõÌØÕ÷ÊýÁ¿£¬ÒÔÌá¸ß·ÖÀàËٶȺ;«¶È¡£ÔÚͼÏñʶ±ðÁìÓòÖÐÉñ¾ÍøÂç×÷Ϊ·ÖÀàÆ÷µÄÑо¿Ò²µÃµ½Á˺ܴóµÄ½øÕ¹£¬ÓÈÆäÊÇÆäѧϰÄÜÁ¦ºÍÈÝ´íÐÔ¶ÔÓÚģʽʶ±ðÊǷdz£ÓÐÀûµÄ£¬ÔÚÒ»¶¨³Ì¶ÈÉÏÌá¸ßÁËѵÁ·ËٶȺÍʶ±ðÂÊ¡£LeCunµÈÈËÌá³öÁ˶à²ãÌØÕ÷Ñ¡Ôñ(MultilayerSelectionProcedure)·½·¨ÓÃÓÚ×Ö·ûʶ±ð£¬Ã¿Ò»²ãÉñ¾ÍøÂç´¦Àí½ÏµÍ²ã´ÎµÄÌØÕ÷£¬»ñÈ¡¸Ã²ãÌØÕ÷ÐÅÏ¢²¢´«¸øÉÏÒ»²ã¡£
¡¡¡¡2.BPÉñ¾ÍøÂçµÄ»ù±¾ÔÀí
¡¡¡¡È˹¤Éñ¾ÍøÂçµÄÑо¿ÆðÔ´ÓÚ¶ÔÉúÎïÉñ¾ÏµÍ³µÄÑо¿£¬Ëü½«Èô¸É´¦Àíµ¥Ôª£¨¼´Éñ¾Ôª£©Í¨¹ýÒ»¶¨µÄ»¥Á¬Ä£ÐÍÁ¬½á³ÉÒ»¸öÍøÂ磬Õâ¸öÍøÂçͨ¹ýÒ»¶¨µÄ»úÖÆ¿ÉÒÔÄ£·ÂÈ˵ÄÉñ¾ÏµÍ³µÄ¶¯×÷¹ý³Ì£¬ÒԴﵽʶ±ð·ÖÀàµÄÄ¿µÄ¡£È˹¤Éñ¾ÍøÂçÇø±ðÓÚÆäËûʶ±ð·½·¨µÄ×î´óÌصãÊÇËü¶Ô´ýʶ±ðµÄ¶ÔÏó²»ÒªÇóÓÐÌ«¶àµÄ·ÖÎöÓëÁ˽⣬¾ßÓÐÒ»¶¨µÄÖÇÄÜ»¯´¦ÀíµÄÌص㡣Éñ¾ÍøÂçµÄѧϰ¹ý³Ìʵ¼ÊÉϾÍÊDz»¶ÏµØµ÷ÕûȨֵºÍãÐÖµµÄ¹ý³Ì¡£¸ù¾ÝÓÐÎÞѵÁ·Ñù±¾µÄÖ¸µ¼¿ÉÒÔ½«Éñ¾ÍøÂçµÄѧϰ·½Ê½·ÖΪÁ½ÖÖ£º¼à¶½Ñ§Ï°·½Ê½ºÍ·Ç¼à¶½Ñ§Ï°·½Ê½£¬Ò²³ÆΪÓе¼Ê¦Ö¸µ¼Ñ§Ï°·½Ê½ºÍÎÞµ¼Ê¦Ö¸µ¼Ñ§Ï°·½Ê½¡£¼à¶½Ñ§Ï°·½Ê½£¬ÊÇÔÚ¸ø¶¨¹Ì¶¨µÄÊäÈëÊä³öÑù±¾¼¯µÄÇé¿öÏ£¬ÓÉÍøÂç¸ù¾ÝÒ»¶¨µÄѧϰ¹æÔò½øÐÐѵÁ·Ñ§Ï°£¬Ã¿Ò»´ÎѧϰÍê³Éºó£¬Í¨¹ý¶Ô±Èʵ¼ÊµÄÊä³öºÍÆÚÍûµÄÊä³ö£¬ÒԴ˾ö¶¨ÍøÂçÊÇ·ñÐèÒªÔÙѧϰ£¬Èç¹û»¹Ã»ÓдﵽÆÚÍûµÄÎó²î£¬Ôò½«Êµ¼ÊÎó²î·´À¡µ½ÍøÂ磬½øÐÐȨֵºÍãÐÖµµÄµ÷Õû£¬Ê¹Êµ¼ÊµÄÎó²îËæ×ÅѧϰµÄ·´¸´½øÐжøÖð²½¼õС£¬Ö±ÖÁ´ïµ½ËùÒªÇóµÄÐÔÄÜÖ¸±êΪֹ¡£·Ç¼à¶½Ñ§Ï°·½Ê½£¬ÊÇÔÚûÓÐÍâ½çµÄÖ¸µ¼Ï½øÐеÄѧϰ·½Ê½£¬ÔÚѧϰ¹ý³ÌÖУ¬µ÷ÕûÍøÂçµÄȨÖز»ÊÜÍâÀ´½ÌʦµÄÓ°Ï죬µ«ÔÚÍøÂçÄÚ²¿»á¶ÔÆäÐÔÄܽøÐÐ×ÔÊÊÓ¦µ÷½Ú¡£
¡¡¡¡3.BPÉñ¾ÍøÂç·ÖÀàÆ÷µÄÉè¼Æ
¡¡¡¡BPÉñ¾ÍøÂçÊÇ»ùÓÚÎó²î·´Ïò´«²¥Ëã·¨(BackPropagationAlgorithm£¬BPA)µÄ¶à²ãÇ°ÏòÉñ¾ÍøÂ磬ÓÉÊäÈë²ã¡¢Êä³ö²ã¡¢Ò»¸ö»ò¶à¸öÒþº¬²ãËù×é³É¡£BPÉñ¾ÍøÂç½á¹¹È·¶¨Ö®ºó£¬Í¨¹ý¶ÔÊä³öºÍÊäÈëÑù±¾¼¯½øÐÐѵÁ·£¬·´¸´ÐÞÕýÍøÂçµÄȨֵºÍãÐÖµ£¬´ïµ½Ñ§Ï°ÑµÁ·µÄÆÚÍûÎó²î£¬ÒÔʹÍøÂçÄܹ»ÊµÏÖ¸ø¶¨µÄÊäÈëÊä³öÓ³Éä¹Øϵ¡£BPÈ˹¤Éñ¾ÍøÂçµÄѧϰ¹ý³Ì·ÖΪÁ½¸ö½×¶Î£¬µÚÒ»½×¶ÎÊÇÊäÈ뼺֪µÄѧϰÑù±¾Êý¾Ý£¬¸ø¶¨ÍøÂçµÄ½á¹¹ºÍ³õʼÁ¬½ÓȨֵºÍãÐÖµ£¬´ÓÊäÈë²ãÖð²ãÏòºó¼ÆËã¸÷Éñ¾ÔªµÄÊä³ö£»µÚ¶þ½×¶ÎÊǶÔȨֵºÍãÐÖµ½øÐÐÐ޸ģ¬¼´¸ù¾ÝÍøÂçÎó²î´Ó×îºóÒ»²ãÏòÇ°·´À¡¼ÆËã¸÷²ãȨֵºÍãÐÖµµÄÔö¼õÁ¿£¬À´Öð²ãÐÞÕý¸÷²ãȨֵºÍãÐÖµ¡£ÒÔÉÏÕý·´Á½¸ö½×¶Î·´¸´½»Ì棬ֱµ½ÍøÂçÊÕÁ²¡£¾ßÌåʵÏÖ²½ÖèÈçÏ£º
¡¡¡¡(1)ÍøÂçµÄ³õʼ»¯£ºÊ×ÏȶÔÊäÈëµÄѧϰѵÁ·Ñù±¾½øÐйéÒ»»¯´¦Àí£¬¶ÔȨֵ¾ØÕóWºÍãÐÖµÏòÁ¿¸³³õÖµ£¬½«ÍøÂç¼ÆÊýÆ÷ºÍѵÁ·´ÎÊý¼ÆÊýÆ÷ÖÃΪ1£¬ÍøÂçÎó²îÖÃΪ0¡£
¡¡¡¡(2)ÊäÈëѵÁ·Ñù±¾£¬¼ÆËãÊäÈë²ã£¬Òþº¬²ãÒÔ¼°Êä³ö²ãµÄʵ¼ÊÊä³ö¡£
¡¡¡¡(3)¼ÆËãÍøÂçÊä³öÎó²î¡£½«Êµ¼ÊµÄÊä³öºÍÆÚÍûµÄÊä³öÖµ½øÐжԱȣ¬²ÉÓþù·½¸ùÎó²îÖ¸±ê×÷ΪÍøÂçµÄÎó²îÐÔÄܺ¯Êý¡£
¡¡¡¡(4)ÈôÎó²î»¹Ã»´ïµ½ÆÚÍû±ê×¼£¬Ôò¸ù¾ÝÎó²îÐźţ¬Öð²ãµ÷ÕûȨֵ¾ØÕóºÍãÐÖµÏòÁ¿¡£
¡¡¡¡(5)Èô×îÖÕµ÷ÕûÖ®ºóµÄÍøÂçÊä³ö´ïµ½ÁËÎó²î·¶Î§Ö®ÄÚ£¬Ôò½øÐÐÏÂÒ»×éѵÁ·Ñù±¾¼ÌÐøѵÁ·ÍøÂç¡£
¡¡¡¡(6)ÈôÈ«²¿µÄѵÁ·Ñù±¾ÑµÁ·Íê±Ï£¬²¢ÇÒ´ïµ½ÁËÆÚÍûµÄÎó²î£¬ÔòѵÁ·½áÊø£¬Êä³ö×îÖÕµÄÍøÂçÁª½ÓȨֵºÍãÐÖµ¡£
¡¡¡¡BPÉñ¾ÍøÂç¿ÉÒԱƽüÈÎÒâÁ¬Ðøº¯Êý£¬¾ßÓкÜÇ¿µÄ·ÇÏßÐÔÓ³ÉäÄÜÁ¦£¬¶øÇÒBPÉñ¾ÍøÂçÖмä²ãÊý¡¢¸÷²ãÉñ¾ÔªÊý¼°ÍøÂçѧϰËÙÂʵȲÎÊý¾ù¿ÉÒÔ¸ù¾Ý¾ßÌåÇé¿öÉ趨£¬Áé»îÐÔ½ÏÇ¿£¬ËùÒÔBPÉñ¾ÍøÂçÔÚÐí¶àÁìÓòÖй㷺ӦÓá£Ò»°ãÀ´Ëµ£¬Éñ¾ÍøÂç·½·¨Ó¦Í¬´«Í³µÄÈ˹¤ÖÇÄÜ·½·¨ÏàÁªÏµµÄ¡£Éñ¾ÍøÂç±¾Éí½á¹¹¼°ÐÔÄÜÉϵÄÌصãʹÆä¶ÔÎÊÌâµÄ´¦Àí¸ü¸»Óе¯ÐÔ£¬¸ü¼ÓÎȽ¡¡£Éñ¾ÍøÂçµÄ»ù±¾ÌصãÊDzÉÓÃ×Ô϶øÉϵÄÉè¼Æ˼·£¬Ê¹ÆäÈÝÒ×È·¶¨¾ßÌåµÄÄ¿±ê·Ö¸î»òʶ±ðËã·¨£¬ÔÚÔö¼ÓÁ˲»È·¶¨ÒòËصÄͬʱҲ²úÉúÁËÍøÂç×îÓÅ»¯µÄÎÊÌ⣬Õâ¾ÍÊÇËùνµÄα״̬(pseudo-trap)¡£¾¡¹ÜÔÚʵ¼ùÖв¢·ÇËùÓеÄα״̬¶ÔÓ¦Íêȫʧ°ÜµÄ½á¹û£¬µ«ÊDZϾ¹Õâ²»·ûºÏ¶ÔÖ®ÍêÃÀµÄ»òÕß˵ºÏÀíµÄÆÚÍû¡£È˹¤ÖÇÄÜÔòÒ»°ã²ÉÓÃ×ÔÉ϶øϵķ½·¨£¬Æ«ÖØÓÚÂß¼ÍÆÀí½¨Á¢ÏµÍ³Ä£ÐÍ¡£Òò´Ë½«Éñ¾ÍøÂçͬÈ˹¤ÖÇÄܽáºÏÆðÀ´£¬Ï൱ÓÚ¸³ÓèÉñ¾ÍøÂç¸ß²ãÖ¸µ¼µÄ֪ʶ¼°Âß¼ÍÆÀíµÄÄÜÁ¦£¬¾ßÓÐDZÔÚµÄÓÅÊÆ¡£
¡¡¡¡ÊäÈë²ãÖмä²ãÊä³ö²ã
¡¡¡¡Í¼1BPÈ˹¤Éñ¾ÍøÂç½á¹¹
¡¡¡¡4.BPÉñ¾ÍøÂçµÄѵÁ·
¡¡¡¡4.1BPÉñ¾ÍøÂçµÄÉè¼Æ
¡¡¡¡BPÉñ¾ÍøÂçµÄÉè¼ÆÖ÷Òª°üÀ¨Á½·½ÃæÄÚÈÝ£ºÒ»ÊÇÉñ¾ÍøÂç½á¹¹µÄÈ·¶¨£¬ÌرðÊÇÒþº¬²ã²ãÊý¼°Òþº¬²ãµ¥ÔªÊýÄ¿µÄÈ·¶¨£»¶þÊǸ߾«¶ÈÊÕÁ²ÎÊÌ⣬Òþº¬²ãºÍÒþº¬²ãµ¥ÔªÊý¹ý¶à£¬½«µ¼ÖÂѵÁ·Ê±¼ä¹ý³¤²¢³öÏÖ¹ý¶ÈÄâºÍµÄÎÊÌ⣬Òþº¬²ãµ¥ÔªÊý¹ýÉÙÓÖµ¼ÖÂÍøÂçÊÕÁ²ËÙ¶ÈÂýÉõÖÁ²»ÊÕÁ²£¬´ï²»µ½Îó²î¾«¶ÈÒªÇó¡£ÔÚÈ·¶¨Òþº¬²ã²ãÊýÒÔ¼°Òþº¬²ãµ¥ÔªÊýĿʱ£¬Ã»ÓÐÒ»¸öÑϸñµÄÀíÂÛÒÀ¾ÝÖ¸µ¼£¬ÐèÒª¸ù¾ÝÌض¨µÄÎÊÌ⣬½áºÏ¾Ñ鹫ʽȷ¶¨´óÖ·¶Î§À´½øÐÐÖð²½ÊÔËã±È½ÏµÃµ½¡£
תÔØÇë×¢Ã÷À´×Ô£ºhttp://www.uuqikan.com/jingshenyixuelw/6465.html
- Ó¢ÎÄÂÛÎÄÖÆ×÷¸ßÖÊÁ¿µÄͼÎÄÕªÒª
- Â×ÀíÉó²éÊÇɶ£¿Â×ÀíÉêÇëÁ÷³Ì¼°²ÄÁÏ
- ·¢sci°æÃæ·ÑÔõô½â¾ö
- scopusÓзÖÇøÂð
- c¿¯ºÍsciÄĸö¸üÀ÷º¦
- ÔõôÅжÏÊDz»ÊÇ¿ªÔ´ÆÚ¿¯
- µç×Ó¹¤³Ìʦְ³ÆÆÀ¶¨Ìõ¼þ¼°Á÷³Ì
- ÎÄѧºËÐÄÀ࿯ÎïÓÐÄÄЩ
- Ó¢ÎÄÂÛÎÄÒ»¼¶±êÌâ±ØÐ붥¸ñÂð
- Ó¢ÎÄÂÛÎÄÖг£Óñ»¶¯Óï̬»¹ÊÇÖ÷¶¯Óï̬
- Ó¢ÎÄÂÛÎÄÖг£ÓõÄÁ¬½Ó´Ê¼¯½õ
- µµ°¸×¨ÒµºËÐÄÆÚ¿¯ÓÐÄÄЩ
- ÓñÃ××÷ËÇÁÏÓ¦¸Ã×¢ÒâµÄÎÊÌâ¼°Æä½â¾öµÄ
- ÐÐҵлá֪ʶ²úȨ±£»¤·¨ÖÎÔðÈÎ
- ÃñÊÂËßËÏ·¨Ñ§ÓкÎÑо¿·½·¨
- ÃÀ¹ú°×¶êÎÞ¹«º¦·ÀÖμ¼Êõ´ëÊ©
- dzÂÛ½¨ÖþÉè¼ÆÖÐÏÖ´úÖ÷ÒåºÍºóÏÖ´úÖ÷Òå
- ¹ØÓڼ̵籣»¤ÔËÐм¼Êõ¼°Îó¶¯Ê¹ʷÖÎö
- ¸ßУͼÊé¹ÝѧÊõÆÚ¿¯³ö°æ»î¶¯
- ÌåÓý½ÌÓýÂÛÎĸßУ½¡ÃÀ²Ù½ÌѧÖеÄÃÀѧ
- ÔÚÑÒÍÁÑÒ¹¤³Ì¿±²ìÖеÄÎÊÌâ¼°¶Ô²ß
- ҽѧÂÛÎÄд×÷Ò½Ôº¸ÐȾµÄÔ¤·À´ëÊ©