BPÈ˹¤Éñ¾ÍøÂçÔÚͼÏñʶ±ðÖеÄÓ¦ÓÃÑо¿
¡¡¡¡ÕªÒª£ºÍ¼Ïñʶ±ð¹ý³Ì°üÀ¨ÁËͼÏñÔ¤´¦Àí¡¢ÌØÕ÷ÌáÈ¡¡¢Í¼ÏñÀí½âÓë·ÖÎö¡£ÆäÖÐBPÈ˹¤Éñ¾ÍøÂçÔÚͼÏñ·Ö¸îÖÐÔËÓýϺã»ÔÚÌØÕ÷ÌáÈ¡½×¶ÎBPÉñ¾ÍøÂçÒ²ºÜºÃµÄµÃµ½ÁËÔËÓ㬲¢Çҵõ½Á˽ϺõÄÌØÕ÷ÌáÈ¡½á¹û£»ÔÚͼÏñÀí½âÓë·ÖÎö½×¶ÎÔËÓÃÉñ¾ÍøÂç½øÐзÖÀàÆ÷µÄÉè¼Æ£¬¿ÉÒԵõ½¾«È·µÄ·ÖÀà½á¹û¡£
¡¡¡¡¹Ø¼ü´Ê£ºBPÉñ¾ÍøÂ硢ͼÏñ·Ö¸î¡¢ÌØÕ÷ÌáÈ¡
¡¡¡¡1.ÒýÑÔ
¡¡¡¡BPÈ˹¤Éñ¾ÍøÂçËã·¨ÊÇÏÖ½ñÓ¦ÓýÏΪ¹ã·ºµÄ¶à²ãǰÏò·´À¡Ê½Éñ¾ÍøÂçËã·¨£¬BPÈ˹¤Éñ¾ÍøÂçÓнϺõÄÈÝ´íÄÜÁ¦¡¢Â³°ôÐÔ¡¢²¢ÐÐÐͬ´¦ÀíÄÜÁ¦ºÍ×ÔÊÊÓ¦ÄÜÁ¦£¬Êܵ½Á˹úÄÚÍâÖÚ¶àÁìÓòѧÕߵĹØ×¢¡£ÓÉÓÚÉñ¾ÍøÂç¸ßЧÂʵļ¯Ì弯ËãÄÜÁ¦ºÍ½ÏÇ¿µÄ³°ôÐÔ£¬ËüÔÚͼÏñ·Ö¸î·½ÃæµÄÓ¦ÓÃÒѾºÜ¹ã·º£¬JainºÍKaru²ÉÓÃÁ˶àͨµÀÂ˲¨ÓëǰÏòÉñ¾ÍøÂçÏà½áºÏµÄ·½·¨ÊµÏÖͼÏñÎÆÀí·Ö¸îËã·¨¡£Éñ¾ÍøÂçËã·¨ÔÚÌØÕ÷ÌáÈ¡½×¶Î£¬Ñ¹ËõÌØÕ÷ÊýÁ¿£¬ÒÔÌá¸ß·ÖÀàËٶȺ;«¶È¡£ÔÚͼÏñʶ±ðÁìÓòÖÐÉñ¾ÍøÂç×÷Ϊ·ÖÀàÆ÷µÄÑо¿Ò²µÃµ½Á˺ܴóµÄ½øÕ¹£¬ÓÈÆäÊÇÆäѧϰÄÜÁ¦ºÍÈÝ´íÐÔ¶ÔÓÚģʽʶ±ðÊǷdz£ÓÐÀûµÄ£¬ÔÚÒ»¶¨³Ì¶ÈÉÏÌá¸ßÁËѵÁ·ËٶȺÍʶ±ðÂÊ¡£LeCunµÈÈËÌá³öÁ˶à²ãÌØÕ÷Ñ¡Ôñ(MultilayerSelectionProcedure)·½·¨ÓÃÓÚ×Ö·ûʶ±ð£¬Ã¿Ò»²ãÉñ¾ÍøÂç´¦Àí½ÏµÍ²ã´ÎµÄÌØÕ÷£¬»ñÈ¡¸Ã²ãÌØÕ÷ÐÅÏ¢²¢´«¸øÉÏÒ»²ã¡£
¡¡¡¡2.BPÉñ¾ÍøÂçµÄ»ù±¾ÔÀí
¡¡¡¡È˹¤Éñ¾ÍøÂçµÄÑо¿ÆðÔ´ÓÚ¶ÔÉúÎïÉñ¾ÏµÍ³µÄÑо¿£¬Ëü½«Èô¸É´¦Àíµ¥Ôª£¨¼´Éñ¾Ôª£©Í¨¹ýÒ»¶¨µÄ»¥Á¬Ä£ÐÍÁ¬½á³ÉÒ»¸öÍøÂ磬Õâ¸öÍøÂçͨ¹ýÒ»¶¨µÄ»úÖÆ¿ÉÒÔÄ£·ÂÈ˵ÄÉñ¾ÏµÍ³µÄ¶¯×÷¹ý³Ì£¬ÒԴﵽʶ±ð·ÖÀàµÄÄ¿µÄ¡£È˹¤Éñ¾ÍøÂçÇø±ðÓÚÆäËûʶ±ð·½·¨µÄ×î´óÌØµãÊÇËü¶Ô´ýʶ±ðµÄ¶ÔÏó²»ÒªÇóÓÐÌ«¶àµÄ·ÖÎöÓëÁ˽⣬¾ßÓÐÒ»¶¨µÄÖÇÄÜ»¯´¦ÀíµÄÌØµã¡£Éñ¾ÍøÂçµÄѧϰ¹ý³Ìʵ¼ÊÉϾÍÊDz»¶ÏµØµ÷ÕûȨֵºÍãÐÖµµÄ¹ý³Ì¡£¸ù¾ÝÓÐÎÞѵÁ·Ñù±¾µÄÖ¸µ¼¿ÉÒÔ½«Éñ¾ÍøÂçµÄѧϰ·½Ê½·ÖΪÁ½ÖÖ£º¼à¶½Ñ§Ï°·½Ê½ºÍ·Ç¼à¶½Ñ§Ï°·½Ê½£¬Ò²³ÆÎªÓе¼Ê¦Ö¸µ¼Ñ§Ï°·½Ê½ºÍÎÞµ¼Ê¦Ö¸µ¼Ñ§Ï°·½Ê½¡£¼à¶½Ñ§Ï°·½Ê½£¬ÊÇÔÚ¸ø¶¨¹Ì¶¨µÄÊäÈëÊä³öÑù±¾¼¯µÄÇé¿öÏ£¬ÓÉÍøÂç¸ù¾ÝÒ»¶¨µÄѧϰ¹æÔò½øÐÐѵÁ·Ñ§Ï°£¬Ã¿Ò»´ÎѧϰÍê³Éºó£¬Í¨¹ý¶Ô±Èʵ¼ÊµÄÊä³öºÍÆÚÍûµÄÊä³ö£¬ÒԴ˾ö¶¨ÍøÂçÊÇ·ñÐèÒªÔÙѧϰ£¬Èç¹û»¹Ã»ÓдﵽÆÚÍûµÄÎó²î£¬Ôò½«Êµ¼ÊÎó²î·´À¡µ½ÍøÂ磬½øÐÐȨֵºÍãÐÖµµÄµ÷Õû£¬Ê¹Êµ¼ÊµÄÎó²îËæ×ÅѧϰµÄ·´¸´½øÐжøÖð²½¼õС£¬Ö±ÖÁ´ïµ½ËùÒªÇóµÄÐÔÄÜÖ¸±êΪֹ¡£·Ç¼à¶½Ñ§Ï°·½Ê½£¬ÊÇÔÚûÓÐÍâ½çµÄÖ¸µ¼Ï½øÐеÄѧϰ·½Ê½£¬ÔÚѧϰ¹ý³ÌÖУ¬µ÷ÕûÍøÂçµÄÈ¨ÖØ²»ÊÜÍâÀ´½ÌʦµÄÓ°Ï죬µ«ÔÚÍøÂçÄÚ²¿»á¶ÔÆäÐÔÄܽøÐÐ×ÔÊÊÓ¦µ÷½Ú¡£
¡¡¡¡3.BPÉñ¾ÍøÂç·ÖÀàÆ÷µÄÉè¼Æ
¡¡¡¡BPÉñ¾ÍøÂçÊÇ»ùÓÚÎó²î·´Ïò´«²¥Ëã·¨(BackPropagationAlgorithm£¬BPA)µÄ¶à²ãǰÏòÉñ¾ÍøÂ磬ÓÉÊäÈë²ã¡¢Êä³ö²ã¡¢Ò»¸ö»ò¶à¸öÒþº¬²ãËù×é³É¡£BPÉñ¾ÍøÂç½á¹¹È·¶¨Ö®ºó£¬Í¨¹ý¶ÔÊä³öºÍÊäÈëÑù±¾¼¯½øÐÐѵÁ·£¬·´¸´ÐÞÕýÍøÂçµÄȨֵºÍãÐÖµ£¬´ïµ½Ñ§Ï°ÑµÁ·µÄÆÚÍûÎó²î£¬ÒÔÊ¹ÍøÂçÄܹ»ÊµÏÖ¸ø¶¨µÄÊäÈëÊä³öÓ³Éä¹ØÏµ¡£BPÈ˹¤Éñ¾ÍøÂçµÄѧϰ¹ý³Ì·ÖΪÁ½¸ö½×¶Î£¬µÚÒ»½×¶ÎÊÇÊäÈ뼺֪µÄѧϰÑù±¾Êý¾Ý£¬¸ø¶¨ÍøÂçµÄ½á¹¹ºÍ³õʼÁ¬½ÓȨֵºÍãÐÖµ£¬´ÓÊäÈë²ãÖð²ãÏòºó¼ÆËã¸÷Éñ¾ÔªµÄÊä³ö£»µÚ¶þ½×¶ÎÊǶÔȨֵºÍãÐÖµ½øÐÐÐ޸쬼´¸ù¾ÝÍøÂçÎó²î´Ó×îºóÒ»²ãÏòǰ·´À¡¼ÆËã¸÷²ãȨֵºÍãÐÖµµÄÔö¼õÁ¿£¬À´Öð²ãÐÞÕý¸÷²ãȨֵºÍãÐÖµ¡£ÒÔÉÏÕý·´Á½¸ö½×¶Î·´¸´½»Ì棬ֱµ½ÍøÂçÊÕÁ²¡£¾ßÌåʵÏÖ²½ÖèÈçÏ£º
¡¡¡¡(1)ÍøÂçµÄ³õʼ»¯£ºÊ×ÏȶÔÊäÈëµÄѧϰѵÁ·Ñù±¾½øÐйéÒ»»¯´¦Àí£¬¶ÔȨֵ¾ØÕóWºÍãÐÖµÏòÁ¿¸³³õÖµ£¬½«ÍøÂç¼ÆÊýÆ÷ºÍѵÁ·´ÎÊý¼ÆÊýÆ÷ÖÃΪ1£¬ÍøÂçÎó²îÖÃΪ0¡£
¡¡¡¡(2)ÊäÈëѵÁ·Ñù±¾£¬¼ÆËãÊäÈë²ã£¬Òþº¬²ãÒÔ¼°Êä³ö²ãµÄʵ¼ÊÊä³ö¡£
¡¡¡¡(3)¼ÆËãÍøÂçÊä³öÎó²î¡£½«Êµ¼ÊµÄÊä³öºÍÆÚÍûµÄÊä³öÖµ½øÐжԱȣ¬²ÉÓþù·½¸ùÎó²îÖ¸±ê×÷ÎªÍøÂçµÄÎó²îÐÔÄܺ¯Êý¡£
¡¡¡¡(4)ÈôÎó²î»¹Ã»´ïµ½ÆÚÍû±ê×¼£¬Ôò¸ù¾ÝÎó²îÐźţ¬Öð²ãµ÷ÕûȨֵ¾ØÕóºÍãÐÖµÏòÁ¿¡£
¡¡¡¡(5)Èô×îÖÕµ÷ÕûÖ®ºóµÄÍøÂçÊä³ö´ïµ½ÁËÎó²î·¶Î§Ö®ÄÚ£¬Ôò½øÐÐÏÂÒ»×éѵÁ·Ñù±¾¼ÌÐøÑµÁ·ÍøÂç¡£
¡¡¡¡(6)ÈôÈ«²¿µÄѵÁ·Ñù±¾ÑµÁ·Íê±Ï£¬²¢ÇÒ´ïµ½ÁËÆÚÍûµÄÎó²î£¬ÔòѵÁ·½áÊø£¬Êä³ö×îÖÕµÄÍøÂçÁª½ÓȨֵºÍãÐÖµ¡£
¡¡¡¡BPÉñ¾ÍøÂç¿ÉÒԱƽüÈÎÒâÁ¬Ðøº¯Êý£¬¾ßÓкÜÇ¿µÄ·ÇÏßÐÔÓ³ÉäÄÜÁ¦£¬¶øÇÒBPÉñ¾ÍøÂçÖмä²ãÊý¡¢¸÷²ãÉñ¾ÔªÊý¼°ÍøÂçѧϰËÙÂʵȲÎÊý¾ù¿ÉÒÔ¸ù¾Ý¾ßÌåÇé¿öÉ趨£¬Áé»îÐÔ½ÏÇ¿£¬ËùÒÔBPÉñ¾ÍøÂçÔÚÐí¶àÁìÓòÖй㷺ӦÓá£Ò»°ãÀ´Ëµ£¬Éñ¾ÍøÂç·½·¨Ó¦Í¬´«Í³µÄÈ˹¤ÖÇÄÜ·½·¨ÏàÁªÏµµÄ¡£Éñ¾ÍøÂç±¾Éí½á¹¹¼°ÐÔÄÜÉϵÄÌØµãʹÆä¶ÔÎÊÌâµÄ´¦Àí¸ü¸»Óе¯ÐÔ£¬¸ü¼ÓÎȽ¡¡£Éñ¾ÍøÂçµÄ»ù±¾ÌصãÊDzÉÓÃ×Ô϶øÉϵÄÉè¼ÆË¼Â·£¬Ê¹ÆäÈÝÒ×È·¶¨¾ßÌåµÄÄ¿±ê·Ö¸î»òʶ±ðËã·¨£¬ÔÚÔö¼ÓÁ˲»È·¶¨ÒòËØµÄͬʱҲ²úÉúÁËÍøÂç×îÓÅ»¯µÄÎÊÌ⣬Õâ¾ÍÊÇËùνµÄα״̬(pseudo-trap)¡£¾¡¹ÜÔÚʵ¼ùÖв¢·ÇËùÓеÄα״̬¶ÔÓ¦Íêȫʧ°ÜµÄ½á¹û£¬µ«ÊDZϾ¹Õâ²»·ûºÏ¶ÔÖ®ÍêÃÀµÄ»òÕß˵ºÏÀíµÄÆÚÍû¡£È˹¤ÖÇÄÜÔòÒ»°ã²ÉÓÃ×ÔÉ϶øÏµķ½·¨£¬Æ«ÖØÓÚÂß¼ÍÆÀí½¨Á¢ÏµÍ³Ä£ÐÍ¡£Òò´Ë½«Éñ¾ÍøÂçͬÈ˹¤ÖÇÄܽáºÏÆðÀ´£¬Ï൱ÓÚ¸³ÓèÉñ¾ÍøÂç¸ß²ãÖ¸µ¼µÄ֪ʶ¼°Âß¼ÍÆÀíµÄÄÜÁ¦£¬¾ßÓÐDZÔÚµÄÓÅÊÆ¡£
¡¡¡¡ÊäÈë²ãÖмä²ãÊä³ö²ã
¡¡¡¡Í¼1BPÈ˹¤Éñ¾ÍøÂç½á¹¹
¡¡¡¡4.BPÉñ¾ÍøÂçµÄѵÁ·
¡¡¡¡4.1BPÉñ¾ÍøÂçµÄÉè¼Æ
¡¡¡¡BPÉñ¾ÍøÂçµÄÉè¼ÆÖ÷Òª°üÀ¨Á½·½ÃæÄÚÈÝ£ºÒ»ÊÇÉñ¾ÍøÂç½á¹¹µÄÈ·¶¨£¬ÌرðÊÇÒþº¬²ã²ãÊý¼°Òþº¬²ãµ¥ÔªÊýÄ¿µÄÈ·¶¨£»¶þÊǸ߾«¶ÈÊÕÁ²ÎÊÌ⣬Òþº¬²ãºÍÒþº¬²ãµ¥ÔªÊý¹ý¶à£¬½«µ¼ÖÂѵÁ·Ê±¼ä¹ý³¤²¢³öÏÖ¹ý¶ÈÄâºÍµÄÎÊÌ⣬Òþº¬²ãµ¥ÔªÊý¹ýÉÙÓÖµ¼ÖÂÍøÂçÊÕÁ²ËÙ¶ÈÂýÉõÖÁ²»ÊÕÁ²£¬´ï²»µ½Îó²î¾«¶ÈÒªÇó¡£ÔÚÈ·¶¨Òþº¬²ã²ãÊýÒÔ¼°Òþº¬²ãµ¥ÔªÊýĿʱ£¬Ã»ÓÐÒ»¸öÑϸñµÄÀíÂÛÒÀ¾ÝÖ¸µ¼£¬ÐèÒª¸ù¾ÝÌØ¶¨µÄÎÊÌ⣬½áºÏ¾Ñ鹫ʽȷ¶¨´óÖ·¶Î§À´½øÐÐÖð²½ÊÔËã±È½ÏµÃµ½¡£
×ªÔØÇë×¢Ã÷À´×Ô£ºhttp://www.uuqikan.com/jingshenyixuelw/6465.html
- ˶²©±ÏÒµ·¢ÂÛÎÄ£¡ºÜÄѰÚÍÑÎÒÃüÓÉÎÒ²»
- ÈçºÎÔÚÆû³µµçÆ÷ÔÓÖ¾ÉÏ·¢±íÎÄÕÂ
- Æû³µÀàÆÚ¿¯ÓÐÄÄЩ
- ÂÛÎÄÈÝÒ×·¢±íµÄ4¸öС¼¼ÇÉ
- ºÃ·¢µÄÁÖÒµºËÐÄÆÚ¿¯
- ¼òÊöÔì¼Û¹¤³Ìʦִҵ¿¼ÊÔÌõ¼þ¼°Ö°³ÆÂÛ
- dz̸½¨Öþ¹ÜÀí¹¤³Ìʦְ³ÆÂÛÎÄ·¢±í»ã×Ü
- ÆÀÖ°³ÆÂÛÎıØÐëÊðÃûµÚÒ»×÷ÕßÂð
- ÒòÖ°³ÆÆÀ¶¨ÐèÒªÔÚºËÐÄÆÚ¿¯·¢±íÂÛÎĵÄ
- ¿ÚǻҽѧʲôѡÌâºÃ·¢±í
- µµ°¸×¨ÒµÁìÓòºËÐÄÆÚ¿¯
- MBAÊг¡ÓªÏú·½Ïò±ÏÒµÂÛÎÄÑ¡Ìâ²Î¿¼


