• <li id="yeaqi"><button id="yeaqi"></button></li>
  • 

    <fieldset id="yeaqi"></fieldset>
    <fieldset id="yeaqi"><table id="yeaqi"></table></fieldset>
      

      • 


        
    

      
    
      
        
      
            
            
      
            
        


        
    
        
          
          

        

        
            
       
        
      
    
      

        
    

      
    
      
        
      
            


            
        
      
        
      

       
	
      

      
      
      
                    	
      
                        	大語言模型中的涌現現象是不是偽科學？-天天快訊                        
                            
                        
      							
                            發布時間：2023-05-17 13:01:23					
                            文章來源：程序員客棧
                      
      

                        
      
                        	Datawhale干貨作者：平凡@知乎，諾桑比亞大學，在讀博士今天晚上，花了一點兒時間看了兩篇文章：《Emergent                        
      

						
						
      
            				
      Datawhale干貨

      (資料圖片僅供參考)
      作者：平凡@知乎，諾桑比亞大學，在讀博士
      今天晚上，花了一點兒時間看了兩篇文章：
      《Emergent Abilities of Large Language Models》[1]
      《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
      這兩篇講的都是emergent behavior，即涌現現象。
      大規模神經網絡下的涌現現象
      在機器學習中使用大規模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規模神經網絡中往往是不存在的。
      第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規模，而縱軸是準確率，可以理解為模型的性能。
      我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
      意想不到的效果
      第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
      作者發現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
      從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
      還有就是我覺得人類現在積累的知識并不少，但是系統的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
      甚至可能把人類的生產力解放提前很多。
      參考
      1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf
                  				            		
      關鍵詞：
 


      
                       	
      
                    
      
       
    
      

    
      
        
      
        
      
            
      樂活HOT
      
            
        
      
    
      
        
      
            
      娛樂LOVE