Datawhale干貨
(資料圖片僅供參考)
作者:平凡@知乎,諾桑比亞大學,在讀博士
今天晚上,花了一點兒時間看了兩篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior,即涌現現象。
大規模神經網絡下的涌現現象在機器學習中使用大規模神經網絡時,由于增加了參數數量、訓練數據或訓練步驟等因素,出現了定性上的新能力和性質,這些能力和性質在小規模神經網絡中往往是不存在的。
第一篇文章舉了這個例子,每個圖都可以理解為一個任務,橫軸是神經網絡的規模,而縱軸是準確率,可以理解為模型的性能。
我們拿圖一來看,在10的22次方前,這些模型基本上的性能基本上都很穩定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的評論引用在這里:
作者發現,當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時,網絡在某個時間突然獲得了 100% 準確率。分析發現,神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法!這個算法可以證明是正確的, 反人類直覺的。
從這倆例子里面我的感受是,只要數據量足夠且真實,且模型沒有硬錯誤的前提下,不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少,但是系統的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話,我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf智通財經APP訊,海泰科(301022 SZ)發布公告,公司于近日收到中國證券監督管理委員會出具的《關于同意青島海
A股流媒體概念股龍頭一覽(2023 5 17),南方財富網為您整理的2023年流媒體概念股龍頭,供大家參考。博聞科
1、第一,動力不足。2、機械表不走的原因更多的是動力不足。估計大家都很理解,主要是我們很久沒戴了,或者
據發改委網站,國家發改委新聞發言人孟瑋表示,當前,新能源汽車產業正面臨前所未有的發展機遇。下一步,我
對愛美的女性朋友們來說,為了搭配衣服通常都會買各種各樣不同的鞋子,有:運動鞋,松糕鞋,瑪麗珍鞋,馬丁
1、右擊桌面---屬性---更改分辨率如果無法更改分辨率,這個情況可能是顯卡驅動不兼容造成的,更新(重裝)顯
原標題:簡案快辦繁案精辦我市出臺行政復議繁簡分流工作辦法5月15日,市政府行政復議局發布消息,該局日前
1、首先,我們需要打開電腦桌面上的【word】,沒有軟件的話需要提前進行下載;然后我們可以選中word里面的
5月17日,雞:行事暢順,運氣持續地向好,最多是小是小非,閑話幾句無所謂。
格隆匯5月17日丨根據聯交所最新權益披露資料顯示,2023年5月10日,頤海國際(01579 HK)遭UBSGroupAG在場內以
【“私募一哥”稱已向華麗家族股東大會提交臨時提案主動行權意在防止持股市值縮水】5月16日早間,華麗家族
1、《邁克爾 杰克遜》身上的全球之最——最早出道:年僅5歲;最早成名:年僅8歲;最早出唱片:年僅10歲;最
1、歌曲:月下待杜鵑不來作詞:徐志摩作曲:曾檐演唱:費玉清專輯:《天之大》歌詞:看一回凝靜的橋影數一
同花順金融研究中心5月16日訊,有投資者向富士達提問,請問管理層,公司近兩年業績持續增長,對于目前通訊
拼房是什么意思怎么拼的,拼房是什么意思這個很多人還不知道,現在讓我們一起來看看吧!1、如是抄是你一個人
安徽安慶市正式成立“老年助餐慈善基
記者日前從安慶市民政局獲悉,該市慈善會近日設立老年助餐慈善基金,共同守護老年人舌尖上的幸福。該基金專項用于資助城鄉社區老年食堂、社
安徽淮北積極落實2022年電網防汛度汛
近日,國網淮北供電公司工作人員來到110千伏中泰變電站開展防汛隱患排查。該公司積極落實2022年防汛度汛措施,提前細化應急預案,推進極端
安徽全椒縣完善拓展人力信息資源助企
今年以來,全椒縣不斷完善拓展人力資源信息庫、勞務對接信息庫、企業用工需求信息庫三庫信息資源,已摸排400多家次企業缺工崗位信息1 2萬個
宿州市埇橋區柔性引進博士推進鄉村振
宿州市埇橋區實施博士匯工程,柔性引進29名博士擔任副鄉鎮長或園區副主任,他們將為加快產業發展、推進鄉村振興強化智力支持。目前,博士專
安徽印發出臺全面實施零基預算改革方
為進一步提高財政資源配置效率和資金使用效益,省政府印發《安徽省全面實施零基預算改革方案》,明確從編制2023年預算起,在全省范圍內全面
5月份安徽居民消費價格同比上漲2.3%
近日,國家統計局安徽調查總隊發布了我省5月份居民消費價格統計數據。統計顯示,我省居民消費價格同比上漲2 3%,同比漲幅比上月回落0 4個百分
安徽多種方式引導群眾防范非法集資風
合肥地鐵1號線、3號線上滾動播放防范非法集資宣傳視頻,淮南市發布《致老年群眾的一封信》……6月份是一年一度防范和處置非法集資宣傳月,今
鐵路部門持續加大長三角地區運力投放
記者從中國鐵路上海局集團有限公司獲悉,隨著上海疫情防控形勢持續向好,為進一步適應旅客出行需要,助力復工復產,鐵路部門自6月10日起持續加
安徽六安持續精準施策全力促進工業發
六安市與蔚來汽車簽署合作協議,共建智能電動汽車零部件配套產業園區。該園區一期計劃2023年上半年投產,建成后將具備年產30萬噸鋁壓鑄產能,
安徽淮北全力維護外賣送餐員合法權益
為切實防范化解新業態領域重大風險隱患,強化外賣送餐員權益保障工作,淮北市市場監管局充分發揮職能作用,全力維護外賣送餐員合法權益。淮北
湖南漣源開展專項行動一對一為企業紓
位于漣源市的湖南三合美新材料科技有限公司,兩條生產線滿負荷運行,生產聚氨酯和巖棉復合板。因產品升級與產能擴充,急需新增兩條生產線,
湖南藍山縣進村入戶排查整治自建房安
老叔,這棟房屋墻體有開裂痕跡,要維修加固,安全重要!5月20日,藍山縣塔峰鎮果木村,黨員干部上門開展農村自建房安全隱患排查整治。連日來
一季度湖南萬元產值綜合能耗同比下降
近日,湖南省工業通信業節能監察中心發布一季度全省六大高耗能行業能源消耗統計監測報告。據該報告,一季度全省146家主要高耗能企業的萬元
濟南起步區一年來累計簽約優質項目11
萬里黃河第一隧濟南黃河濟濼路隧道建成通車,占地4000余畝的新能源乘用車零部件產業園加快施工……記者21日采訪獲悉,建設實施方案獲批復一
山東發布通知啟動傳統民居保護利用試
省住房城鄉建設廳、省財政廳近日聯合印發《關于做好傳統民居保護利用試點工作的通知》,在全省部署開展傳統民居保護利用試點工作。此次試點