<meter id="nx1pr"><font id="nx1pr"><menuitem id="nx1pr"></menuitem></font></meter>

<listing id="nx1pr"><font id="nx1pr"></font></listing>
<menuitem id="nx1pr"><font id="nx1pr"></font></menuitem>

      <font id="nx1pr"></font>

      <var id="nx1pr"><var id="nx1pr"><delect id="nx1pr"></delect></var></var>
      <track id="nx1pr"></track>

      <video id="nx1pr"></video>
      <pre id="nx1pr"><menuitem id="nx1pr"><meter id="nx1pr"></meter></menuitem></pre>
        <pre id="nx1pr"></pre>
      CNTXJ.NET | 通信界-中國通信門戶 | 通信圈 | 通信家 | 下載吧 | 說吧 | 人物 | 前瞻 | 智慧(區塊鏈 | AI
       國際新聞 | 國內新聞 | 運營動態 | 市場動態 | 信息安全 | 通信電源 | 網絡融合 | 通信測試 | 通信終端 | 通信政策
       專網通信 | 交換技術 | 視頻通信 | 接入技術 | 無線通信 | 通信線纜 | 互聯網絡 | 數據通信 | 通信視界 | 通信前沿
       智能電網 | 虛擬現實 | 人工智能 | 自動化 | 光通信 | IT | 6G | 烽火 | FTTH | IPTV | NGN | 知本院 | 通信會展
      您現在的位置: 通信界 >> AI >> 新聞正文
       
      數據決定AI智能的高度 存儲成AI時代“新寵”
      [ 通信界 | 高靖宇 | www.sdgj0817.com | 2023/7/17 9:13:24 ]
       

      ChatGPT發布至今,AI大模型正在進入全新的生態模式,展開了一個全新的旅程,各個研究機構、公司都展開了一場關于大模型的比拼。據科技部新一代人工智能發展研究中心等機構發布的數據,中國10億參數規模以上的大模型已發布79個。但同時,企業在開發及實施大模型應用過程中面臨諸多挑戰,尤其是數據存儲方面。

      多位業內人士對《中國經營報》記者表示,大模型時代,數據決定AI智能的高度。作為數據的載體,數據存儲成為AI大模型的關鍵基礎設施。國內要發展人工智能,并使這一產業得到高速的發展,一定要重視數據和信息的數字化記錄。如今,國內建設了大量的數據中心,算力相對較多,但存力較少,很多高價值的信息都沒有被記錄下來。

      挑戰依舊

      以ChatGPT為代表的大模型成功實現商業化落地,并引發了業界震動。人工智能也正在從感知理解走向生成創造。而AI大模型儼然成為互聯網的“新風口”,在這場AI帶來的新變革中,企業紛紛緊跟時代浪潮,建立自己的大模型。

      但隨著大模型產業的快速發展,模型規模的快速膨脹,AIGC模型預訓練數據量呈現指數級增長,帶動算力需求爆發。從GPT-1到GPT-3,模型參數量從GPT-1的1.17億增加到GPT-3的1750億;訓練數據量也由GPT-1的5GB,增加到GPT-3的45TB。這也就導致面向AI大模型的數據準備時間長,數據來源分散,歸集慢。

      華為數據存儲產品線總裁周躍峰表示,第一,在大模型訓練過程中,需要把分散到各個地方的數據進行歸集、預處理,然后再把它送給AI大模型。數據預處理的過程非常長,統計發現,上百個TB級的數據可能需要大概10天左右的準備時間,這個對于整個系統的高效利用是不利的;第二,多模態大模型以海量文本、圖片為訓練集,當前海量小文件的加載速度不足100MB/s,訓練集加載效率低;第三,大模型參數頻繁調優,訓練平臺不穩定,平均約2天出現一次訓練中斷,需要Checkpoint機制恢復訓練,故障恢復耗時超過一天;第四,大模型實施門檻高,系統搭建繁雜,資源調度難,GPU資源利用率通常不到40%。

      周躍峰認為,AI大模型在進入各個企業的時候,實施門檻還是非常高,它需要非常專業的軟件、硬件甚至是維護工程師來進行實施并進行后續的維護。同時可以看到今天的大模型和算力的應用尤其是GPU的應用相對還是比較簡單、傳統的裸機系統,GPU資源的利用效率相對來說比較低。

      存儲需求上升

      “大模型時代,數據決定AI智能的高度。作為數據的載體,數據存儲成為AI大模型的關鍵基礎設施!敝苘S峰表示。數據存儲成為解決AI大模型發展瓶頸的關鍵。

      周躍峰解釋道:“目前大模型算力成本約占整個成本的25%,而數據清洗、預處理等工作,在不算數據存儲硬件的情況下,占到成本的22%。從這個角度看,數據機器存儲過程,在大模型時代越來越重要。這不僅僅是簡單的數據量變大,而且數據的處理過程,以及過程中對于硬件性能的要求越來越高!彼J為,隨著大模型出現,數據存儲和處理相關領域未來會越來越有前景。

      華為蘇黎士研究所數據存儲首席科學家張霽也認為,隨著數據源日趨豐富,很多企業開始關注數據安全問題,而數據存儲是數據安全的第一道防線。

      為此,華為推出了OceanStor A310深度學習數據湖存儲與FusionCube A3000訓/推超融合一體機。

      其中,OceanStor A310深度學習數據湖存儲,在數據準備到斷點接續,再到整個訓練/推理一條鏈的過程發力,用近存計算和高性能分布式文件存儲系統,實現從數據歸集、預處理到模型訓練、推理應用的AI全流程海量數據管理,為企業解決數據底座問題。

      FusionCube A3000訓/推超融合一體機面向行業大模型訓練/推理場景,針對百億級模型應用,可提供拎包入住式的部署體驗。周躍峰表示,通過一體機方式,納入所有軟件,降低企業使用門檻,實現資源高效利用!拔覀円蚕Mㄟ^這個手段,助推中國的AI成為真正的所謂的普惠AI,而不是頭部企業用的先進工具,而是讓它成為普適性的工具!

      對此,華為分布式存儲領域副總裁韓振興表示:“我們在這方面已經籌備了兩三年,因為我們之前就看到了AI的大趨勢。當然我們也確實是沒有預料到它突然爆發,但我們在很早就進行了籌備。所以當看到大模型開始的時候,便發布了這兩個新品,它們的性能指標高于整個業界60%以上!

       

      1作者:高靖宇 來源:中國經營報 編輯:顧北

       

      聲明:①凡本網注明“來源:通信界”的內容,版權均屬于通信界,未經允許禁止轉載、摘編,違者必究。經授權可轉載,須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息并注明“來源:通信界”。②凡本網注明“來源:XXX(非通信界)”的內容,均轉載自其它媒體,轉載目的在于傳遞更多行業信息,僅代表作者本人觀點,與本網無關。本網對文中陳述、觀點判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。③如因內容涉及版權和其它問題,請自發布之日起30日內與本網聯系,我們將在第一時間刪除內容。 
      熱點動態
      普通新聞 中信科智聯亮相2023中國移動全球合作伙伴大會
      普通新聞 全球首個基于Data Channel的新通話商用網絡呼叫成功撥通
      普通新聞 中國聯通:以優質通信服務 助力“一帶一路”共建繁華
      普通新聞 楊杰:未來五年,智算規模復合增長率將超過50%
      普通新聞 長沙電信大樓火災調查報告發布:系未熄滅煙頭引燃,20余人被問責
      普通新聞 鄔賀銓:生態短板掣肘5G潛能發揮,AI有望成“破局之劍”
      普通新聞 工信部:加大對民營企業參與移動通信轉售等業務和服務創新的支持力
      普通新聞 摩爾線程亮相2023中國移動全球合作伙伴大會,全功能GPU加速云電腦體
      普通新聞 看齊微軟!谷歌表示將保護用戶免受人工智能版權訴訟
      普通新聞 聯想王傳東:AI能力已成為推動產業升級和生產力躍遷的利刃
      普通新聞 APUS李濤:中國的AI應用 只能生長在中國的大模型之上
      普通新聞 外媒:在電池競賽中,中國如何將世界遠遠甩在后面
      普通新聞 三星電子預計其盈利能力將再次下降
      普通新聞 報告稱華為5G專利全球第1 蘋果排名第12
      普通新聞 黨中央、國務院批準,工信部職責、機構、編制調整
      普通新聞 榮耀Magic Vs2系列正式發布,刷新橫向大內折手機輕薄紀錄
      普通新聞 GSMA首席技術官:全球連接數超15億,5G推動全行業數字化轉型
      普通新聞 北京聯通完成全球首個F5G-A“單纖百T”現網驗證,助力北京邁向萬兆
      普通新聞 中科曙光亮相2023中國移動全球合作伙伴大會
      普通新聞 最高補貼500萬元!哈爾濱市制定工業互聯網專項資金使用細則
      通信視界
      鄔賀銓:移動通信開啟5G-A新周期,云網融合/算
      普通對話 中興通訊徐子陽:強基慧智,共建數智熱帶雨
      普通對話 鄔賀銓:移動通信開啟5G-A新周期,云網融合
      普通對話 華為輪值董事長胡厚崑:我們正努力將5G-A帶
      普通對話 高通中國區董事長孟樸:5G與AI結合,助力提
      普通對話 雷軍發布小米年度演講:堅持做高端,擁抱大
      普通對話 聞庫:算網融合正值挑戰與機遇并存的關鍵階
      普通對話 工信部副部長張云明:我國算力總規模已居世
      普通對話 鄔賀銓:我國互聯網平臺企業發展的新一輪機
      普通對話 張志成:繼續加強海外知識產權保護工作 為助
      普通對話 吳春波:華為如何突破美國6次打壓的逆境?
      通信前瞻
      亨通光電實踐數字化工廠,“5G+光纖”助力新一
      普通對話 亨通光電實踐數字化工廠,“5G+光纖”助力新
      普通對話 中科院錢德沛:計算與網絡基礎設施的全面部
      普通對話 工信部趙志國:我國算力總規模居全球第二 保
      普通對話 鄔賀銓院士解讀ChatGPT等數字技術熱點
      普通對話 我國北方海區運用北斗三號短報文通信服務開
      普通對話 華為云Stack智能進化,三大舉措賦能政企深度
      普通對話 孟晚舟:“三大聚力”迎接數字化、智能化、
      普通對話 物聯網設備在智能工作場所技術中的作用
      普通對話 軟銀研發出以無人機探測災害被埋者手機信號
      普通對話 AI材料可自我學習并形成“肌肉記憶”
      普通對話 北斗三號衛星低能離子能譜儀載荷研制成功
      普通對話 為什么Wi-Fi6將成為未來物聯網的關鍵?
      普通對話 馬斯克出現在推特總部 收購應該沒有懸念了
      普通對話 臺積電澄清:未強迫員工休假或有任何無薪假
      普通對話 新一代載人運載火箭發動機研制獲重大突破
      推薦閱讀
      Copyright @ Cntxj.Net All Right Reserved 通信界 版權所有
      未經書面許可,禁止轉載、摘編、復制、鏡像
      亚洲超碰在线91,亚洲九九在线网站,亚洲精品欧美一级A片在线播放,亚洲精品4444