<meter id="nx1pr"><font id="nx1pr"><menuitem id="nx1pr"></menuitem></font></meter>

<listing id="nx1pr"><font id="nx1pr"></font></listing>
<menuitem id="nx1pr"><font id="nx1pr"></font></menuitem>

      <font id="nx1pr"></font>

      <var id="nx1pr"><var id="nx1pr"><delect id="nx1pr"></delect></var></var>
      <track id="nx1pr"></track>

      <video id="nx1pr"></video>
      <pre id="nx1pr"><menuitem id="nx1pr"><meter id="nx1pr"></meter></menuitem></pre>
        <pre id="nx1pr"></pre>
      CNTXJ.NET | 通信界-中國通信門戶 | 通信圈 | 通信家 | 下載吧 | 說吧 | 人物 | 前瞻 | 智慧(區塊鏈 | AI
       國際新聞 | 國內新聞 | 運營動態 | 市場動態 | 信息安全 | 通信電源 | 網絡融合 | 通信測試 | 通信終端 | 通信政策
       專網通信 | 交換技術 | 視頻通信 | 接入技術 | 無線通信 | 通信線纜 | 互聯網絡 | 數據通信 | 通信視界 | 通信前沿
       智能電網 | 虛擬現實 | 人工智能 | 自動化 | 光通信 | IT | 6G | 烽火 | FTTH | IPTV | NGN | 知本院 | 通信會展
      您現在的位置: 通信界 >> AI >> 新聞正文
       
      阿里公開文生圖研究新進展,提出組合式的多概念定制生成方法
      [ 通信界 | 靜姝 | www.sdgj0817.com | 2023/8/3 7:23:14 ]
       

      通信界 文生圖在最近一年取得了顯著的進步,DreamBooth 定制化生成工作,進一步證明了文生圖的潛力,并且廣泛引起了社區關注,相比于單概念生成,在一張圖內定制多個概念是更加有趣且具有廣泛應用場景(AI 影樓,AI 漫畫生成....)。

      相比于單概念定制生成取得的成功,阿里提出的 Cones 和 Adobe 提出的 Custom Diffusion 作為現有的多定制概念生成方法仍存在兩個挑戰:

      • 首先,他們需要為每一種多個概念的組合都學習單獨的模型,這可能會受到以下影響:1)無法利用已有的模型,比如一個新的需要定制的多概念組包含三種概念 {A,B,C},無法從已有的 {A,B} 的定制模型中獲得知識,只能重新訓練。2)當需要定制的概念數量增加時,計算資源的消耗指數上升。

      • 不同的定制概念可能會互相干擾,導致最終生成時有些概念無法顯示,或者概念間的屬性存在混淆。當概念之間的語義相似度較高時,這種現象尤其明顯(例如,同時定制一只貓和一只狗,可能生成的圖片中,定制的貓混淆了狗的某些特征。)

      基于此,阿里巴巴和螞蟻集團的研究團隊提出了組合式的多概念定制生成方法:Cones 2,能同時定制更多物體,且生成圖片質量顯著提升。

      論文主頁:Cone 2

      https://arxiv.org/abs/2305.19327

      項目主頁:Cones-page

      https://cones-page.github.io

      該團隊的前作 Cones 獲得了 ICML 2023 的 oral,并且在推特獲得了廣泛關注。

      Cones 2 優勢主要體現在 3 個方面。(1)使用簡單而有效的方法來表示概念,可以任意組合,復用各種訓練好單概念,從而進行多定制概念生成,而無需為多概念進行任何重新訓練。(2)使用空間布局作為指導,這在實踐中非常容易獲得,用戶只需要提供一個 bounding box,即可以控制每個概念的特定位置,并同時減輕概念之間的屬性混淆。(3)在一些具有挑戰性的場景下也能取得令人滿意的性能:進行語義相似的多定制概念的生成,如定制兩只狗,并且可以交換眼鏡;在概念數量上,也可以合成六個概念。

      方法

      1. 基于擴散模型的文本引導圖像生成

      擴散模型學習從正態分布噪聲中逐步去噪來恢復真實的視覺內容,該過程實際上是在模擬可逆的長度為 T=1000 的馬爾可夫鏈。在文本到圖像任務中,條件擴散模型 的訓練目標可以簡化為重建損失:

      文本嵌入 通過交叉注意力機制注入到模型 中。在推理時,網絡通過迭代去噪 進行采樣。

      2. 殘差文本嵌入表示概念

      為了可以定制化生成用戶需要的特定概念,模型首先需要“記住”這些概念的特征。由于改變預訓練模型參數往往會導致模型的泛化性下降,Cones 2 選擇針對每個特定概念學習一個合適的編輯方向。將這個方向作用于概念對應的基類的特征編碼上,就可以得到定制化的結果,這個方向稱為 residual token embedding。

      舉個例子,在使用 Stable Diffusion 生成圖像“一只狗坐在海灘上”時,整個生成過程由文本經過文本編碼模型得到的文本編碼控制,那么只需要將“狗”對應的文本編碼做合適的偏移,就可以讓模型生成出定制化的“狗”。為了得到 residual token embedding,首先需要用給定的數據微調文本編碼模型,在訓練過程中 Cones 2 通過引入文本編碼保持損失,限制微調后的文本編碼器的輸出和原始預訓練的文本編碼器的輸出盡可能接近。

      同樣參考上面的例子,給定“一只狗坐在海灘上”作為輸入,這兩個文本編碼器輸出的文本編碼,只在定制化概念對應的類別詞(狗)這里差別較大,在其他詞(海灘等。。。)的部分盡可能保持輸出一致。結合原本的生成模型,微調后的文本編碼器具有定制特定概念的能力,由于微調過程采用了文本編碼保持損失的約束,這種能力可以通過計算微調過的文本編碼器和原始文本編碼器在類別詞部分的平均差異,來得到需要的 residual token embedding:

      基于上述方法得到殘差表示,是可以重復使用并且即插即用的。在做多概念定制化生成的時候,只需要將每個定制概念所對應類別詞的文本編碼加上對應的殘差項即可。

      3. 通過空間布局引導多概念組合生成

      交叉注意力層之間的注意力圖如下 ,交叉注意力圖直接影響最終生成的空間布局,多概念定制生成的圖片中的一個問題是某些概念可能無法顯示。為了避免這種情況,Cones 2 在希望其出現即用戶通過 bounding box 指定的區域中增強目標概念的激活值。另一個問題是概念間的屬性存在混淆,即生成圖像中的概念可能包含其他概念的特征。

      為了避免這種情況,則希望削弱每個對象出現在用戶指定區域外的激活值。結合上述兩種想法,Cones 2 提出了一種根據預定義布局 指導生成過程的方法。在實踐中,將布局 定義為一組概念邊界框,由每個概念的的指導布局 組成。在希望概念 出現的區域中將 的值設置為正值,并在與該概念無關區域中將 的值設置為負。對注意力圖進行編輯。

      實驗

      將生成結果與現有方法進行對比,從訓練的計算復雜度,以及生成效果,均有顯著提升。

      并且在處理更多概念的生成,以及處理語義相似物體的場景下,都有著優越表現。

      應用前景

      多定制概念生成除了能夠生成更加高質量,內容豐富的圖片外,同時具有廣泛的應用前景,現在大火的 ControlNet 更多是控制生成圖片中的結構,多概念定制生成可以對生成的內容進行控制,使文本到圖像的生成更加可控,進一步提高了文生圖模型的應用價值。比如,創作者通過輸入文本,通過幾個定制好的角色概念,進行多格漫畫生成;通過組合用戶定制的自身角色概念和商家提供的多個試戴試穿的定制概念(衣服,首飾,鞋帽等等),實現多款服裝的試穿體驗。

       

      1作者:靜姝 來源:科技游樂園 編輯:顧北

       

      聲明:①凡本網注明“來源:通信界”的內容,版權均屬于通信界,未經允許禁止轉載、摘編,違者必究。經授權可轉載,須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息并注明“來源:通信界”。②凡本網注明“來源:XXX(非通信界)”的內容,均轉載自其它媒體,轉載目的在于傳遞更多行業信息,僅代表作者本人觀點,與本網無關。本網對文中陳述、觀點判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。③如因內容涉及版權和其它問題,請自發布之日起30日內與本網聯系,我們將在第一時間刪除內容。 
      熱點動態
      普通新聞 中信科智聯亮相2023中國移動全球合作伙伴大會
      普通新聞 全球首個基于Data Channel的新通話商用網絡呼叫成功撥通
      普通新聞 中國聯通:以優質通信服務 助力“一帶一路”共建繁華
      普通新聞 楊杰:未來五年,智算規模復合增長率將超過50%
      普通新聞 長沙電信大樓火災調查報告發布:系未熄滅煙頭引燃,20余人被問責
      普通新聞 鄔賀銓:生態短板掣肘5G潛能發揮,AI有望成“破局之劍”
      普通新聞 工信部:加大對民營企業參與移動通信轉售等業務和服務創新的支持力
      普通新聞 摩爾線程亮相2023中國移動全球合作伙伴大會,全功能GPU加速云電腦體
      普通新聞 看齊微軟!谷歌表示將保護用戶免受人工智能版權訴訟
      普通新聞 聯想王傳東:AI能力已成為推動產業升級和生產力躍遷的利刃
      普通新聞 APUS李濤:中國的AI應用 只能生長在中國的大模型之上
      普通新聞 外媒:在電池競賽中,中國如何將世界遠遠甩在后面
      普通新聞 三星電子預計其盈利能力將再次下降
      普通新聞 報告稱華為5G專利全球第1 蘋果排名第12
      普通新聞 黨中央、國務院批準,工信部職責、機構、編制調整
      普通新聞 榮耀Magic Vs2系列正式發布,刷新橫向大內折手機輕薄紀錄
      普通新聞 GSMA首席技術官:全球連接數超15億,5G推動全行業數字化轉型
      普通新聞 北京聯通完成全球首個F5G-A“單纖百T”現網驗證,助力北京邁向萬兆
      普通新聞 中科曙光亮相2023中國移動全球合作伙伴大會
      普通新聞 最高補貼500萬元!哈爾濱市制定工業互聯網專項資金使用細則
      通信視界
      鄔賀銓:移動通信開啟5G-A新周期,云網融合/算
      普通對話 中興通訊徐子陽:強基慧智,共建數智熱帶雨
      普通對話 鄔賀銓:移動通信開啟5G-A新周期,云網融合
      普通對話 華為輪值董事長胡厚崑:我們正努力將5G-A帶
      普通對話 高通中國區董事長孟樸:5G與AI結合,助力提
      普通對話 雷軍發布小米年度演講:堅持做高端,擁抱大
      普通對話 聞庫:算網融合正值挑戰與機遇并存的關鍵階
      普通對話 工信部副部長張云明:我國算力總規模已居世
      普通對話 鄔賀銓:我國互聯網平臺企業發展的新一輪機
      普通對話 張志成:繼續加強海外知識產權保護工作 為助
      普通對話 吳春波:華為如何突破美國6次打壓的逆境?
      通信前瞻
      亨通光電實踐數字化工廠,“5G+光纖”助力新一
      普通對話 亨通光電實踐數字化工廠,“5G+光纖”助力新
      普通對話 中科院錢德沛:計算與網絡基礎設施的全面部
      普通對話 工信部趙志國:我國算力總規模居全球第二 保
      普通對話 鄔賀銓院士解讀ChatGPT等數字技術熱點
      普通對話 我國北方海區運用北斗三號短報文通信服務開
      普通對話 華為云Stack智能進化,三大舉措賦能政企深度
      普通對話 孟晚舟:“三大聚力”迎接數字化、智能化、
      普通對話 物聯網設備在智能工作場所技術中的作用
      普通對話 軟銀研發出以無人機探測災害被埋者手機信號
      普通對話 AI材料可自我學習并形成“肌肉記憶”
      普通對話 北斗三號衛星低能離子能譜儀載荷研制成功
      普通對話 為什么Wi-Fi6將成為未來物聯網的關鍵?
      普通對話 馬斯克出現在推特總部 收購應該沒有懸念了
      普通對話 臺積電澄清:未強迫員工休假或有任何無薪假
      普通對話 新一代載人運載火箭發動機研制獲重大突破
      推薦閱讀
      Copyright @ Cntxj.Net All Right Reserved 通信界 版權所有
      未經書面許可,禁止轉載、摘編、復制、鏡像
      亚洲超碰在线91,亚洲九九在线网站,亚洲精品欧美一级A片在线播放,亚洲精品4444