華為公司申請模型訓練方法及相關設備專利,有效解決低精度訓練面臨的溢出所導致的訓練停滯問題

金融界2024年1月30日消息,據國傢知識產權局公告,華為技術有限公司申請一項名為“一種模型訓練方法及相關設備“,公開號CN117474045A,申請日期為2022年7月。專利摘要顯示,本申請公開了一

金融界2024年1月30日消息,據國傢知識產權局公告,華為技術有限公司申請一項名為“一種模型訓練方法及相關設備“,公開號CN117474045A,申請日期為2022年7月。

專利摘要顯示,本申請公開了一種模型訓練方法。該方法可以適用於動態計算圖場景,也可以適用於靜態計算圖場景。該方法包括:獲取訓練數據;將訓練數據作為模型的輸入,在模型訓練過程中使用第一精度范圍進行參數的計算以得到計算值;若計算值溢出第一精度范圍,則使用第二精度范圍重新計算參數,並使用重新計算後的參數對模型進行一次或多次迭代訓練,第二精度范圍包括第一精度范圍,或者第二精度范圍與第一精度范圍部分重疊。通過在參數的計算值溢出精度范圍的情況下,對訓練模型過程中使用的精度范圍進行實時調整。可以有效解決低精度訓練面臨的溢出所導致的訓練停滯問題。另外,不依賴人工經驗定制初始化方案,可實時自動逐層調整訓練精度。

本文源自金融界

搜虎頭條, 发布者:天天娛樂,轉載請註明出處:https://sohunews.net/jianshen/17352.html

讚! (0)
Previous 2024年2月5日 下午11:34
Next 2024年2月5日 下午11:34

相关推荐