簡單7步驟,在7小時內訓練出神經網絡模型- THINK Blog Taiwan
文章推薦指數: 80 %
IBM Spectrum Conductor Deep Learning Impact (DLI) 2017年12月5日,IBM 發表了在深度學習相關領域中令人振奮的新工具—IBM Spectrum Conductor Deep ...
UnitedStates
IBM®
Sitemap
SearchwithinTHINKBlogTaiwan
ITInfrastructure
簡單7步驟,在7小時內訓練出神經網絡模型
2017-12-28|作者:TedLiu
Categorized:ITInfrastructure
分享文章:
IBMSpectrumConductorDeepLearningImpact(DLI)
2017年12月5日,IBM發表了在深度學習相關領域中令人振奮的新工具—IBMSpectrumConductorDeepLearningImpact。
連同當日一起發表,專為AI設計的Power9處理器,我們非常期待軟硬體結合會擦出什麼火花!
IBMSpectrumConductorDeepLearningImpact(DLI)是一個深度學習的開發平台。
它的目標是降低傳統使用人工智慧的門檻,提高神經網絡模型的開發效率。
DLI基於多種標準的深度學習框架如Caffe、TensorFlow來輔助使用者設計並優化神經網絡模型,更專精在超級參數調優、電腦視覺模型、分散式訓練。
DLI在開發和優化神經網絡的過程中提供完整的生命週期管理。
在使用IBMSpectrumConductorDeepLearningImpact執行深度學習任務之前,首先你應該選擇使用Caffe或TensorFlow架構。
接著,建立相對應的資料組和訓練模型。
深度學習的過程中,你可以調整超級參數(Hyperparametrs),並透過儀表板資訊來比較每一次的訓練,得到最佳化的訓練結果。
利用IBMSpectrumConductorDeepLearningImpact的模型訓練流程
框架選擇 Decideonaframework
使用IBMSpectrumConductorDeepLearningImpact1.1.0來訓練深度學習模型前,你必須選擇一個深度學習框架。
資料模型建立 Createadataset
在IBMSpectrumConductorDeepLearningImpact1.1.0中建立一個資料模型,IBMSpectrumConductorDeepLearningImpact可以支援LMDB,TFRecord等格式的資料模型,包含訓練資料、試驗資料、及驗證資料。
訓練資料:用來做學習的資料
試驗資料:在訓練過程中用來試驗模型的資料
驗證資料:在模型訓練完成後,用來驗證模型準確率的資料
創建一個訓練模型 Createatrainingmodel
可支援Caffe和TensorFlow模型。
模型訓練 Trainamodel
完成模型創建後,你可以開始訓練了!在每次訓練之前你可以調整模型中的資料權重,或設定超級參數(Hyperparameter)。
DLI中具備的「自動超參建議」,利用演算法推理出較好的參數調整方式,正確的調整超級參數可以讓模型準確率提高10%。
超參調優不再需要倚靠經驗豐富的資料科學家、或是長時間的嘗試與錯誤。
DeepLearningInsight還能以視覺化的圖表呈現每次訓練的各項指標,讓你可以比較每次參數調整後的影響,進而有規劃的進行下一次訓練。
另外自動參數建議更是能讓過去為期兩到三個月的參數調整過程濃縮為二到三天,大幅提升訓練效率。
模型驗證 Validateatrainedmodel
訓練成功後,利用驗證資料來驗證你的模型。
模型上線 Createaninferencemodel
在叢集管理控制台上建立一個推理模型。
開始你的AI應用 Startaninferencejob
完成建立模型之後,你可以在DLI中執行運算並得到模型預測結果。
DeepLearningImpact深度學習平台,化簡資料科學家繁複的深度學習過程為7步驟,提高人工開發效率;再搭載擁有獨家CPU:GPUNVLink、專為企業級AI運算而設計的PowerAI伺服器,硬體加速深度學習過程。
DLI更是完整支援分散式深度學習(DistributedDeepLearning,DDL),5%極低的耗損率更是遠低於x86的20%,只需使用4顆GPU便可完成原先需5顆GPU以上的AI工作量,將通常為期二至三個月的深度學習過程濃縮為7小時。
DeepLearningImpact加上PowerAI,集結軟硬體優勢,大幅降低開發流程和硬體運算的時間,讓深度學習極具效率。
TedLiu
SpectrumComputing專家
DeepLearningDLIPowerPowerAISpectrumComputing分散式深度學習深度學習
上篇文章
連續性創新vs破壞性創新
下篇文章
華銀雙活資料中心滿足數位轉型四大需求
近期文章
STEMforGirls,讓下一世代女孩自信擁抱STEM
IBMPower10打造混合雲體驗 助企業邁向開放、AI及綠色運算
全新一代IBMPower上市,為什麼IBMi系統依然興盛不已?
台灣選手再傳捷報!IBMP-TECH高雄科技大學與臺北科技大學跨校團隊獲得首屆CallforCodeP-TECHChallenge總冠軍!
IBM發布年度企業責任報告,致力於用可信和創新的方式為個人、社區和世界帶來積極影響
近期留言「Wesley」於〈IBM虛擬機與裸機伺服器提供限時5折優惠活動!〉發佈留言「CherieHuang黃丞卉」於〈IBM虛擬機與裸機伺服器提供限時5折優惠活動!〉發佈留言「陳明成」於〈IBM虛擬機與裸機伺服器提供限時5折優惠活動!〉發佈留言彙整
2022年3月
2021年10月
2021年9月
2021年8月
2021年7月
2021年6月
2021年5月
2021年4月
2021年3月
2021年2月
2021年1月
2020年12月
分類
Banking(2)
Cloud(13)
Corporate(5)
CorporateCitizenship(22)
DiversityandInclusion(4)
EarthDay(1)
HR(3)
IBMSystems(2)
Industry(6)
ITInfrastructure(48)
Marketing(3)
Research(2)
Security(22)
Services(33)
TechforGood(14)
TechnologyTrend(5)
Telecom(2)
Think(3)
ThoughtLeadership(7)
Uncategorized(2)
Watson(11)
其他操作
登入
EntriesRSS
CommentsRSS
WordPress.org
MoreITInfrastructurestories
CorporateCitizenship
2022-03-08
STEMforGirls,讓下一世代女孩自信擁抱STEM
打破刻板印象,STEM人才無關性別 STEM,指科學(Science)、科技(Technology)、工[…]
繼續閱讀
分享文章:
ITInfrastructure
2021-10-01
IBMPower10打造混合雲體驗 助企業邁向開放、AI及綠色運算
IBM第一台7奈米商用伺服器IBMPower10 助企業發揮開放混合雲優勢【2021年10月01[…]
繼續閱讀
分享文章:
ITInfrastructure
2021-09-30
全新一代IBMPower上市,為什麼IBMi系統依然興盛不已?
IBM第一台7奈米製程商用伺服器IBMPower10上市,邁向開放混合雲。
推出33年的大型主機[…]
繼續閱讀
分享文章:
联系我们
延伸文章資訊
- 1深度學習入門
使用Keras 創建深度學習模型的基本步驟可以區分為四個:. 定義訓練資料. 定義深度學習模型的結構:包含深度(Depth)或者說層數(Number of layers),也包含每個層的 ...
- 2簡單7步驟,在7小時內訓練出神經網絡模型- THINK Blog Taiwan
IBM Spectrum Conductor Deep Learning Impact (DLI) 2017年12月5日,IBM 發表了在深度學習相關領域中令人振奮的新工具—IBM Spectr...
- 3[Day 3] 機器學習的步驟 - iT 邦幫忙
在昨天的文章[Day 2] AI, Machine Learning, and Deep Learning 中,介紹了AI、機器學習,與深度學習三個當紅炸子雞之間的關係,今天回到這次系列文的主題...
- 4深度學習的訓練資料準備與平台之演進發展- 技術探索
深度學習演算法、大數據的值與量及GPU運算技術,是未來AI發展的關鍵 ... 重覆這步驟許多次之後,就擁有了大量模擬該棋局盤面所得到的平均勝率,以此來做為當前盤面的好 ...
- 5深度學習教程
深度學習的三個步驟. 深度學習是如此簡單…… Page 11. 步驟1: 步驟2: 模型和數. 據的擬合. 步驟3: 選擇最優. 函數. 深度學習的三個步驟. 深度學習是如此簡單…… 神經網絡 ...