五分鐘學會在Colab上使用免費的TPU訓練模型 - 資料科學實驗室

... 而除了GPU之外，大家一定很想使用Google所推出的Google Cloud TPU來做機器學習模型，重點它很貴，能不能免費的使用他呢？使用Colab就是首選了。

2020年3月6日星期五 五分鐘學會在Colab上使用免費的TPU訓練模型 哈囉大家好，雖然忙碌，還是趁空擋想跟大家分享關於TensorFlow2.1.x系列的兩三事，一般來說做機器學習模型最需要的就是運算資源，而除了GPU之外，大家一定很想使用Google所推出的GoogleCloudTPU來做機器學習模型，重點它很貴，能不能免費的使用他呢？使用Colab就是首選了。

而這次TF2.1新版推出之後，TPU使用有了一個很大幅度的改版，在Colab上使用TPU已經變得非常的容易與簡單，這邊就讓Jerry老師來跟大家娓娓道來。

首先不要忘記在Edit->Notebooksettings要把硬體調整成TPU，如下圖： 然後就會獲得TPU資源，如下圖： 首先幾個在Colab上要跑TPU的API要了解一下： 1.tf.distribute.cluster_resolver.TPUClusterResolver() 這是負責偵測TPU，可以透過該指令了解GoogleTPU集群的狀況。

2.tf.config.experimental_connect_to_cluster(tpu) 這是負責連結Google雲端的TPU環境 3.tf.tpu.experimental.initialize_tpu_system(tpu) 這是負責初始化TPU的裝置 所以前置作業如下： 必須設定TensorFlow2.x以及設定tpu的變數。

接下來要使用TPU，目前模型有固定的寫法，必須寫成函式，舉例如下： 資料的部分也是要寫成函式，這邊範例是採用mnist，所以舉例如下： 最後是訓練模型的程式碼，有個重點是 4.tf.distribute.experimental.TPUStrategy 是呼叫前面TPU分配策略的指令，所以要搭配在程式碼當中 5.strategy.scope() 搭配這段程式碼，可以把模型與要計算的優化器、衡量標準放到運算引擎上 如下： 目前實測的結果，如果以mnist資料為例， TPU：36秒 GPU(P100)：90秒 CPU：291秒 使用心得是，程式碼不用改動太多，在TensorFlow2.x的架構下，可以很快的進行訓練，程式碼也可以很快速地調整，以後大家就可以用前所未有的速度訓練模型囉！ 當然如果您很想更近一步了解GoogleCloudPlatform上面的TPU費用，可以參考下面連結 https://cloud.google.com/tpu/docs/types-zones https://cloud.google.com/tpu/pricing 相關程式碼請參考 https://github.com/jerrywu2013/TensorFlow_TPU 張貼者： 資料科學實驗室 於 晚上8:36 以電子郵件傳送這篇文章BlogThis！分享至Twitter分享至Facebook分享到Pinterest 標籤： 深度學習, 雲端機器學習, 機器學習, deeplearning, GPU, MachineLearning, TensorFlow, TPU 1則留言: xin2021年2月27日下午5:08訓練好的模型，如果用model.predict做預測會跑出空值，用gpu就沒這問題回覆刪除回覆回覆新增留言載入更多… 較新的文章 較舊的文章 首頁 訂閱： 張貼留言(Atom) 關於作者 資料科學實驗室 Jerry是一名資深部落客，目前是Google機器學習開發專家(GDE)、APMICOpenTalk創辦人兼執行長。

檢視我的完整簡介 支持老師的機器學習課程 支持老師的RL+ML組合課程 訂閱方式： 熱門文章 R語言從「初學」到「進階」到「跨界」的32本書籍推薦 R語言一直是數據分析界的熱門語言，也因此R語言相關的書籍也相當的多。

筆者在學R的過程也看過許多R語言的書籍，筆者也收集相當多的R書籍，但大多參差不齊，有些寫得很好，有些則寫的較為艱澀，最近看到網路上大家在討論由淺入深的學習參考書籍，因此筆者也想做個小整理，包括初級、中級... 資料探勘軟體Weka之安裝篇 最近在準備資料探勘相關課程，為了讓大家能快快上手玩資料，這邊就寫整理一篇Weka的安裝篇給大家。

Weka是以Java為基礎的資料探勘(Datamining)與(Machinelearning)軟體，也是自由軟體(OpenSourc... 情緒分析(SentimentAnalysis)的作法與商業價值 情緒分析(SentimentAnalysis)是繼文字探勘(TextMining)之後，近年被熱烈討論的議題。

過去學者普遍探討的是如何把一句話非結構化轉結構化的方法，像是各式演算方法，包含監督式學習(Supervisedlearning)、半監督式學習(Sem... 透過Python與Spark做氣象大數據分析 Inthisproject,weappliedSparkinweatherdataanalysis.ThisapplicationincludesuploadingdatatoObjectStorage,establishingRDD,ma... 【R軟體】基本數學函數指令 這邊將一些在R裡面的基本數學函數指令整理如下，供大家方便查閱，也放在GitHub：GitHub：https://github.com/rippleblue/Blog_R_code/blob/master/Mathematical%20functions.R功能：... 必學的10個R套件 最近非常的忙碌，終於逮到一個機會在除夕夜前，將幾個月前想要寫的文章整理一番。

圖：RdejeuR軟體已在這兩年如黑馬般，串升到十大必學語言之一。

從各種數據可以觀察到，由於R的開發者專注做資料分析這塊，因此資料分析的資源非常豐富，也奠定R這個工具在處理資料的... 什麼是大數據的新架構「資料湖泊」? 隨著資訊科技的發達，企業開始面臨大量數據的儲存問題。

過去許多企業從導入資料庫，到導入資料倉儲，甚至商業智慧。

以面對不斷增長的資料以及資料的應用問題，但資料持續增加，傳統架構將可能不敷使用。

因此有個新名詞「資料湖泊(DataLake)」(又稱數據湖泊、DL)因應而生。

該名... 一天上手SparkR Spark是近幾年在數據分析領域非常火紅的技術，繼上一次「透過Python與Spark做氣象大數據分析」的文章，筆者這次希望分享的是原生Spark在R上面的改變，從Spark1.4版開始對R有較完整的支持，而今年推出的Spark1.6版上面，可以看到Spark已經特... 60本免費的資料科學書籍 資料科學(DataScience)這個名詞是近幾年非常流行的概念，它其實講的是跨領域(Interdisciplinary)的組成，這些學科包含如下：數學(Mathematics)統計(Statistics)化學計量學(Chemometric... 2014年台灣巨量資料、資料科學家相關課程 工研院資料探勘與R軟體應用實務(2014/8/27)R軟體之應用~資料加值與商務決策實作(2014/5/9)資料加值與商務決策實務課程(已結束)FromBigDatatoBigNetworkData~社群網路探勘實務與技術(已結束)B... 搜尋此網誌 網誌存檔 ▼  2020 (8) ►  十月 (1) ►  七月 (1) ►  五月 (1) ▼  三月 (4) 五分鐘掌握2020的TensorFlow新發展-機器學習公平性指標篇 五分鐘掌握2020的TensorFlow新發展-TF_Hub模型篇 五分鐘掌握2020的TensorFlow新發展-生態圈篇 五分鐘學會在Colab上使用免費的TPU訓練模型 ►  二月 (1) ►  2019 (1) ►  九月 (1) ►  2018 (1) ►  一月 (1) ►  2017 (2) ►  五月 (1) ►  三月 (1) ►  2016 (5) ►  七月 (1) ►  五月 (1) ►  三月 (1) ►  二月 (1) ►  一月 (1) ►  2015 (10) ►  十二月 (1) ►  十一月 (1) ►  十月 (1) ►  九月 (1) ►  八月 (1) ►  七月 (1) ►  五月 (1) ►  四月 (1) ►  三月 (1) ►  二月 (1) ►  2014 (15) ►  十二月 (1) ►  十月 (1) ►  九月 (2) ►  八月 (2) ►  七月 (2) ►  六月 (1) ►  五月 (2) ►  二月 (1) ►  一月 (3) ►  2013 (12) ►  十二月 (3) ►  十一月 (3) ►  八月 (1) ►  五月 (2) ►  四月 (3) ►  2012 (1) ►  九月 (1) 標籤 人工智慧 (4) 大數據 (10) 大數據課程 (3) 不確定性建模 (1) 文字探勘 (1) 文字探勘課程 (3) 可解釋AI (1) 巨量資料 (11) 巨量資料課程 (3) 市場研究 (1) 交通 (1) 百度 (2) 自然語言處理 (2) 自然語言模型 (1) 行銷 (3) 車聯網 (2) 物聯網 (4) 空間資料 (1) 金融 (1) 計量經濟學 (1) 航空資料分析 (2) 強化學習 (1) 情緒分析 (3) 深度學習 (3) 視覺化 (1) 統計學習 (2) 開放資料 (5) 集群 (1) 雲端 (3) 雲端機器學習 (4) 意見分析 (1) 資料工程 (1) 資料安全 (2) 資料治理 (2) 資料長 (1) 資料科學 (3) 資料科學工具 (4) 資料科學團隊 (3) 資料科學課程 (5) 資料倉儲 (1) 資料庫 (2) 資料探勘 (3) 資料視覺化 (7) 資料湖泊 (1) 資料壓縮 (1) 資訊科學 (1) 電腦科學 (1) 預測分析 (1) 演算法 (4) 數據科學 (1) 數據湖泊 (1) 模式識別 (3) 課程 (3) 機率學 (1) 機器學習 (7) 職缺 (1) 醫學資料分析 (1) 醫學影像 (1) Algorithm (4) Aviation (2) Azure (1) BERT (1) Bigdata (31) bluemix (2) CloudNaturalLanguageAPI (1) CRN (1) dataanalysis (1) Datagovernance (2) DataLake (1) Datamatching (2) datamining (18) dataminingtools (9) Datascience (15) Datascientist (19) Datasecurity (2) Datavisualization (2) deeplearning (2) devfest2020 (1) DICOM (1) EEG (1) Elasticsearch (3) explainableai (1) FairnessIndicators (1) Go (1) GoogleCloudPlatform (2) GPU (1) Hadoop (7) Hive (4) IBM (2) Imagemining (1) InternetofThings (3) InternetofThingsPlatform (1) InternetofVehicles (2) Java (1) JupyterNotebooks (1) k-means (1) MachineLearning (15) machinelearningvisualization (1) Marketing (2) MATLAB (1) Medical (1) MedicalDataMining (3) MedicalImageAnalysis (1) Microsoft (1) MLStudyJam (1) MRI (1) MySQL (1) NIfTI (1) NLP (2) Node.js (2) NoSQL (4) ObjectStorage (1) opendata (5) PET (1) Pig (3) Postgres (1) Python (10) R (16) R軟體 (9) R語言 (7) RDD (1) Redis (1) responsibleai (1) RHadoop (3) Riak (1) ringpop (1) Semi-supervisedlearning (1) SentimentAnalysis (2) Spark (6) SQL (1) Supervisedlearning (1) TChannel (1) tensorboard (1) TensorFlow (4) TensorFlowHub (1) TextMining (1) Thrift (1) TPU (2) Unsupervisedlearning (1) WebDataMining (1) Weka (1) 本站推薦文章 載入中… Talks MLDMMonday--OptimizationSeriesTalkfromJerryWu 相關連結 APMICOpenTalk DSP智庫驅動部落格 DSP智庫驅動(資料科學計畫DSP) Translate 總網頁瀏覽量 小額贊助 如果您喜歡本部落格文章，歡迎每月小額贊助，給予作者鼓勵。

付款方式 贊助:NT$50TWD-每月 贊助:NT$100TWD-每月 贊助:NT$500TWD-每月