關(guān)注留言點贊，帶你了解最流行的軟件開發(fā)知識與最新科技行業(yè)趨勢。

本文詳細介紹了成功通過 AWS ML 專業(yè)考試所需的技能或知識。

免責(zé)聲明：博客中表達的所有觀點和意見僅屬于作者，不一定屬于作者的雇主或任何其他團體或個人。本文不為任何課程或培訓(xùn)平臺做宣傳。本文的唯一目的是幫助 AWS 社區(qū)順利通過這一高難度考試。此外，本文基于我的考試經(jīng)驗，可能與任何其他人的考試經(jīng)驗不同。

我在2022年 11月通過了AWS Certified Machine Learning — Specialty考試。我想通過這篇文章分享我的經(jīng)驗以及我為通過此認證考試所做的準備工作。我不想分享您可以從AWS認證頁面獲得的詳細信息。相反，我會分享您通過考試需要了解的主題以及您在考試期間可能遇到的問題類型。

我為這次考試參加的課程和模擬考試

我參加了關(guān)于機器學(xué)習(xí)的 AWS 虛擬課堂培訓(xùn)，這與AWS Skill Builder（免費內(nèi)容）提供的自定進度的在線免費數(shù)字培訓(xùn)非常相似。這兩門課程作為起點都很好，但在我看來，它們都不足以通過考試。我參加了AWS Certified Machine Learning Specialty 2022— 實踐！由 Stephane Maarek 和 Frank Kane 在 Udemy 上發(fā)布。我經(jīng)歷了大部分與數(shù)據(jù)科學(xué)密切相關(guān)的探索性數(shù)據(jù)分析和建模主題，因為 AWS 特定主題對我來說是眾所周知的。我參加了幾次模擬考試。這些解釋消除了很多疑慮，尤其是在數(shù)據(jù)科學(xué)領(lǐng)域。請不要指望在考試中看到相同的問題，但這些練習(xí)考試會消除很多疑惑。以下是我參加的模擬考試列表。您可能不需要全部參加，但我強烈建議您在考試前至少參加一門考試并評估您的知識。 AWS 認證機器學(xué)習(xí)專業(yè)： Abhishek Singh 的3項實踐考試Jon Bonso 的AWS 認證機器學(xué)習(xí)專業(yè)模擬考試Frank Kane 的AWS 認證機器學(xué)習(xí)專業(yè)完整模擬考試我已經(jīng)準備了一份我經(jīng)常參考的課程和模擬考試的個人筆記。我強烈建議創(chuàng)建一個簡單的筆記，你可以用它來記錄你不太了解的細節(jié)，以及你可以隨時參考的東西，尤其是在考試前。

通過考試所需的技能/知識

領(lǐng)域1：數(shù)據(jù)工程

S3您需要具備基本的S3知識，因為 S3是 AWS 中 AI/ML 工作負載的主要數(shù)據(jù)源。了解 S3存儲類以及生命周期規(guī)則如何在不同的 S3存儲類之間移動對象以節(jié)省成本和 S3安全性（存儲桶策略、不同的加密機制和 S3 VPC 端點）。期待有關(guān) S3存儲類和生命周期規(guī)則的問題。其他存儲服務(wù)了解您可以使用 EFS、EBS 和 FSx for Lustre（最快但成本最高）作為模型訓(xùn)練的存儲解決方案。了解在哪種情況下使用哪個選項。期待諸如“客戶需要最快的解決方案來完成培訓(xùn)工作”之類的問題。Kinesis Family了解Kinesis Stream與Kinesis Firehose之間的區(qū)別。尋找諸如實時與近實時、數(shù)據(jù)轉(zhuǎn)換、無服務(wù)器、自動擴展和數(shù)據(jù)保留等關(guān)鍵字。了解兩種選擇的不同生產(chǎn)者和消費者。對 Kinesis Video Stream 服務(wù)及其用例的高度理解。它如何與 AWS DeepLens、SageMaker 和 Recognition Video 集成。Kinesis Data Analytics 及其用法。知道您可以RANDOMCUTFOREST對流數(shù)據(jù)進行異常檢測。

Glue, EMR & Athena了解何時使用 Glue 與 EMR。如果您在問題中看到“較少管理”或“無服務(wù)器”等關(guān)鍵字，請考慮使用 Glue。但是，如果您正在處理一個非常大的數(shù)據(jù)集，或者如果您想使用 Apache Spark 以外的其他大數(shù)據(jù)框架，或者如果您需要對計算層進行低級控制，請考慮使用 EMR。另外，了解 Glue Catalog 和 Crawler 的用法。知道 Glue 有一個“FindMatches ML”轉(zhuǎn)換，可以識別數(shù)據(jù)集中的重復(fù)或匹配記錄。了解 Athena 的工作原理及其解決的問題。如果您看到“臨時分析”、“無服務(wù)器”、“對 S3中非結(jié)構(gòu)化數(shù)據(jù)的 SQL 查詢”等關(guān)鍵字，請考慮使用 Athena。深入了解 Step Function、AWS Batch、Data Pipeline 和 Data Sync 服務(wù)。您可能會在問題或答案中看到這些服務(wù)名稱彈出。

領(lǐng)域2：探索性數(shù)據(jù)分析

清理和準備建模數(shù)據(jù)期待有關(guān)估算缺失數(shù)據(jù)的問題。對不同的數(shù)據(jù)插補技術(shù)有很好的理解（例如，Dropping vs. Mean replacement vs. ML vs. SMOTE）。了解刪除停用詞、標記化和“小寫化”、HTML 標記刪除、詞干提取和詞形還原如何幫助在訓(xùn)練前預(yù)處理數(shù)據(jù)。對過采樣與欠采樣有很好的理解。預(yù)計會有很多問題需要確定數(shù)據(jù)集是否不平衡。當你有一個不平衡的數(shù)據(jù)集時，你可以應(yīng)用什么技術(shù)？了解為什么需要縮放、規(guī)范化、改組和標準化。當您想要將特征縮放到可比較的值時，請考慮歸一化。否則，幅度較大的特征將具有比它們應(yīng)有的更大的權(quán)重（年齡與薪水）。而標準化是一種縮放技術(shù)，可以減少特征中異常值的影響了解為什么標記數(shù)據(jù)集很重要，以及 SageMaker Ground Truth 和 Mechanical Turk 如何幫助實現(xiàn)這一目標。了解不同的數(shù)據(jù)分布函數(shù)（正態(tài)分布、泊松分布、二項分布、伯努利分布）。了解概率質(zhì)量函數(shù)和概率密度函數(shù)之間的區(qū)別。進行特征工程期待有關(guān)裝箱、離群值、1熱編碼和降低數(shù)據(jù)維度的問題。一定要了解 binning 與 Quantile binning，如何檢測和最小化異常值的影響，何時使用1 熱編碼，以及為什么/何時/如何降低數(shù)據(jù)集的維度。知道對數(shù)變換和穩(wěn)健標準化可以解決數(shù)據(jù)中的異常值，以及其他技術(shù)。分析和可視化機器學(xué)習(xí)數(shù)據(jù)不同的繪圖技術(shù)（散點圖、直方圖、箱線圖、彎頭圖）以及何時使用什么。知道散點圖可以說明兩個特征如何相關(guān)。而直方圖提供了各個特征的分布。了解 Amazon Quicksight 提供數(shù)據(jù)可視化，有哪些不同的可視化類型和數(shù)據(jù)源。知道開箱即用的 Quicksight 提供異常檢測、預(yù)測和自動敘述。

領(lǐng)域3：建模

將業(yè)務(wù)問題定義為機器學(xué)習(xí)問題您可能會看到一個問題，您需要確定 ML 是否是比傳統(tǒng)編程更好的解決業(yè)務(wù)問題的解決方案。當您處理規(guī)?；驘o法編碼規(guī)則（例如，電子郵件垃圾郵件或欺詐性信用卡交易場景）時，ML 可能是更好的選擇對監(jiān)督、無監(jiān)督和強化 ML 算法有很好的理解。此外，給定一個問題，您應(yīng)該能夠確定這是分類（二進制與多類）還是回歸類型的問題。還會有與預(yù)測、集群和推薦引擎相關(guān)的問題。為給定的機器學(xué)習(xí)問題選擇合適的模型您需要了解所有開箱即用的 SageMaker 算法，并且應(yīng)該知道在哪種情況下使用哪種算法。一些非常重要的是線性學(xué)習(xí)器、XGBoost、KNN、K-means、DeepAR、Seq2Seq、Object2Vec、Word2vec、BlazingText、對象檢測、圖像分類、語義分割、因子分解機、隨機森林、LDA 和 PCA。你會被要求在多個問題中根據(jù)業(yè)務(wù)問題選擇ML算法。了解邏輯回歸和線性回歸之間的區(qū)別。此外，要知道除了上述使用 Apache Spark 的內(nèi)置 SageMaker 算法、使用 TensorFlow 或 Apache MXNet 的自定義代碼、您自己的自定義算法和 Docker 映像中的代碼或來自 AWS Marketplace 的算法之外，還有其他選項可以創(chuàng)建您自己的算法。了解何時使用哪個選項?？紤] ML 解決方案的時間和精力、成本和管理。訓(xùn)練機器學(xué)習(xí)模型了解如何將數(shù)據(jù)集拆分為訓(xùn)練集、驗證集和測試集（通常為80-10-10）。此外，了解不同的交叉驗證技術(shù)，例如 k 折交叉驗證。了解什么是優(yōu)化器、梯度下降、損失函數(shù)、局部最小值、收斂、批處理和概率。預(yù)計考試中會出現(xiàn)有關(guān)梯度下降、損失函數(shù)、局部最小值和模型收斂的問題。了解 SageMaker 上可用的不同計算選項。通常在深度學(xué)習(xí)算法訓(xùn)練期間首選 GPU，但非 GPU 實例適合推理，因為非 GPU 實例具有成本效益，而且推理通常要求不高。此外，要知道使用 Elastic Inference 可以加快吞吐量并減少從深度學(xué)習(xí)模型中獲取實時推理的延遲，而成本僅為使用 GPU 實例進行推理的一小部分。了解批量大小和學(xué)習(xí)率如何影響模型訓(xùn)練。大批量導(dǎo)致更快的訓(xùn)練，但大批量有陷入局部最小值的風(fēng)險。類似地，如果學(xué)習(xí)率太高，它會超過正確的解決方案，損失函數(shù)會振蕩。執(zhí)行超參數(shù)優(yōu)化dropout、Early Stopping 和 L1/L2等正則化技術(shù)非常重要。這些用于防止過度擬合。了解 L1和 L2之間的區(qū)別。了解 RNN 與 CNN。了解 CNN 是圖像和視頻分析應(yīng)用程序、對象檢測、計算機視覺應(yīng)用程序或一般多維數(shù)據(jù)的理想選擇。而 RNN 用于預(yù)測值取決于先前看到的值、時間序列預(yù)測、語音識別和建模序列數(shù)據(jù)的應(yīng)用。了解什么是長短期記憶(LSTM)。了解不同類型的激活函數(shù)及其用例。您需要知道 sigmoid 激活函數(shù)與 softmax 函數(shù)與 Tanh 和 RELU 之間的區(qū)別。期待關(guān)于激活函數(shù)的問題。評估機器學(xué)習(xí)模型您需要知道如何檢測和處理偏差并防止模型過度擬合或欠擬合。對此會有很多疑問。通常，當模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)不佳時，您的模型就會欠擬合。向模型添加更多功能或刪除正則化會有所幫助。您可以增加模型的復(fù)雜性，訓(xùn)練模型更長時間（更多時期），并使用不同的網(wǎng)絡(luò)架構(gòu)。但是添加更多訓(xùn)練數(shù)據(jù)可能有幫助也可能沒有幫助當您發(fā)現(xiàn)模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好但在評估數(shù)據(jù)上表現(xiàn)不佳時，您的模型就會過度擬合。這是因為該模型正在記住它所看到的數(shù)據(jù)，并且無法概括為看不見的示例。正則化技術(shù)可以防止模型過度擬合。你需要知道二元和多類混淆矩陣。期待有關(guān)評估指標（AUC-ROC、準確度、精確度、召回率、RMSE、F1分數(shù)）的問題。請務(wù)必了解用例并記住準確性、精確度、召回率和 F1分數(shù)的計算。了解如何使用 SageMaker 評估模型和執(zhí)行測試（使用變體權(quán)重進行 A/B 測試，藍-綠）。了解如何使用不同的指標進行評估。

領(lǐng)域4：機器學(xué)習(xí)實施和操作

為性能、可用性、可擴展性、彈性和容錯構(gòu)建機器學(xué)習(xí)解決方案了解如何使用 CloudWatch 日志、指標和事件來監(jiān)控您的 ML 工作負載。您可以使用 CloudWatch 設(shè)置擴展策略來定義目標指標、最小/最大容量和冷卻時間。AWS CloudTrail 提供用戶、角色或 AWS 服務(wù)在 Amazon SageMaker 中采取的操作的記錄，但它不監(jiān)控對 InvokeEndpoint 的調(diào)用。了解如何使用 SageMaker 進行多可用區(qū)或多區(qū)域部署。知道 SageMaker 會自動嘗試跨可用性區(qū)域分發(fā)實例（如果指定了多個實例）。了解如何使用自定義 AMI。Sagemaker 虛擬機如何在負載均衡器后面的自動縮放組中運行。了解 SageMaker 實例合理化（Spot 與按需）的基礎(chǔ)知識，以及如何根據(jù)您的工作負載選擇最佳卷和 IOPS。了解管道輸入模式如何幫助您的訓(xùn)練作業(yè)更快地開始、更快地完成，并在使用 S3中的大文件訓(xùn)練您的模型時使用更少的磁盤空間。針對給定問題推薦并實施適當?shù)臋C器學(xué)習(xí)服務(wù)和功能對以下 AWS AI 服務(wù)有深入的了解。您應(yīng)該對考試指南中提到的所有 AI 服務(wù)都有一些了解，但根據(jù)我的考試經(jīng)驗，我強烈推薦以下服務(wù)。Amazon Comprehend：執(zhí)行 NLP 并提取關(guān)鍵短語、實體和情緒。您可以使用自己的數(shù)據(jù)進行訓(xùn)練。Amazon Translate：支持自定義術(shù)語的語言翻譯服務(wù)。Amazon Transcribe：提供說話人識別、自動語言識別和自定義詞匯的語音到文本服務(wù)。Amazon Polly：提供 Lexicons（單詞和短語的自定義發(fā)音）并支持 SSML（語音合成標記語言）的文本轉(zhuǎn)語音服務(wù)。Amazon Lex：圍繞意圖構(gòu)建的自然語言聊天機器人引擎。Amazon Rekognition：可用于圖像和視頻分析?？梢宰R別圖像中的面孔和文字。您可以使用自己的標記數(shù)據(jù)來識別獨特的項目。Amazon Personalize：推薦服務(wù)。了解 GetRecommendations 和 GetPersonalizedRanking API 之間的區(qū)別。AWS DeepLens：支持深度學(xué)習(xí)的攝像機，與 Kinesis Video Streams、Rekognition、SageMaker、Polly、Tensorflow、MXNet 和 Caffe 集成。了解將 AWS DeepLens 用作監(jiān)控攝像頭是不切實際的。尋找諸如“較少管理”、“業(yè)務(wù)需要快速解決方案”、“無服務(wù)器”等關(guān)鍵字。根據(jù)是應(yīng)該在 SageMaker 中訓(xùn)練和部署模型還是應(yīng)該選擇易于使用的模型來做出判斷-使用人工智能服務(wù)。這同樣適用于您自己的模型與 SageMaker 的內(nèi)置算法。了解如何使用 Spot 實例和成本較低的實例類型最大限度地降低基礎(chǔ)設(shè)施成本。了解 GPU 實例非常昂貴。您也可以使用 Spot 實例進行模型訓(xùn)練并使用檢查點到 S3，但它會增加訓(xùn)練時間。此外，對 AWS Batch 服務(wù)有一個高層次的了解，了解它如何安排計算實例來執(zhí)行批處理作業(yè)。將基本的 AWS 安全實踐應(yīng)用于機器學(xué)習(xí)解決方案對 SageMaker 安全性有很好的了解。它如何與 IAM、CloudWatch、CloudTrail 和 VPC 集成。了解如何對靜態(tài)數(shù)據(jù)和傳輸中的數(shù)據(jù)進行加密。了解如何使用 S3存儲桶策略來限制訪問。了解 S3的不同加密選項（SSE-S3 vs. SSE-KMS vs. SSE-C vs. CSE）。了解當您沒有來自 SageMaker 實例的出口互聯(lián)網(wǎng)訪問權(quán)限時，如何使用 S3和其他 VPC 終端節(jié)點訪問 S3和其他服務(wù)中的文件。部署和實施機器學(xué)習(xí)解決方案您需要知道如何部署模型并與之交互。訓(xùn)練模型并準備好進行生產(chǎn)部署后，您需要創(chuàng)建端點配置，然后創(chuàng)建端點來部署模型。該服務(wù)會自動啟動一定數(shù)量的 ML 計算實例并將它們放置在不同的可用區(qū)中（如果您指定兩個或多個實例）。知道 SageMaker 還支持產(chǎn)品變體的自動縮放。自動縮放與 CloudWatch 配合使用，它可以根據(jù)負載動態(tài)調(diào)整計算實例的數(shù)量。了解什么是推理管道。要知道這是一個由2-15個容器組成的線性序列，您可以在其中組合預(yù)處理、預(yù)測和后處理。它可用于實時和批量預(yù)測。在推理管道模型中，Amazon SageMaker 將調(diào)用處理為一系列 HTTP 請求。了解如何監(jiān)控模型的性能以及可用于調(diào)試生產(chǎn)中模型問題的不同選項。