轉變為AI工程師的路徑
原文出處再加入自己內容:https://dswharshit.medium.com/roadmap-to-become-an-ai-engineer-roadmap-6d9558d970cf
這篇文章說明:
如何從軟體工程師轉變為AI工程師的路徑。
成為AI工程師所需的技能。
在發展這些技能時應學習的範例工具。
發展這些技能的最佳方法。
讓我們先來揭示這條路徑!
成為AI工程師的路徑 🧭
AI工程師路徑,原文由Harshit Tyagi撰寫,再加上自己的內容。
首先要明白的事情!
適合誰?
軟體開發工程師/數據分析師/數據科學家,計劃提升AI工程技能。
由於這是一項核心工程技能,因此需要具備以下前置條件:
中等程度的Python/JS編程理解。
理想情況下,您至少有開發2-3個中等複雜度應用程式的經驗,例如使用Flask或Node.js開發的自己網站。
至少能夠閱讀文件進行構建。
熟悉在VS Code中編寫代碼。
雖然git和GitHub的操作很重要,但可以在項目中學習。
分解這條路徑
我把整個AI工程路徑分成三個階段,如圖所示,您從左到右依次進行,即從初級到中級再到高級。
每個階段的代表內容如下:
初級(<= 1個月)
—— 建立基本應用以學習使用LLM API,為您的應用仔細設計提示,並與開源LLM一起工作。
中級(約2個月)
—— 深入構建更多上下文感知的高級應用,使用RAG。學習向量數據庫及其應用。學習使用LLM和工具構建代理。
高級(約3個月)
—— 精通應用構建後,學習在生產環境中部署、優化和管理LLM驅動的應用,使用LLMOps。學習微調預訓練模型,使其適應下游應用,以低成本高效運行。
初級技能如下:
理解LLM的基本原理——您只需要知道ChatGPT的高層次運作方式。
學習開發者的Prompt Engineering。如何編寫提示以改進LLM的回應。
學習從API消費數據,學習處理JSON數據。
此為我的範例:
https://github.com/chuangtc/report-cruncher
學習調用封閉和開源的LLM模型,函數調用、傳遞提示和解析回應。
學習管理對話中的上下文空間。
學習創建和自動化一系列操作——使用langchain的鏈。
使用Gradio或Streamlit進行POC和演示的基本應用開發。
此為我的範例:
https://github.com/aidatatools/LLM_Sentinel
部署您的應用以使其可訪問——在HuggingFace Space或Streamlit cloud上進行基本部署。
使用HuggingFace變壓器庫進行多模態生成——代碼、圖像、音頻。
中級項目需要:
理解向量嵌入和向量數據庫。
學習如何在應用中使用向量數據庫。
構建檢索增強生成(RAG)——與您的知識庫對話。
開發高級RAG管道,例如可以在多個數據源中查找後提供回應的子問題查詢引擎。
構建代理——完成大任務的迭代工作流。
構建多代理應用,其中多個代理協同工作以提供更好的解決方案。
使用多個代理進行自動化——Autogen和Crew AI。
評估RAG——RAGAs框架。
管理數據庫、檢索、部署完整應用、版本控制、日誌記錄和監控模型行為。
高級項目需要您:
為特定領域的知識和定制回應微調預訓練LLM,例如醫學研究、金融研究、法律分析。
策劃數據集並為模型微調設計(ETL管道)管道。
評估和基準測試模型性能。
LLMOps——建立完整的端到端管道,包括模型註冊、可觀察性和自動化測試。
構建多模態應用——文本和圖像的混合語義搜索。
構建SDK、軟體包和自定義解決方案以支持其他開發者。
使用提示破解等技術保護您的AI應用,並通過檢查漏洞和潛在風險來納入防禦措施。
如何發展這些技能?
學習資源、參考資料和項目 📚
AI領域充滿了學習資源和教程。
臉書推薦追蹤:陳南宗、張文鈿
LinkedIn 推薦追蹤:Gina Acosta Gutiérrez
有很多很好的資源來學習所有這些概念,也有很多專家在這些主題上發布了非常深入和詳細的材料。
最好的學習方式——實踐項目!
我們已經了解了我們需要做什麼,現在讓我們來談談最佳做法。
進行項目
這不僅是學習而且是真正掌握這些概念的最佳方式。這將進一步磨練您思考尖端用例的技能。
除了學習外,AI社群每天都有很多公告和新發展,許多人正在尋找有趣的用例並開發有趣的產品,這些可能會引起您的興趣。
參加短期的比賽黑客松Hackathon
如下來練功:
https://www.nvidia.com/en-us/ai-data-science/generative-ai/developer-contest-with-langchain/