崗位職責(zé)
1. 基于 Azure Databricks 平臺，設(shè)計與開發(fā)高效、可靠的數(shù)據(jù)處理管道。
2. 使用 SQL 與 Spark 進行大規(guī)模數(shù)據(jù)的清洗、轉(zhuǎn)換、聚合與計算。
3. 構(gòu)建與優(yōu)化數(shù)據(jù)倉庫及數(shù)據(jù)模型，保障數(shù)據(jù)架構(gòu)的合理性與查詢性能。
4. 開發(fā)與維護數(shù)據(jù)服務(wù)與接口，支持報表系統(tǒng)及下游數(shù)據(jù)消費。
5. 實施數(shù)據(jù)質(zhì)量監(jiān)控與校驗，確保數(shù)據(jù)處理結(jié)果的準(zhǔn)確性與穩(wěn)定性。
6. 持續(xù)優(yōu)化數(shù)據(jù)處理任務(wù)的執(zhí)行效率與資源利用率。
任職要求（必需）
1. 統(tǒng)招本科及以上學(xué)歷，計算機、軟件工程等相關(guān)專業(yè)。
2. 大數(shù)據(jù)開發(fā)經(jīng)驗。
3. 精通 SQL，能編寫復(fù)雜查詢并進行深度性能優(yōu)化。
4. 擁有 Azure Databricks 平臺的商業(yè)項目開發(fā)與運維實戰(zhàn)經(jīng)驗。
5. 熟練掌握 Spark 開發(fā)，理解其核心原理與調(diào)優(yōu)方法。
6. 具備 Python 開發(fā)能力，用于腳本編寫、任務(wù)自動化及數(shù)據(jù)處理。
7. 具備數(shù)據(jù)倉庫建模的實際經(jīng)驗。
8. 能夠?qū)⒂⒄Z作為工作語言，熟練閱讀英文技術(shù)文檔、平臺界面及代碼。
9. 良好的團隊協(xié)作與溝通能力。
優(yōu)先條件
1. 熟悉 Delta Lake / Data Lakehouse 架構(gòu)及最佳實踐。
2. 擁有 Microsoft Azure 云服務(wù)相關(guān)經(jīng)驗，特別是 Azure Data Factory (ADF) 和 ADLS。
3. 了解 Databricks Unity Catalog 等數(shù)據(jù)治理工具。