大数据开发-3个月短期（包住）

核心技术与技能栈

1.数据管道设计与开发
熟练掌握汉得HDSP数据服务平台，深入理解其数据集成、数据开发及任务调度等核心功能模块。
精通ApacheDoris架构原理，熟练运用其多种数据模型（聚合模型、唯一模型、重复模型），掌握表结构设计方法（分区、分桶、RollUp物化视图）。
熟悉主流ETL/ELT工具中的一种或多种，如DataX、SeaTunnel、Kettle、SparkSQL，并能与HDSP平台协同完成数据处理任务。

2.数据集成与同步
具备对接多种关系型数据库（如Oracle、MySQL、SQLServer）的能力，能够高效完成数据抽取、转换与加载。
精通基于HDSP与Doris构建的离线数据管道架构，可稳定支持T+1模式下的数据同步需求。

3.数据处理与开发
熟练使用SQL语言，具备扎实的SQL性能优化能力。
有利用Doris进行复杂场景下数据清洗、转换和聚合处理的实际开发经验者优先考虑。

4.数据建模理论
深刻理解数据仓库分层架构（如ODS、DWD、DWS、ADS），可根据具体业务需求进行合理的层级划分与模型设计。
掌握维度建模方法论，熟练应用星型模型与雪花模型，熟悉事实表、维度表及缓慢变化维等关键概念。

5.Doris专项技能
深入了解Doris作为OLAP引擎的查询机制与性能优化策略，能结合实际查询场景设计高性能的数据模型与物化视图。
具备Doris集群部署规划能力，涵盖节点配置、库表拆分策略以及数据备份恢复方案的设计与实施。

6.数据治理与质量保障
熟悉数据治理主要领域，包括元数据管理、数据血缘追踪、数据质量规范制定及数据安全控制。
有参与数据治理平台建设或实际应用经验，能够借助HDSP或其他工具推动数据资产目录与数据标准的落地执行。