大数据开发

核心技术与技能栈
1.数据管道设计与开发
精通汉得HDSP数据服务平台，熟悉其数据集成、数据开发、任务调度等核心模块。
熟练掌握ApacheDoris的架构原理，精通其数据模型（聚合模型、唯一模型、重复模型）、表结构设计（分区、分桶、RollUp物化视图）。
熟悉至少一种主流ETL/ELT工具，如DataX、SeaTunnel、Kettle、SparkSQL等，并能与HDSP进行结合使用。
2.数据集成与同步：
具备多种数据源（如Oracle、MySQL、SQLServer等关系型数据库）的接入和数据处理能力。
精通基于HDSP和Doris的离线数据管道架构设计，能够处理T+1的数据同步场景。
3.数据处理与开发：
熟练掌握SQL，具备优秀的SQL性能调优能力。
具备使用Doris进行复杂数据清洗、转换、聚合的开发经验者优先。
4.数据建模理论：
深入理解数据仓库分层理论（如ODS、DWD、DWS、ADS），并能基于业务场景进行合理的模型设计。
掌握维度建模技术，熟练运用星型模型、雪花模型，熟悉事实表、维度表、缓慢变化维等概念。
5.Doris专项技能：
精通Doris作为OLAP引擎的查询特性和优化点，能根据业务查询模式设计高效的数据模型和物化视图。
具备Doris集群规划能力，包括节点规划、分库分表策略、数据备份与恢复方案。
6.数据治理与质量保障
熟悉数据治理核心领域，包括但不限于元数据管理、数据血缘、数据质量标准、数据安全。
有使用或参与建设数据治理平台的经验，能利用HDSP或其他工具进行数据资产目录、数据标准的落地。