
工作职责:
1、数据仓库架构与开发:
①负责离线及实时数据仓库的规划、建模与 ETL 流程设计,满足业务决策和分析需求;
②优化数据分层设计(ODS/DWD/DWS/ADS),保障数据模型高效且具备扩展性;
③主导元数据管理、数据血缘追踪、数据质量监控体系搭建等数据治理工作。
2、实时与离线数据处理:
①运用 Flink/Spark Streaming/Kafka 等技术开发实时数据管道,支撑用户画像、实时大屏等准实时分析场景;
②设计离线数仓 ETL 任务,处理 TB/PB 级海量数据,优化计算性能与存储成本。
3、数据库与工具应用:
①熟练使用 PostgreSQL 进行关系型数据管理、复杂 SQL 编写及性能调优;
②基于 ClickHouse 构建高性能 OLAP 引擎,支持即席查询与报表分析;
③掌握 Hadoop/Hive/Spark 等大数据生态技术。
4、协作与优化:
①与业务团队协同梳理指标口径,开发 BI 报表、自助分析平台等数据产品;
②监控数据管道运行状态,及时解决任务故障、延迟或数据不一致问题;
③适应快速迭代的业务环境,独立分析业务需求并转化为技术方案 。
任职资格:
1、基本要求:
①拥有3--5年数据仓库开发经验,具备离线数据处理和实时数据开发实战经验;
②逻辑清晰,具备跨团队沟通能力与较强的抗压能力。
2、技能要求:
①熟练掌握 PostgreSQL、ClickHouse 等数据库操作及性能优化;
②精通大数据生态技术;熟悉 Flink/Spark Streaming/Kafka 等实时数据处理技术。
加分项:有电商、金融、互联网等行业数据仓库建设经验;掌握 Python/Java 开发技能 。