空缺职位：数据工程师（解决方案顾问）

开发、构建和维护稳健、安全和可扩展的数据架构和管道，确保信息的质量、管理和可用性。提供创新的解决方案，按照最佳的安全和隐私做法，高效可靠地处理大量数据。与多学科团队合作，将数据转化为业务价值，促进自动化、标准化并持续支持公司的分析和运营需求。

要求。

• 编程语言：
  • Python高级
  • SQL：高级 
  • Java/Sacala：中级（大数据生态系统，如 Apache Spark）
• 数据库：
  • 关系型（SQL）：PostgreSQL、MySQL、SQL Server、Oracle。
  • 非关系型（NoSQL）：MongoDB、Cassandra、DynamoDB、Redis。
  • 数据仓库：Snowflake、Amazon Redshift、Google BigQuery、Teradata。
• 大数据工具和生态系统：
  • Apache Spark：
  • Apache Kafka
  • Hadoop：HDFS（Hadoop 分布式文件系统）和生态系统的其他组件。
• 协调工具：Apache Airflow、Prefect、Dagster。
  • 云计算：
  • 具有使用一个或多个云平台（AWS、GCP、Azure）及其数据服务（如 S3、Redshift、Glue、Dataflow、BigQuery、ADLS、Synapse Analytics）的经验。
• 软件工程：
  • 软件开发原则，包括版本控制（Git）、单元测试和良好的编码实践。
  • 开发应用程序接口（RESTful）。
• 数据建模：
  • 维度建模技术（星形模式、雪花模式）。
  • 数据湖和数据仓库建模。
• 容器和协调
  • Docker 和 Kubernetes（适用于可扩展环境）。

活动：

• 设计和构建数据架构  
  • 定义数据系统的架构，如数据湖、数据仓库和数据库（SQL 和 NoSQL）。  
  • 为每个解决方案选择最合适的技术和工具。 
• 开发和维护数据管道（ETL/ELT）：
  • 创建、优化和监控各种数据源的数据提取、转换和加载流程（ETL 或 ELT）。
  • 确保这些管道的自动化和弹性。
• 确保数据质量和管理：
  • 实施数据验证、清理和充实流程。
  • 努力实现元数据的标准化和定义，以保证数据的一致性和可靠性。
  • 确保遵守数据安全和隐私政策。
• 优化性能和可扩展性
  • 找出瓶颈，优化查询和数据流程的性能。
  • 确保数据基础设施能够扩展，以处理大量数据和高速数据。
• 与其他团队合作：
  • 与数据科学家、业务分析师和软件开发人员密切合作，了解他们的需求并提供必要的数据。
  • 支持使用数据平台。
• 监控和解决问题：
  • 为管道和数据基础设施配置监控系统。
  • 诊断和解决数据流中可能出现的问题。