在这个项目中，我们的客户是一家领先的招聘机构，为波兰和欧盟的公司提供乌克兰和东欧人的就业解决方案。它帮助公司为工业、物流和农业等各个行业寻找员工。
挑战
我们的客户积极通过付费流量渠道吸引用户，包括 Meta Ads 和 Google Ads。然而，存在一个问题：每个工具都会生成单独的报告，他们的员工必须手动合并这些报告。虽然实际的潜在客户数量仅在 CRM 系统中可见，但潜在客户的来源是 Google Analytics 4 (GA4)。更复杂的是，成本是在广告账户中。
我们的任务是将所有来源合并为一份自动报告，以尽量减少手动工作量。
实施阶段
1. 工具和架构开发
为了构建端到端分析，我们主要使用了 Google 工具和服务，这些工具和服务使我们能够自动进行数据收集、处理和可视化。以下是解决方案架构图：
该解决方案长期稳定
而且成本低廉。使用 Google Cloud 的就业机构建基础架构中的所有工具，对于这种规模的数据，每月成本不超过 5 美元。
2. 创建布局
在收到客户的所有必要信息后，我们在Miro中创建了报告布局，并在开始主要工作之前获得了批准。这帮助我们节省了时间，并避免了进一步开发仪表板时出现误解。
3. 数据存储和收集
我们使用Google BigQuery作为中央存储方法。这个基于云的数据库专为分析而构建，可自动扩展，并且无需额外支持。Google Analytics 数据每天以原始形式免费提供。
对于广告源，我们开发了一个特殊的连接器——托管在Cloud Functions中的 Python 代码，可每天自动从 Google Ads 和 Facebook 下载数据。
客户没有使用标准的 CRM 系统，的就业机构建 比利时 whatsapp 号码数据 而是使用任务管理系统，其中潜在客户被存储为单独的任务。系统服务器上的 Python 代码每天检索必要的应用程序和客户数据，立即对其进行格式化，然后将其发送到 BigQuery。
合并和聚合
我们使用了DBT（数据构建工具）服务，它可以帮助您有效地管理包含许多 SQL 脚本的项目。DBT 构造 SQL 代码，使转换和编排过程变得更加容易。
编排是按照计划和顺序在数据库中构建表的自动化过程 网站开发如何支持 它减少了手动工作和出错风险。
利用此服务和构建的 SQL 查询 bqb 目录 我们组合了来自多个来源的数据，执行了复杂的聚合，并创建了统一的数据集市。
数据集市将来自多个来源的数据表聚合并转换为易于可视化的格式。
在聚合阶段，我们还过滤掉了来自同一客户的重复请求。
问题：网站发出的请求到达 GA4 时没有 ID，因此很难将 GA4 的数据与 CRM 系统的数据结合起来。没有办法实现 ID 传输。
我们的解决方案：我们检查了网站请求到达合作伙伴系统的延迟（时间间隔）。延迟最多为 60 秒。基于此，我们按时间合并请求。如果来自 GA4 的请求与来自系统的请求的时间相差最多 60 秒，我们会将该请求分配给适当的来源。
为了实现这一过程，我们回到上一步，修改了从系统上传数据的连接器，将请求的日期和确切时间添加到传输的数据中。这使我们能够了解 85% 以上请求的来源和渠道。
其余请求无法合并。有些请求由于用户使用广告拦截器而未被分析捕获，有些请求由于请求的延迟时间超过 60 秒而未被合并。