Kho dữ liệu nhà tài trợ thống nhất cho Blue Dragon Children's Foundation
Salesforce, BigQuery, Givecloud và PayPal được thống nhất thành một nguồn dữ liệu chính xác duy nhất. Nhóm tài chính hiện đóng báo cáo nhà tài trợ hàng tháng trong vài giờ — thay vì nhiều ngày đối soát thủ công.
- Hệ thống được thống nhất
- 4
- Thời gian tiết kiệm mỗi tháng
- [METRIC]h
- Nguồn dữ liệu chính xác duy nhất
- 1
- Độ tươi dữ liệu
- Hàng ngày
Thách thức
Blue Dragon Children's Foundation là một trong những NGO được công nhận nhất tại Việt Nam, hoạt động giải cứu và phục hồi trẻ em khỏi nghèo đói, buôn bán và bóc lột tại Hà Nội và trên khắp cả nước. Hoạt động gây quỹ của họ trải rộng qua nhiều kênh và nền tảng: nhà tài trợ cá nhân đóng góp qua PayPal và thẻ tín dụng thông qua Givecloud, các nhà tài trợ lớn và đối tác được quản lý trong Salesforce, và dữ liệu chi tiêu chương trình nằm trong BigQuery. Mỗi hệ thống hoạt động tốt khi riêng lẻ — nhưng kết hợp lại chúng tạo ra vấn đề đối soát. Mỗi tháng, nhóm tài chính dành vài ngày để thủ công xuất CSV từ mỗi nền tảng, đối soát ID nhà tài trợ trên các hệ thống dùng định danh khác nhau, và paste số liệu vào bảng tính master để tạo báo cáo nhà tài trợ tổng hợp. Quy trình dễ xảy ra lỗi. Sự khác biệt cần hàng giờ kiểm tra lại. Dữ liệu luôn trễ ít nhất 30 ngày khi lãnh đạo nhìn thấy. Và không có cái nhìn duy nhất về tổng giá trị lifetime của nhà tài trợ trên tất cả kênh đóng góp. Nhóm cần một hệ thống tự động kéo cả bốn nguồn dữ liệu lại với nhau, loại trùng và đối soát nhà tài trợ trên các nền tảng, và tạo ra dashboard trực tiếp — mà không đòi hỏi chuyên môn kỹ thuật để vận hành.
Những gì chúng tôi xây dựng
L'inno thiết kế và xây dựng pipeline ETL đa nguồn, coi mỗi nền tảng là nguồn dữ liệu và kho Google BigQuery là cửa hàng canonical duy nhất. **Lớp nhập dữ liệu.** Chúng tôi xây dựng các connector có lịch cho mỗi nguồn: Salesforce (REST API), Givecloud (webhook + API), PayPal (transaction API) và các bảng BigQuery hiện có. Mỗi connector chạy theo lịch hàng ngày và tải các bản ghi mới hoặc được cập nhật vào dataset staging trong BigQuery. **Phân giải danh tính.** Phần khó nhất của dự án là đối soát nhà tài trợ trên các hệ thống dùng định danh khác nhau — Salesforce contact ID, Givecloud donor ID và PayPal payer ID có thể đều chỉ đến cùng một người. Chúng tôi xây dựng lớp khớp xác định sử dụng địa chỉ email làm khóa chính, với tên + quốc gia làm tín hiệu dự phòng, tạo ra donor_id thống nhất tồn tại trên tất cả bản ghi. **Lớp biến đổi.** Dữ liệu staging được biến đổi thành schema phân tích sạch: một bảng donors (danh tính thống nhất), một bảng transactions (tất cả sự kiện đóng góp được chuẩn hóa về schema chung với amount, currency, channel, date và programme tag) và một bảng programmes liên kết chi tiêu với quà tặng của nhà tài trợ. **Dashboard báo cáo.** Chúng tôi xây dựng dashboard Looker Studio kết nối với các view BigQuery, cung cấp cho nhóm tài chính cái nhìn thời gian thực về: tổng số nhà tài trợ, nhà tài trợ mới so với quay lại theo tháng, lifetime value theo kênh, nhà tài trợ hàng đầu theo đóng góp 12 tháng và phân bổ quỹ theo chương trình. Dashboard làm mới hàng ngày và không cần nhập dữ liệu thủ công.
Kết quả
Trước khi có kho dữ liệu, báo cáo nhà tài trợ hàng tháng của nhóm tài chính là nhiều ngày đối soát thủ công. Ngày nay, báo cáo tương tự được tạo tự động qua đêm và đang chờ trong dashboard mỗi buổi sáng. Nhóm giờ có thể trả lời các câu hỏi mà trước đây không thể: tổng đóng góp của nhà tài trợ qua PayPal và thẻ tín dụng trong ba năm; chương trình nào nhận được nhiều quà tặng từ nhà tài trợ lần đầu nhất trong quý nhất định; cách các appeal chiến dịch cụ thể chuyển đổi so với traffic tự nhiên. Lớp phân giải danh tính tỏ ra đặc biệt có giá trị — nó phát hiện một nhóm nhà tài trợ đã đóng góp qua cả PayPal và Givecloud dưới tên hơi khác nhau, cho phép nhóm hợp nhất hồ sơ của họ và cá nhân hóa tiếp cận đúng cách lần đầu tiên. Lãnh đạo hiện xem một dashboard duy nhất vào ngày làm việc đầu tiên của mỗi tháng thay vì chờ [METRIC] ngày cho báo cáo được lắp ráp thủ công.
Công nghệ sử dụng
Python (điều phối ETL), Google BigQuery (kho dữ liệu), Salesforce REST API, Givecloud API, PayPal Transactions API, Cloud Scheduler (cron jobs), Looker Studio (dashboard báo cáo). Tất cả pipeline chạy trên GCP với cảnh báo lỗi tự động qua Slack.
“[QUOTE — đang chờ phê duyệt khách hàng để xuất bản]”
Dịch vụ & sản phẩm liên quan
Bạn có thách thức tương tự?
Hãy cho chúng tôi biết điều gì đang cản trở bạn. Chúng tôi phản hồi trong vòng 24 giờ làm việc.
Thảo luận dự án dữ liệu