dbt Labs ra mắt hỗ trợ Python để mở rộng những gì người thực hành dữ liệu có thể thực hiện với dbt

Với bản cập nhật này, 16.000 tổ chức sử dụng dbt, đã trở thành tiêu chuẩn ngành để chuyển đổi dữ liệu trên đám mây, có thể tận dụng các khả năng của Python được cung cấp bởi các nền tảng dữ liệu đám mây chính. Vị trí của Python trong ngăn xếp dữ liệu hiện đại đã được nâng lên nhờ Snowflake's Snowpark for Python, Serverless Spark của BigQuery và mục nhập của Databricks vào quy trình phân tích dữ liệu với Databricks SQL. Người dùng dbt sẽ có tùy chọn chọn ngôn ngữ tốt nhất — SQL hoặc Python — cho nhiệm vụ hiện tại

Với việc giới thiệu các mô hình Python của dbt Labs và Snowflake's Snowpark cho Python, các khách hàng chung giờ đây có thể dễ dàng kết hợp sức mạnh của SQL và Python để phân tích hiện đại và hưởng lợi từ sự phong phú của đổi mới xử lý dữ liệu. Torsten Grabs, Giám đốc quản lý sản phẩm của Snowflake cho biết: "Mối quan hệ đối tác của Snowflake với dbt Labs là công cụ cho các phân tích hiện đại khi chúng tôi nỗ lực hướng tới việc cho phép các nhóm dữ liệu bảo mật và hợp tác triển khai mã SQL vào sản xuất". Điều này sẽ giúp làm việc và cộng tác trong Đám mây dữ liệu cho các nhóm phân tích, kỹ thuật dữ liệu và khoa học dữ liệu thậm chí còn đơn giản hơn

Sáu năm trước, điều đó có nghĩa là chỉ hoạt động bằng SQL, ngôn ngữ gốc của kho, Tristan Handy, Người sáng lập và Giám đốc điều hành của dbt Labs cho biết, "Chúng tôi đã tạo dbt để khai thác sức mạnh của nền tảng dữ liệu đám mây hiện đại và trao quyền cho . ""Chúng tôi rất vui mừng được mang sức mạnh và khả năng truy cập của dbt vào một tập hợp khối lượng công việc dữ liệu mới ngày hôm nay với những tiến bộ trên các nền tảng dữ liệu. " Tristan Handy , Người sáng lập và Giám đốc điều hành của dbt Labs. "Ngày nay, với những tiến bộ trên các nền tảng dữ liệu, chúng tôi rất vui mừng được mang sức mạnh và khả năng truy cập của dbt vào một tập hợp khối lượng công việc dữ liệu mới. "

Theo Sudhir Hasbe, Sr. Giám đốc quản lý sản phẩm tại Google Cloud, "dbt đã được chứng minh là một quy trình làm việc linh hoạt để khách hàng BigQuery quản lý và giúp thúc đẩy quá trình chuyển đổi dữ liệu của họ. "Chúng tôi rất vui khi được cộng tác với dbt Labs và cung cấp hỗ trợ xử lý Python trong BigQuery để người dùng và cộng đồng dữ liệu có thêm tùy chọn sử dụng dữ liệu nhằm giải quyết các thách thức kinh doanh

Theo Adam Conway, SVP phụ trách Sản phẩm tại Databricks, "các nhóm dữ liệu đang áp dụng kho dữ liệu cho tất cả các trường hợp sử dụng AI và phân tích của họ, tận dụng nhiều ngôn ngữ lập trình để giải quyết các thách thức về dữ liệu của họ. " Do đó, chúng tôi rất vui mừng được xây dựng mối quan hệ đối tác với dbt Labs để mang các khả năng của Python đến với các khách hàng chung, cho phép người dùng dbt truy cập không chỉ các phép biến đổi SQL mà còn toàn bộ hệ sinh thái lakehouse, bao gồm cả ML. Adam Conway , SVP phụ trách Sản phẩm tại Databricks. "Đó là lý do tại sao chúng tôi rất vui mừng được xây dựng mối quan hệ đối tác với dbt Labs để mang các khả năng của Python đến với các khách hàng chung, cung cấp cho người dùng dbt quyền truy cập không chỉ vào các phép biến đổi SQL mà còn toàn bộ hệ sinh thái lakehouse bao gồm ML. "

Việc bổ sung hỗ trợ Python mở ra các khả năng mới quan trọng cho các nhóm hiện đang làm việc về phân tích trong SQL, cho phép họ

• Làm nhiều hơn với dbt. Các nhóm dữ liệu hiện có thể sử dụng Python để chạy phân tích thống kê nâng cao hoặc tạo các mô hình dự đoán đơn giản, sử dụng hệ sinh thái rộng lớn gồm các gói Python dựng sẵn, để thực hiện các tác vụ như dự đoán tỷ lệ rời bỏ hoặc giá trị lâu dài của khách hàng
• Với sự hỗ trợ cho các mô hình Python trong dbt, người dùng không còn cần phải quản lý một bộ công cụ bổ sung, riêng biệt để triển khai mã Python;
• Người dùng có thể hưởng lợi từ tất cả các nền tảng dữ liệu đám mây hỗ trợ khối lượng công việc Python phải cung cấp như một phần của cùng một quy trình làm việc dbt mà họ đã quen thuộc và yêu thích

Bởi vì các nhóm phân tích dữ liệu và nhóm khoa học dữ liệu sử dụng các công cụ khác nhau và thường đưa ra các giả định khác nhau, nên hiện tại có một khoảng cách đáng kể giữa họ và tác động tiềm tàng của việc hỗ trợ Python trong dbt vượt xa giá trị tức thời của họ đối với các nhóm phân tích dữ liệu. Về lâu dài, việc hỗ trợ Python trong dbt sẽ mở ra cơ hội cho nhiều nhà khoa học dữ liệu cộng tác trong cùng một công cụ với các đối tác phân tích của họ, thu hẹp khoảng cách đó, giống như việc dbt đã giảm bớt khoảng cách giữa các nhà phân tích và kỹ sư dữ liệu trong vài năm qua bởi

Xem bài đăng trên blog từ hôm nay để biết thêm chi tiết

Giới thiệu về phòng thí nghiệm dbt
dbt Labs đi tiên phong trong thực hành kỹ thuật phân tích, xây dựng công cụ chính trong hộp công cụ kỹ thuật phân tích và đã may mắn chứng kiến ​​một cộng đồng tuyệt vời hợp nhất để giúp các nhà phân tích tạo và phổ biến kiến ​​thức tổ chức kể từ năm 2016. Hiện có 16.000 doanh nghiệp sử dụng dbt Labs đã thực hiện sứ mệnh giúp các nhà phân tích tạo và phổ biến kiến ​​thức của tổ chức. dbt Labs đã đi tiên phong trong việc thực hành kỹ thuật phân tích, xây dựng công cụ chính trong hộp công cụ kỹ thuật phân tích và đã đủ may mắn để thấy một cộng đồng tuyệt vời liên kết lại để trợ giúp. Ngày nay có 16.000 công ty sử dụng