Phương pháp thiết kế kho dữ liệu

Để thiết kế datawarehouse, cho tới thời điểm này người ta vẫn dựa vào 2 phương pháp luận chủ yếu:

1. Bill Inmon - thường được biết với cái tên gọi là Enterprise Warehouse [CIF - Corporate Information Factory] hoặc Relational Modeling
2. Ralph Kimbal - Dimensional Design

Một đôi dòng lịch sử về 2 phương pháp luận này:

1. Năm 1990 - Inmon phát hành cuốn "Building the Data Warehouse" - dĩ nhiên là cuốn sách này theo thời gian đã được phát hành lại và được chỉnh sửa khá nhiều so với bản gốc, và đây là một trong các cuốn gối đầu cho anh/em thiết kế DBWH, làm nền tảng cho mọi triết lý về DBWH hiện đại trong thế kỷ này.
2. Năm 1996 - Kimball phát hành cuốn "The Data Warehouse Toolkit" đây là cuốn mà cũng đã được phát hành lại rất nhiều lần, và bán rất chạy trên thị trường và với phương pháp chủ đạo là dimensional [star schema or snowflake]

Và từ năm 1996, thì các "lý sự gia" về DBWH rất nhiều, và đã đưa vào hiện thực, và thương mại hóa. Sự thành công của DBWH chắc có lẽ 2 tác giả của 2 trường phái này cũng không ngờ tới. Chính vì thế.Năm 2002 cả 2 cùng có những bước đột phá rất lớn

1. Inmon - đã điều chỉnh lại cuốn Building the Data Warehouse và đưa đưa ra phương pháp tiếp cận với Data Warehouse theo hướngTop Down
2. Kimball cũng cập nhập lại phương pháp luận của mình, và định nghĩa "các hộp dữ liệu trong một kho dữ liệu lớn" được gọi là Mart[mà ta thường gọi là data mart là từ đây, năm 2002] - tức là tiếp cận theo hướng tổ chức lại theo một mục đích nào đó [tỉ như kinh doanh, kho,..] và sử dụng "Enterprise Standard Data Bus" [sẽ bàn về cụm từ này trong các phần tiếp theo] và đây là phương pháp tiếp cận Buttom-Up

2 cụ đã đi theo hai trường phái khác nhau, giống giống nhau, đối đối lập nhau, và .... và bổ sung cho nhau [chúng ta sẽ đi sâu vào so sánh ở các bài sau] - nhưng tại sao chúng ta lại biết nhiều đến Data Mart, Dimemsional hơn là Enterprise Warehouse. Đơn giản là vì Enterprise Warehouse hơi khó hiểu, và khó vận hành hơn cho các nhà tư vấn, cùng với các IT

• Techblog
• Kiến thức cơ bản

Data warehouse là gì? Kiến thức cơ bản về kho dữ liệu

Tin Tức

Chiptl

1667

18-05-2022

Trong môi trường doanh nghiệp đang thay đổi nhanh chóng như hiện nay, các tổ chức đang có xu hướng chuyển sang sử dụng các công nghệ dựa trên đám mây để thu thập, báo cáo và phân tích dữ liệu được thuận tiện hơn. Đây là lúc Data warehouse xuất hiện như một thành phần cốt lõi của trí tuệ kinh doanh [Business Intelligence] cho phép các doanh nghiệp nâng cao hiệu suất của mình. Điều quan trọng là phải hiểu kho dữ liệu là gì và tại sao nó lại phát triển trên thị trường toàn cầu.

Trong bài viết này, Bizfly Cloudsẽ cung cấp tổng quan về Kho dữ liệu - khám phá các khái niệm chính như kiến trúc kho dữ liệu, đặc điểm của kho dữ liệu, quản lý dữ liệu là gì, lợi ích của kho dữ liệu và các ứng dụng kho dữ liệu. Cùng tìm hiểu nhé!

1. Data warehouse là gì?

Data warehouse hay Kho dữ liệu là một loại hệ thống quản lý dữ liệu được thiết kế để kích hoạt và hỗ trợ các hoạt động kinh doanh thông minh [BI], đặc biệt là phân tích. Data warehouse chỉ nhằm mục đích thực hiện các truy vấn và phân tích và thường chứa một lượng lớn dữ liệu lịch sử.

Khả năng phân tích của nó cho phép các tổ chức thu được những hiểu biết kinh doanh có giá trị từ dữ liệu của họ để cải thiện việc ra quyết định. Theo thời gian, nó xây dựng một hồ sơ lịch sử có thể là vô giá đối với các nhà khoa học dữ liệu và nhà phân tích kinh doanh.

Khái niệm về Data warehouse đã tồn tại từ những năm 1980, khi nó được phát triển để giúp chuyển đổi dữ liệu từ cung cấp năng lượng cho các hoạt động sang cung cấp năng lượng cho các hệ thống hỗ trợ quyết định thể hiện trí tuệ kinh doanh. Data warehouse tập trung và tổng hợp một lượng lớn dữ liệu từ nhiều nguồn như tiếp thị, bán hàng, tài chính, ứng dụng hướng tới khách hàng, và các hệ thống đối tác bên ngoài...

Ở cấp độ kỹ thuật, kho dữ liệu định kỳ lấy dữ liệu từ các ứng dụng và hệ thống đó; sau đó, dữ liệu trải qua quá trình định dạng và nhập để khớp với dữ liệu đã có trong kho. Data warehouse lưu trữ dữ liệu đã xử lý này để sẵn sàng cho những người ra quyết định truy cập. Tần suất kéo dữ liệu xảy ra hoặc cách dữ liệu được định dạng, v.v., sẽ khác nhau tùy thuộc vào nhu cầu của tổ chức.

2. Đặc điểm chính của Data warehouse

• Hướng chủ đề [Subject-Oriented]

Data warehouse cung cấp thông tin phục vụ cho một chủ thể cụ thể thay vì các hoạt động liên tục của toàn tổ chức. Các chủ đề đó có thể là bán hàng, khuyến mãi, hàng tồn kho,… Ví dụ, nếu bạn muốn phân tích dữ liệu bán hàng của công ty, bạn cần xây dựng một kho dữ liệu tập trung vào việc bán hàng. Một nhà kho như vậy sẽ cung cấp những thông tin có giá trị như “ai là khách hàng tốt nhất của bạn năm ngoái?” hoặc “ai có khả năng trở thành khách hàng tốt nhất của bạn trong năm tới?”

• Được tích hợp [Integrated]

Data warehouse được phát triển bằng cách tích hợp dữ liệu từ nhiều nguồn khác nhau thành một định dạng nhất quán. Dữ liệu phải được lưu trữ trong kho một cách nhất quán và được mọi người chấp nhận về cách đặt tên, định dạng và mã hóa. Điều này tạo điều kiện cho việc phân tích dữ liệu hiệu quả.

• Bất biến [Non-volatile]

Dữ liệu một khi được nhập vào kho dữ liệu phải không thay đổi. Tất cả dữ liệu ở chế độ chỉ đọc [read-only]. Dữ liệu trước đó không bị xóa khi nhập dữ liệu hiện tại. Điều này giúp bạn phân tích những gì đã xảy ra và khi nào. Data warehouse tách biệt với cơ sở dữ liệu hoạt động, có nghĩa là bất kỳ thay đổi thường xuyên nào trong cơ sở dữ liệu hoạt động sẽ không được nhìn thấy trong kho dữ liệu.

• Có gán nhãn thời gian [Time-Variant]

Dữ liệu được lưu trữ trong Data warehouse cung cấp thông tin từ một thời điểm lịch sử cụ thể; do đó, dữ liệu được phân loại với một khung thời gian cụ thể. Ví dụ về Time-Variant trong Data warehouse được hiển thị trong Primary Key có yếu tố thời gian như ngày, tuần hoặc tháng.

3. Các loại Data warehouse

Có ba loại kho dữ liệu chính:

3.1. Kho dữ liệu doanh nghiệp [EDW - Enterprise Data Warehouse]

Kho dữ liệu doanh nghiệp đóng vai trò là cơ sở dữ liệu chính hoặc trung tâm tạo điều kiện thuận lợi cho việc ra quyết định trong toàn doanh nghiệp. Các lợi ích chính của việc có EDW bao gồm quyền truy cập vào thông tin liên tổ chức, khả năng chạy các truy vấn phức tạp và hỗ trợ các thông tin chi tiết phong phú, có tầm nhìn xa để đưa ra các quyết định dựa trên dữ liệu và đánh giá rủi ro sớm.

3.2. Kho dữ liệu hoạt động [ODS - Operational Data Store]

Trong ODS, Data Warehouse làm mới theo thời gian thực. Do đó, các tổ chức thường sử dụng nó cho các hoạt động doanh nghiệp thông thường, chẳng hạn như lưu trữ hồ sơ của nhân viên. Các quy trình nghiệp vụ cũng sử dụng ODS làm nguồn cung cấp dữ liệu cho EDW.

3.3. Data Mart

Data mart là một tập hợp con của Data Warehouse được xây dựng để duy trì một bộ phận, khu vực hoặc đơn vị kinh doanh cụ thể. Mỗi bộ phận của doanh nghiệp đều có một kho lưu trữ trung tâm hoặc trung tâm dữ liệu để lưu trữ dữ liệu. Dữ liệu từ data mart được lưu trữ định kỳ trong ODS. Sau đó, ODS sẽ gửi dữ liệu đến EDW, nơi nó được lưu trữ và sử dụng.

4. Lợi ích của Data Warehouse

Rất nhiều doanh nghiệp thắc mắc tại sao dữ liệu lưu trữ là cần thiết. Cách đơn giản nhất để giải thích điều này là thông qua các lợi ích khác nhau cho người dùng cuối:

• Cải thiện quyền truy cập của người dùng cuối vào nhiều loại dữ liệu doanh nghiệp
• Tăng tính nhất quán của dữ liệu
• Tài liệu bổ sung về dữ liệu
• Có khả năng giảm chi phí điện toán và tăng năng suất
• Cung cấp một nơi để kết hợp dữ liệu liên quan từ các nguồn riêng biệt
• Tạo cơ sở hạ tầng điện toán có thể hỗ trợ những thay đổi trong hệ thống máy tính và cấu trúc kinh doanh
• Trao quyền cho người dùng cuối thực hiện các truy vấn hoặc báo cáo đặc biệt mà không ảnh hưởng đến hiệu suất của hệ thống hoạt động

Các công ty có team Data Warehouse chuyên dụng nổi lên trước những công ty khác trong các lĩnh vực chính là phát triển sản phẩm, định giá, tiếp thị, thời gian sản xuất, phân tích lịch sử, dự báo và sự hài lòng của khách hàng. Mặc dù Data Warehouse có thể hơi tốn kém, nhưng về lâu dài giá trị mang lại là xứng đáng.

5. Ứng dụng của Data Warehouse trong thực tế

Dữ liệu lớn đã trở thành một phần quan trọng trong việc thực hiện lưu trữ dữ liệu và kinh doanh thông minh trong một số ngành. Hãy xem qua một số ví dụ về lưu trữ dữ liệu trong các lĩnh vực khác nhau coi đó là một phần thiết yếu trong hoạt động hàng ngày của họ.

• Lĩnh vực đầu tư và bảo hiểm

Data Warehouse chủ yếu được sử dụng để phân tích xu hướng của khách hàng và thị trường cũng như các mẫu dữ liệu khác trong lĩnh vực đầu tư và bảo hiểm. Thị trường ngoại hối và thị trường chứng khoán là hai phân ngành chính trong đó kho dữ liệu đóng một vai trò quan trọng bởi vì một điểm khác biệt có thể dẫn đến tổn thất lớn trên diện rộng. Data Warehouse thường được chia sẻ trong các lĩnh vực này và tập trung vào truyền dữ liệu thời gian thực.

• Hệ thống bán lẻ

Data Warehouse chủ yếu được sử dụng để phân phối và tiếp thị trong lĩnh vực bán lẻ để theo dõi các mặt hàng, kiểm tra chính sách giá cả, theo dõi các giao dịch khuyến mại và phân tích xu hướng mua hàng của khách hàng. Các chuỗi bán lẻ thường kết hợp hệ thống EDW cho nhu cầu dự báo và BI.

• Chăm sóc sức khỏe

Data Warehouse được sử dụng để dự báo kết quả, tạo báo cáo điều trị và chia sẻ dữ liệu với các nhà cung cấp bảo hiểm, phòng nghiên cứu và các đơn vị y tế khác trong lĩnh vực chăm sóc sức khỏe. EDW là trụ cột của hệ thống chăm sóc sức khỏe vì thông tin điều trị cập nhật, mới nhất là rất quan trọng trong cứu chữa.

Với các nguồn dữ liệu ngày càng lớn, các doanh nghiệp trong tương lai cần phải đưa ra những phân tích và hiểu biết dữ liệu tốt hơn. Các tổ chức có thể nhận được nhiều hơn từ nỗ lực phân tích của họ bằng cách vượt ra ngoài cơ sở dữ liệu đơn giản và bước vào thế giới kho dữ liệu. Việc tìm ra giải pháp Data Warehouse phù hợp với nhu cầu kinh doanh có thể tạo nên sự khác biệt trong việc một công ty phục vụ khách hàng và phát triển hoạt động của mình một cách hiệu quả như thế nào.

SHARE

Facebook

Twitter