Tại sao tôi lại cần data warehouse?

Discussion in 'Giải pháp ERP, CRM, EPM and BI' started by bsdinsight, Aug 15, 2014.

  1. bsdinsight

    bsdinsight Well-Known Member

    Business Intelligence chỉ là một hệ thống báo cáo, dữ liệu tôi đã có đủ rồi, tại sao tôi lại cần Data Warehouse nữa để làm gì? câu hỏi đặt ra tưởng chừng như rất dễ trả lời, và giải thích trong 1, 2 câu nói nhưng lại không đơn giản.

    Mọi thiết kế của các giáo trình về Business Intelligence từ lý thuyết cho đến thực hành đều dính lếu tới Data Warehouse này vậy - và chắc chắn nó có một vị trí quan trọng trong quá trình triển khai giải pháp Business Intelligence của bạn.

    Mọi doanh nghiệp để có được sự thành công của mình, nhất thiết phải cần vào sự quyết định đúng đắn của các nhà quản trị của doanh nghiệp đó - việc quyết định của nhà quản trị phải dựa trên các số liệu liên quan, và một minh chứng khoa học để đi đến quyết định đó, và cách tốt nhất để có nhanh được các dữ liệu liên quan, và tìm kiếm các minh chứng khoa học này là nhà quản trị phải có một kho dữ liệu được sắp xếp một cách khoa học - và đây là lý do cơ bản nhất mà bạn cần có Data Warehouse cho bạn.

    Đề tài này chúng ta sẽ đi nghiên cứu sâu hơn về câu hỏi tại sao bạn lại cần Data Warehouse cho mình -và hình sau đây là một thiết kế thường thấy ở các giải pháp Business Intelligence.

    tai sao toi can data warehouse.png
     
  2. Loading...


  3. tableau

    tableau Well-Known Member

    Một số lý do doanh nghiệp cần phải có Data Warehouse:
    • Đối với các tổ chức có lượng dữ liệu ngày càng lớn thì càng khó truy cập và sử dụng dữ liệu.
    • Dữ liệu trong nhiều định dạng khác nhau, tồn tại trên nhiều nền tảng khác nhau, và lưu trữ trong nhiều tập tin khác nhau, cấu trúc cơ sở dữ liệu khác nhau được phát triển bởi các nhà cung cấp khác nhau.
    • Tổ chức phải viết và duy trì hàng trăm chương trình để trích xuất, chuẩn bị, hợp nhất dữ liệu để sử dụng cho nhiều chương trình khác nhau dùng để phân tích và báo cáo.
    • Người ra quyết định muốn khai thác sâu hơn vào các dữ liệu.
    • Điều này dẫn đến các yêu cầu phát triển chương trình trích xuất mới hơn. Quá trình này rất tốn kém, không hiệu quả và tốn thời gian. Data Warehousing cung cấp một phương pháp tiếp cận tốt hơn.
    • Data Warehousing thực hiện quá trình truy cập dữ liệu từ các nguồn không đồng nhất; làm sạch, lọc và chuyển đổi dữ liệu; lưu trữ dữ liệu theo cấu trúc để dễ dàng truy cập, hiểu rõ và sử dụng.
    • Dữ liệu sau đó được dùng để truy vấn, báo cáo và phân tích dữ liệu.
    • Khối lượng dữ liệu trong kho dữ liệu có thể rất lớn, đặc biệt khi xem xét các yêu cầu phân tích dữ liệu mang tính lịch sử.
    • Chương trình phân tích dữ liệu đòi hỏi phải quét qua khối lượng dữ liệu rất lớn, có thể dẫn đến kết quả không tốt cho các ứng dụng hoạt động.
    • Do đó có một yêu cầu tách riêng hai môi trường để giảm thiểu xung đột và sự xuống cấp của hiệu suất trong môi trường hoạt động.
    DataWarehousing01.png
     
  4. bsdinsight

    bsdinsight Well-Known Member

    Hướng dịch vụ

    Trong DW dữ liệu được sắp xếp theo từng dịch vụ, chủ đề quản trị của doanh nghiệp chứ không phân tán như các ứng dụng truyền thống. Mổi dịch vụ, mổi chủ đề tập hợp lại nhiều quy trình liên quan với nhau, có mối quan hệ mắt xích với nhau, để tạo ra một góc nhìn tổng thể cho doanh nghiệp chứ không riêng gì một khía cạnh. Các dịch vụ này được chi tiết theo từng nghiệp vụ nên cho phép các nhà phân tích có thể truy hồi đến từng hoạt động chi tiết và các hoạt động phân tích.

    Dữ liệu truyền thống tập trung vào việc ghi nhận dữ liệu hằng ngày trong doanh nghiệp, cách tiếp cận này khác hoàn toàn với DW. Dữ liệu truyền thống quản lý chi tiết cho từng hoạt động cụ thể: khách hàng, nhà cung cấp, sản phẩm, nhân viên, tài khoản, mua hàng, bán hàng… trong khi DW sẽ tập hợp tất cả các thông tin liên quan. Chẳng hạn, đối với hệ thống ERP truyền thống khách hàng thường xuất hiện trong Account receivable (kế toán các khoản phải thu), nhưng hoàn toàn có thể xuất hiện trong AP (kế toán các khoản phải trả), và để giải quyết bài toán này hệ thống ERP sẽ định nghĩa ra 2 mã hoàn toàn khác nhau, và xuất hiện trên 2 hệ thống. Tuy nhiên, khi đưa về DW để phân tích thì bạn không quan tâm vào việc xuất hiện ở AR, AP mà bạn sẽ phân tích theo chủ đề khách hàng, khi đó góc nhìn quản trị sẽ trở nên tổng quát hơn.

    Tích hợp hệ thống

    Như đề cập bên trên, DW là tích hợp các dữ liêu lại với nhau theo một chủ đề cụ thể chứ không phải là các hoạt động chi tiết theo các hoạt động của doanh nghiệp. Việc tích hợp này có thể nói đơn giản là di chuyền dữ liệu từ database của các hệ thống đang vận hành của doanh nghiệp (ERP, CRM, SCM, HCM…) vào data warehouse đã được thiết kế. Nhưng những nhà thiết kế DW, cần phải mở rộng lý thuyết này, DW không chỉ là dữ liệu nội bộ mà là dữ liệu lấy từ bên ngoài, chẳng hạn như là thông tin của khách hàng và nhà cung cấp trên các thị trường chứng khoán. Bạn cần có các thông tin như vậy để tích hợp vào DW mà phân tích, chứ không đơn thuần là lấy cái cục dữ liệu trở nên tĩnh lặng ở các hệ thống truyền thống của doanh nghiệp.

    Mục tiêu lớn nhất của DW là hổ trợ việc ra quyết định, dữ liệu chứa thông tin tổng hợp hơn là chi tiết hoặc là từng giao dịch độc lập. Dữ liệu được tập hợp từ nhiều nguồn và lưu trữ với trong khoản thời gian dài.

    Lưu ý: việc tích hợp dữ liệu không phải là gom các dữ liệu nhỏ thành cái cục dữ liệu bự trà bá rồi lưu vào cái gọi là nhà kho dữ liệu, mà đó là một quy trình có 2 bước cực kỳ quan trọng: chuyển dữ liệu và có tính toán lại. Việc chuyển và tính toán này đòi hỏi một kinh nghiệm từng trải cực kỳ sâu sắc của những nhà thiết kế DW mới có thể tối ưu được nguồn lực của hệ thống.

    Bạn chỉ cần tính toan sai một chi tiết nhỏ trong khi thiết kế, thì hệ thống của bạn sẽ chậm ngày tức khắc, thậm chí là không thể hoạt động được 60% công suất thiết kế mong đợi. Và những nhà thiết kế DW sẽ chiến thắng nhau ở nút thắc này nhe các bạn.

    Không chỉnh sửa dữ liệu

    Hãy khẳng định một điều như đinh đống vào cột là khi làm việc trên data warehouse thì đừng chỉnh sửa dữ liệu. Dữ liệu lưu trữ trong một số hệ thống data truyền thống có thể được điều chỉnh hoặc là xóa, nhưng trong DW thì không thể. Bạn có thể thêm vào một dữ liệu mới khi nhận được thông tin điều chỉnh từ các hệ thống truyền thống.

    Ví dụ: bạn chỉ cần thay đổi thông tin về số thẻ tín dụng của một khách hàng trên hệ thống quản lý bán hàng của bạn, thì bạn cần phải thêm một thông tin mới trên DW chứ không thể cập nhật trực tiếp vào thông tin của khách hàng đã tồn tại. Nếu thay đổi và được cập nhật trực tiếp vào thông tin hiện tại, thì DW của bạn không còn một ý nghĩa nào hết về phân tích.

    Việc cập nhật dữ liệu, không phải là tuyệt đối, nhưng bạn hãy tuyệt đối đừng thay đổi dữ liệu, đó là mong muốn của tất cả DW, tôi thật lòng khuyên các bạn khi thiết kế DW đó đó, còn không nghe là chuyện của các bạn. hehehe

    Phân tích đa chiều theo thời gian

    Phân tích theo thời gian là một sức mạnh của data warehouse, các dữ liệu trên hệ thống truyền thống được lưu trữ vào DW theo nhiều chiều phân tích theo thời gian.

    Trên các dữ liệu truyền thống việc phân tích theo nhiều chiều thời gian phức tạp là điều không thể (cấu trúc dữ liệu không cho phép)

    Ở DW khi bạn vừa chuyển đổi dữ liệu, và được tính toán lại như được phân tích bên trên, thì các chiều phân tích theo thời gian đã hoàn thành và chuẩn bị sẳn sàng cho nhà quản trị phân tích, điều mà các hệ thống truyền thống khó có thể đáp ứng được.

    Lịch sử lưu trữ dữ liệu

    Không giống như các hệ thống hoạt động của doanh nghiệp yêu cầu phải dữ liệu tức thời, DW quan tâm đến khoản thời gian dài, và dữ liệu có tính lịch sử. DW có lưu lượng dữ liệu lớn, trong khoản thời gian dài. Nếu phân tích trong khoản thời gian ngắn, và dữ liệu "ít" thì thôi dùng cái "cục" data được rồi không cần phải xây dựng cái DW chi cho tốn tiền xây nhà kho nhe. Em mua bán tạp hóa nhỏ lẻ thì em lấy ngay cái mặt tiền làm cái chổ bán hàng chứ hok cần phải xây cái nahf kho chi cho tốn kém - là một điều kiện cơ bản cho kinh doanh rồi.

    Các dữ liệu được sắp xếp làm sao có thông tin của các dữ liệu nguồn chi tiết, và các dữ liệu tổng hợp được tính toán sẳn để đáp ứng nhu cầu phân tích tức thời. Các dữ liệu tổng hợp này được tạo ra và lưu trữ sẳn sàng để giảm các tính toán làm nghẽn cục bộ cho hệ thống khi cần phân tích.

    Việc lưu trữ dữ liệu này rất quan trọng cho các phân tích mang tích chất xu hướng, dự đoán các hoạt đọng của tương lai, điều mà các hệ thống hoạt động truyền thống không thể làm được.

    Trên là các tính năng cơ bản cho một DW cần phải mang và ôm trong mình, khi và chỉ khi đáp ứng được 5 món bên trên thì bạn mới có được một sản phẩm DW đáp ứng được nhu cầu quản trị doanh nghiệp.
     
    giangdoan likes this.
  5. giangdoan

    giangdoan New Member

    Cảm ơn bạn đã giải thích thật dễ hiểu
     

Share This Page