Phương pháp gom cụm trong khai phá dữ liệu - Data Mining

Discussion in 'Giải pháp ERP, CRM, EPM and BI' started by tableau, Aug 18, 2014.

  1. tableau

    tableau Well-Known Member

    Phương pháp gom cụm - Clustering
    • Tình huống
      • Hỗ trợ giai đoạn tiền xử lý dữ liệu
      • Mô tả sự phân bố dữ liệu và đối tượng
      • Nhận dạng mẫu
      • Phân tích dữ liệu không gian
      • Xử lý ảnh
      • Phân mảnh thị trường
      • Gom cụm tài liệu
    • Khái quát
      • Quá trình gom nhóm/cụm dữ liệu hoặc đối tượng vào các lớp/cụm
      • Các đối tượng trong cùng một cụm tương tự/tương đồng với nhau hơn so với các đối tượng ở các cụm khác
    GomCum_Clustering01.png
     
    Quynh Ly and Hienlt like this.
  2. Loading...

    Similar Threads Forum Date
    Ưu và nhược điểm của phương pháp khảo sát trực tuyến Insight Survey Sep 17, 2017
    Phương pháp tính giá xuất kho Finance and Operations Jun 22, 2017
    Phương pháp học của tỷ phú Elon Musk Thư giãn giải trí Nov 24, 2016
    Phương pháp tiếp cận Business Intelligence Giải pháp ERP, CRM, EPM and BI Sep 28, 2015
    Phương pháp luận triển khai CRM Giải pháp ERP, CRM, EPM and BI Dec 1, 2014

  3. tableau

    tableau Well-Known Member

    Phương pháp gom cụm:
    • Input:
      • Tập dữ liệu mẫu X
      • Độ đo d(x,y)
    • Output:
      • Tập các cụm
    • Định nghĩa:
      • Cụm
      • Độ đo
     
    Quynh Ly and Hienlt like this.
  4. tableau

    tableau Well-Known Member

    Phương pháp gom cụm:
    • Ý nghĩa:
      • Khảo sát sự phân bố của tập dữ liệu mẫu
      • Làm bước tiền xử lý cho các thuật toán khác
    • Ứng dụng:
      • Tiếp thị:
        • Khám phá các nhóm khách hàng phân biệt trong CSDL mua hàng
      • Sử dụng đất:
        • Nhận dạng các vùng đất sử dụng giống nhau khi khảo sát CSDL quả đất
      • Bảo hiểm:
        • Nhận dạng các nhóm công ty có chính sách bảo hiểm ô tô với chi phí đền bù trung bình cao
      • Hoạch định thành phố:
        • Nhận dạng các nhóm nhà cửa theo loại nhà, giá trị và vị trí địa lý
    GomCumNhaO.jpg
     
    Quynh Ly and Hienlt like this.
  5. tableau

    tableau Well-Known Member

    Gom cụm có 2 phương pháp:
    • Phương pháp phân hoạch
    • Phương pháp phân cấp
    Ứng với mỗi phương pháp sẽ có điều kiện áp dụng riêng và phụ hợp với tập mẫu được chọn.
     
    Hienlt likes this.
  6. tableau

    tableau Well-Known Member

    Phương pháp phân hoạch:
    • Input:
      • Tập dữ liệu mẫu X
      • Số cụm K
      • Hàm độ đo
    • Output:
      • Phân hoạch của X gồm k lớp tương đương (k cụm)
     
    Hienlt likes this.
  7. tableau

    tableau Well-Known Member

    Phương pháp phân hoạch:
    Các bước thực hiện:
    • B1: Chọn (bất kỳ) k phần tử của X làm các tâm ban đầu
    • B2: Với mỗi phần tử còn lại của X
      • Gán phần tử này vào cụm có tâm gần nhất
      • Tính toán lại tâm của các cụm
    • B3: Nếu không có sự thay đổi nào của các tâm thì quay lại B2.
     
    Hienlt likes this.
  8. tableau

    tableau Well-Known Member

    Phương pháp phân hoạch:
    Ví dụ:
    Khảo sát các bảng dữ liệu về nồng độ pH và trọng lượng của một số loại thuốc

    PPPhanHoach01.png PPPhanHoach02.png
    Phân hoạch tập mẫu thành 2 nhóm:
    B1: Chọn ngẫn nhiên hai điểm làm tâm cho mỗi nhóm: (1,1) và (2,1).
    PPPhanHoach03.png
    Sử dụng độ đo Euclide.
    B2.1: Tính khoảng cách từ các điểm đến các tâm
    PPPhanHoach04.png
    B2.2: Tính lại tâm của các nhóm, theo trung bình tọa độ.
    PPPhanHoach05.png
     
    Quynh Ly and Hienlt like this.
  9. tableau

    tableau Well-Known Member

    Phương pháp phân hoạch(tt):
    Ví dụ:

    Có sự thay đổi các điểm giữa các nhóm, nên lặp lại Bước 2
    PPPhanHoach06.png PPPhanHoach07.png
    Có sự thay đổi các điểm giữa các nhóm, nên lặp lại bước 2
    PPPhanHoach08.png
    Không có sự thay đổi của nhóm. Kết thúc thuật toán.
    PPPhanHoach09.png
     
    Hienlt likes this.
  10. tableau

    tableau Well-Known Member

    Phương pháp phân cấp:
    • Input:
      • Tập dữ liệu mẫu X
      • Số cụm k
      • Hàm độ đo
    • Output:
      • Phân hoạch của X gồm k lớp tương đương (k cụm)
     
    Hienlt likes this.
  11. tableau

    tableau Well-Known Member

    Phương pháp phân cấp
    Các bước thực hiện:

    • B1: Gán N phần tử vào N nhóm
    • B2: Xây dựng ma trận khoảng cách M giữa các nhóm
    • B3: Tìm cặp nhóm gần nhau nhất, gom hai nhóm này lại thành một
    • B4: Nếu số nhóm đạt đến k --> Kết thúc thuật toán, ngược lại quay về B2.
     
    Hienlt likes this.
  12. tableau

    tableau Well-Known Member

    Phương pháp phân cấp
    Ví dụ:
    Khảo sát khoảng cách giữa 6 thành phố, thực hiện phân nhóm với k = 2.
    PPPhanCap01.png
    Xây dựng bảng khoảng cách giữa các nhóm
    PPPhanCap02.png
    Cặp nhóm ngắn nhất là d(1,6) = 138.
    Gom nhóm 1 và 6 thành một nhóm. Số nhóm hiện tại là 5.
    PPPhanCap03.png
    Xây dựng lại bảng khoảng cách giữa các nhóm
    PPPhanCap04.png
     
    Hienlt likes this.
  13. tableau

    tableau Well-Known Member

    Phương pháp phân cấp(tt)
    Cặp nhóm ngắn nhất là d(4,5) = 219.
    Gom nhóm 4 và 5 thành một nhóm. Số nhóm hiện tại là 4
    PPPhanCap05.png
    Xây dựng lại bảng khoảng cách giữa các nhóm
    PPPhanCap06.png
     
    Quynh Ly and Hienlt like this.
  14. tableau

    tableau Well-Known Member

    Phương pháp phân cấp(tt)
    Cặp nhóm ngắn nhất là d(1,4) = 255.
    Gom nhóm 1 và 4 thành một nhóm. Số nhóm hiện tại là 3
    PPPhanCap07.png
    Xây dựng lại bảng khoảng cách giữa các nhóm
    PPPhanCap08.png
     
    Hienlt likes this.
  15. tableau

    tableau Well-Known Member

    Phương pháp phân cấp(tt)
    Cặp nhóm ngắn nhất là d(1,2) = 268.
    Gom nhóm 1 và 2 thành một nhóm. Số nhóm hiện tại là 2
    PPPhanCap09.png
    Số nhóm đã bằng 2, nên kết thúc thuật toán.
    PPPhanCap10.png
     
    tableau, tableau and tableau like this.

Share This Page