0204-clustering-shopping-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "bf4278a1",
   "metadata": {},
   "source": [
    "🌱 인프런 📚 모두의 한국어 텍스트 분석과 자연어처리 with 파이썬 🐍 https://inf.run/FX4TP\n",
    "\n",
    "\n",
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/python-text-analysis/blob/main/0204-clustering-shopping-input.ipynb)\n",
    "\n",
    "## 라이브러리 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "22aab1e4",
   "metadata": {
    "executionInfo": {
     "elapsed": 499,
     "status": "ok",
     "timestamp": 1695352149111,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "22aab1e4"
   },
   "outputs": [],
   "source": [
    "# pandas, numpy\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3b055aad",
   "metadata": {},
   "outputs": [],
   "source": [
    "# 시각화 관련 matplotlib, seaborn, koreanize_matplotlib\n",
    "# !pip install koreanize-matplotlib\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3d71e321",
   "metadata": {
    "id": "3d71e321"
   },
   "source": [
    "## 텍스트 데이터 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "15baea1a",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 927
    },
    "executionInfo": {
     "elapsed": 790,
     "status": "ok",
     "timestamp": 1695352188367,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "15baea1a",
    "outputId": "3312e973-8790-41f9-bcb7-70511aa24ef7",
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "cf65c2e8",
   "metadata": {},
   "outputs": [],
   "source": [
    "# product unique\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "30d770be",
   "metadata": {},
   "outputs": [],
   "source": [
    "# value_counts\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "73faa185",
   "metadata": {},
   "outputs": [],
   "source": [
    "# countplot\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d581269a",
   "metadata": {
    "id": "d581269a"
   },
   "source": [
    "## TF-IDF\n",
    "* https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "513cd25f",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 74
    },
    "executionInfo": {
     "elapsed": 439,
     "status": "ok",
     "timestamp": 1695359628065,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "513cd25f",
    "outputId": "2e70c67a-179e-46e5-d4f3-890c4ca6f659"
   },
   "outputs": [],
   "source": [
    "# TfidfVectorizer\n",
    "# tfidfvect"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "8be6019b",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 5,
     "status": "ok",
     "timestamp": 1695359628527,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "8be6019b",
    "outputId": "abd13324-2eb8-43b3-98f3-d768fe9b54c3"
   },
   "outputs": [],
   "source": [
    "# dtm_tfidf\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c4159275",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 773,
     "status": "ok",
     "timestamp": 1695359649205,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "c4159275",
    "outputId": "4a00662f-81d2-4318-c024-e3415568bcd8"
   },
   "outputs": [],
   "source": [
    "# df_dtm_tfidf\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "48e10f0a",
   "metadata": {
    "id": "48e10f0a"
   },
   "source": [
    "## 군집화\n",
    "\n",
    "## KMeans\n",
    "\n",
    "* [2.3. Clustering — scikit-learn documentation](https://scikit-learn.org/stable/modules/clustering.html#k-means)\n",
    "*\n",
    "https://scikit-learn.org/stable/auto_examples/cluster/plot_kmeans_silhouette_analysis.html"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7e6ed957",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 354,
     "status": "ok",
     "timestamp": 1695359495845,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "7e6ed957",
    "outputId": "0028f13c-d1eb-4f38-9089-04ca48a11897"
   },
   "outputs": [],
   "source": [
    "# X"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "abf7f5bd",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 642
    },
    "executionInfo": {
     "elapsed": 30548,
     "status": "error",
     "timestamp": 1695359526847,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "abf7f5bd",
    "outputId": "df96e47d-8164-4f8f-9902-e7700d19faad"
   },
   "outputs": [],
   "source": [
    "# cluster.KMeans, metrics.silhouette_score 불러오기\n",
    "# rfm_norm 값을 학습하고\n",
    "# elbow 값을 보기위해 inertia_ 값을 리스트로 만듭니다.\n",
    "# silhouette_score(X, kmeans.labels_) 값도 리스트로 만듭니다.\n",
    "\n",
    "\n",
    "# KMeans(\n",
    "#     n_clusters=8,\n",
    "#     *,\n",
    "#     init='k-means++',\n",
    "#     n_init=10,\n",
    "#     max_iter=300,\n",
    "#     tol=0.0001,\n",
    "#     verbose=0,\n",
    "#     random_state=None,\n",
    "#     copy_x=True,\n",
    "#     algorithm='lloyd',\n",
    "# )\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a69ca946",
   "metadata": {
    "id": "a69ca946"
   },
   "source": [
    "## Elbow Method\n",
    "\n",
    "* Number of clusters\n",
    "* Within-Cluster Sum of Square"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "943c045a",
   "metadata": {
    "executionInfo": {
     "elapsed": 3,
     "status": "aborted",
     "timestamp": 1695359526848,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "943c045a"
   },
   "outputs": [],
   "source": [
    "plt.figure(figsize=(15,4))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e9d28992",
   "metadata": {
    "id": "e9d28992"
   },
   "source": [
    "## Silhouette Score\n",
    "\n",
    "\n",
    "군집화 평가 방법으로 실루엣 분석(Shilhouette Analysis)이 있습니다. 실루엣 분석은 각 군집 간의 거리가 얼마나 효율적으로 분리돼 있는지를 나타냅니다. 효율적으로 잘 분리됐다는 것은 다른 군집과의 거리는 떨어져 있고 동일 군집끼리의 데이터는 서로 가깝게 잘 뭉쳐 있다는 의미입니다. 군집화가 잘 될수록 개별 군집은 비슷한 정도의 여유공간을 가지고 떨어져 있을 것입니다.\n",
    "\n",
    "* 좋은 군집화가 되기 위한 기준 조건\n",
    "    * 전체 실루엣 계수의 평균값, 즉 사이킷런의 silhouette_score() 값은 0~1 사이의 값을 가지며, 1에 가까울수록 좋습니다.\n",
    "    * 하지만 전체 실루엣 계수의 평균값과 더불어 개별 군집의 평균값의 편차가 크지 않아야 합니다. 즉, 개별 군집의 실루엣 계수 평균값이 전체 실루엣 계수의 평균값에서 크게 벗어나지 않는 것이 중요합니다. 만약 전체 실루엣 계수의 평균값은 높지만, 특정 군집의 실루엣 계수 평균값만 유난히 높고 다른 군집들의 실루엣 계수 평균값은 낮으면 좋은 군집화 조건이 아닙니다.\n",
    "\n",
    "* https://scikit-learn.org/stable/modules/clustering.html#silhouette-coefficient\n",
    "\n",
    "정답 레이블을 모르는 경우 모델 자체를 사용하여 평가를 수행해야 합니다. 실루엣 계수( sklearn.metrics.silhouette_score)는 이러한 평가의 한 예이며 실루엣 계수 점수가 높을수록 클러스터가 더 잘 정의된 모델과 관련됩니다. 실루엣 계수는 각 샘플에 대해 정의되며 두 가지 점수로 구성됩니다.\n",
    "\n",
    "* a : 샘플과 동일한 클래스의 다른 모든 점 사이의 평균 거리.\n",
    "* b : 표본과 다음으로 가장 가까운 군집 의 다른 모든 점 사이의 평균 거리\n",
    "* 단일 샘플에 대한 실루엣 계수 s 는 다음과 같이 주어집니다.\n",
    "    * `s = (b-a)/max(a,b)`\n",
    "    \n",
    "\n",
    "* 사이킷런의 실루엣 분석 메서드\n",
    "\n",
    "* https://scikit-learn.org/stable/auto_examples/cluster/plot_kmeans_silhouette_analysis.html\n",
    "\n",
    "* `silhouette_samples(X, labels, metric='euclidean', **kwds)` : X feature 데이터 세트와 각 feature데이터 세트가 속한 군집 레이블 값인 labels데이터를 입력해주면 각 데이터 포인트의 실루엣 계수를 계산해 반환합니다.\n",
    "* `silhouette_score(X, labels, metric='euclidean', sample_size=None, **kwds)`: 인자로 X feature데이터 세트와 각 feature 데이터 세트가 속한 레이블 값인 labels데이터를 입력해주면 전체 데이터의 실루엣 계수 값을 평균해 반환합니다. 즉 np.mean(silhouette_samples())입니다. 일반적으로 이 값이 높을수록 군집화가 어느 정도 잘 됐다고 판단할 수 있습니다. 하지만 무조건 이 값이 높다고 해서 군집화가 잘 됐다고 판단할 수는 없습니다.\n",
    "\n",
    "* https://scikit-learn.org/stable/modules/generated/sklearn.metrics.silhouette_score.html#sklearn.metrics.silhouette_score\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4b5addef",
   "metadata": {
    "executionInfo": {
     "elapsed": 2,
     "status": "aborted",
     "timestamp": 1695359526848,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "4b5addef"
   },
   "outputs": [],
   "source": [
    "# 실루엣 점수가 높은 클러스터 수는 데이터가 잘 그룹화되어 있음을 나타냅니다.\n",
    "plt.figure(figsize=(15, 4))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b05607c6",
   "metadata": {
    "id": "b05607c6"
   },
   "source": [
    "## 클러스터의 수를 정해서 군집화 하기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3e94c16b",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 74
    },
    "executionInfo": {
     "elapsed": 2269,
     "status": "ok",
     "timestamp": 1695359689234,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "3e94c16b",
    "outputId": "2592398f-5e20-4da6-b1c4-ca6d8778fc59"
   },
   "outputs": [],
   "source": [
    "n_clusters = 4\n",
    "# kmeans"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "8BdTMNHH5pHt",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 473,
     "status": "ok",
     "timestamp": 1695359704287,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "8BdTMNHH5pHt",
    "outputId": "b26cfb6f-9d04-451c-b6a1-6e3d75037347"
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b579488d",
   "metadata": {
    "executionInfo": {
     "elapsed": 8200,
     "status": "ok",
     "timestamp": 1695359712485,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "b579488d"
   },
   "outputs": [],
   "source": [
    "# silhouette_score 구하기\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "78be88a4",
   "metadata": {},
   "source": [
    "### 실루엣 분석 시각화 \n",
    "* https://scikit-learn.org/stable/auto_examples/cluster/plot_kmeans_silhouette_analysis.html"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5d65c7b3",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 473
    },
    "executionInfo": {
     "elapsed": 8910,
     "status": "ok",
     "timestamp": 1695359723514,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "5d65c7b3",
    "outputId": "dc81221b-8e4d-4202-dbe2-f95271f210c8"
   },
   "outputs": [],
   "source": [
    "# https://scikit-learn.org/stable/auto_examples/cluster/plot_kmeans_silhouette_analysis.html\n",
    "from sklearn.metrics import silhouette_samples\n",
    "import matplotlib.cm as cm\n",
    "\n",
    "# Create a subplot with 1 row and 2 columns\n",
    "fig, (ax1, ax2) = plt.subplots(1, 2)\n",
    "fig.set_size_inches(18, 7)\n",
    "\n",
    "# The 1st subplot is the silhouette plot\n",
    "# The silhouette coefficient can range from -1, 1 but in this example all\n",
    "# lie within [-0.1, 1]\n",
    "ax1.set_xlim([-0.1, 1])\n",
    "# The (n_clusters+1)*10 is for inserting blank space between silhouette\n",
    "# plots of individual clusters, to demarcate them clearly.\n",
    "ax1.set_ylim([0, len(X) + (n_clusters + 1) * 10])\n",
    "\n",
    "cluster_labels = kmeans.labels_\n",
    "sample_silhouette_values = silhouette_samples(X, cluster_labels)\n",
    "\n",
    "y_lower = 10\n",
    "for i in range(n_clusters):\n",
    "    # Aggregate the silhouette scores for samples belonging to\n",
    "    # cluster i, and sort them\n",
    "    ith_cluster_silhouette_values = sample_silhouette_values[cluster_labels == i]\n",
    "\n",
    "    ith_cluster_silhouette_values.sort()\n",
    "\n",
    "    size_cluster_i = ith_cluster_silhouette_values.shape[0]\n",
    "    y_upper = y_lower + size_cluster_i\n",
    "\n",
    "    color = cm.nipy_spectral(float(i) / n_clusters)\n",
    "    ax1.fill_betweenx(\n",
    "        np.arange(y_lower, y_upper),\n",
    "        0,\n",
    "        ith_cluster_silhouette_values,\n",
    "        facecolor=color,\n",
    "        edgecolor=color,\n",
    "        alpha=0.7,\n",
    "    )\n",
    "\n",
    "    # Label the silhouette plots with their cluster numbers at the middle\n",
    "    ax1.text(-0.05, y_lower + 0.5 * size_cluster_i, str(i))\n",
    "\n",
    "    # Compute the new y_lower for next plot\n",
    "    y_lower = y_upper + 10  # 10 for the 0 samples\n",
    "\n",
    "ax1.set_title(\"The silhouette plot for the various clusters.\")\n",
    "ax1.set_xlabel(\"The silhouette coefficient values\")\n",
    "ax1.set_ylabel(\"Cluster label\")\n",
    "\n",
    "# The vertical line for average silhouette score of all the values\n",
    "ax1.axvline(x=silhouette_avg, color=\"red\", linestyle=\"--\")\n",
    "\n",
    "ax1.set_yticks([])  # Clear the yaxis labels / ticks\n",
    "ax1.set_xticks([-0.1, 0, 0.2, 0.4, 0.6, 0.8, 1])\n",
    "\n",
    "# 2nd Plot showing the actual clusters formed\n",
    "colors = cm.nipy_spectral(cluster_labels.astype(float) / n_clusters)\n",
    "ax2.scatter(\n",
    "    X[:, 0], X[:, 1], marker=\".\", s=30, lw=0, alpha=0.7, c=colors, edgecolor=\"k\"\n",
    ")\n",
    "\n",
    "# Labeling the clusters\n",
    "centers = kmeans.cluster_centers_\n",
    "# Draw white circles at cluster centers\n",
    "ax2.scatter(\n",
    "    centers[:, 0],\n",
    "    centers[:, 1],\n",
    "    marker=\"o\",\n",
    "    c=\"white\",\n",
    "    alpha=1,\n",
    "    s=200,\n",
    "    edgecolor=\"k\",\n",
    ")\n",
    "\n",
    "for i, c in enumerate(centers):\n",
    "    ax2.scatter(c[0], c[1], marker=\"$%d$\" % i, alpha=1, s=50, edgecolor=\"k\")\n",
    "\n",
    "ax2.set_title(\"The visualization of the clustered data.\")\n",
    "ax2.set_xlabel(\"Feature space for the 1st feature\")\n",
    "ax2.set_ylabel(\"Feature space for the 2nd feature\")\n",
    "\n",
    "plt.suptitle(\n",
    "    \"Silhouette analysis for KMeans clustering on sample data with n_clusters = %d\"\n",
    "    % n_clusters,\n",
    "    fontsize=14,\n",
    "    fontweight=\"bold\",\n",
    ")\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "qas71XbOL68S",
   "metadata": {
    "executionInfo": {
     "elapsed": 294,
     "status": "ok",
     "timestamp": 1695359731008,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "qas71XbOL68S"
   },
   "outputs": [],
   "source": [
    "# df[\"kmeans\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "026ac426",
   "metadata": {},
   "source": [
    "### 실제 제품과 군집 비교"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4fc7d37a",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 206
    },
    "executionInfo": {
     "elapsed": 6,
     "status": "ok",
     "timestamp": 1695359732174,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "4fc7d37a",
    "outputId": "e52712c9-a09e-476c-9d85-29441244d9eb"
   },
   "outputs": [],
   "source": [
    "# crosstab product, kmeans\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b5fac138",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 465
    },
    "executionInfo": {
     "elapsed": 674,
     "status": "ok",
     "timestamp": 1695359760146,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "b5fac138",
    "outputId": "c967e63d-1286-4979-b75d-10a63575fc8c"
   },
   "outputs": [],
   "source": [
    "# countplot\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "887cd437",
   "metadata": {},
   "source": [
    "## 각 군집별 키워드 TF-IDF 값 합계 순위"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "PDdEula9OM9_",
   "metadata": {
    "executionInfo": {
     "elapsed": 5,
     "status": "ok",
     "timestamp": 1695359787689,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "PDdEula9OM9_"
   },
   "outputs": [],
   "source": [
    "# def kmeans_tfidf(no):\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "L-VzK8fBPnbo",
   "metadata": {
    "id": "L-VzK8fBPnbo"
   },
   "outputs": [],
   "source": [
    "# 군집별 TF-IDF 키워드 시각화\n",
    "\n"
   ]
  }
 ],
 "metadata": {
  "colab": {
   "provenance": [
    {
     "file_id": "1wcVKbIPzx14nlpHSTJWtcol8Bh73T41B",
     "timestamp": 1695352044574
    }
   ],
   "toc_visible": true
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}