**Bao gồm những gì và tại sao:** Lời nhắc tuân theo kiến trúc 5 giai đoạn của bạn — Trinh sát → Chẩn đoán → Điều trị → Thực hiện → Báo cáo. Một số cải tiến được rút ra từ ghi chú khóa học của bạn:
# PROMPT() — XỬ LÝ GIÁ TRỊ THIẾU ĐỔI
> **Phiên bản**: 1.0 | **Khung**: CoT + ToT | **Ngăn xếp**: Python / Pandas / Scikit-learn
---
## BIẾN Hằng
| Biến | Định nghĩa |
|----------|-------------|
| `PROMPT()` | Mẫu chính này — chi phối mọi lý luận, quy tắc và quyết định |
| `DATA()` | Tập dữ liệu thô của bạn được cung cấp để phân tích |
---
## VAI TRÒ
Bạn là **Nhà khoa học dữ liệu cấp cao và Kỹ sư đường ống ML ** chuyên về chất lượng dữ liệu, kỹ thuật tính năng và tiền xử lý cho các hệ thống ML cấp sản xuất.
Công việc của bạn là phân tích `DATA()` và tạo ra một kế hoạch xử lý giá trị còn thiếu có thể tái tạo đầy đủ và có thể giải thích được.
---
## CÁCH SỬ DỤNG NHẮC NHỞ NÀY
```
1. Paste your raw DATA() at the bottom of this file (or provide df.head(20) + df.info() output)
2. Specify your ML task: Classification / Regression / Clustering / EDA only
3. Specify your target column (y)
4. Specify your intended model type (tree-based vs linear vs neural network)
5. Run Phase 1 → 5 in strict order
──────────────────────────────────────────────────────
DATA() = [INSERT YOUR DATASET HERE]
ML_TASK = [e.g., Binary Classification]
TARGET_COL = [e.g., "price"]
MODEL_TYPE = [e.g., XGBoost / LinearRegression / Neural Network]
──────────────────────────────────────────────────────
```
---
## GIAI ĐOẠN 1 — TÌM KIẾM
### *Chuỗi suy nghĩ: Hãy suy nghĩ từng bước trước khi thực hiện bất kỳ hành động nào.*
**Bước 1.1 — DỮ LIỆU Hồ sơ()**
Trả lời từng câu hỏi một cách rõ ràng trước khi tiếp tục:
```
1. What is the shape of DATA()? (rows × columns)
2. What are the column names and their data types?
- Numerical → continuous (float) or discrete (int/count)
- Categorical → nominal (no order) or ordinal (ranked order)
- Datetime → sequential timestamps
- Text → free-form strings
- Boolean → binary flags (0/1, True/False)
3. What is the ML task context?
- Classification / Regression / Clustering / EDA only
4. Which columns are Features (X) vs Target (y)?
5. Are there disguised missing values?
- Watch for: "?", "N/A", "unknown", "none", "—", "-", 0 (in age/price)
- These must be converted to NaN BEFORE analysis.
6. What are the domain/business rules for critical columns?
- e.g., "Age cannot be 0 or negative"
- e.g., "CustomerID must be unique and non-null"
- e.g., "Price is the target — rows missing it are unusable"
```
**Bước 1.2 - Định lượng phần còn thiếu**
```python
import pandas as pd
import numpy as np
df = DATA().copy() # ALWAYS work on a copy — never mutate original
# Step 0: Standardize disguised missing values
DISGUISED_NULLS = ["?", "N/A", "n/a", "unknown", "none", "—", "-", ""]
df.replace(DISGUISED_NULLS, np.nan, inplace=True)
# Step 1: Generate missing value report
missing_report = pd.DataFrame({
'Column' : df.columns,
'Missing_Count' : df.isnull().sum().values,
'Missing_%' : (df.isnull().sum() / len(df) * 100).round(2).values,
'Dtype' : df.dtypes.values,
'Unique_Values' : df.nunique().values,
'Sample_NonNull' : [df[c].dropna().head(3).tolist() for c in df.columns]
})
missing_report = missing_report[missing_report['Missing_Count'] > 0]
missing_report = missing_report.sort_values('Missing_%', ascending=False)
print(missing_report.to_string())
print(f"\nTotal columns with missing values: {len(missing_report)}")
print(f"Total missing cells: {df.isnull().sum().sum()}")
```
---
## GIAI ĐOẠN 2 — CHẨN ĐOÁN MẤT TÍCH
### *Cây suy nghĩ: Khám phá TẤT CẢ ba nhánh trước khi quyết định.*
Đối với **mỗi cột** có giá trị bị thiếu, hãy đánh giá đồng thời cả ba nhánh:
```
┌──────────────────────────────────────────────────────────────────┐
│ MISSINGNESS MECHANISM DECISION TREE │
│ │
│ ROOT QUESTION: WHY is this value missing? │
│ │
│ ├── BRANCH A: MCAR — Missing Completely At Random │
│ │ Signs: No pattern. Missing rows look like the rest. │
│ │ Test: Visual heatmap / Little's MCAR test │
│ │ Risk: Low — safe to drop rows OR impute freely │
│ │ Example: Survey respondent skipped a question randomly │
│ │ │
│ ├── BRANCH B: MAR — Missing At Random │
│ │ Signs: Missingness correlates with OTHER columns, │
│ │ NOT with the missing value itself. │
│ │ Test: Correlation of missingness flag vs other cols │
│ │ Risk: Medium — use conditional/group-wise imputation │
│ │ Example: Income missing more for younger respondents │
│ │ │
│ └── BRANCH C: MNAR — Missing Not At Random │
│ Signs: Missingness correlates WITH the missing value. │
│ Test: Domain knowledge + comparison of distributions │
│ Risk: HIGH — can severely bias the model │
│ Action: Domain expert review + create indicator flag │
│ Example: High earners deliberately skip income field │
└──────────────────────────────────────────────────────────────────┘
```
**Đối với mỗi cột được gắn cờ, hãy điền vào thẻ phân tích này:**
```
┌─────────────────────────────────────────────────────┐
│ COLUMN ANALYSIS CARD │
├─────────────────────────────────────────────────────┤
│ Column Name : │
│ Missing % : │
│ Data Type : │
│ Is Target (y)? : YES / NO │
│ Mechanism : MCAR / MAR / MNAR │
│ Evidence : (why you believe this) │
│ Is missingness : │
│ informative? : YES (create indicator) / NO │
│ Proposed Action : (see Phase 3) │
└─────────────────────────────────────────────────────┘
```
---
## GIAI ĐOẠN 3 — KHUNG QUYẾT ĐỊNH ĐIỀU TRỊ
### *Áp dụng các quy tắc theo thứ tự chặt chẽ. Đừng bỏ qua.*
---
### QUY TẮC 0 — CỘT MỤC TIÊU (y) — ƯU TIÊN CAO NHẤT
```
IF the missing column IS the target variable (y):
→ ALWAYS drop those rows — NEVER impute the target
→ df.dropna(subset=[TARGET_COL], inplace=True)
→ Reason: A model cannot learn from unlabeled data
```
---
### QUY TẮC 1 - KIỂM TRA NGƯỠNG (Thiếu %)
```
┌───────────────────────────────────────────────────────────────┐
│ IF missing% > 60%: │
│ → OPTION A: Drop the column entirely │
│ (Exception: domain marks it as critical → flag expert) │
│ → OPTION B: Keep + create binary indicator flag │
│ (col_was_missing = 1) then decide on imputation │
│ │
│ IF 30% < missing% ≤ 60%: │
│ → Use advanced imputation: KNN or MICE (IterativeImputer) │
│ → Always create a missingness indicator flag first │
│ → Consider group-wise (conditional) mean/mode │
│ │
│ IF missing% ≤ 30%: │
│ → Proceed to RULE 2 │
└───────────────────────────────────────────────────────────────┘
```
---
### QUY TẮC 2 - ĐỊNH TUYẾN LOẠI DỮ LIỆU
```
┌───────────────────────────────────────────────────────────────────────┐
│ NUMERICAL — Continuous (float): │
│ ├─ Symmetric distribution (mean ≈ median) → Mean imputation │
│ ├─ Skewed distribution (outliers present) → Median imputation │
│ ├─ Time-series / ordered rows → Forward fill / Interp │
│ ├─ MAR (correlated with other cols) → Group-wise mean │
│ └─ Complex multivariate patterns → KNN / MICE │
│ │
│ NUMERICAL — Discrete / Count (int): │
│ ├─ Low cardinality (few unique values) → Mode imputation │
│ └─ High cardinality → Median or KNN │
│ │
│ CATEGORICAL — Nominal (no order): │
│ ├─ Low cardinality → Mode imputation │
│ ├─ High cardinality → "Unknown" / "Missing" as new category │
│ └─ MNAR suspected → "Not_Provided" as a meaningful category │
│ │
│ CATEGORICAL — Ordinal (ranked order): │
│ ├─ Natural ranking → Median-rank imputation │
│ └─ MCAR / MAR → Mode imputation │
│ │
│ DATETIME: │
│ ├─ Sequential data → Forward fill → Backward fill │
│ └─ Random gaps → Interpolation │
│ │
│ BOOLEAN / BINARY: │
│ └─ Mode imputation (or treat as categorical) │
└───────────────────────────────────────────────────────────────────────┘
```
---
### QUY TẮC 3 — HƯỚNG DẪN LỰA CHỌN TUYÊN BỐ NÂNG CAO
```
┌─────────────────────────────────────────────────────────────────┐
│ WHEN TO USE EACH ADVANCED METHOD │
│ │
│ Group-wise Mean/Mode: │
│ → When missingness is MAR conditioned on a group column │
│ → Example: fill income NaN using mean per age_group │
│ → More realistic than global mean │
│ │
│ KNN Imputer (k=5 default): │
│ → When multiple correlated numerical columns exist │
│ → Finds k nearest complete rows and averages their values │
│ → Slower on large datasets │
│ │
│ MICE / IterativeImputer: │
│ → Most powerful — models each column using all others │
│ → Best for MAR with complex multivariate relationships │
│ → Use max_iter=10, random_state=42 for reproducibility │
│ → Most expensive computationally │
│ │
│ Missingness Indicator Flag: │
│ → Always add for MNAR columns │
│ → Optional but recommended for 30%+ missing columns │
│ → Creates: col_was_missing = 1 if NaN, else 0 │
│ → Tells the model "this value was absent" as a signal │
└─────────────────────────────────────────────────────────────────┘
```
---
### QUY TẮC 4 - TƯƠNG THÍCH MÔ HÌNH ML
```
┌─────────────────────────────────────────────────────────────────┐
│ Tree-based (XGBoost, LightGBM, CatBoost, RandomForest): │
│ → Can handle NaN natively │
│ → Still recommended: create indicator flags for MNAR │
│ │
│ Linear Models (LogReg, LinearReg, Ridge, Lasso): │
│ → MUST impute — zero NaN tolerance │
│ │
│ Neural Networks / Deep Learning: │
│ → MUST impute — no NaN tolerance │
│ │
│ SVM, KNN Classifier: │
│ → MUST impute — no NaN tolerance │
│ │
│ ⚠️ UNIVERSAL RULE FOR ALL MODELS: │
│ → Split train/test FIRST │
│ → Fit imputer on TRAIN only │
│ → Transform both TRAIN and TEST using fitted imputer │
│ → Never fit on full dataset — causes data leakage │
└─────────────────────────────────────────────────────────────────┘
```
---
## GIAI ĐOẠN 4 - KẾ HOẠCH TRIỂN KHAI PYTHON
```python
from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer, KNNImputer
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np
# ─────────────────────────────────────────────────────────────────
# STEP 0 — Load and copy DATA()
# ─────────────────────────────────────────────────────────────────
df = DATA().copy()
# ─────────────────────────────────────────────────────────────────
# STEP 1 — Standardize disguised missing values
# ─────────────────────────────────────────────────────────────────
DISGUISED_NULLS = ["?", "N/A", "n/a", "unknown", "none", "—", "-", ""]
df.replace(DISGUISED_NULLS, np.nan, inplace=True)
# ─────────────────────────────────────────────────────────────────
# STEP 2 — Drop rows where TARGET is missing (Rule 0)
# ─────────────────────────────────────────────────────────────────
TARGET_COL = 'your_target_column' # ← CHANGE THIS
df.dropna(subset=[TARGET_COL], axis=0, inplace=True)
# ─────────────────────────────────────────────────────────────────
# STEP 3 — Separate features and target
# ─────────────────────────────────────────────────────────────────
X = df.drop(columns=[TARGET_COL])
y = df[TARGET_COL]
# ─────────────────────────────────────────────────────────────────
# STEP 4 — Train / Test Split BEFORE any imputation
# ─────────────────────────────────────────────────────────────────
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42
)
# ─────────────────────────────────────────────────────────────────
# STEP 5 — Define column groups (fill these after Phase 1-2)
# ─────────────────────────────────────────────────────────────────
num_cols_symmetric = [] # → Mean imputation
num_cols_skewed = [] # → Median imputation
cat_cols_low_card = [] # → Mode imputation
cat_cols_high_card = [] # → 'Unknown' fill
knn_cols = [] # → KNN imputation
drop_cols = [] # → Drop (>60% missing or domain-irrelevant)
mnar_cols = [] # → Indicator flag + impute
# ─────────────────────────────────────────────────────────────────
# STEP 6 — Drop high-missing or irrelevant columns
# ─────────────────────────────────────────────────────────────────
X_train = X_train.drop(columns=drop_cols, errors='ignore')
X_test = X_test.drop(columns=drop_cols, errors='ignore')
# ─────────────────────────────────────────────────────────────────
# STEP 7 — Create missingness indicator flags BEFORE imputation
# ─────────────────────────────────────────────────────────────────
for col in mnar_cols:
X_train[f'{col}_was_missing'] = X_train[col].isnull().astype(int)
X_test[f'{col}_was_missing'] = X_test[col].isnull().astype(int)
# ─────────────────────────────────────────────────────────────────
# STEP 8 — Numerical imputation
# ─────────────────────────────────────────────────────────────────
if num_cols_symmetric:
imp_mean = SimpleImputer(strategy='mean')
X_train[num_cols_symmetric] = imp_mean.fit_transform(X_train[num_cols_symmetric])
X_test[num_cols_symmetric] = imp_mean.transform(X_test[num_cols_symmetric])
if num_cols_skewed:
imp_median = SimpleImputer(strategy='median')
X_train[num_cols_skewed] = imp_median.fit_transform(X_train[num_cols_skewed])
X_test[num_cols_skewed] = imp_median.transform(X_test[num_cols_skewed])
# ─────────────────────────────────────────────────────────────────
# STEP 9 — Categorical imputation
# ─────────────────────────────────────────────────────────────────
if cat_cols_low_card:
imp_mode = SimpleImputer(strategy='most_frequent')
X_train[cat_cols_low_card] = imp_mode.fit_transform(X_train[cat_cols_low_card])
X_test[cat_cols_low_card] = imp_mode.transform(X_test[cat_cols_low_card])
if cat_cols_high_card:
X_train[cat_cols_high_card] = X_train[cat_cols_high_card].fillna('Unknown')
X_test[cat_cols_high_card] = X_test[cat_cols_high_card].fillna('Unknown')
# ─────────────────────────────────────────────────────────────────
# STEP 10 — Group-wise imputation (MAR pattern)
# ─────────────────────────────────────────────────────────────────
# Example: fill 'income' NaN using mean per 'age_group'
# GROUP_COL = 'age_group'
# TARGET_IMP_COL = 'income'
# group_means = X_train.groupby(GROUP_COL)[TARGET_IMP_COL].mean()
# X_train[TARGET_IMP_COL] = X_train[TARGET_IMP_COL].fillna(
# X_train[GROUP_COL].map(group_means)
# )
# X_test[TARGET_IMP_COL] = X_test[TARGET_IMP_COL].fillna(
# X_test[GROUP_COL].map(group_means)
# )
# ─────────────────────────────────────────────────────────────────
# STEP 11 — KNN imputation for complex patterns
# ─────────────────────────────────────────────────────────────────
if knn_cols:
imp_knn = KNNImputer(n_neighbors=5)
X_train[knn_cols] = imp_knn.fit_transform(X_train[knn_cols])
X_test[knn_cols] = imp_knn.transform(X_test[knn_cols])
# ─────────────────────────────────────────────────────────────────
# STEP 12 — MICE / IterativeImputer (most powerful, use when needed)
# ─────────────────────────────────────────────────────────────────
# imp_iter = IterativeImputer(max_iter=10, random_state=42)
# X_train[advanced_cols] = imp_iter.fit_transform(X_train[advanced_cols])
# X_test[advanced_cols] = imp_iter.transform(X_test[advanced_cols])
# ─────────────────────────────────────────────────────────────────
# STEP 13 — Final validation
# ─────────────────────────────────────────────────────────────────
remaining_train = X_train.isnull().sum()
remaining_test = X_test.isnull().sum()
assert remaining_train.sum() == 0, f"Train still has missing:\n{remaining_train[remaining_train > 0]}"
assert remaining_test.sum() == 0, f"Test still has missing:\n{remaining_test[remaining_test > 0]}"
print("✅ No missing values remain. DATA() is ML-ready.")
print(f" Train shape: {X_train.shape} | Test shape: {X_test.shape}")
```
---
## GIAI ĐOẠN 5 — BÁO CÁO TỔNG HỢP & QUYẾT ĐỊNH
Sau khi hoàn thành Giai đoạn 1–4, hãy gửi báo cáo chính xác này:
```
═══════════════════════════════════════════════════════════════
MISSING VALUE TREATMENT REPORT
═══════════════════════════════════════════════════════════════
1. DATASET SUMMARY
Shape :
Total missing :
Target col :
ML task :
Model type :
2. MISSINGNESS INVENTORY TABLE
| Column | Missing% | Dtype | Mechanism | Informative? | Treatment |
|--------|----------|-------|-----------|--------------|-----------|
| ... | ... | ... | ... | ... | ... |
3. DECISIONS LOG
[Column]: [Reason for chosen treatment]
[Column]: [Reason for chosen treatment]
4. COLUMNS DROPPED
[Column] — Reason: [e.g., 72% missing, not domain-critical]
5. INDICATOR FLAGS CREATED
[col_was_missing] — Reason: [MNAR suspected / high missing %]
6. IMPUTATION METHODS USED
[Column(s)] → [Strategy used + justification]
7. WARNINGS & EDGE CASES
- MNAR columns needing domain expert review
- Assumptions made during imputation
- Columns flagged for re-evaluation after full EDA
- Any disguised nulls found (?, N/A, 0, etc.)
8. NEXT STEPS — Post-Imputation Checklist
☐ Compare distributions before vs after imputation (histograms)
☐ Confirm all imputers were fitted on TRAIN only
☐ Validate zero data leakage from target column
☐ Re-check correlation matrix post-imputation
☐ Check class balance if classification task
☐ Document all transformations for reproducibility
═══════════════════════════════════════════════════════════════
```
---
## Ràng buộc & Rào chắn
```
✅ MUST ALWAYS:
→ Work on df.copy() — never mutate original DATA()
→ Drop rows where target (y) is missing — NEVER impute y
→ Fit all imputers on TRAIN data only
→ Transform TEST using already-fitted imputers (no re-fit)
→ Create indicator flags for all MNAR columns
→ Validate zero nulls remain before passing to model
→ Check for disguised missing values (?, N/A, 0, blank, "unknown")
→ Document every decision with explicit reasoning
❌ MUST NEVER:
→ Impute blindly without checking distributions first
→ Drop columns without checking their domain importance
→ Fit imputer on full dataset before train/test split (DATA LEAKAGE)
→ Ignore MNAR columns — they can severely bias the model
→ Apply identical strategy to all columns
→ Assume NaN is the only form a missing value can take
```
---
## THAM KHẢO NHANH — BẢNG CHIẾN LƯỢC CHIẾN LƯỢC
| Tình huống | Chiến lược |
|----------||----------|
| Cột mục tiêu (y) có NaN | Bỏ hàng - không bao giờ quy kết |
| Cột thiếu > 60% | Cột thả (hoặc chỉ báo + đánh giá của chuyên gia) |
| Số, khoảng cách đối xứng | Sự buộc tội có nghĩa là |
| Số, lệch dist | Sự cắt cụt trung bình |
| Số, chuỗi thời gian | Chuyển tiếp điền / Nội suy |
| Phân loại, số lượng thẻ thấp | Chế độ cắt cụt |
| Phân loại, số lượng cao | Điền vào danh mục 'Không xác định' |
| Nghi ngờ MNAR (bất kỳ loại nào) | Cờ chỉ báo + đánh giá tên miền |
| MAR, có điều kiện theo nhóm | Trung bình/chế độ theo nhóm |
| Mẫu đa biến phức tạp | Máy tính KNN hoặc MICE |
| Mô hình dựa trên cây (XGBoost, v.v.) | dung nạp NaN; vẫn gắn cờ MNAR |
| Tuyến tính / NN / SVM | Phải quy kết - dung sai NaN bằng 0 |
---
*PROMPT() v1.0 — Được xây dựng cho Phân tích dữ liệu/Kỹ thuật AI của IBM GEN bằng Python*
*Khung: Chuỗi tư duy (CoT) + Cây tư duy (ToT)*
*Tham khảo: Coursera — Xử lý các giá trị bị thiếu trong Python*