Tema 5 · Preprocesamiento de datos
数据预处理 · 逐页逐句双语讲义

Tema 5: Preprocesamiento de datos · Eva Millán · Departamento de Lenguajes y Ciencias de la Computación · Universidad de Málaga
95 页原版 PDF 一页不落 · 西语原句逐字照抄 + 中文一句一译 · 每页配考点 / 陷阱 / 记忆钩子 · 文末 A–Z 术语速记
怎么用这份讲义

一、为什么必须预处理:GIGO 与三次真实事故

p.1–p.5
p.1

Tema 5: Preprocesamiento de datos · 主题 5:数据预处理(封面)

▸ 原页截图 p.1 原讲义第 1 页

Tema 5: Preprocesamiento de datos

预处理数据 · 主题 5

Eva Millán

Eva Millán(主讲教师)

Departamento de Lenguajes y Ciencias de la Computación

语言与计算机科学系(马拉加大学)

整门课的定位一句话:模型再强,也救不了脏数据。Tema 3 讲「什么是学习」,Tema 4 讲「数据长什么样」,Tema 5 讲「怎么把数据弄干净」——考试里这一章最容易出流程题(给你一张脏表,让你按五阶段写处理动作)和选择题(某种情况该用哪种方法)。
标题里的 pre- 就是「事先」:一切建模之前的准备工作。整章主线只有五步——清洗、集成、变换、归约、离散化。
p.2

Motivación · 动机:理想中的数据 vs 现实中的数据

▸ 原页截图 p.2 原讲义第 2 页

Lo ideal para el aprendizaje computacional sería que tuviésemos datos en la cantidad, estructura y formato y de la calidad que necesitamos para cada tarea.

对机器学习来说,最理想的情况是:我们手上的数据在数量、结构、格式和质量上都正好满足每一项任务的需要。

En la práctica, esto no es así, y nos encontramos con los siguientes problemas:

但在实践中根本不是这样,我们总会遇到下面这些问题:

• Presencia de ruido

• 存在噪声(随机的、无信息的错误值)

• Valores faltantes

• 缺失值(该有数据的格子是空的)

• Datos inconsistentes

• 不一致的数据(同一事物有多个写法 / 多个值)

• Datos superfluos

• 多余的数据(对任务毫无信息量的列)

• Grandes cantidades de datos en ambas dimensiones: ejemplos (filas) y características (columnas)

• 两个维度上的数据量都巨大:ejemplos(行)与características(列)

必背五连:ruido · valores faltantes · datos inconsistentes · datos superfluos · gran volumen(filas y columnas)。老师问「预处理要解决哪些问题」,答这五个词就能拿满。
这五个问题不是五个阶段。问题清单对应的是「症状」,第 6–7 页的五阶段对应的是「药方」;两者数量刚好都是五个,考试常用这一点设混淆项。
注意 cantidad / estructura / formato / calidad 这四个维度:数量(够不够)、结构(表能否对齐)、格式(单位、编码)、质量(准不准)。后面每一种技术都能归到这四个维度之一。
p.3

Introducción · 问题 → 例子 → 可能解法 总表

▸ 原页截图 p.3 原讲义第 3 页

Preprocesamiento · Introducción

预处理 · 引言(本页是全章的「症状—药方」对照表)

Problema 问题Ejemplo 例子Posibles soluciones 可能的解法
Datos anómalos
异常数据
Gato cuya edad aparece como -5 o perro que pesa 400 kg.
猫的年龄显示为 -5,或狗重 400 kg
Filtrado: identificar si es ruido o valor atípico; si es ruido, eliminarlo.
Binning: reemplazar los valores extraños y agrupar valores en rangos
过滤:先判断是噪声还是真实离群值,是噪声就删;分箱:把怪异值替换掉并按区间归组
Valores Faltantes (Missing Values)
缺失值
La columna "Raza" está vacía en 50 registros.
「品种」这一列有 50 条记录是空的
Imputación de datos (rellenar con la media, mediana, moda, o estimaciones basadas en probabilidades, en los otros datos, etc.)
插补:用均值、中位数、众数,或基于其他数据 / 概率的估计来填
Inconsistencias
不一致
Un mismo producto aparece como "Champú", "Champu" y "Shampoo".
同一个产品写成三种拼法
Estandarización (usar algoritmos de similitud de texto para unificar nombres)
标准化:用文本相似度算法把名称统一
Datos Superfluos
多余数据
Columna que solo contiene el número del ticket
只有「小票编号」的列
Selección de Características (eliminar características irrelevantes o redundantes)
特征选择:删掉无关或冗余的特征
Tamaño enorme
体量巨大
Millones de filas y columnas
上百万行、上百万列
Técnicas de reducción de datos (análisis de componentes principales, muestreo de datos)
数据归约:主成分分析、抽样
这张表就是「看到症状 → 说出技术」的题库:异常→过滤 / 分箱;缺失→插补;不一致→标准化;多余→特征选择;体量大→归约 / PCA / 抽样。五个配对必须能一一对上。
口诀:怪·空·乱·废·大 —— 怪值过滤、空值插补、乱名统一、废列删掉、太大归约。
原表把 Binning(分箱) 放在「异常数据」一行,但分箱严格说是离散化技术(见 p.93–95),这里只是借用它「把怪值并入区间」的副作用;考试若问「分箱属于哪一阶段」,答离散化,不要答清洗。
p.4

Introducción: GIGO · GIGO:垃圾进,垃圾出

▸ 原页截图 p.4 原讲义第 4 页

Garbage in, garbage out

垃圾进,垃圾出(缩写 GIGO)

Garbage in, garbage out es una expresión informática, que se puede entender como «basura entra, basura sale» (GIGO en inglés) es un concepto que se relaciona con la calidad de la información o los productos que ingresan a un sistema, y la calidad de lo que ingresa no es buena, el resultado normalmente tampoco es bueno.

「Garbage in, garbage out」是一句计算机领域的说法,可以理解为「垃圾进去、垃圾出来」;它讲的是输入系统的信息或产品的质量:如果进入的东西质量不好,结果通常也好不了。

Es una frase que se comenzó a usar en los inicios de la computación, pero aplica aún más hoy, cuando los ordenadores potentes pueden producir cantidades grandes de información o datos erróneos.

这句话从计算机诞生之初就开始使用,但在今天更加适用——因为强大的计算机能大批量地生产错误信息或错误数据。

ARE YOU SURE THE DATA YOU GAVE ME IS CORRECT?

(漫画第 1 格)你确定给我的数据是对的吗?

I'VE BEEN GIVING YOU INCORRECT DATA FOR YEARS. THIS IS THE FIRST TIME YOU'VE ASKED.

(漫画第 2 格)我这么多年给你的数据一直是错的。这是你第一次问。

WHAT? I SAID THE DATA IS TOTALLY ACCURATE.

(漫画第 3 格)什么?我可说过数据完全准确。

这页只考一句话:GIGO = 输入质量决定输出质量。答题时补一句「模型无法凭空创造数据里没有的信息」,就能把「为什么预处理比选模型更重要」写完整。
把 GIGO 想成榨汁:烂果子榨不出好果汁,再贵的榨汁机也没用。算法是榨汁机,预处理是挑果子。
右上角那张报纸剪报是 1957 年美军数学家的旧闻,讲的是「人给机器喂错数据」;漫画则是 Dilbert。两张图都在说同一件事:错误不会因为算得快就消失,只会被放大。
p.5

Introducción: GIGO · 三次真实事故:单位、噪声、偏见

▸ 原页截图 p.5 原讲义第 5 页

En 1999, la sonda Mars Climate Orbiter se destruyó por una falta de estandarización: un equipo usó el sistema métrico y otro el anglosajón.

1999 年,火星气候探测者号(Mars Climate Orbiter)因为缺乏标准化而坠毁:一个团队用公制,另一个团队用英美制。

Este error de consistencia en los datos de entrada causó una pérdida de 125 millones de dólares. (Fuente: NASA JPL, Mishap Investigation Board Report).

这个输入数据一致性错误造成了 1.25 亿美元的损失。(来源:NASA JPL 事故调查委员会报告)

En 2021, Zillow perdió 500 millones de dólares al no preprocesar el "ruido" y las anomalías de precios causadas por la pandemia en su algoritmo.

2021 年,Zillow 损失 5 亿美元,原因是它的算法没有预处理疫情造成的噪声与价格异常。

El modelo compró miles de casas sobrevaloradas basándose en predicciones infladas. (Fuente: https://iceberg.digital/trust-incident-zillow/ )

该模型基于被抬高的预测,买下了数千套价格虚高的房子。(来源:iceberg.digital 的 Zillow 事故复盘)

En 2015, Amazon canceló su IA de reclutamiento porque los datos de entrenamiento estaban sesgados a favor de hombres.

2015 年,亚马逊取消了它的招聘 AI,因为训练数据偏向男性。

El sistema aprendió a penalizar currículums que incluían la palabra "mujeres", automatizando un prejuicio histórico. (Fuente: Reuters, "Amazon scraps secret AI recruiting tool").

系统学会了给包含「women(女性)」一词的简历扣分,把一个历史偏见自动化了。(来源:路透社《亚马逊放弃秘密 AI 招聘工具》)

三个案例分别对应三种预处理缺失,考试极爱让「案例 ↔ 问题类型」配对:
① 火星探测器 = falta de estandarización / inconsistencia(单位不统一);
② Zillow = ruido / anomalías(异常值未处理);
③ Amazon = datos sesgados(训练数据有偏)。
记成「单位 · 噪声 · 偏见」三连:花 1.25 亿、花 5 亿、丢掉一个项目。金额越大,越说明预处理省钱。
注意 ③ 不属于「数据清洗」能单独解决的问题:sesgo 是数据分布层面的问题,清洗只能查一致性,真正的解法是重采样 / 补样本 / 换目标变量(后面 p.86 的分层抽样、p.87–91 的原型选择都与它相关)。别把「去偏」答成「删空值」。
「basura entra, basura sale」这句西语释义在 p.4,三个案例在 p.5——两页合成一个完整答题段:先给定义,再举三例,最后落一句「预处理是成本最低的建模手段」。

二、五阶段总览 · 临床营养数据集贯穿案例

p.6–p.13
p.6

Etapas del preprocesamiento de datos · 阶段一、二:清洗与集成

▸ 原页截图 p.6 原讲义第 6 页

1. Limpieza de Datos (Data Cleaning)

1. 数据清洗(Data Cleaning)

Es el primer paso para corregir errores obvios y asegurar la calidad de la información.

它是第一步:纠正明显的错误,确保信息的质量。

• Manejo de valores faltantes (Nulls): Puedes eliminar esas filas/columnas o aplicar imputación (rellenar con la media, mediana o moda).

• 处理缺失值(Nulls):可以删掉那些行 / 列,也可以做插补(用均值、中位数或众数填上)。

• Tratamiento de datos anómalos (outliers, ruido): Identificar datos que se alejan demasiado del promedio y decidir si son errores o casos especiales legítimos.

• 处理异常数据(outliers、噪声):找出那些偏离平均值过远的数据,判断它们到底是错误,还是合法的特殊情况。

• Eliminación de duplicados: Borrar registros idénticos que puedan sesgar el modelo.

• 去重:删除完全相同的记录,因为它们会让模型产生偏差。

2. Integración de Datos

2. 数据集成

Si los datos vienen de diferentes fuentes (bases de datos SQL, archivos CSV, APIs), en esta etapa se combinan. El reto aquí es resolver conflictos de estructuras o nombres de columnas para que todo hable el mismo "idioma".

如果数据来自不同来源(SQL 数据库、CSV 文件、API),就在这一步把它们合并。难点是解决结构冲突或列名冲突,让所有数据「说同一种语言」。

清洗要背三件事:① 缺失值(删 / 插补)② 异常值(判错还是判特例)③ 重复记录(删)。集成要背一句:解决来源之间的结构冲突与命名冲突。
清洗 = 给表「治病」;集成 = 让几张表「说同一种语言」。一个治单表,一个治多表。
p.7

Etapas del preprocesamiento de datos · 阶段三、四、五:变换、归约、离散化

▸ 原页截图 p.7 原讲义第 7 页

3. Transformación de Datos

3. 数据变换

• Creación de nuevos atributos usando fórmulas o modelos matemáticos

• 用公式或数学模型creación de nuevos atributos(如体重 ÷ 身高² 得到 BMI)

• Codificación de variables categóricas: Los modelos no entienden "Rojo" o "Azul". Usamos técnicas como One-Hot Encoding o Label Encoding para convertirlos en números (0, 1, 2...).

• 类别变量的codificación:模型看不懂「红」或「蓝」,我们用独热编码或标签编码把它们变成数字(0、1、2…)。

4. Reducción de Datos

4. 数据归约

• Selección de características o ejemplos

• características选择或ejemplos选择(挑列 / 挑行)

• Reducción de dimensionalidad: Usar algoritmos como PCA (Análisis de Componentes Principales) para comprimir la información sin perder la esencia.

• 降维:用PCA(主成分分析)这类算法压缩信息,同时不丢失本质。

5. Discretización

5. 离散化

Convertimos variables continuas en discretas

把variables continuas变成discretas(如把年龄变成「儿童 / 成年 / 老年」)

五阶段的顺序本身就是考点:清洗 → 集成 → 变换 → 归约 → 离散化。顺序不能乱:脏数据先洗干净,再合并来源,之后才谈变换、压缩、分箱。
本页把 Label Encoding 与 One-Hot 并列成「两种编码」,但严格说 Label Encoding 只适合有序类别;无序类别用 Label 会人为造出大小关系(详见 p.65–p.69)。考试若追问「Label 的适用前提」,答「类别之间存在顺序」。
PCA 记成「把 100 列压成 3 列,还保留原表 95% 的信息」;降维 ≠ 选列——选列是扔掉原列,降维是造出新列。
p.8

Índice · 全章目录:五阶段与各自的子技术

▸ 原页截图 p.8 原讲义第 8 页

Índice

目录(本页是整章的路标,后面每一节都从这里展开)

Etapa 阶段Sub-técnicas 子技术
1 Limpieza de datos
清洗
Valores perdidos · Datos anómalos
缺失值 · 异常数据
2 Integración de datos
集成
Instancias duplicadas · Atributos redundantes
重复实例 · 冗余属性
3 Transformación de datos
变换
Escalado y normalización · Codificación categórica
缩放与规范化 · 类别编码
4. Reducción de datos
归约
Selección de rasgos · Selección de ejemplos
特征选择 · 样本选择
5. Discretización
离散化
Igual ancho · Igual frecuencia · Criterio experto
等宽 · 等频 · 专家准则
这页相当于「考试大纲」。任何一个子技术被问到,都要能立刻说出它属于哪一阶段:插补→清洗;冗余属性→集成;One-Hot→变换;PCA→归约;等频分箱→离散化。
离散化的三种方法(等宽 / 等频 / 专家准则)在本页就以「子技术」身份出现,说明它不是一个附属技巧,而是与清洗、集成平级的第五阶段。
原页是「左侧五栏目录 + 右上角 Índice 标题」的排版,抽取出来的文字顺序是错乱的(先出项目符号、最后才出 Índice);阅读原文请以截图为准。
p.9

Etapas: ejemplo · 案例原表:三家来源合并后的营养诊所数据

▸ 原页截图 p.9 原讲义第 9 页

Has recibido un extracto de una base de datos de una clínica de nutrición que consolida información de tres fuentes: formularios web, registros manuales y una base de datos antigua.

你拿到了一份营养诊所数据库的摘录,它汇总了三个来源的信息:网页表单、手工登记、以及一个老数据库。

El objetivo es preparar estos datos para un modelo de aprendizaje automático que prediga el riesgo metabólico.

目标是把这些数据整理好,交给一个预测代谢风险的机器学习模型。

IDNombreEdadAltura (cm)Peso (kg)CiudadGénero
101Ana García2816560MadridFemenino
102Luis Pérez3518085BCNMasculino
103María LópezNULL17068BarcelonaFemenino
104Juan Cano4217595MadridMasculino
105Elena Sanz25016055ValenciaFemenino
101Ana García2816560MadridFemenino
107Sofía Gil1916852bcnFemenino
这张表就是全章的「靶子」,考试常原样搬来让你挑毛病。必须点出的三处:① 103 年龄为 NULL(缺失值)② 105 年龄 250(离群值 / 录入错误)③ 101 整行重复;再加两处:BCN / bcn / Barcelona 写法不一致(集成问题)与 Nombre 列对预测无用(该归约掉)。
注意 101 出现了两次且每一格都相同——这是「重复实例」,不是「两个同名的不同病人」。判重看的是整行是否逐格相同,不看 ID 是否连号;本例正好在重复之后跳到 107,容易误以为缺了 106。
挑错顺序照五阶段走:空 → 怪 → 重 → 乱 → 废,扫一遍就不会漏。
p.10

Etapas: ejemplo · 任务:按五阶段列出要做的动作

▸ 原页截图 p.10 原讲义第 10 页

Basándote en las 5 etapas del preprocesamiento de datos, detecta los problemas que tiene la tabla y escribe y ejecuta las acciones necesarias para limpiar y transformar esta tabla

依据数据预处理的五个阶段,找出这张表存在的问题,并写出、执行必要的动作来清洗和变换这张表。

1. Limpieza

1. 清洗——(本页留白,答案在下一页)

2. Integración

2. 集成——(本页留白,答案在下一页)

3. Transformación de datos
• crea una variable IMC (Peso/altura2)
• aplica label encoding a la columna género

3. 数据变换
• 构造一个BMI 变量(体重 / 身高²)
• 对 género(性别)列做标签编码

4. Reducción de datos

4. 数据归约——(本页留白,答案在下一页)

5. Discretización
• discretiza la nueva variable IMC

5. 离散化
• 把新造的 IMC 变量离散化

注意题目只替你把第 3、5 步写好了(造 IMC、离散化 IMC),第 1、2、4 步要你自己填。这正是考试形式:给你骨架,让你补三个空。
原文写 altura2,应为 altura²(上标 2 在排版中丢失),属笔误。写成 IMC = peso / altura2 才对;若真按「身高 ×2」算,量纲就废了。
IMC 的单位是 kg/m²,所以身高必须先换成米:165 cm → 1.65 m,平方后 2.7225。
p.11

Etapas: ejemplo · 五阶段答案:删重、插补、改异、统一城市、造 IMC

▸ 原页截图 p.11 原讲义第 11 页

Solución:

解答:

1. Limpieza
- Eliminar registro duplicado Ana García
- Resolver el valor nulo en la edad de María López (media)
- Resolver el valor atípico (outlier) edad de Elena Sanz (poner 25).

1. 清洗
- 删除 Ana García 这条重复记录
- 处理 María López 年龄的均值空值(插补)
- 处理 Elena Sanz 年龄的valor atípico(改成 25)

2. Integración
- Uniformar la columna "Ciudad" para resolver los conflictos de nombres entre "BCN", "bcn" y "Barcelona"

2. 集成
- 统一「Ciudad(城市)」列,解决 "BCN"、"bcn" 与 "Barcelona" 之间的命名冲突

3. Transformación de datos
- crear variable IMC que unifique peso y altura
- aplica label encoding a género
- IMC=peso/altura2 (en kg/m2)
- Femenino 1; Masculino 0

3. 数据变换
- 构造 IMC 变量,把体重与身高合并成一个指标
- 对性别做标签编码
- IMC = 体重 / 身高²(单位 kg/m²)
- 女 = 1;男 = 0

4. Reducción de datos
Eliminar variable nombre

4. 数据归约
删掉 nombre(姓名)变量

5. Discretización
- discretizar nueva variable IMC

5. 离散化
- 把新的 IMC 变量离散化(→ 低 / 正常 / 超重)

标准答题模板:清洗三连(删重 / 插补 / 改异)+ 集成一条(统一城市)+ 变换两条(造 IMC / 编码性别)+ 归约一条(删姓名)+ 离散化一条(IMC 分箱)。五阶段每步至少落一个动作,才能拿满分。
250 → 25 这类改法属于「修正录入错误」(多打了一个 0),和「删除离群点」是两种不同处置。考试若问「为什么这里改而不删」,答:年龄 25 与该行其他信息(160 cm、55 kg)完全自洽,说明是录入失误而非真实极端值。
原文说用 media(均值) 插补,但下一页结果表里 103 的年龄是 31.0:六个年龄(28、35、42、250、28、19)的中位数正好是 (28+35)/2 = 31.5,取整即 31;若真按均值算,含 250 得 67.0,先把 250 改成 25 再算得 29.5——都对不上 31。作答时写清自己采用的口径(并说明先修异常值再插补更合理),不要盲抄 31.0。
p.12

Etapas: ejemplo · 清洗后的最终表:6 行 × 5 列

▸ 原页截图 p.12 原讲义第 12 页

El dataset quedaría así:

数据集最后就变成这样:

IDEdadCiudadGénero (Codificada)IMC Categoría
10128.0Madrid1Normal
10235.0Barcelona0Sobrepeso
10331.0Barcelona1Normal
10442.0Madrid0Sobrepeso
10525.0Valencia1Normal
10719.0Barcelona1Bajo
这张表就是「五阶段走完」的标准答案,可以逐列反推每一步做了什么:行数 7→6(删重复)、年龄 31.0(插补)、年龄 25.0(改异)、Ciudad 只剩全称(集成统一)、Género 变 0/1(编码)、列数 7→5(删 Nombre、身高体重合成 IMC)。
注意年龄全带 .0:这是插补 / 类型转换的痕迹——只要一列里出现缺失值并被填过,整列通常会被提升为浮点型。真实项目里这是「该列被动过」的信号之一。
IMC 分类只有 Normal / Sobrepeso / Bajo 三档,没有「肥胖」档:104 的 IMC 是 95 / 1.75² ≈ 31.0,按世界卫生组织标准已属肥胖,但原表仍写 Sobrepeso。作答以原表的三档为准,别自行加第四档。
p.13

Etapas: ejemplo propuesto · 练习表 201–208:自己动手挑毛病

▸ 原页截图 p.13 原讲义第 13 页

Una clínica de nutrición ha unido información de tres fuentes y obtenido la siguiente tabla.

一家营养诊所把三个来源的信息合并起来,得到了下面这张表。

Detecta los problemas de este dataset y propón una solución.

找出这个数据集的问题,并提出一个解决方案。

IDNombreEdadAltura (cm)Peso (kg)CiudadGénero
201Carlos Ruiz3417282MadridMasculino
202Elena Torres29165NULLBCNFemenino
203Marta López4116875BarcelonaMujer
204David MartínNULL18095MadridMasculino
205Ana Pérez25015852ValenciaFemenino
206Luis García371.7578madridHombre
207Laura Díaz221690BcnFemenino
208Pablo Gómez45182110ValenciaM
这张练习表每题都会考,至少六处:① 202 体重 NULL ② 204 年龄 NULL ③ 205 年龄 250 ④ 206 身高 1.75(单位从 cm 变 m)⑤ 207 体重 0(物理上不可能)⑥ 城市三写法 + 性别四种写法(Femenino / Mujer / Hombre / M)。
1.75 是本章最阴的一处:它本身不是离群值(数值落在正常范围),但单位与整列(cm)不一致,属于「一致性 / 集成」问题而非「异常值」。同理 207 的体重 0 也不是离群值,而是「不可能的取值」——遇到 0 要先想「是不是占位符冒充真实值」。
这张表可以当作自测:做完后对照 p.9–p.12 的六步流程检查,每一条问题都要能落到五阶段中的某一阶段。

三、1. Limpieza de datos:缺失值的三条出路

p.14–p.34
p.14

1. Limpieza de datos · 第一节分隔页(印刷页 16)

▸ 原页截图 p.14 原讲义第 14 页

1. Limpieza de datos

1. 数据清洗(整章第一大节的标题页)

章节分隔页在考试里没有新知识点,但它标出了全章的第一根支柱:Limpieza,下面分两条——1.1 缺失值与1.2 异常数据。重复记录虽在第 15 页被列为清洗问题,本章却没有为它单开小节,考试若问「清洗包含哪几类问题」,仍要答三条。
印刷页码偏移提醒:本页页脚印的是 16,PDF 里是第 14 页。从 p.14 到 p.71,印刷页 = PDF 页 + 2;从 p.72 起印刷页 = PDF 页 + 3。本讲义页号一律用 PDF 物理页序。
p.15

1. Limpieza de datos · 定义与四个关键问题

▸ 原页截图 p.15 原讲义第 15 页

La limpieza de datos es una etapa fundamental del preprocesamiento que garantiza la fiabilidad de cualquier análisis posterior.

数据清洗是预处理中一个基础性阶段,它保证后续任何分析都是fiable的。

Su objetivo principal es detectar y corregir errores, inconsistencias y datos faltantes en el conjunto de información original para evitar resultados sesgados o erróneos.

它的主要目标是在原始数据集中发现并纠正错误、不一致与缺失数据,以避免产生有偏或错误的结果。

Problemas clave:

关键问题:

• Duplicados: detección y eliminación de registros repetidos

• 重复记录:检测并删除重复的条目

• Consistencia: detección y corrección de errores de formato

• 一致性:检测并纠正格式错误

• Manejo de valores faltantes: detección de valores faltantes y aplicación de estrategias de eliminación o imputación para completar la información.

• 处理缺失值:检测缺失并采用「删除」或「插补」策略把信息补全。

• Detección de valores anómalos (outliers, ruido): identificación de datos que se desvían significativamente del resto y tratamiento de dichos valores

• 检测异常值(离群点、噪声):找出显著偏离其余数据的值,并对它们进行处理

清洗的四条必背:duplicados · consistencia · valores faltantes · valores anómalos。注意本页把 consistencia(格式错误)也算进清洗,而第 6 页把「命名冲突」算进集成——同一个「不一致」,在单表内是清洗、跨来源是集成。
不要把这四条背成「四个阶段」:它们是清洗内部的问题清单,而清洗本身只是五阶段中的第一个。
清洗三问:有没有重复?有没有空格?有没有怪数?——重、空、怪,再加一个「格式对不对」。
p.16

1.1 Tratamiento de valores perdidos · 1.1 节标题页(印刷页 18)

▸ 原页截图 p.16 原讲义第 16 页

1.1 Tratamiento de valores perdidos

1.1 缺失值的处理(本小节从 p.17 讲到 p.34,是全章篇幅最大的一块)

看到「1.1」就要能报出下面的三级递进:① 先想删(行 / 列)② 再想简单插补(均值 / 中位数 / 众数)③ 最后才用模型插补(回归 / k-NN)。这是本节所有例题的答题骨架。
西语里 valores perdidos 与 valores faltantes 是同义词(都指 missing values),本章两个词混用,不要以为是两种不同的东西。
p.17

1.1 缺失值 · 问题从哪来:人为、传感器、当时不存在

▸ 原页截图 p.17 原讲义第 17 页

El problema de los valores perdidos (o missing values) es uno de los desafíos más comunes y críticos en el preprocesamiento de datos.

缺失值(missing values)问题,是数据预处理中最常见、也最关键的挑战之一。

En una base de datos real es frecuente encontrar "huecos" donde la información no fue registrada por errores humanos, fallos en sensores o simplemente porque el dato no existía en ese momento.

在真实数据库里经常能看到「空洞」:信息没被登记下来,原因可能是人为失误、传感器故障,或者干脆当时这个数据并不存在。

缺失值的三个成因必须能背:errores humanos(人为)· fallos en sensores(传感器故障)· el dato no existía(当时不存在)。第三点最容易被忽略,也最重要——它不是「错误」,而是「本来就没有」。
「huecos(洞)」这个词很形象:表被虫蛀了。补洞有两种思路——把洞挖大(删行删列)或往洞里填土(插补)。
不要一看到缺失就删。缺失本身可能携带信息:例如「收入」列空着的人,往往就是不愿透露收入的高收入者——删掉他们会让样本有偏(MNAR,非随机缺失)。面试与考试都爱问这一层。
p.18

1.1 缺失值 · 三条出路:删除、简单插补、模型插补

▸ 原页截图 p.18 原讲义第 18 页

Para resolver esto, existen tres alternativas principales:

要解决这个问题,主要有三条出路:

a) Eliminación: Borrar registros o variables incompletas.

a) 删除:把不完整的记录或变量直接删掉。

b) Imputación Simple: Rellenar el hueco con una medida estadística como el promedio, la mediana o la moda.

b) 简单插补:用一个统计量把洞填上——均值、中位数或众数。

c) Imputación Basada en Modelos: Usar modelos que, basándose en la información disponible, puedan predecir qué número debería ir en ese espacio vacío

c) 基于模型的插补:用模型,依据已有信息去predecir那个空位本该填什么数。

三选一是必考选择题:a 删(最省事、最伤数据)· b 简单插补(一个数填全列、忽略个体差异)· c 模型插补(最准、最贵)。题干里出现「最精确 / 最先进」就选 c,出现「最简单 / 最激进」就选 a。
记成医院三档:a 直接截肢(删),b 打石膏(一个统计量顶住),c 做手术(按每个病人的情况定制)。
本页写 promedio(平均),第 21 页写 media(均值),两者在统计语境里同义;但不要与 mediana(中位数)混。西语里 media = 均值、mediana = 中位数、moda = 众数。
p.19

a. Eliminación · 删行:5% 经验规则与两大风险

▸ 原页截图 p.19 原讲义第 19 页

a. Eliminación (Discarding)

a. 删除法(Discarding)

Es la solución más drástica y su ventaja es que es sencilla de implementar. Se pueden eliminar filas o columnas.

这是最激进的做法,优点是实现简单。可以删行,也可以删列。

a.1. Eliminación de Instancias (Filas): Si hay algún o algunos valores perdidos, se elimina la fila. Como regla orientativa, en algunos contextos prácticos no se recomienda eliminar más del 5%.

a.1 删除实例(行):只要有缺失值,就把整行删掉。作为经验法则,在一些实际场景中不建议删掉超过 5%。

Cuidado con:

要小心两点:

- La pérdida de poder estadístico: Si tienes 100 datos y borras 20, el modelo construido será mucho más débil.

- 统计功效的损失:100 条数据删掉 20 条,建出来的模型会弱得多。

- El sesgo de selección: Si los datos faltantes no son aleatorios, al borrar esas filas se está eliminando a un grupo específico, con lo que es probable que se esté sesgando el modelo hacia un subgrupo de la población, creando una "realidad distorsionada".

- 选择偏差:如果缺失不是随机的,删掉这些行就等于删掉了一个特定群体,模型很可能被偏向某个子群体,造出一个「扭曲的现实」。

删行的两个风险要能各配一句解释:pérdida de poder estadístico = 样本变少 → 结论不稳;sesgo de selección = 删掉的是特定人群 → 模型有偏。5% 这个阈值也常被直接考。
5% 是「经验法则」(regla orientativa),不是硬性标准,原文也加了「en algunos contextos prácticos」。考试若问「缺失超过 5% 是否必须删列」,答案是否——要看缺失机制(是否随机)与这列的重要性。
「删行」像剪掉照片上曝光过度的部分:剪得少还能看,剪多了人也少了,而且先被剪掉的往往是同一类人。
p.20

a.2 Eliminación de atributos · 删列,以及「死亡日期缺 65%」的提问

▸ 原页截图 p.20 原讲义第 20 页

a. Eliminación (Discarding) · a.2 Eliminación de Atributos (columnas)

a. 删除法 · a.2 删除属性(列)

Se elimina una columna cuando tiene valores faltantes

当一列存在缺失值时,就把这一列删掉。

Si hay muchos valores faltantes en una columna, intentar "rellenar" (imputar) implica que la mayor parte de los datos serían "inventados" por un algoritmo, lo que introduce más ruido y sesgos que información real.

如果一列里缺失值太多,强行「填补」意味着大部分数据都是算法「编」出来的,这会引入比真实信息更多的噪声与偏差。

Pregunta · Supongamos que tenemos una columna "fecha de defunción" con un 65% de valores faltantes. ¿Qué harías?

提问:假设有一列「死亡日期」,缺失率高达 65%,你会怎么做?

标准答案分两层:① 先问「这列对任务有用吗」——预测代谢风险不需要死亡日期,直接删列(归约);② 若确实有用,65% 远超 5%,不能删行(会删掉三分之二的样本),插补也只能作为兜底,且必须新增一个「是否缺失」的标记列,把「缺失」本身当成信息。
这是「缺失率 → 策略」的经典对照:低缺失(<5%)删行;中缺失(5%–50%)插补;高缺失(>50%)优先删列,或把缺失模式本身编码成特征。
别答「用均值填」。日期不是连续数值,均值无意义;而且 65% 都靠「发明」出来的值,模型学到的其实是算法自己的假设。这题考的就是「删列优于硬填」的判断力。
p.21

b) Imputación Simple · 众数 / 均值 / 中位数,以及体重数列的提问

▸ 原页截图 p.21 原讲义第 21 页

b) Imputación Simple (Relleno Estadístico)

b) 简单插补(用统计量填洞)

En lugar de borrar, "inventamos" el valor basándonos en los valores del resto de la columna.

我们不删,而是参照这一列其余的值,把缺失值「编」出来。

Para variables categóricas: • Moda: Se completa con el valor más frecuente en la columna

对variables categóricas(类别变量):• 众数(Moda):用该列出现次数最多的取值来填。

Para variables numéricas: • Media: Se rellena con el promedio de la columna.

对数值变量:• 均值(Media):用该列的平均值来填。

• Mediana: Se rellena con la mediana de la columna. Esta medida es más robusta que la media tratando los valores extremos.

• 中位数(Mediana):用该列的中位数来填。这个统计量在处理极端值时比均值更稳健。

Pregunta · Imagina que tenemos los siguientes datos Peso (kg): 52, 60, NAN, 85, 95, 250. La media es 108.4 kg y la mediana 85. ¿Qué usarías para completar NAN (valor faltante)?

提问:现有体重数据 52、60、NAN、85、95、250,均值是 108.4 kg,中位数是 85。你会用哪个数来补 NAN?

答案:用中位数 85。理由:250 是极端值,把均值拉到 108.4 kg——比样本里 5 个真实体重中的 4 个都重,显然不是一个「典型体重」。中位数不受极端值影响,85 与其余数据(52、60、85、95)量级一致。
算一下就能看出勾连:五个已知值相加 52+60+85+95+250 = 542,542 ÷ 5 = 108.4——均值正是这么来的。中位数是排序后中间那个数(52、60、85、95、250 → 85)。
「用均值插补后,整列均值不变」是一个容易被追问的性质:因为插进去的正是原均值,整列平均不会被拉动——但方差会被人为缩小,数据看起来比真实情况更「集中」,这是一切简单插补的共同副作用。
p.22

c. Imputación Basada en modelos (Estimación) · c. 模型插补 · 回归看「身高年龄」推体重;k-NN 抄「相似邻居」

▸ 原页截图 p.22 原讲义第 22 页

c. Imputación Basada en modelos (Estimación)

c. 基于模型的插补(估计法)

Es el método más avanzado y preciso. Aquí no usamos un simple promedio, sino que usamos técnicas de aprendizaje automático para "adivinar" el mejor valor para rellenar los datos perdidos.

这是最先进、最精确的方法。这里不用一个简单的平均值,而是用机器学习技术去「猜」出补空缺的最佳取值。

• c1. Regresión: Si falta el "Peso", el modelo mira la "Altura" y la "Edad" de esa persona para calcular qué peso es el más probable.

• c1. 回归:如果缺的是「体重」,模型就看这个人的「身高」和「年龄」,算出最可能的体重。

• c2. K-Nearest Neighbors (k-NN): Buscamos a los "vecinos" más parecidos (registros similares) y "copiamos" el valor que ellos tienen.

• c2. K 近邻(k-NN):找出最像的「邻居」(相似记录),把它们的值「抄」过来。

两种模型插补的区别一句话说清:回归 = 用一条公式把所有属性加权合成一个预测值;k-NN = 不建公式,直接找最像的 k 个样本取平均 / 投票。前者是参数化的,后者是「基于实例」的。
回归像「查体检公式」,k-NN 像「问几个最像我的病友」。一个靠系数,一个靠邻居。
模型插补不是万能的:它假设「缺失与其他列有关」。如果缺失是随机的(MCAR),复杂模型反而容易过拟合噪声,结果不比中位数好多少——这也是本章后面用回归举例时反复强调「看已知属性」的原因。
p.23

c.1 Imputación por regresión · 线性回归式与「个性化 vs 一刀切」

▸ 原页截图 p.23 原讲义第 23 页

c.1 Imputación Basada en modelos: regresión

c.1 基于模型的插补:回归

Idea intuitiva · Utilizamos una función ajustada para estimar el valor faltante, por ejemplo, una recta de regresión:

直观想法:我们用一个拟合好的函数来估计缺失值,例如一条回归直线:

Ŷ = w0 + w1X1 + w2X2 + ⋯ + wmXm
符号西语读法中文含义
Ŷ«Y gorro» / «Y estimada»预测值(要补的那个体重)
w0«w sub cero» / «término independiente»截距:所有属性都为 0 时的基准值
wi«w sub i» / «coeficiente» o «peso»第 i 个属性的权重(每 1 kg 身高 / 每 1 岁年龄值多少 kg)
Xi«X sub i» / «atributo conocido»该记录已知的属性值(如身高、年龄)
m«eme» / «número de atributos»参与预测的属性个数

Comparativa frente a la Imputación Simple:

与简单插补的对比:

• Media/Mediana: Asigna el mismo valor a todos los datos faltantes sin importar sus características (ignora el contexto del registro).

• 均值 / 中位数:给所有缺失值同一个数,不管它们各自的属性(忽略了该条记录的上下文)。

• Regresión: Asigna un valor personalizado y coherente con el resto de los atributos conocidos de ese mismo registro.

• 回归:给出一个「个性化」的值,与该条记录其他已知属性保持自洽。

这页的核心对比是「一刀切 vs 个性化」:简单插补 = 全列同一个常数;回归插补 = 每人一个值。考试常以「同样缺 10 个体重,两种方法填出来的值有什么不同」提问,答这一点即可。
原文公式左边写作 𝑌(没有帽子),严格说预测值应记作 Ŷ,真实值才记作 Y。看到没有帽子的 Y 时,要结合上下文判断它指的是「估计出来的值」。
回归插补有个隐患:它给出的值一定落在回归面上,会人为制造出过强的相关关系(插补值彼此太像);所以做完回归插补后,通常还要在模型里加一点随机扰动。
p.24

1.1 例:房价表 · 用回归直线反推「几间房」与「多少平米」

▸ 原页截图 p.24 原讲义第 24 页

Paso 1. Obtenemos la recta de regresión sobre los 13 registros completos:

第 1 步:在 13 条完整记录上拟合出回归直线:

P = 1.800 · S + 12.000 · N + 15.000
符号西语读法中文含义
P«pe» / «precio»房价(€),因变量
S«ese» / «superficie en metros cuadrados»面积(m²)
N«ene» / «número de habitaciones»房间数
1.800«mil ochocientos»每平方米的单价(€/m²)
12.000«doce mil»每多一间房的加价(€/间)
15.000«quince mil»截距:面积为 0、房间为 0 时的基准价

Paso 2. Usamos la recta de regresión para imputar los registros faltantes:

第 2 步:用这条回归直线去插补缺失的记录:

• Para el registro 12: 381.00 = 1.800 · 170 + 12000 · N + 15000 → N = 5 habitaciones

• 对第 12 条记录:381 000 = 1 800 × 170 + 12 000 × N + 15 000 → N = 5 间房

• Para el registro 13: 252000 = 1.800 · S + 12000 · 4 + 15000 → S = 105 m2

• 对第 13 条记录:252 000 = 1 800 × S + 12 000 × 4 + 15 000 → S = 105 m²

IDSuperficie S (m²)nº habitaciones NPrecio P (€)
1501117000
2602147000
3752174000
4853204000
5953222000
61103249000
71204279000
81303285000
91404315000
101504333000
111604351000
12170NaN381000
13NaN4252000
141905417000
152005435000
这页是全章唯一一道「模型插补」计算题,必须会算:把已知量代进直线,解出未知量即可。12 号解 N(已知 S=170、P=381000),13 号解 S(已知 N=4、P=252000)。
验算回归式:第 1 条 50×1800 = 90000,+12000×1 = 102000,+15000 = 117000 ✓;第 15 条 200×1800 = 360000,+60000,+15000 = 435000 ✓。说明这条直线与表格完全自洽,插补值可信。
原文写 381.00,应为 381 000(同一页的 1.800 用点作千位分隔符,只有这一处漏了三个零),属笔误。若真按 381 去解,N 会变成负数,一眼可知不成立。
p.25

c2. Imputación basada en modelos: k-vecinos más próximos (K-Nearest Neighbors o k-NN) · c2 k-NN · 怎么量「两行有多像」:相对差 + 类别 0/1

▸ 原页截图 p.25 原讲义第 25 页

c2. Imputación basada en modelos: k-vecinos más próximos (K-Nearest Neighbors o k-NN)

c2. 基于模型的插补:k 近邻(K-Nearest Neighbors,k-NN)

Idea intuitiva · Para rellenar un valor faltante en una fila, buscamos las k filas más parecidas (sus "k vecinos más cercanos") dentro de la misma tabla y usamos su información para imputar:

直观想法:要补某一行的缺失值,就在同一张表里找出最像的 k 行(它的「k 个最近邻」),用这些邻居的信息来插补:

• Atributo numérico: Se imputa con la media o mediana de los k vecinos.

• 数值属性:用这 k 个邻居的均值或中位数插补。

• Atributo categórico: Se imputa con la moda (el valor más frecuente) entre los k vecinos.

• 类别属性:用这 k 个邻居中的众数(出现最多的取值)插补。

¿Cómo medimos la "semejanza" entre dos filas? Comparamos atributo por atributo y promediamos sus diferencias:

怎么衡量两行的「相似度」?逐个属性比较,再把差异取平均:

• Numérico: Diferencia relativa = (Valor 1 − Valor 2) / (Valor Máximo − Valor Mínimo)

• 数值型:相对差 = (值 1 − 值 2)/(该列最大值 − 最小值)

dnum = |V1 − V2| / (Vmáx − Vmín)
符号西语读法中文含义
dnum«diferencia relativa»该数值属性上的「相对差」,落在 0–1 之间
V1, V2«valor uno, valor dos»两条记录在该属性上的取值
Vmáx − Vmín«rango» / «valor máximo menos mínimo»该列的极差(全表该列的取值范围)
|·|«valor absoluto»绝对值:保证距离不为负(原文遗漏,见下)

• Categórico: 0 si coinciden (mismo valor); 1 si son diferentes

• 类别型:相同取 0,不同取 1

(Nota: Cuanto menor sea la distancia total, más parecidas son las dos filas).

(注:总距离越小,两行越相似。)

k-NN 插补四步必背:① 选 k ② 算距离(数值用相对差、类别用 0/1)③ 取平均距离最小的 k 个邻居 ④ 数值取均值 / 中位数、类别取众数。
原文的相对差公式写成 (Valor 1 − Valor 2) / (Valor Máximo − Valor Mínimo),漏了绝对值,应为 |Valor 1 − Valor 2| / (Máx − Mín),属笔误——否则「值 1 小于值 2」时距离会变成负数,距离表里就会出现负值。下一例的实际计算(|21−45|/25 等)用的都是绝对值,可作反证。
「相对差」就是把绝对差除以极差:25 岁的差距在 25 岁的区间里算「满分不同」(=1),在 2500 岁的区间里几乎算「一样」。这一步让不同量纲的属性可以相加。
p.26

1.1 Limpieza de datos: tratamiento de valores perdidos · c2. Imputación k-NN · k-NN 例 · 给 5 号会员补「运动项目」:算出 5 个距离,邻居是 1 和 3

▸ 原页截图 p.26 原讲义第 26 页

Empezamos con el valor perdido del deporte en el socio número 5

先处理 5 号会员「运动项目」的缺失值。

Calculamos las distancias al resto de los ejemplos:

计算它到其余各样本的距离:

D(5,1) = (1/25 + 1/8 + 0) / 3 = 0.055

D(5,1) =(年龄差 1/25 + 健身时长差 1/8 + 等级相同 0)÷ 3 = 0.055

D(5,2) = (24/25 + 7/8 + 1) / 3 = 0.945

D(5,2) =(24/25 + 7/8 + 等级不同 1)÷ 3 = 0.945

D(5,3) = (1/25 + 0 + 0) / 3 = 0.0133

D(5,3) =(1/25 + 0 + 0)÷ 3 = 0.0133

D(5,4) = (19/25 + 6/8 + 1) / 3 = 0.8367

D(5,4) =(19/25 + 6/8 + 1)÷ 3 = 0.8367

D(5,6) = (0 + 7/8 + 1) / (1 + 1) = 0.9375

D(5,6) =(0 + 7/8 + 1)÷(1+1)= 0.9375 — 6 号的年龄也缺失,故只比两个属性,分母为 2

Por tanto, los dos vecinos más cercanos son el 1 y el 3. Para completar el dato que falta, calculamos el valor más frecuente de deporte en los vecinos, y como ambos practican natación, sería ese el valor elegido.

因此最近的两个邻居是 1 号和 3 号。用邻居中最常见的运动项目来补:两人都练游泳(natación),所以补「游泳」。

Pregunta: Si el registro 1 tuviese el valor natación y el 2 el valor golf, tendríamos un empate. ¿Cómo se te ocurre que podríamos solucionarlo?

提问:如果 1 号是游泳、2 号是高尔夫,就会出现平票。你觉得该怎么解决?

Nº socioEdad (N)Horas Gym (N)Nivel (C)Deporte (C)
12010ExpertoNatación
2452PrincipianteGolf
3229ExpertoNatación
4403PrincipianteGolf
5219Experto—
6—2PrincipianteGolf
Rango258——
平票的标准答法有三条,任答其一即可:① 取 k 为奇数(如 k=3)避免平票 ② 用「距离加权投票」——越近的邻居票越重 ③ 直接取距离更近的那个(此处 3 号 0.0133 远小于 1 号 0.055)。
注意 D(5,6) 的分母是 1+1 而不是 3:当某个属性本身也缺失时,这一维不参与比较,分母随之变小。这是 k-NN 处理「双缺失」的通用做法,考卷上极爱设这个坑。
原文结论说最近邻是 1 和 3,紧接着的提问却写成「si el registro 1 … y el 2 …」,应为「el 3」,属笔误——若真是 1 和 2,距离 0.055 与 0.945 相差悬殊,根本构不成平票。
p.27

c2. Imputación k-NN · Ejercicio · k-NN 练习 · 给 6 号会员补「年龄」:五个距离自己算

▸ 原页截图 p.27 原讲义第 27 页

Ejercicio · Calcula ahora el valor para imputar a la edad del socio 6

练习:现在请你算出 6 号会员年龄的插补值。

D(6,1)= D(6,2)= D(6,3)= D(6,4)= D(6,5)=

五个距离待填:D(6,1)、D(6,2)、D(6,3)、D(6,4)、D(6,5)

做这题的关键是换一下「谁缺」:这次缺的是年龄(数值),所以要比的是健身时长(数值)+ 等级(类别)+ 项目(类别);而 5 号的项目也是空的,所以算 D(6,5) 时分母是 2 而不是 3。
自己先算再翻页。提示:极差分别是年龄 25、健身时长 8;类别不同记 1、相同记 0。
p.28

c. Imputación k-NN · Ejercicio (solución) · k-NN 练习解答 · 五个距离 1.000 / 0.000 / 0.958 / 0.042 / 0.937 → 42.5 岁

▸ 原页截图 p.28 原讲义第 28 页

Ejercicio (solución) · Calcula ahora el valor para imputar a la edad del socio 6

练习(解答):算出 6 号会员年龄的插补值。

D(6,1): (|2−10|/8 + 1 (Nivel) + 1 (Deporte)) / 3 = (1+1+1)/3 = 1.000

D(6,1):(|2−10|/8 + 等级差 1 + 项目差 1)÷ 3 = 3/3 = 1.000

D(6,2): (|2−2|/8 + 0 (Nivel) + 0 (Deporte)) / 3 = 0/3 = 0.000

D(6,2):(|2−2|/8 + 等级同 0 + 项目同 0)÷ 3 = 0.000

D(6,3): (|2−9|/8 + 1 + 1) / 3 = (0.875+1+1)/3 = 0.958

D(6,3):(|2−9|/8 + 1 + 1)÷ 3 = 2.875/3 = 0.958

D(6,4): (|2−3|/8 + 0 + 0) / 3 = (0.125+0+0)/3 = 0.042

D(6,4):(|2−3|/8 + 0 + 0)÷ 3 = 0.042

D(6,5): Solo comparamos Horas Gym y Nivel (Deporte es nulo en 5) · (|2−9|/8 + 1) / 2 = 0.937

D(6,5):只比健身时长与等级(5 号的项目为空)·(|2−9|/8 + 1)÷ 2 = 0.937

• Edad del Socio 2: 45 • Edad del Socio 4: 40

• 2 号会员年龄:45 • 4 号会员年龄:40

Valor imputado = (45 + 40) / 2 = 42.5

插补值 =(45 + 40)÷ 2 = 42.5(岁)

答案链条要能复述:最近的两个邻居是 2(0.000)与 4(0.042)→ 两人年龄 45 与 40 → 取均值 42.5。若题目要整数,取 42 或 43 并说明四舍五入规则。
顺带验证上一页的结论:5 号的最近邻是 1(0.055)与 3(0.0133),而 6 号的最近邻是 2 与 4——同一张表、不同缺失位置,邻居完全不同。这就是 k-NN 的优势:每次插补都重新找「最像的人」。
原文笔记里 D(6,5) 的分母是 2,但若你也把「项目为空」当成「不同(记 1)」,就会错算成 (0.875+1+1)/3 = 0.958,从而把 3 号误当成邻居。缺失维度要剔除,不能当「不同」,这是本题唯一的坑。
p.29

1.1 练习 · 房价新表:4 处缺失 P1–P4(印刷页 31)

▸ 原页截图 p.29 原讲义第 29 页

Datos

数据(接下来 p.30–p.34 会分别用四种方法把这 4 个 NaN 补上,结果对比着看)

IDMetros (m²)Hab.Antigüedad (años)Precio (€)
160210150000
28035210000
3120420NaN (P1)
4702NaN (P2)165000
515052400000
6NaN (P3)315190000
79038230000
8110NaN (P4)12260000
920061550000
1050130110000
先记住四个空位:P1 = 3 号的价格、P2 = 4 号的房龄、P3 = 6 号的面积、P4 = 8 号的房间数。后面四页分别用「删行、删列、均值、回归、2-NN」处理,答案要能对上号。
这张表和 p.24 的 15 行表不是同一份数据(这里多了「房龄」列,少了第 11–15 行),不要拿 p.24 的回归式(P = 1800·S + 12000·N + 15000)来算这里——p.33 会给出新的回归式。
注意 4 处缺失分散在 4 个不同列:价格缺 1 个(10%)、房龄缺 1 个、面积缺 1 个、房间缺 1 个。若按「有缺失就删行」,会一次删掉 4 行(40%)——远超 5% 的经验上限,所以本例的正确做法不是删行。
p.30

a.1 Eliminar filas · 删掉含缺失的 4 行,10 行只剩 6 行(印刷页 32)

▸ 原页截图 p.30 原讲义第 30 页

1.1 Limpieza de datos: tratamiento de valores perdidos

1.1 数据清洗:缺失值处理(本页所属小节)

Eliminar filas

删除行:一行里只要出现一个 NaN,整行一起丢掉——这是最简单、也最伤数据的做法。

IDMetros (m²)Hab.Antigüedad (años)Precio (€)本页处置
160210150000保留
28035210000保留
3120420NaN (P1)✗ 整行删除
4702NaN (P2)165000✗ 整行删除
515052400000保留
6NaN (P3)315190000✗ 整行删除
79038230000保留
8110NaN (P4)12260000✗ 整行删除
920061550000保留
1050130110000保留
截图里的四条蓝线就是被划掉的行:3、4、6、8 号。删完剩 6 行,样本量从 10 掉到 6,损失 40%——远超 p.19 那个 5% 的经验上限,所以本例不该用这招。
删行只丢「一行」,但一行的信息全没了。若缺失是 MCAR(完全随机缺失)、比例又很小(<5%),删行几乎不引入偏差;比例一大或缺失不随机,就会带来选择偏差。
代码里 dropna() 一行就能删,但那是「操作」不是「决策」。写报告时必须交代:删了几行、删之前多少行、为什么判断缺失是随机的。
p.31

a.2 Eliminar columnas · 四列各缺 1 个,结果把四列全删光(印刷页 33)

▸ 原页截图 p.31 原讲义第 31 页

1.1 Limpieza de datos: tratamiento de valores perdidos

1.1 数据清洗:缺失值处理(本页所属小节)

Eliminar columnas

删除列:如果一整列里含缺失值,就把这一列(特征)整个删掉。

列缺失个数缺失比例本页处置
Metros (m²)1(P3,6 号)10%✗ 整列删除
Hab.1(P4,8 号)10%✗ 整列删除
Antigüedad (años)1(P2,4 号)10%✗ 整列删除
Precio (€)1(P1,3 号)10%✗ 整列删除
ID00%保留
这页是「机械照规则执行」的反面教材:四个空分散在四列,每列只缺 10%,但「列里有 NaN 就删列」这条规则一执行,四个特征全被删掉,只剩一个 ID——数据集变成空壳。截图里的四条竖蓝线就是这个下场。
删列的正确理由是「这一列本身对本任务没用」(比如 p.20 的 fecha de defunción 缺 65%、且与预测无关),不是「这一列有缺失」。把因果搞反,就会出现本页这种把数据删光的操作。
一句话分清两种删法:删行 = 砍样本(少几个人),删列 = 砍特征(少几个维度)。前者伤样本量,后者伤信息量。
p.32

b Imputación a la media · 四个均值 251666 / 11.444 / 103.333 / 3.222(印刷页 34)

▸ 原页截图 p.32 原讲义第 32 页

1.1 Limpieza de datos: tratamiento de valores perdidos

1.1 数据清洗:缺失值处理(本页所属小节)

Imputación a la media

均值插补:算出该列已有数值的算术平均,用这个数把所有空洞填上。

x̄ = (x1 + x2 + ⋯ + xn) / n
符号西语读法中文含义
x̄«equis barra» / «media»该列已有数值的算术平均(读「x barra」)
xi«equis sub i»第 i 个观测值(只取非缺失的那些)
n«ene» / «número de valores no nulos»参与计算的有效值个数(本表 = 9,不含 NaN)
Σ 的写法 x1+⋯+xn«sumatorio»把 9 个已知值加起来再除以 9
列9 个已知值之和÷ 9 = 均值填入哪个空
Metros (m²)930103.333P3(6 号面积)
Hab.293.222P4(8 号房间数)
Antigüedad (años)103原文 15.444(应为 11.444)P2(4 号房龄)
Precio (€)2265000251666P1(3 号价格)
均值插补的做题步骤只有三步:① 划掉 NaN 数一下有几个有效值 n;② 求和除以 n;③ 把结果填回空位。本例 n 一律是 9(10 行减 1 个空)。
原文房龄一栏写 15.444,但 9 个房龄之和是 10+5+20+2+15+8+12+1+30 = 103,103 ÷ 9 = 11.444;15.444 对应的是和 139,属笔误。照抄原文、但按 11.444 理解。
均值插补的两个必背副作用:① 该列的均值一分不变(填进去的就是均值);② 方差被压小、分布变得更尖,还会人为削弱这一列与其它列的相关性。
p.33

c.1 Regresión · 用其它列建模型,四个空各预测一次(印刷页 35)

▸ 原页截图 p.33 原讲义第 33 页

1.1 Limpieza de datos: tratamiento de valores perdidos

1.1 数据清洗:缺失值处理(本页所属小节)

Regresión

回归插补:把「有缺失的那一列」当因变量,其余列当自变量拟合直线,再代回去算出预测值填洞。

Ŷ = w0 + wS·S + wN·N + wA·A
符号西语读法中文含义
Ŷ«i gorro»被插补那一列的预测值(本页分别指价格 / 房龄 / 面积 / 房间数)
w0«término independiente»截距(常数项)
wS, wN, wA«pesos» / «coeficientes»面积 S、房间数 N、房龄 A 对应的权重
S, N, A«superficie, número de habitaciones, antigüedad»该行已知的三列取值
空位用哪些列当自变量代入的已知值插补结果
P1(3 号价格)Metros, Hab., Antigüedad120 / 4 / 20294000
P2(4 号房龄)Metros, Hab., Precio70 / 2 / 16500020,6
P3(6 号面积)Hab., Antigüedad, Precio3 / 15 / 19000092,6
P4(8 号房间数)Metros, Antigüedad, Precio110 / 12 / 2600002.5
与均值插补最大的区别:均值插补把同一列的四个空填成同一个数;回归插补对每一行单独预测,四行四个不同的值。这就是 p.23 说的「个性化」。
本页小数写法与上一页不一致:p.32 用点(15.444 / 103.333 / 3.222),本页混用逗号(20,6 / 92,6)与点(2.5)。西班牙语规范是「千位点、小数逗号」,但同一份材料内必须统一;读表时别把 20,6 看成两千零六十。
合理性检查:插补出「2.5 间房」是允许的——回归给的是期望值,不是真实户型;这也暴露了回归插补的毛病:会造出「现实中不存在」的取值,且人为拉高该列与自变量的相关性。
p.34

c.2 2 vecinos más próximos · 取最像的 2 行求均值(印刷页 36)

▸ 原页截图 p.34 原讲义第 34 页

1.1 Limpieza de datos: tratamiento de valores perdidos

1.1 数据清洗:缺失值处理(本页所属小节)

2 vecinos más próximos

2 近邻插补:在本表里找出与这一行最像的 2 行(k = 2),用它们的取值来填洞。

空位插补结果结果是怎么来的
P1(3 号价格)225000两个最像的邻居的价格取平均
P2(4 号房龄)7,5(10 + 5) / 2
P3(6 号面积)80与 2 号的面积 80 相同
P4(8 号房间数)3两个邻居的房间数都是 3
k-NN 插补与回归插补的分水岭:回归是参数化方法(先拟合一组权重,再用公式算),k-NN 是基于实例的方法(不拟合任何参数,每次都现场找邻居)。答题时要能说出这句话。
房龄 7,5 是最好的验算样本:1 号房龄 10、2 号房龄 5,取平均正好 7.5——说明 4 号的两个最近邻就是 1 号和 2 号。房间数那一格两个邻居都是 3,所以取平均仍是 3。
本页只给了结果,没写距离公式、也没说 k 到底取 2 还是别的。手算时若不先声明「用哪种归一化 + k 等于几」,邻居就会换人、答案就会变。考试若要求复算,第一句先写口径。

四、1.2 Tratamiento de datos anómalos:异常值与噪声

p.35–p.44
p.35

1.2. Tratamiento de datos anómalos · 第二节分隔页(印刷页 37)

▸ 原页截图 p.35 原讲义第 35 页

1. Limpieza de datos

1. 数据清洗(大节编号:本节仍属于「清洗」)

1.2. Tratamiento de datos anómalos

1.2 异常数据处理(清洗的第二个子问题)

层级别搞混:1. 清洗 → 1.1 缺失值(已学完)、1.2 异常值(从这里开始)。1.2 不是第二章,是第一章的第二小节。
本节覆盖 p.36–p.44:先定义(正常区域 / 异常 / 离群点 / 噪声),再学检测手段(Min-Max 重缩放、Z-Score、IQR、可视化),最后学处置(删除与插补)。
印刷页码提醒:物理 p.35 = 印刷 p.37(偏移 +2)。本页截图右下角写的是 37,正文里的页码胶囊写的是 p.35,两者差 2 属于正常。
p.36

1.2 概念地图 · 正常区域 / 异常 / 离群点 / 噪声(印刷页 38)

▸ 原页截图 p.36 原讲义第 36 页

1.2. Limpieza de datos: tratamiento de datos anómalos

1.2 数据清洗:异常数据处理(本页所属小节)

• Regiones normales (N1, N2): Son los grupos donde se concentra la mayor densidad de datos.

• 正常区域(N1、N2):数据密度最大的那些「团块」。

• Dato anómalo (Anomaly): Término general para cualquier dato o patrón que no sigue el comportamiento esperado. Puede ser puntual, contextual (ej. 30 °C en enero) o colectivo (un grupo con comportamiento atípico conjunto, como 𝑂3).

• 异常(Anomaly):一切不按预期规律走的数据或模式的统称。可分为:点异常(单个点)、上下文异常(如一月出现 30 °C)、集体异常(一组点整体反常,如臭氧 O₃ 的污染过程)。

• Valor atípico (Outlier): Caso más común de anomalía (puntual); registro individual muy alejado del resto. Puede ser un error (edad −5) o un evento real extremo pero valioso (ej. fraude, altura de 2,40 m).

• 离群点(Outlier):最常见的异常类型(点异常),即某条记录离其它记录很远。它可能是错误(年龄 −5),也可能是真实但极端的宝贵事件(欺诈交易、2.40 m 的身高)。

• Ruido (Noise): Variación o error aleatorio en los datos (ej. fallos de sensor). A diferencia de un outlier legítimo, no aporta información útil y siempre debe eliminarse o suavizarse.

• 噪声(Noise):数据中的随机波动或随机误差(如传感器故障)。与「合法的离群点」不同,噪声不携带有用信息,永远应当剔除或平滑掉。

Chandola, V., Banerjee, A., & Kumar, V. (2009). Anomaly detection: A survey. ACM computing surveys (CSUR), 41(3), 1-58.

本节理论出处:Chandola 等人 2009 年的异常检测综述(ACM Computing Surveys 41 卷 3 期)。

必背的包含关系:anomaly(异常)是上位概念;outlier(离群点)是 anomaly 中最常见的一类(点异常);noise(噪声)不是 anomaly 的一种,它是随机误差,特征是「永远没用」。三者不可混答。
判断口诀:看得懂原因的极端值 = outlier(年龄 −5 是录入错、2.4 m 是真高个);说不清规律的小抖动 = noise(传感器抖动);一群点集体反常 = anomaly 的集体型(O₃ 污染)。
outlier 不等于「错的数据」。fraude(欺诈)和 2.40 m 身高都是真实发生的极端事件,恰恰是建模最想抓住的信号;一刀切删掉它们,就是在删最有价值的样本。
p.37

Reescalado Min-Max · Min-Max 重缩放 · 把值压到 [0,1],极值一压就露馅(印刷页 39)

▸ 原页截图 p.37 原讲义第 37 页

1.2. Limpieza de datos: tratamiento de datos anómalos: detección

1.2 数据清洗:异常数据检测(注意:本页标题虽写 detección,内容其实是重缩放)

• Reescalado Min-Max · Transformamos los valores a un rango específico. Normalmente se escala al rango [0, 1], mediante la expresión

• Min-Max 重缩放:把所有取值搬到指定区间,通常缩放到 [0, 1],公式如下。

x′ = (x − xmín) / (xmáx − xmín)
符号西语读法中文含义
x′«equis prima»缩放后的新值,一定落在 [0, 1]
x«equis»原始值
xmín«equis mínimo»该列最小值(缩放后变 0)
xmáx«equis máximo»该列最大值(缩放后变 1)
xmáx − xmín«rango»极差(分母,必须 ≠ 0,否则整列是常数,无法缩放)

• (Nota: requiere que xmáx ≠ xmín)

• (注意:要求 xmáx ≠ xmín,否则分母为 0。)

• Los valores mínimo y máximo se transforman en 0 y 1, respectivamente.

• 最小值变成 0、最大值变成 1,其余值按比例落在两者之间。

• Sensibilidad a outliers: los valores atípicos extremos asumen los valores 0 o 1, lo que comprime el resto de los datos en un subintervalo muy pequeño.

• 对离群点敏感:极端值把 0 和 1 两个端点「占住」,其余数据全被挤进一个极窄的小区间。

• Es útil como primera inspección de los datos o en algoritmos basados en distancias y redes neuronales (por ejemplo, k-NN o k-Means).

• 适合用作数据的初步体检,也适合用在基于距离的算法与神经网络里(例如 k-NN、k-Means)。

Min-Max 本身不是检测器,它只是把尺度统一。之所以能用来「看」异常:正常值被压成一堆挨得很近的小数(如 0.0、0.037、0.052…),而极值孤零零顶在 1.0,一眼就能看出它离群。
本页小节标题写的是 detección(检测),但正文讲的是 Min-Max 重缩放,严格说属于 3. 变换(p.56 还会再讲一次)。这是讲义的结构错位,答题时按「重缩放的副作用可用于粗查异常」来理解即可。
分母是极差这一点要记牢:Min-Max 完全由最小值和最大值决定,所以只要混进一个极端值,整列的缩放结果就全被它带偏——这正是「对 outliers 敏感」的数学原因。
p.38

统计方法 · Z-Score(|z|>3)与 IQR(Q1−1.5·IQR, Q3+1.5·IQR)(印刷页 40)

▸ 原页截图 p.38 原讲义第 38 页

Métodos estadísticos

统计方法(用分布的位置与离散程度来划「正常范围」)

• Z-Score: Medimos a cuántas desviaciones estándar se encuentra un punto de la media. Para ello se transforman los datos mediante la expresión:

• Z 分数:衡量某个点离均值有几个标准差,用下面的式子把数据标准化。

z = (x − μ) / σ
符号西语读法中文含义
z(原文 x′)«zeta» / «puntuación z»标准化后的值,无量纲,可正可负
x«equis»原始观测值
μ«mu» / «media poblacional»总体均值
σ«sigma» / «desviación estándar»标准差(分母,必须 ≠ 0)
|z| > 3«valor absoluto de zeta mayor que tres»判定阈值:偏离超过 3 个标准差即视为异常候选

Generalmente, un valor estandarizado con 𝑥′ > 3 será considerado anómalo.

一般来说,标准化后 𝑥′ > 3 的值会被判为异常(严格说是 |𝑥′| > 3,负方向 −3 以下同样算)。

• IQR (Rango Intercuartílico): Se basa en la dispersión de los datos. En concreto, se usan los cuartiles Q1 y Q3 y el rango intercuartílico (Q3 - Q1) para construir el intervalo de valores "normales", que viene dado por [Q1 − 1.5 ∗ IQR, Q3 + 1.5 ∗ IQR].

• IQR(四分位距):基于数据的离散程度。用下四分位 Q1、上四分位 Q3 以及四分位距(Q3 − Q1)构造「正常值」区间:[Q1 − 1.5·IQR, Q3 + 1.5·IQR]。

[ Q1 − 1.5 · IQR , Q3 + 1.5 · IQR ]
符号西语读法中文含义
Q1«cuartil uno» / «primer cuartil»下四分位:25% 的数据在它以下
Q3«cuartil tres»上四分位:75% 的数据在它以下
IQR«rango intercuartílico»四分位距 = Q3 − Q1,中间 50% 数据的宽度
1.5«uno coma cinco»经典倍数(Tukey 经验常数),决定「胡须」的长度
[ , ]«intervalo cerrado»闭区间:区间之外的点才是异常候选

Los puntos fuera de dicho intervalo son candidatos a datos anómalos.

落在该区间之外的点,就是异常数据的候选。

两种方法的取舍必背:Z-Score 用 μ 和 σ,本身会被极端值「拉偏」,且假定近似正态;IQR 用四分位,只依赖中间 50% 的数据,对极端值稳健。所以数据明显偏态或有极端值时优先用 IQR。
原文写 𝑥′ > 3,漏了绝对值:z = −4 的点同样是异常,标准写法是 |z| > 3。属表述不严,答题时写绝对值。
Z-Score 的直觉:把「离均值几个标准差」当作尺子。正态分布下 |z| > 3 的概率约 0.3%,即千里挑一,所以用它当阈值。
p.39

实例演算 · 45, 50, 52, 55, 58, 60, 180 三种方法各判一次(印刷页 41)

▸ 原页截图 p.39 原讲义第 39 页

Ejemplo: Tiempo de entrenamiento (en min.) en una bicicleta elíptica: 45, 50, 52, 55, 58, 60, 180.

例:某人在椭圆机上每次的训练时长(分钟):45, 50, 52, 55, 58, 60, 180。

• Normalización Min-Max · El rango máx-min es 135 y datos normalizados son 0.0, 0.037, 0.052, 0.074, 0.096, 0.111, 1.0.

• Min-Max 归一化:极差 = 180 − 45 = 135,归一化结果为 0.0、0.037、0.052、0.074、0.096、0.111、1.0。

Aunque no es un detector por sí mismo, la fuerte compresión de los seis primeros valores frente al 1.0 sugiere que 180 podría ser un valor anómalo.

它本身虽然不算检测器,但前六个值被压缩得极扁、而最后一个稳稳顶在 1.0,这强烈提示 180 可能是异常值。

• Z-Score: La media es 71,4286 y la desviación estándar poblacional es 44,5769. Los datos normalizados son: -0,5929, -0,4807, -0,4358, -0,3685, -0,3012, -0,2564 y 2,4356.

• Z 分数:均值 μ = 500/7 ≈ 71.4286,总体标准差 σ ≈ 44.5769;标准化结果为 −0.5929、−0.4807、−0.4358、−0.3685、−0.3012、−0.2564 和 2.4356。

No se marcaría ningún dato como anómalo con el umbral clásico (|𝒛| > 𝟑), aunque 180 es el mayor valor y conviene revisarlo (el propio extremo "infla" 𝝁 y 𝝈).

按经典阈值 |z| > 3,一个都不会被判为异常——连 180 的 z 也只有 2.4356;但 180 终究是最大值,仍应人工复核(正是这个极端值把 μ 和 σ 一起「吹大」了,从而掩护了自己)。

• IQR (Rango Intercuartílico): Calculamos Q1=50; Q3=60; IQR=60−50=10. Los límites inferior y superior son 35 y 75.

• IQR:Q1 = 50、Q3 = 60、IQR = 60 − 50 = 10;下界 50 − 15 = 35,上界 60 + 15 = 75。

Se marcaría 180 como valor anómalo.

于是 180 被判为异常(180 > 75),其余六个值全部落在 [35, 75] 内。

原始值 xMin-Max x′Z-Score z是否落在 IQR 区间 [35, 75]
450.000−0.5929是
500.037−0.4807是
520.052−0.4358是
550.074−0.3685是
580.096−0.3012是
600.111−0.2564是
1801.0002.4356否(> 75,异常)
这道题是三种方法的对比样板,结论必须能背:Min-Max 只「提示」、Z-Score 在 n 小且有极端值时会「漏判」、IQR「判出」180。考试问「哪种方法更可靠」,答 IQR(稳健)。
手算 Z-Score 的顺序:① 求和 500,μ = 500/7 = 71.4286;② 求偏差平方和 13903.7,方差 = 13903.7/7 = 1986.2,σ = √1986.2 = 44.57;③ 最后一个 (180 − 71.4286)/44.5769 = 2.4356。
同一页里小数写法混用:Z-Score 一段用逗号(71,4286 / -0,5929 / 2,4356),Min-Max 一段用点(0.037 / 0.111)。属排版不一致,读的时候统一按小数点处理。
漏判的根本原因:σ 里含有 180 自己的贡献(108.57 的偏差),分母被它撑大 → z 被压小。这就是「极端值掩护自己」,也叫掩蔽效应。
p.40

Técnicas de Visualización · 可视化三件套 · 箱线图 / 散点图 / 直方图(印刷页 42)

▸ 原页截图 p.40 原讲义第 40 页

Técnicas de Visualización · La visualización se considera una etapa exploratoria para la detección de outliers.

可视化技术:可视化属于检测离群点的探索性阶段(先看,再判)。

• Boxplots (Diagramas de cajas y bigotes): Permiten visualizar rápidamente los cuartiles y los puntos aislados que superan los límites del IQR.

• 箱线图(Boxplot,盒子加胡须):快速看出四分位数,以及超出 IQR 上下界的孤立点。

• Scatter Plots (Diagramas de dispersión): Ideales para ver la relación entre dos variables e identificar puntos que se escapan de la "nube" principal.

• 散点图:最适合看两个变量之间的关系,并找出「逃离主云团」的点。

• Histogramas: Ayudan a ver la frecuencia de los datos; las barras muy pequeñas y alejadas en los extremos podrían revelar posibles valores atípicos.

• 直方图:看数据的频数分布;两端那些又矮又远的小柱子,往往就是可能的异常值。

三张图各管什么,答题要对号:箱线图 = 一元(单变量)+ 现成的 IQR 界线;散点图 = 二元(两变量)+ 主云团外的孤立点;直方图 = 分布形状 + 尾部稀疏区。三者都只是「候选提示」,不是判定。
箱线图的读法:箱体下沿 = Q1、上沿 = Q3、箱内横线 = 中位数;胡须端点是 < Q1 − 1.5·IQR 与 > Q3 + 1.5·IQR,胡须之外单独画的小点就是离群点——正好是 p.38 那条 IQR 规则的图形版。
一句话分工:看一个变量 → 直方图 / 箱线图;看两个变量 → 散点图。三维以上就得靠降维后再画。
p.41

Técnicas de Visualización · 可视化的边界 · 只能提「候选」,判定靠领域知识(印刷页 43)

▸ 原页截图 p.41 原讲义第 41 页

Técnicas de Visualización

可视化技术(承接上一页的三张图)

La visualización no confirma que los datos sean atípicos; sugiere "candidatos" para su análisis.

可视化不能证实某个数据就是异常,它只是给出待分析的「候选者」。

La detección visual es exploratoria. La decisión final requiere contexto del dominio.

视觉检测只是探索性的;最终判定必须结合领域背景(知道这个变量在现实中能取什么值)。

这句话是全章的「免责声明」,也是答题高频点:可视化 = 探索(exploratory)≠ 判定(decisión);最终判断要 contexto del dominio(领域知识)。考「能否仅凭箱线图删掉数据」,答案是不能。
把 p.36 的分类拿来用:图上看到的孤立点,可能是有价值的 outlier(2.40 m、欺诈),也可能是噪声;光看图分不出是哪一种,必须回到业务里问「这个取值讲得通吗」。
常见扣分点:把「离群」当成「错误」。离群只是统计上的「少见」,少见 ≠ 错;删除前必须能说清它为什么不该存在(超出量程、逻辑矛盾、单位混用等)。
p.42

Eliminación Crítica · 处置 · 临界删除三条件 / 当信号存在时改用稳健模型 / 插补(印刷页 44)

▸ 原页截图 p.42 原讲义第 42 页

Eliminación Crítica: Suprimir el registro si:

临界删除:只有在下面三个条件同时成立时,才删掉这条记录。

i) se confirma el error (ej. Edad 200 años);

i) 能确认是错误(例:年龄 200 岁);

ii) el impacto en la cobertura es aceptable (ej. se elimina menos del 5% de los datos)

ii) 对覆盖率的影响可接受(例:删掉的不到全部数据的 5%);

iii) no provoca sesgos (ej. elimina personas de alto salario porque no dicen su salario)

iii) 不会引入偏差(反例:因为高收入者不愿报收入就把他们删掉——这会系统性地漏掉一类人)。

Si se considera que puede ser un evento real poco frecuente, lo recomendable es considerar tratamiento específico (ej. si eliminamos un número excesivamente alto de conexiones, podemos estar eliminando precisamente los casos interesantes).

若判断它可能是真实的稀有事件,应当考虑专门处理(例:把「连接数异常高」的记录全删掉,删掉的恰恰是最有意思的案例)。

Esto es señal, no ruido, y convendría usar modelos robustos a outliers (como random forest).

这属于信号而非噪声,此时应当改用对离群点稳健的模型(例如随机森林)。

Imputación: Sustituir valores extremos utilizando técnicas de imputación de datos (apartado anterior).

插补:把极端值替换掉,用的是上一小节(1.1)讲过的插补技术。

删除的「三条件」是本节最可能出简答题的地方,必须能逐条背出并各举一例:① 确认错误;② 覆盖率损失 <5%;③ 不引入偏差。三个缺一不可——尤其第 ③ 条,最容易被忽略。
注意第 iii 条的反例方向:它说的是「因为高收入者不报收入而删掉他们」会带来偏差。这里的偏差来自删除行为本身是有选择性的(不是随机缺),并非「收入数据缺失」这件事实。答「删除会引入选择偏差」即可。
「señal, no ruido」是本节的金句:信号要保留并用稳健模型(随机森林)承接,噪声才该剔除。判别标准仍是 p.36——它有没有信息量。
p.43

Transformaciones de datos · 不删也能治 · 非线性变换 / 聚类分段 / 平滑 + 三个自测问答(印刷页 45)

▸ 原页截图 p.43 原讲义第 43 页

Transformaciones de datos (se verán en más detalle en el apartado correspondiente)

数据变换(属于「保留异常值」的处置路线,详见后面 3. 变换一节)

• Transformaciones no Lineales: Aplicar funciones logarítmicas o raíz cuadrada para reducir el peso de los extremos ("suavizar" la joroba de la distribución) y facilitar el cumplimiento de la hipótesis de normalidad.

• 非线性变换:取对数或开平方,压低极端值的权重(「削平」分布的驼峰),让数据更容易满足正态性假设。

• Segmentación (Clustering) para detección de subpoblaciones. Identificar si las anomalías forman un grupo con patrón propio (ej. "socios de alto rendimiento") para tratarlos de forma aislada en lugar de eliminarlos.

• 聚类分段:用于发现子群体。先看这些「异常」是否自成一群、有自己的规律(例:「高产出会员」),然后单独建模,而不是删掉。

• Suavizado de Datos: Aplicar filtros de variabilidad (como medias móviles) para minimizar el impacto del ruido aleatorio en el análisis global.

• 数据平滑:用波动滤波器(如移动平均)降低随机噪声对整体分析的干扰。

Preguntas:

自测三问(答案就在下一行,先自己答一遍)

• ¿Cuándo es peligroso eliminar outliers aunque "estadísticamente" parezcan anómalos? → Cuando es señal y no ruido; cuando representan a una subpoblación real

• 什么时候「统计上确实异常」却不能删?→ 当它是信号而非噪声时;当它代表一个真实存在的子群体时。

• ¿Entre z-score y IQR, qué método eligirías si la distribución es muy asimétrica? ¿por qué? → El IQR, porque en z-score los valores extremos pueden sesgar la media y la desviación típica.

• 分布严重偏态时,Z-Score 与 IQR 选哪个?→ 选 IQR,因为 Z-Score 里的极端值会把均值与标准差本身带偏(自证失效)。

• Si escalas con Min–Max y aparece un 1.0… ¿es anomalía o simplemente el máximo? → Depende, hay que mirar los datos (no hay una "regla de detección" como en z-score)

• 用 Min-Max 缩放后看到 1.0,是异常还是「它就是最大值」?→ 要看数据本身:Min-Max 没有像 Z-Score 那样的判定规则,1.0 只说明「它是这一列最大的那个」。

三个问答的答案就是三条结论,背原文即可:① 是信号/真实子群体时不能删;② 偏态分布选 IQR;③ 1.0 只是最大值,不是判决书。这三条串起来正好回答「为什么不能只看统计指标就删数据」。
原文写 eligirías,正确拼写是 elegirías(elegir 的条件式),属笔误。另外 desviación típica 是西班牙(Spain)用法,拉美多说 desviación estándar,同义。
三条处置路线按「破坏性」排序:非线性变换 < 聚类分段 < 删除。能不删就不删——变变换、分分段,信息还在;一删就永久丢失。
p.44

1.2. Limpieza de datos: tratamiento de datos anómalos: resumen · 1.2 小结表 · 不一致 / 缺失 / 异常:定义—例子—策略(印刷页 46)

▸ 原页截图 p.44 原讲义第 44 页

1.2. Limpieza de datos: tratamiento de datos anómalos: resumen

1.2 数据清洗:异常数据处理 · 小结

ProblemaDefiniciónEjemploEstrategia de tratamiento
Inconsistencias Representaciones heterogéneas del atributo. Un sistema registra "Madrid" y otro "MAD" o "madrid" (minúsculas). Pasar todos los nombres a un formato común mediante reglas o diccionarios.
Valores Perdidos (MVs) Datos no registrados o vacíos en el dataset. Un cliente no proporcionó su fecha de nacimiento en un formulario. - Ignorar: Eliminar la fila/columna
- Llenar: Usar un estadístico
- Imputar: Estimar el valor
Datos anómalos (ruido, valores atípicos, anomalías colectivas) Valores que se desvían significativamente del patrón general del conjunto de datos, pudiendo corresponder a errores de medición o a eventos reales "raros". Un sensor de temperatura falla y registra 180 °C en una habitación.
Una persona que mide 2.40 o que vive 122 años
- Verificación en el dominio del problema.
- Tratamiento específico (transformación, segmentación, uso de modelos robustos).
- Eliminación solo si se confirma error.
这张表是 1. 清洗的总复习卡:三类问题、三种策略一一对应。不一致 → 统一格式;缺失 → 忽略 / 填统计量 / 模型插补;异常 → 先领域验证,再专门处理,只在确认错误时删除。
注意第三列的两个例子方向相反:「传感器记 180 °C」是错误(该删),「身高 2.40 m / 活到 122 岁」是真实的稀有事件(该留)。这就是 p.42 说的「确认错误才删」。
缺失值那格的三个动词有层次:Ignorar(不管)→ Llenar(填个统计量)→ Imputar(建模型估),越往后越精细也越贵——正是 1.1 里 a) b) c) 三条路线。

五、2. Integración de datos:合并多源、去重、消冗余

p.45–p.51
p.45

2. Integración de datos · 第二节分隔页(印刷页 47)

▸ 原页截图 p.45 原讲义第 45 页

2. Integración de datos

2. 数据集成(五阶段的第二阶段)

阶段定位必答:1 清洗 → 2 集成 → 3 变换 → 4 归约 → 5 离散化。集成排在清洗之后,因为先各自洗干净,再拼在一起,否则脏数据会被合并放大。
本节覆盖 p.46–p.51:先讲集成的定义与两个致命问题(重复实例、冗余属性),再用 Elena Lopez / Helena López 这个例子讲记录匹配,最后给 χ²、Pearson、Spearman 三种冗余检测手段。
「集成」不是「把文件拼起来」这一件事。拼起来容易,判断两行是不是同一个人、判断两列是不是重复表达同一件事才是本节的全部难点。
p.46

2 集成 · 定义 + 两个关键问题:重复实例与冗余属性(印刷页 48)

▸ 原页截图 p.46 原讲义第 46 页

La integración de datos es el proceso de combinar información proveniente de múltiples fuentes para crear una vista única, coherente y valiosa.

数据集成是把多个来源的信息合并起来,形成一个唯一、一致、有价值的视图。

Para lograr un dataset de calidad, nos enfocaremos en dos problemas críticos que pueden distorsionar cualquier análisis estadístico o modelo de aprendizaje:

要得到高质量的数据集,必须盯住两个关键问题——它们足以扭曲任何统计分析或机器学习模型。

Detección de instancias duplicadas: ¿Cómo identificamos registros repetidos?

重复实例检测:怎么认出「同一条记录出现了多次」?

• Un mismo objeto o evento puede aparecer varias veces debido a errores en la entrada de datos o solapamiento entre sistemas.

• 同一个对象或事件可能重复出现:数据录入出错,或两个系统的记录范围有重叠。

Localización de Datos Redundantes: ¿Qué información sobra?

冗余数据定位:哪些信息是多余的?

• La redundancia ocurre cuando un atributo puede ser derivado de otro (por ejemplo, tener "Fecha de nacimiento" y "Edad").

• 当一个属性可以由另一个属性推导出来时,就产生了冗余(例:同时存「出生日期」和「年龄」)。

两个问题的层级不同,别混答:重复实例 = 行层面(同一个人出现两遍,会让这个人的权重翻倍);冗余属性 = 列层面(同一信息换了种写法,会让某些特征被重复计权)。
「Fecha de nacimiento + Edad」是冗余的教科书例子,因为 年龄 = 今天 − 出生日期,一个是另一个的函数。但要注意:年龄会随时间变化、出生日期不会——所以真实项目里常留出生日期、由它现算年龄。
冗余不等于「一模一样」。两列取值完全不同(65 岁 vs 1990-05-12),只要可以互相推导,仍是冗余。判断标准是「能否由另一个算出」,不是「长得像不像」。
p.47

2.1 重复实例示例 · Elena Lopez / Helena López 的三层比对(印刷页 49)

▸ 原页截图 p.47 原讲义第 47 页

2.1. Detección instancias duplicadas: ejemplo

2.1 重复实例检测 · 示例

Imagina que, al fusionar dos bases de datos, nos encontramos con estos dos registros:

假设合并两个数据库时,遇到下面两条记录:

A: "Elena Lopez", Calle Mayor 5, DNI 2345678X

A:「Elena Lopez」,Calle Mayor 5(马约尔街 5 号),身份证号 2345678X

B: "Helena López", 5, Mayor St., DNI 2345678-X

B:「Helena López」,5, Mayor St.(英文写法),身份证号 2345678-X

¿Cómo podemos algorítmicamente determinar si son el mismo registro?

怎么用算法判定这两条是不是同一个人?

1. Métricas de Caracteres (Edit Distance). Comparamos "Elena" vs "Helena" o "Lopez" vs "López" (con tilde). Se cuenta el número de transformaciones necesarias para hacerlos coincidir (en este caso, 2).

1. 字符级度量(编辑距离):比较「Elena」与「Helena」、「Lopez」与「López」(带重音符)。数一数要改几次才能让两者一致——本例共 2 次(插入一个 H、o 换成 ó)。

2. Métricas Fonéticas (Metaphone). "Elena" y "Helena" generan el mismo código fonético, luego podemos ignorar la diferencia ortográfica.

2. 语音度量(Metaphone):「Elena」与「Helena」生成相同的语音编码,于是可以忽略拼写差异。

3. Métricas de Tokens. Se generan tokens para comparar la dirección "Calle Mayor 5" vs "5, Mayor St." Para ello, se descompone la dirección en palabras sueltas y se ignora tanto el orden como palabras genéricas (en este caso, "Calle" o "St."). Ambos registros contienen los tokens clave "5" y "Mayor".

3. 词元(token)度量:把地址拆成一个个词来比较「Calle Mayor 5」与「5, Mayor St.」——忽略词序,也忽略通用词(本例的 "Calle"、"St.")。两条记录都含关键 token「5」和「Mayor」。

En los tres casos podríamos identificar los valores del registro como coincidentes.

三种方法都能判定这两条记录的取值相互吻合。

层级比的是什么本例的证据典型算法
字符级逐个字符的增删改Elena→Helena、Lopez→López = 2 次Edit Distance / Levenshtein
语音级读音是否相同Elena ≈ Helena(同码)Metaphone / Soundex
词元级拆分后的关键词集合{5, Mayor} 两边都有Token / Jaccard
三种度量由细到粗:字符级最严格(差一个字母就算不同)、语音级看读音、词元级最宽松(只看关键词集合)。答题时若问「哪种更适合拼写错误」,答编辑距离;问「哪种适合音译或口音差异」,答语音度量。
别漏了最强证据:两条记录的 DNI(身份证号)都是 2345678X,只是 B 多了个连字符。现实里应当先用身份证号这类强标识字段做精确匹配,剩下的再用上面三种模糊度量兜底。
注意 Edit Distance 里的 2 是「插入 H」+「o→ó 替换」两次操作;若算法把重音符先归一化掉(去掉 tilde),距离就只剩 1。是否统一处理重音符,会直接改变判定结果。
p.48

2.1 Detección de instancias duplicadas · 2.1 重复实例检测 · 三技术对照表:字符 / 语音 / 词元(印刷页 50)

▸ 原页截图 p.48 原讲义第 48 页

2.1 Detección instancias duplicadas

2.1 重复实例检测 · 三种技术总表

TécnicaEnfoque PrincipalEjemplo de UsoResultado Esperado
Métricas de Caracteres
(Edit Distance)
Cuenta cambios mínimos entre letras (borrar, insertar, sustituir). Comparar "García" vs. "Garzia". Distancia = 1 (Alta probabilidad de duplicado).
Métricas Fonéticas
(Metaphone)
Compara cómo suenan las palabras en lugar de cómo se escriben. "Stephen" vs. "Steven". Coincidencia fonética (Se identifican como la misma entidad).
Métricas basadas en tokens Ignora el orden de las palabras; busca conjuntos de términos. "Calle Mayor 5" vs. "5, Mayor St.". Similitud de tokens (Identifica que la dirección es la misma).

Métricas de Caracteres (Edit Distance): cuenta cambios mínimos entre letras (borrar, insertar, sustituir). Ejemplo: comparar "García" vs. "Garzia". Resultado: distancia = 1, alta probabilidad de duplicado.

字符级度量(编辑距离):数出把 A 变成 B 所需的最少编辑操作(删除、插入、替换)。例:「García」对「Garzia」,只要把 c 换成 z,距离 = 1,因此极可能是重复记录。

Métricas Fonéticas (Metaphone): compara cómo suenan las palabras en lugar de cómo se escriben. Ejemplo: "Stephen" vs. "Steven". Resultado: coincidencia fonética, se identifican como la misma entidad.

语音度量(Metaphone):比的是读音而不是拼写。例:「Stephen」与「Steven」——拼写完全不同,读音一致,于是判定为同一实体。

Métricas basadas en tokens: ignora el orden de las palabras; busca conjuntos de términos. Ejemplo: "Calle Mayor 5" vs. "5, Mayor St.". Resultado: similitud de tokens, identifica que la dirección es la misma.

词元度量:不管词序,只看「出现了哪些词」。例:「Calle Mayor 5」与「5, Mayor St.」——去掉通用的 Calle / St. 后,两边都剩 {5, Mayor},于是判定地址相同。

三种技术的适用场景要能一句话对上:拼写错、少字母 → Edit Distance;音近形不近(Steven/Stephen)→ Metaphone;词序被打乱、含缩写 → token 相似度。实务里通常是三级串联:先用强标识(DNI)精确匹配,剩下的再按上面顺序兜底。
看「Resultado Esperado」一列的共同点:三种技术产出的都不是「是 / 否」,而是一个相似度分数(距离、同码、token 重合率)。所以最后一定还要设阈值——超过阈值才合并,否则只是「候选重复」。
本页 "Distancia = 1" 只适用于 García / Garzia(一次替换)。换成 p.47 的 Elena / Helena,距离就是 2。距离是算出来的,不是固定的;答题时若把两个例子的数字混用就错了。
p.49

2.2 Localización de atributos redundantes · 2.2 冗余属性定位 · 名义属性的 χ² 独立性检验(印刷页 51)

▸ 原页截图 p.49 原讲义第 49 页

2.2 Localización de atributos redundantes

2.2 冗余属性定位

Se emplean medidas de dependencia para detectar posible solapamiento informativo entre atributos.

用依赖度量来发现属性之间可能存在的信息重叠。

Si se detecta una fuerte dependencia, puede valorarse la eliminación de uno de ellos, según el objetivo del modelo y el contexto del problema. Las principales técnicas son:

若检测到强依赖,就可以考虑删掉其中一个——但删不删要看模型目标与问题背景。主要技术如下:

Para atributos nominales: Test Chi-cuadrado (χ2) de independencia:

名义属性(类别型,无大小顺序)用 χ² 独立性检验:

• p−valor > α → No hay evidencia suficiente para afirmar dependencia → No hay evidencia de redundancia.

• p 值 > α:没有足够证据说两者相关 → 也就没有冗余的证据 → 两列都留着。

• p−valor ≤ α → Existe dependencia → Posible solapamiento informativo → Evaluar eliminación según relevancia y contexto del modelo.

• p 值 ≤ α:两者相关 → 可能存在信息重叠 → 再按相关性高低与模型需要决定要不要删。

p-valor > α → sin evidencia de dependencia  |  p-valor ≤ α → posible redundancia
符号西语读法中文含义
χ²«ji cuadrado» / «chi-cuadrado»卡方统计量:名义属性「观测频数 vs 期望频数」的偏离程度
p-valor«pe valor» / «valor p»在原假设(两属性独立)成立时,出现当前偏离或更极端的概率
α«alfa» / «nivel de significación»显著性水平,常用 0,05;是「误判为相关」的可容忍概率
χ² 检验的逻辑是反的,别念错:原假设是「两者独立」。所以 p 值大 = 独立 = 没冗余;p 值小 = 不独立 = 有冗余。口诀:「小 p 才可疑」。
χ² 只说明「有关联」,不说明「哪一个能算出另一个」。所以 p 值小只是「进入候选名单」,真正删哪一列仍要靠领域知识(保留更易解释、更易采集的那列)。
原文写 χ2(普通数字 2),规范排版应为上标 χ²;这是 PDF 文本层的常见掉标问题,不是概念错误。另外原文 p−valor 里的「−」是连字符误用,应写 p-valor 或 valor p。
p.50

2.2 冗余属性定位 · 数值属性:Pearson 与 Spearman(印刷页 52)

▸ 原页截图 p.50 原讲义第 50 页

2.2 Localización de atributos redundantes — Para atributos numéricos:

2.2 冗余属性定位 —— 数值属性(连续型)用相关系数:

Correlación de Pearson – si se sospecha relación lineal

Pearson 相关系数 —— 当你怀疑是线性关系时用。

• |r| ≈ 0 → No relación lineal → Mantener ambas variables.

• |r| ≈ 0:没有线性关系 → 两列都留。

• |r| alto (p. ej., > 0.8) → Fuerte dependencia lineal → Posible redundancia.

• |r| 很大(例如 > 0,8):强线性依赖 → 可能存在冗余。

Correlación de Spearman – si se quiere explorar relaciones no lineales

Spearman 相关系数 —— 当你想探查非线性(但单调)关系时用。

• |ρ| ≈ 0 → No relación monotónica → Mantener ambas variables.

• |ρ| ≈ 0:不存在单调关系 → 两列都留。

• |ρ| alto (p. ej., > 0.8) → Fuerte dependencia monotónica → Posible redundancia.

• |ρ| 很大(例如 > 0,8):强单调依赖 → 可能存在冗余。

Cuando se detecta posible redundancia hay que estudiar según el contexto si eliminar la menos relevante, menos interpretable o más costosa.

发现可能冗余后,要结合背景判断:该删的是最不相关、最不好解释或成本最高的那一列。

|r| > 0.8 → dependencia lineal fuerte  |  |ρ| > 0.8 → dependencia monotónica fuerte
符号西语读法中文含义
r«erre» / «coeficiente de Pearson»Pearson 相关系数,取值 [−1, 1],衡量线性关系强弱与方向
ρ«rho» / «coeficiente de Spearman»Spearman 相关系数,用秩计算,衡量单调关系
|·|«valor absoluto»取绝对值:只关心强弱,不关心正负(−0,95 同样是强冗余)
0.8«cero coma ocho»经验阈值:超过它才当作「可能冗余」,不是硬性规则
两者最本质的区别一句话:Pearson 量「直线贴得多近」,Spearman 量「是否一直同向走」。所以 y = x³ 在 x > 0 上 Pearson 未必高,Spearman 必然接近 1(完全单调)。
为什么必须加绝对值:r = −0,95 说明「一列涨另一列稳定跌」,这同样是可以用一列推另一列的强冗余。若只看 r 的正负,就会漏掉所有负相关冗余。
阈值 0,8 是原文给的「例如」,不是统计学定律。不同教材用 0,7 / 0,9;答题时按本讲义写 0,8,但要加一句「这是经验阈值,需结合场景」。
p.51

2.2 散点图提问 · 该用 Pearson 还是 Spearman?(印刷页 53)

▸ 原页截图 p.51 原讲义第 51 页

Pregunta: Si tienes estos scatterplots entre variables, ¿usarías la correlación de Pearson o la de Spearman para encontrar dependencias entre ellas?

提问:若手上有这些变量间的散点图,你该用 Pearson 还是 Spearman 来找依赖关系?

Vemos en la gráfica que todas las funciones son monótonas crecientes. Dos de ellas (extremo inferior izquierdo y superior derecho) tienen apariencia no lineal.

图里所有函数都是单调递增的;其中两个(左下角与右上角)看起来是非线性的。

• Opción 1. Usar Spearman para todas (la más simple)

• 方案 1:全部用 Spearman(最省事)。

• Opción 2. Explorar Pearson y Spearman de todas (la más completa)

• 方案 2:所有变量对都同时算 Pearson 与 Spearman(信息最全)。

• Opción 3. Usar Pearson para lineales y Spearman para el resto (la menos recomendada, porque requiere justificar la linealidad e introduce heterogeneidad metodológica)

• 方案 3:线性的用 Pearson、其余用 Spearman(最不推荐:你得先逐对论证「它是线性的」,还会引入方法异质性,结论不好横向比较)。

这道题的标准答法:选方案 2(最完整),若要图省事则方案 1(统一 Spearman),方案 3 要避免。理由浓缩成一句:Spearman 只要求单调,Pearson 只认直线;统一口径才可比,混用口径要逐个辩护。
记住 Spearman 的「免疫项」:它对单调但非线性(对数、指数、饱和曲线)依然敏感,因为算的是秩而不是原值。所以「看不出直线」时,先上 Spearman 比硬套 Pearson 安全。
原文说「todas las funciones son monótonas crecientes」,这是对这张示意图的描述;换成别的图就不成立。答题引用时务必带上「en esta gráfica」这个前提,别把个案当通则。

六、3. Transformación de datos:缩放、函数变换、编码

p.52–p.71
p.52

3. Transformación de datos · 第三节分隔页(印刷页 54)

▸ 原页截图 p.52 原讲义第 52 页

3. Transformación de datos

3. 数据变换(五阶段的第三阶段)

阶段定位必答:1 清洗 → 2 集成 → 3 变换 → 4 归约 → 5 离散化。变换排在集成之后,因为先拼成一张表,才好统一各列的尺度与编码方式。
本节覆盖 p.53–p.71,是五阶段里最长的一节,分三块:3.1 归一化 / 缩放(Min-Max、Z-Score)、3.2 函数变换(一元 log / 幂、多元线性 / 二次)、3.3 编码(One-Hot / Ordinal / Label)。
「变换」与「清洗」最容易混:清洗改的是值的对错(缺失、异常、不一致),变换改的是值的尺度与表示(同样的信息,换一种写法)。变换不新增信息,也不纠正错误。
p.53

3.1 变换的定义 + 三个子过程:缩放 / 函数变换 / 编码(印刷页 55)

▸ 原页截图 p.53 原讲义第 53 页

Llamamos transformación de datos al conjunto de técnicas que transforman y refinan la información bruta para que sirva de entrada adecuada a un algoritmo de aprendizaje.

数据变换是把原始信息加工、精炼成「适合喂给学习算法」的输入的那一整套技术。

Esto se hace mediante los siguientes procesos:

它由下面三个过程构成:

• Normalización/Escalado: Se transforman los valores de las variables para que sus magnitudes sean comparables.

• 归一化 / 缩放:把各变量的取值变换到可相互比较的量级(否则「收入 3 万」会盖掉「年龄 35」)。

• Transformaciones funcionales: Aplicamos funciones matemáticas para "moldear" los datos según la necesidad.

• 函数变换:套用数学函数把数据「塑形」,以贴合建模需要(如拉直偏态、削弱极端值)。

• Codificación: Las variables cualitativas se codifican de forma que puedan ser procesadas por los algoritmos.

• 编码:把定性(类别)变量转成算法能处理的数字形式。

三句话背下本节骨架:缩放解决「量级不可比」、函数变换解决「分布形状不对」、编码解决「算法不认文字」。后面 3.1 / 3.2 / 3.3 就是这三句的展开。
「信息 bruta(raw)」这个定语很重要:变换的前提是数据已经干净。若先变换再清洗,被缩放掩盖的异常值会更难发现——所以顺序永远是先清洗、再集成、后变换。
判断某个操作属不属于「变换」,只问一句:它改变了每个样本的相对位置(排序)吗? 缩放与编码都不改变排序(单调),函数变换可能改变——这条判据在 p.60 的一元变换里还会用到。
p.54

3 变换总目录 · 缩放 / 函数变换 / 编码 三大块九小项(印刷页 56)

▸ 原页截图 p.54 原讲义第 54 页

Escalado y normalización

① 缩放与归一化(改量级,不改形状)

• Escalado min-max

• Min-Max 缩放

• Normalización Z-score

• Z-Score 标准化

Transformaciones funcionales

② 函数变换(改形状,可能改变排序)

• Lineales

• 线性

• Cuadráticas

• 二次(平方)

• Logarítmicas

• 对数

• Raíz

• 开方

• Transformación Box-Cox

• Box-Cox 变换(用参数 λ 自动在「对数」与「幂」之间找最像正态的那一档)

Codificación

③ 编码(把类别变成数字)

• One hot encoding

• 独热编码

• Label encoding

• 标签编码

这份目录就是本节考点的清单:缩放 2 项(Min-Max、Z-Score)、函数变换 5 项(线性、二次、对数、开方、Box-Cox)、编码 2 项(One-Hot、Label)。注意这里没列 Ordinal,但 p.65 会讲——考试若问「编码有几种」,按 p.65 答三种。
按「是否保持排序」分两类更快记:Min-Max、Z-Score、线性变换、对数、开方都保持排序;二次(x²)在含负值时会把顺序打乱——这正是 p.61 强调「多元二次要小心」的原因。
Box-Cox 常被忽略但很爱考:它的 λ = 0 时退化为对数,λ = 1 时几乎不变。所以它不是「第五种新方法」,而是「对数与幂的统一参数化」。
p.55

3.1 Escalado y normalización · 小节分隔页(印刷页 57)

▸ 原页截图 p.55 原讲义第 55 页

3.1 Escalado y normalización

3.1 缩放与归一化

本小节只讲两个公式:Min-Max(压到指定区间 [a, b])与 Z-Score(变成 μ = 0、σ = 1)。判别口诀:要「区间」用 Min-Max,要「标准化」用 Z-Score。
它们与 1.2 里「检测异常值」用的 Min-Max、Z-Score 是同一组公式、不同用途:p.37 用它看谁离群,本节用它把数据喂给模型。公式没变,目的变了。
「Normalización」这个词在中文里对应两个不同概念:归一化(压到 [0,1] 或 [a,b],即 Min-Max)与标准化(Z-Score,变成均值 0 方差 1)。原文把两者都叫 normalización,答题时务必分别注明 min-max 与 Z-score,别只写「归一化」。
p.56

3.1 Min-Max 重缩放 · 映射到任意区间 [a, b](印刷页 58)

▸ 原页截图 p.56 原讲义第 56 页

Normalización o reescalado min-max.

Min-Max 重缩放(也叫归一化)。

Transformamos los valores a un rango personalizado [a, b] mediante la expresión:

把取值线性映射到自定义区间 [a, b],用的式子是:

x′ = a + (x − xmín) · (b − a) / (xmáx − xmín)
符号西语读法中文含义
x′«equis prima»缩放后的新值,必落在 [a, b] 内
x«equis»原始值
xmín, xmáx«equis mínimo» / «equis máximo»该列的最小值与最大值(决定映射的两个端点)
a, b«a» / «be» — «extremos del rango»目标区间的下界与上界:a 对应 xmín,b 对应 xmáx
(b − a)«amplitud del rango»目标区间的宽度,决定缩放后的「拉伸倍数」

Se utiliza cuando se requiere un rango acotado fijo (por ejemplo [0,1]), por ejemplo, en redes neuronales o cuando las variables deben mantenerse dentro de límites definidos.

适用于需要固定有界区间(例如 [0,1])的场合:如神经网络,或某些变量必须被限制在明确边界内时。

两个必背特例:x = xmín → x′ = a;x = xmáx → x′ = b。带 [0,1] 时式子的第二项变成 (x − xmín)/(xmáx − xmín),正是 p.37 检测异常值时用的那一条。
为什么神经网络偏爱 [0,1]:激活函数(Sigmoid / Tanh)在 [0,1] 区间内梯度最稳定,输入量级过大会直接进入饱和区、梯度消失。缩放不是「美化数据」,是让梯度能传下去。
原文排版把分式拆成了两行(分子 (x − xmín)(b − a)、分母 xmáx − xmín),文本层抽出后顺序错乱(出现「xmín)(𝑏−𝑎)」。读原本 PDF 的图片才不会被误导。
p.57

3.1 Escalado y normalización: Normalización Z-score · 3.1 Z-Score 标准化 · 让均值 0、标准差 1(印刷页 59)

▸ 原页截图 p.57 原讲义第 57 页

Normalización Z-score

Z-Score 标准化

Se transforman los datos para obtener una variable con media μ = 0 y desviación estándar σ = 1.

把数据变换成均值为 0、标准差为 1 的变量。

z = (x − μ) / σ
符号西语读法中文含义
z«zeta» / «puntuación z» / «valor estandarizado»标准化后的值:表示「这个样本距离均值有几个标准差」
x«equis»原始观测值
μ«mu» / «media»该列的均值(变换后整体平移到 0)
σ«sigma» / «desviación estándar»该列的标准差(变换后整体缩放到 1)

Se utiliza cuando el modelo asume variables centradas y escaladas, especialmente en métodos basados en distancia o en varianza (k-NN, SVM, clustering, PCA, regresión regularizada).

适用于「假定变量已中心化、已缩放」的模型,特别是基于距离或基于方差的方法:k-NN、SVM、聚类、PCA、正则化回归。

这一串模型名要能背出来,并且知道为什么:k-NN / 聚类 / SVM 靠欧氏距离,量级大的列会单方面决定距离;PCA 靠方差,方差大的列会垄断主成分。所以「距离 / 方差 → 必 Z-Score」。
Z-Score 与 Min-Max 的三个差别:① 输出无界(可小于 −3、大于 3),Min-Max 有界;② Z-Score 保留异常值的“突出”,Min-Max 会把异常值压进区间;③ Z-Score 依赖 μ、σ,这两个量本身会被异常值带偏。
计算顺序上的大坑:μ 与 σ 只能用训练集算,再把同一组 μ、σ 套到测试集上。若对全量数据一起标准化,测试集的信息就「泄漏」进训练过程,这叫 data leakage。
p.58

3.1 Escalado y normalización: Ejercicio · 3.1 练习 · x = 30 在四个区间 / 两种方法下的取值(印刷页 60)

▸ 原页截图 p.58 原讲义第 58 页

Ejercicio: Supongamos que en un dataset la variable edad tiene:

练习:设某数据集中「年龄」变量为:

Edad del registro: x = 30  |  Edad mínima xmin = 20  |  Edad máxima xmax = 50  |  Media del dataset: μ = 35  |  Desviación estándar: σ = 10

该记录的年龄 x = 30;最小值 20;最大值 50;数据集均值 μ = 35;标准差 σ = 10。

Se pide: a) Calcular el valor normalizado mediante Min–Max para los siguientes rangos: [0,1] · [-1,1] · [5,10]. b) Calcular el valor estandarizado mediante Z-score.

求:a) 用 Min-Max 分别映射到 [0,1]、[−1,1]、[5,10];b) 用 Z-Score 求标准化值。

方法 / 区间代入结果读法
Min-Max → [0, 1]0 + (30−20)/(50−20) · 1 = 10/300,3333落在区间下三分之一处
Min-Max → [−1, 1]−1 + (10/30) · 2−0,3333区间中点为 0,故取负
Min-Max → [5, 10]5 + (10/30) · 56,6667同样落在下三分之一
Z-Score(30 − 35) / 10 = −5/10−0,5比均值低半个标准差
四个答案一起记:0,3333 / −0,3333 / 6,6667 / −0,5。前三个本质是同一个比例 10/30 = 1/3 在不同区间上的落点;第四个与区间无关,只看「距均值几个 σ」。原页只出题未给答案,以上为按公式自算。
速算法:先算 t = (x − xmín)/(xmáx − xmín) = 1/3,再套 x′ = a + t·(b − a)。换区间只改 a、b,t 不变——这也是「Min-Max 是线性映射」的直接体现。
注意符号细节:[−1,1] 的结果是 −0,3333(负值),不是 0,3333。因为区间中点是 0、下界是 −1,1/3 的位置当然落在负半轴。这一步最容易把符号写反。
p.59

3.2 Transformaciones funcionales · 小节分隔页(印刷页 61)

▸ 原页截图 p.59 原讲义第 59 页

3.2 Transformaciones funcionales

3.2 函数变换

与 3.1 的分界要清楚:3.1 只改「量级与位置」(线性、单调、保持形状);3.2 改「形状」(可能压缩、拉伸、弯曲分布)。一句话:3.1 是「换单位」,3.2 是「换形状」。
本小节覆盖 p.60–p.63:先讲一元变换(对数、开方、幂),再讲多元变换(线性组合、二次项),最后 p.63 有一张全表可背。
函数变换不是免费的:它会改变变量间的距离与相关系数,也会改变模型系数的含义。所以变换后必须重新检查分布与相关性,不能「变完就用」。
p.60

Transformaciones univariantes · 3.2 一元变换 · 对数 ln(X) 与幂 X^λ(印刷页 62)

▸ 原页截图 p.60 原讲义第 60 页

Las transformaciones funcionales se dividen en: Transformaciones univariantes

函数变换分为两类,先讲 一元(单变量)变换:

Aplicadas a cada variable por separado. Definen nuevas variables Yi = f(Xi).

对每一列单独施加,生成新变量 Yi = f(Xi)。

Yi = f(Xi)
符号西语读法中文含义
Yi«i sub i» / «variable transformada»第 i 条记录变换后的新值
Xi«equis sub i» / «valor original»第 i 条记录的原始值
f«efe» / «función de transformación»所选的变换函数(对数、幂、开方……)
ln«logaritmo neperiano»自然对数(以 e 为底),不是 log₁₀
λ«lambda» / «exponente»幂变换的指数,控制「压缩」还是「放大」

• Logarítmica: Yi = ln(Xi). Reduce asimetría positiva fuerte y estabiliza la varianza. Requiere Xi > 0.

• 对数变换:Yi = ln(Xi)。能显著削弱正偏(右尾过长),并稳定方差。要求 Xi > 0。

• Potencia: Yi = Xiλ. Modifica la asimetría según λ.

• 幂变换:Yi = Xiλ。偏度随 λ 改变。

• Si 0 < λ < 1, comprime valores grandes (reduce cola derecha). Requiere que Xi ≥ 0.

• 若 0 < λ < 1:压缩大值(缩短右尾),要求 Xi ≥ 0。

• Si λ > 1, expande los valores grandes.

• 若 λ > 1:放大差异,把大值拉得更大。

两个必要条件必须写进答案:对数要求 Xi > 0(因为 ln 0 不存在);幂变换要求 Xi ≥ 0(否则开方等会产生 NaN)。遇到 0 或负数时,实务做法是先加常数 X + c 再变换。
λ 的两个方向记成一句话:「小于 1 压大值,大于 1 放大大值」。常见特例:λ = 1 → 原样不变;λ = 0,5 → 开方;λ → 0 → 趋近对数。所以「开方」和「对数」其实都是幂变换的特例。
原文 asimetría positiva 中文是「正偏 / 右偏」(长尾在右)。反过来「负偏 / 左偏」要压缩长尾在左的分布,此时常用的是 平方(λ > 1)而不是对数。方向别记反:对数治右偏,平方治左偏。
p.61

Transformaciones multivariantes · 3.2 多元变换 · 线性加权与二次(平方 + 交叉项)(印刷页 63)

▸ 原页截图 p.61 原讲义第 61 页

Transformaciones multivariantes

多元变换(由多列共同生成一个新列)

Creamos un nuevo atributo Y = f(X1, …, Xm) mediante distintas transformaciones funcionales:

通过不同的函数,由 m 个属性造出一个新属性 Y = f(X1, …, Xm):

Transformación lineal: suma ponderada de varias variables

线性变换:若干变量的加权和。

Y = w1X1 + ⋯ + wmXm
符号西语读法中文含义
Y«i griega» / «nuevo atributo»合成的因变量(如成绩、风险分)
w1 … wm«pesos» / «coeficientes»各变量的权重,决定每个变量贡献多大
X1 … Xm«equis uno … equis eme»参与组合的 m 个原始属性
m«eme» / «número de variables»参与组合的变量个数

Transformación cuadrática: Genera una nueva variable incorporando términos al cuadrado y productos entre variables, permitiendo modelar relaciones no lineales que una combinación lineal no puede capturar.

二次变换:在新变量里同时加入平方项与变量间的乘积项,从而能刻画线性组合表达不了的非线性关系。

Y = Σi=1m wiXi2 + Σ1≤i<j≤m wijXiXj
符号西语读法中文含义
Σ«sumatorio»求和号:把下标范围内所有项加起来
Xi2«equis i al cuadrado»平方项:让单个变量产生「弯曲」效应
wi«peso del término cuadrático»第 i 个平方项的权重
XiXj«producto cruzado» / «interacción»交叉项:两个变量「共同作用」时才有额外效果
wij«peso de la interacción»交叉项权重;为 0 即「两者没有交互作用」
两类的本质区别:线性变换只会「按比例加权」——无法表达「A 的效果取决于 B」;二次变换加了平方项与交叉项,才能表达「边际效应随自身或其他变量变化」。这也是下一张幻灯片(p.62)要追问的点。
二次变换的代价:交叉项数量是 m(m−1)/2,变量一多就爆炸(m = 100 时接近 5000 项)。这正是第 4 节「归约 / 特征选择」存在的理由——造完特征还得筛。
原文公式的求和范围被排版拆碎(文本层出现「𝑖=1 / 𝑚」与「1≤𝑖<𝑗≤𝑚」两行),读图才看得清:第一个 Σ 是 i 从 1 到 m 的平方项,第二个 Σ 是所有 i < j 的两两交叉项,不包含 i = j(否则会与平方项重复)。
p.62

Transformaciones multivariantes: ejemplo · 3.2 多元变换示例 · 学习时数 H 与试卷难度 F 的交互(印刷页 64)

▸ 原页截图 p.62 原讲义第 62 页

Transformaciones multivariantes: ejemplo. Supongamos que queremos expresar la dependencia entre el rendimiento en un examen R, las horas de estudio H y lo fácil que sea el examen, F.

多元变换示例:设我们要刻画考试成绩 R 与「学习时数 H」「试卷容易程度 F」之间的依赖关系。

Transformación lineal: R = wHH + wFF

线性变换:R = wHH + wFF

En este caso, estudiar una hora extra aumenta el rendimiento en la misma medida, independientemente de lo fácil que sea el examen.

在这种写法下,多学一小时带来的提分是固定的,与试卷难易无关。

R = wHH + wFF
符号西语读法中文含义
R«erre» / «rendimiento»考试成绩(因变量)
H«hache» / «horas de estudio»学习时数
F«efe» / «facilidad del examen»试卷容易程度
wH«peso de H»每多学 1 小时的固定提分
wF«peso de F»试卷每容易 1 单位带来的固定提分

Pregunta: ¿Tiene sentido esto? ¿Cómo podríamos modelar el efecto de estudiar una hora más?

提问:这样写合理吗?要怎么刻画「多学一小时」的效果?

Transformación con interacción: R = wHH + wFF + wHF·(H·F)

带交互项的变换:R = wHH + wFF + wHF·(H·F)

Ahora el efecto de estudiar depende de lo fácil que sea el examen:

这时「多学一小时的效果」取决于试卷难易:

• Si el examen es más fácil, el impacto de estudiar una hora más puede ser mayor.

• 试卷越容易,多学一小时的收益越大。

• Si el examen es más difícil, el efecto adicional de estudiar una hora más puede ser menor.

• 试卷越难,多学一小时的额外收益越小。

这个例子就是「交互项 = 边际效应随另一变量变化」的标准模板。把式子对 H 求偏导即可看出:∂R/∂H = wH + wHF·F——学习回报不再是一个常数,而是F 的函数。这才是「交互」的数学含义。
原文标注「(Solución discutida en clase)」,说明这一页的结论需要自行补全:答案是线性式不合理(假设了学习效果与难度无关),所以要引入 H·F 交叉项。考试若出同类题,先找「某个效果是否依赖另一个变量」这句话。
原页 PDF 文本层把交互式抽成 "R = wHH + wFXF + wHFH F"(多出一个 X、并缺了乘号),属排版/抽字错误。按数学含义与页内文字,正确写法应为 R = wHH + wFF + wHF(H·F)。以页面图片为准,不要照抄乱码。
p.63

3.2 Transformaciones funcionales · 3.2 五种变换一览表 · 例子 + 效果 + 压缩还是放大(印刷页 65)

▸ 原页截图 p.63 原讲义第 63 页
TransformaciónEjemplo de usoEfecto / ¿Qué se consigue?
Logarítmica Número de visitas a una web por usuario — muchos usuarios normales, unos pocos con visitas extremadamente altas (bots, etc.) Reduce asimetría positiva fuerte, comprime valores grandes y estabiliza varianza.
Raíz Número de errores por módulo en un proyecto — la mayoría de los módulos tienen pocos errores, pero los más complejos acumulan bastante más. Reduce asimetría positiva moderada.
Potencia Tamaño de ficheros subidos a la nube — la mayoría de los usuarios suben archivos pequeños, pero algunos suben archivos muy grandes. Modifica la forma de la distribución según λ: para 0 < λ < 1 se comprimen las diferencias entre valores grandes; para λ > 1 se amplían.
Lineal
(suma ponderada)
Rendimiento en un examen como aproximación lineal de horas de estudio y facilidad. Combina las variables de forma proporcional para construir un nuevo indicador.
Cuadrática
(interacciones)
Capturar interacciones entre horas de estudio y facilidad. Introduce no linealidad y captura efectos conjuntos (interacciones) entre variables.

Reducir diferencias → cuando hay extremos que distorsionan (ej. outliers, ruido)

压缩差异 → 当存在会扭曲结果的极端值(如异常值、噪声)时用。

Ampliar diferencias → cuando se quiere enfatizar los valores altos (ej. señal)

放大差异 → 当想强调高值(信号)时用。

这张表可以按「三个一元 + 两个多元」记:对数 / 开方 / 幂 是对单列压尾(强度:对数 > 开方);线性 / 二次 是造新列(二次多出交互)。考题常给一个场景让你选——看分布右尾有多长,越长越用对数。
「对数 vs 开方」怎么选:两者都治右偏,开方温和、对数猛烈。先用开方,若右尾仍过长再上对数。这正是表里一个写「fuerte(强)」、一个写「moderada(中等)」的原因。
表末两行(Reducir / Ampliar diferencias)是跨越五种变换的总原则,不是「第六、第七种变换」。答题时别把它列为方法;它回答的是「什么时候该压缩、什么时候该放大」这个选择题。
p.64

3.3 Codificación de variables categóricas · 小节分隔页(印刷页 66)

▸ 原页截图 p.64 原讲义第 64 页

3.3 Codificación de variables categóricas

3.3 类别变量的编码

本小节只解决一件事:文字类别 → 数字,且要求「不引入原本不存在的顺序关系」。判断标准一句话:编码后模型是否会误以为「甲 > 乙」。
本节覆盖 p.65–p.71:三种编码(One-Hot / Ordinal / Label)→ 各自例子 → p.69 汇总 + CUIDADO 提醒 → p.70 优缺点表 → p.71 练习(车辆三属性)。
「有序」与「无序」是选择编码的唯一依据,不是「哪个更高级」。有序类别(小 / 中 / 大)用 One-Hot 会丢掉顺序信息;无序类别(红 / 绿 / 蓝)用 Label 会凭空造出大小关系。两者都是错。
p.65

3.3 Definición · One-Hot / Ordinal / Label 三种编码(印刷页 67)

▸ 原页截图 p.65 原讲义第 65 页

Se trata de transformar las variables categóricas en un formato numérico que preserve la estructura de los datos sin introducir relaciones artificiales.

要做的是把类别变量转成数字格式,条件是:保留数据原有的结构,又不引入人为制造的关系。

Las principales técnicas son:

主要技术有以下三种:

One-Hot Encoding: Transforma cada categoría en una columna binaria independiente (0/1). Es la opción más adecuada para variables nominales (sin orden), ya que evita imponer jerarquías artificiales.

独热编码:把每个类别变成一个独立的二元列(0/1)。最适合名义变量(无顺序),因为它避免了强加人为的等级关系。

Ordinal Encoding: Técnica utilizada cuando las categorías tienen un orden lógico o jerárquico predefinido (por ejemplo, niveles de estudio o tallas), respetando esa relación en la codificación numérica.

序数编码:用于类别本身已有预先定义的逻辑或层级顺序的情况(例如学历层次或衣服尺码),在数字编码中尊重并保留这种顺序关系。

Label Encoding: Asigna a cada categoría un número entero único (0, 1, 2...). Es sencillo, pero introduce un orden numérico que el modelo podría interpretar como una jerarquía real.

标签编码:给每个类别分配一个唯一的整数(0、1、2……)。做法简单,但它引入了一个数字顺序,模型可能把这个顺序当成真实的等级关系。

三句话对照① One-Hot=1 列拆成 k 列 0/1,无顺序假设 → 用于名义变量;② Ordinal=1 列整数,有顺序假设且顺序为真 → 用于有序变量;③ Label=1 列整数,有顺序假设但顺序未必为真 → 一般只用于目标变量 y。考「维度怎么变」答 1→k 或 1→1;考「会不会造出假序」答 One-Hot 不会,另外两个会。
记忆钩子:\"列的多少\"看 One-Hot,\"顺不顺序\"看 Ordinal,\"是不是 y\"看 Label。三者不是「新旧替代」关系,而是按「类别有没有内在顺序」+「它是特征 X 还是标签 y」两个问题各取所需。
原文写 (0, 1, 2...),这里的「...」只是省略号,意思是「一直排到 k−1」,不是一个取值范围、也不是「0 到 2 之间任意小数」。若类别共 k 个,整数编号就是 0,1,…,k−1,共 k 个连续整数,不能跳号、不能取小数。
p.66

3.3 One-Hot Encoding · 一个类别一列 0/1(印刷页 68)

▸ 原页截图 p.66 原讲义第 66 页

Transforma una categoría en k columnas binarias (0/1), una por cada categoría distinta.

把一个类别变量拆成 k 列二元变量(0/1),每个取值一列。

Para cada muestra, la columna correspondiente a su categoría toma el valor 1 y las demás toman el valor 0.

每条样本在自己所属那一列填 1,其余列一律填 0(所以每行只有一个 1)。

Ejemplo: Datos: color = ['rojo','verde','azul','verde']; categorías ['azul','rojo','verde']

例:数据 color = ['rojo','verde','azul','verde'];共三个类别 ['azul','rojo','verde']。

colorazulrojoverde
rojo010
verde001
azul100
verde001
维度变化必背:1 列 → k 列(k = 不同取值个数)。本例 1 列 color 变成 3 列;4 条样本仍是 4 行,只是从 1 列变 3 列。
每个字母顺序要看清:本例列顺序是 azul / rojo / verde(按字母序),不是数据出现顺序。考试若让你写出编码矩阵,列顺序必须与题给类别列表一致,否则整张表都错。
One-Hot 的代价是「列数 = 类别数」:像「邮编」「用户 ID」这种上万取值的列,独热后会产生上万列稀疏矩阵 —— 这就是 p.70 说的 inflación de dimensionalidad(维度膨胀)。这类高基数类别应改用其他策略。
p.67

3.3 Label Encoding · 一列整数标签(印刷页 69)

▸ 原页截图 p.67 原讲义第 67 页

Label Encoding: Asigna a cada categoría un número entero único.

标签编码:给每个类别分配一个唯一整数。

Ejemplo: Datos: color = ['rojo','verde','azul','verde']

例:数据 color = ['rojo','verde','azul','verde']。

Codificación: rojo→0, azul→1, verde→2. Resultado: una única columna numérica.

编码:rojo→0、azul→1、verde→2。结果仍是一列数值。

coloretiqueta
rojo0
verde2
azul1
verde2
与 One-Hot 的对照一句话:Label 是「1 列 → 1 列」,One-Hot 是「1 列 → k 列」。所以 Label 省空间,但把类别硬塞进了数轴——模型会认为「verde(2) > azul(1) > rojo(0)」,而颜色本来没有大小。
注意编号顺序 rojo→0, azul→1, verde→2,既不是字母序也不是出现顺序,而是人为指定的。这正暴露了 Label 的随意性:换一个库、换一次运行,编号可能就变了,模型结果也随之改变。
原文引号有个小瑕疵:['rojo','verde','azul','verde’] 末尾用的是右单引号 ’ 而非 '。若直接把这段复制进 Python 会报 SyntaxError;属排版笔误,抄写时改成成对的半角单引号。
p.68

3.3 Ordinal Encoding · 让编号体现天然顺序(印刷页 70)

▸ 原页截图 p.68 原讲义第 68 页

Ordinal Encoding: Asigna a cada categoría un número entero, de modo que la asignación refleje el orden natural existente entre las categorías.

序号编码:给每个类别一个整数,且编号必须体现类别之间真实存在的天然顺序。

Ejemplo: tamaño = ['pequeño','mediano','grande','pequeño']

例:tamaño(尺码)= ['pequeño','mediano','grande','pequeño']。

'pequeño' → 0, 'mediano' → 1, 'grande' → 2

'pequeño' → 0、'mediano' → 1、'grande' → 2(编号顺序 = 真实的大小顺序)。

tamañoetiqueta
pequeño0
mediano1
grande2
pequeño0
Label 与 Ordinal 形式上完全一样(都是一列整数),差别只在于类别本身有没有顺序。有顺序 → 这样编是对的(Ordinal);没顺序 → 这样编是错的(Label 误用)。所以「Label vs Ordinal」不是两个算法,而是同一种操作在两种前提下的正误之分。
隐含假设要会答:Ordinal 认为 小→中 与 中→大 的「距离」相等(0→1 与 1→2 都差 1)。若实际不等距(如「差 / 中 / 优」),更严谨的做法是 Ordinal + 额外指定权重,或改用 One-Hot。
原文这一页的页内标题写 ordinal encoding,但正文「asigna a cada categoría un número entero」的措辞与 p.67 的 Label 几乎相同,只有「de modo que la asignación refleje el orden natural」这半句才是 Ordinal 的本质。背诵时务必带上这半句,别只记「分配整数」。
p.69

3.3 三种编码汇总表 + CUIDADO 警告(印刷页 71)

▸ 原页截图 p.69 原讲义第 69 页

CUIDADO: Aplicar Label/Ordinal Encoding a variables sin orden (como Marca o Ciudad) introduce relaciones de magnitud falsas (0 < 1 < 2) que distorsionan modelos lineales y basados en distancia.

注意:对没有顺序的变量(如「品牌」「城市」)套用 Label / Ordinal,会引入虚假的大小关系(0 < 1 < 2),从而扭曲线性模型与基于距离的模型。

Técnica¿Cuándo usarla?EjemploSalida resultante
One-Hot EncodingCategorías Nominales (sin orden intrínseco)Color: [Rojo, Verde, Azul]3 columnas binarias (0,1).
Ordinal EncodingCategorías Ordinales (existe jerarquía natural)Talla: [S, M, L]Columna única: 0, 1, 2.
Label EncodingVariable Objetivo (y) (problemas clasificación)Estado: [Sano, Enfermo]Columna única: 0, 1.
这张表最容易被考到的其实是第二列:One-Hot ↔ 名义(无序)、Ordinal ↔ 有序、Label ↔ 目标变量 y。特别注意 Label 的正确用途是编码标签 y,而不是编码输入特征 X。
「Label 用于 y、不用于 X」这条是 p.70 的最后一条要点,也是本页 CUIDADO 的正面表述:预测目标本身就是「类别」,模型内部需要整数标签;但输入特征若被强行整数化,就会污染学习过程。
原文 (0,1) 用的是逗号,中文习惯写 (0, 1);更重要的是别把「3 columnas binarias」读成「3 行」——这是列数(每个类别一列)。表里三行的数据规模要分清:行 = 样本数,列 = 特征数。
p.70

3.3 Codificación de variables categóricas: ventajas e inconvenientes · 三种编码的优缺点对照(印刷页 72)

▸ 原页截图 p.70 原讲义第 70 页

3.3 Codificación de variables categóricas: ventajas e inconvenientes

3.3 类别变量的编码:优点与缺点

• One-Hot Encoding (Variables Nominales): No impone jerarquías artificiales entre categorías.

• 独热编码(名义变量):不强行在类别之间制造人为的层级。

• Ordinal Encoding (Variables Ordinales): Preserva la relación de orden natural (S < M < L).

• 序数编码(有序变量):保留自然顺序关系(S < M < L)。

• Label Encoding (Variable Objetivo y): Introduce un orden falso (0 < 1 < 2) si se aplica a características de entrada (X).

• 标签编码(目标变量 y):若施加于输入特征(X),会引入虚假的顺序(0 < 1 < 2)。

TécnicaVentajasInconvenientes
One-Hot Encoding
(Variables Nominales)
• No impone jerarquías artificiales entre categorías.
• Ideal para modelos lineales, redes neuronales, k-vecinos.
• Altamente interpretable.
• Inflación de dimensionalidad si hay muchas categorías (alta cardinalidad).
• Genera matrices dispersas (sparse) con excesivos ceros.
Ordinal Encoding
(Variables Ordinales)
• Preserva la relación de orden natural (S < M < L).
• Compacto: mantiene la representación en una sola columna.
• Eficiente en memoria.
• Asume distancias equitativamente espaciadas entre niveles (1 − 0 = 2 − 1).
• No aplicable a variables sin orden intrínseco.
Label Encoding
(Variable Objetivo y)
• Simple, rápido y eficiente en memoria.
• Estándar para codificar la variable objetivo (y) en clasificación.
• Introduce un orden falso (0 < 1 < 2) si se aplica a características de entrada (X), distorsionando el aprendizaje del modelo.
三条「一句话取舍」:One-Hot 换来「无假序」但付出「维度」;Ordinal 换来「紧凑」但赌「等距」;Label 只该用在 y 上。考试若问「高基数类别怎么办」,答案是别独热(改目标编码 / 哈希 / 频次编码)。
「matrices dispersas (sparse) con excesivos ceros」不只是存储问题:稀疏矩阵还会让某些模型的协方差、距离计算变慢且不稳定。所以「能独热」≠「该独热」,类别数超过几十就该另想办法。
原文 Ordinal 的缺点写成 (1 − 0 = 2 − 1),意思是「假设相邻等级间距都等于 1」。这不是笔误,但很容易被误读成公式;它的实质是「差一个等级 = 差一个单位」的强假设,遇到不等距等级就失真。
p.71

3.3 练习 · 车辆三属性各用哪种编码?(印刷页 73)

▸ 原页截图 p.71 原讲义第 71 页

Pregunta: Imagina que estás preparando un dataset para un modelo que predice el precio de reventa de un vehículo. Para cada una de estas tres variables, ¿qué tipo de codificación elegirías?

提问:你在为一个「预测车辆转售价格」的模型准备数据。下面三个变量,各该用哪种编码?

• Variable "Color del vehículo": (Rojo, Azul, Gris, Negro).

• 变量「车身颜色」:(红、蓝、灰、黑)。

• Variable "Tipo del vehículo": (Compacto, Sedán, SUV, Camioneta).

• 变量「车型」:(紧凑型、轿车、SUV、皮卡)。

• Variable "Estado del vehículo": (Pobre, Aceptable, Bueno, Excelente).

• 变量「车况」:(差、可接受、良好、优秀)。

变量有无顺序选哪种编码理由
Color无(名义)One-Hot颜色之间没有大小,独热可避免「红 < 蓝 < 灰」的假序
Tipo无(名义)One-Hot车型是分类不是等级;SUV 并不「大于」轿车
Estado有(有序)Ordinal差 < 可接受 < 良好 < 优秀,是天然等级,应保留顺序
标准答案:Color → One-Hot;Tipo → One-Hot;Estado → Ordinal。判别只需一步:把这些取值按任意顺序排,是否「明显有先后」? 有 → Ordinal;没有 → One-Hot。
注意「Estado」为什么不能 One-Hot:虽然 One-Hot 也不会「错」,但它丢掉了等级信息(模型无法知道「优秀 > 良好」)。在数据量有限时,保留顺序能让模型学得更快、更稳,所以有序优先 Ordinal。
别被「Tipo del vehículo」骗了:Compacto / Sedán / SUV / Camioneta 看起来像「由小到大」,但这是尺寸的联想,不是变量的定义。除非题目明确说「按尺寸排序」,否则按名义变量处理。原文未给答案,以上为依据 p.65–p.70 规则推得。

七、4. Reducción de datos:降维、降样本与特征提取

p.72–p.91
p.72

4. Reducción de datos · 章节分隔页(印刷页 75)

▸ 原页截图 p.72 原讲义第 72 页

4. Reducción de datos

4. 数据归约(降维与降样本)

这是五阶段的第四步,紧接着「3. Transformación」。一句话定位:前三步是「把数据弄干净、拼在一起、换个形状」,这一步是「让数据变小,但信息别丢」。它有两个可压缩的方向:列(rasgos,特征)和行(registros,记录)。
本章结构:p.73 为什么复杂度取决于 d 与 n → p.74 三种技术 → p.75 技术对照表 → p.76 起 4.1 特征选择(Filter / Wrapper / Embedded)→ p.83 起 4.2 记录选择(抽样 / 原型)→ p.91 汇总。对应考试问法:「给定情境选哪种归约」。
「Reducción de datos」不是「数据压缩成 zip」那种无损压缩,而是有损但保信息:允许丢细节,只要对学习任务有用的信息还在。所以判断标准永远是「模型表现是否基本不掉」,而不是「能不能还原原始数据」。
p.73

4. Reducción de datos · 复杂度取决于 d 与 n:d≫n 与 n≫d(印刷页 76)

▸ 原页截图 p.73 原讲义第 73 页

En aprendizaje automático, la complejidad del aprendizaje depende en gran medida del número de rasgos d y el número de registros n.

在机器学习中,学习的复杂度在很大程度上取决于特征个数 d 和记录条数 n。

Alta dimensionalidad (d ≫ n)

高维(d ≫ n,特征远多于样本)

• Frecuente cuando los registros son costosos de obtener y se consideran muchos rasgos.

• 常见于记录获取成本高、却又考虑了很多特征的场景(例如医学检查:样本难凑,指标一大堆)。

• Los modelos generados tienen riesgo de ser inestables y estar sobreajustados, por lo que reducir d nos ayudará a controlar la complejidad y mejorar la capacidad de generalización.

• 这样得到的模型容易不稳定、过拟合;因此减少 d 有助于控制复杂度、提高泛化能力。

• La presencia de rasgos irrelevantes o redundantes incrementa aún más este efecto

• 若还存在无关或冗余特征,这个效应会进一步放大。

Gran volumen de datos (n ≫ d)

数据量庞大(n ≫ d,样本远多于特征)

• Frecuente cuando los datos se recolectan automáticamente, sistemas online, streaming, plataformas digitales, etc.

• 常见于数据被自动采集的场景:在线系统、流式数据、数字平台等(每天自动堆出海量行)。

• Usar todos los datos tiene un alto coste computacional, ralentiza el entrenamiento, provoca problemas de memoria, etc.

• 用全量数据计算成本很高:拖慢训练、造成内存问题等。

d ≫ n → reducir d(选择 / 提取特征) | n ≫ d → reducir n(抽样 / 原型)
符号西语读法中文含义
dnúmero de rasgos特征数(列数),也叫维度
nnúmero de registros记录数(行数),也叫样本量
≫mucho mayor que「远大于」,强调两者数量级上的悬殊
d ≫ nalta dimensionalidad高维小样本:降列(特征选择 / 提取)
n ≫ dgran volumen de datos大数据量低维:降行(记录选择 / 抽样)
核心口诀:「谁大减谁」。d 远大于 n → 减 d(控过拟合);n 远大于 d → 减 n(省算力)。考试给情境让你选方向,先看哪一个维度是「主要负担」。
两种情形要治的病不同:d≫n 治的是过拟合 / 不稳定(统计问题);n≫d 治的是算力 / 内存 / 训练时间(工程问题)。答案里写清病因,比只写「减少数据」得分高。
原文「𝒅≫𝒏」用的是数学粗斜体,含义只是「d 远大于 n」,不是「d 大于等于 n」、也不是某个具体倍数。答题时不要写死「d 是 n 的多少倍」,它表达的是数量级悬殊。
p.74

4. Reducción de datos · 定义与三种技术(印刷页 77)

▸ 原页截图 p.74 原讲义第 74 页

La reducción de datos engloba técnicas que disminuyen el número de rasgos, el número de registros o transforman su representación, manteniendo la información relevante para el aprendizaje.

数据归约包含这样一类技术:减少特征数、减少记录数,或改变数据的表示方式,同时保留对学习有用的信息。

• Selección de rasgos. Consiste en seleccionar un subconjunto de rasgos originales que maximice el rendimiento del modelo o preserve la información relevante, eliminando rasgos irrelevantes o redundantes.

• 特征选择:从原有特征中挑出一个子集,使模型表现最好、或保住关键信息,同时删掉无关与冗余的特征。

• Selección de registros. Consiste en seleccionar un subconjunto representativo de registros para reducir el tamaño del conjunto de datos, manteniendo un rendimiento similar.

• 记录选择:挑出一个有代表性的记录子集,缩小数据集规模,同时保持相近的性能。

• Feature Extraction. Consiste en transformar los rasgos originales en un nuevo conjunto de rasgos, generalmente de menor dimensión. Los nuevos rasgos no tienen por qué coincidir con los originales.

• 特征提取:把原特征变换成一组新特征,通常维数更低;新特征不必与原特征一一对应。

三种技术的分界线只有一句话:选择 = 从原有的里面挑,提取 = 造新的;而「挑」又分行(registros)和列(rasgos)。所以回答「这是哪种技术」时先问:「结果里的特征还是原来那些列吗?」是 → 选择;否 → 提取。
注意定义里三个动作是并列的:「减列」「减行」「换表示」。所以「用 PCA 把 20 维压成 3 维」属于第三种(换表示),既不算减列也不算减行——这是最常见的分类陷阱。
「Feature Extraction」原文特意强调 no tienen por qué coincidir(不一定要一致),意思是「通常都不一致」,别反着理解成「必须一致」。像 IMC 由体重、身高算出,就是新特征不等于任何一列旧特征。
p.75

4. Reducción de datos · 三种技术对照表(印刷页 78)

▸ 原页截图 p.75 原讲义第 75 页

Técnica · Descripción · Ejemplo práctico

技术 · 说明 · 实例(本页为三行对照表)

Selección de rasgos: Selecciona un subconjunto de rasgos originales relevantes, eliminando rasgos irrelevantes o redundantes para mejorar la generalización y reducir la complejidad del modelo.

特征选择:挑出原特征中相关的子集,删掉无关或冗余的列,以提升泛化、降低模型复杂度。

Selección de registros: Selecciona un subconjunto representativo de registros mediante técnicas de muestreo para reducir el coste computacional manteniendo un rendimiento similar.

记录选择:用抽样技术挑出有代表性的记录子集,降低计算成本而性能基本不变。

Extracción de rasgos: Transforma los rasgos originales en un nuevo conjunto de menor dimensión mediante combinaciones o proyecciones. A diferencia de la selección, los nuevos rasgos no coinciden necesariamente con los originales.

特征提取:通过组合或投影把原特征变成一组维数更低的新特征。与「选择」不同,新特征不一定等于原特征。

TécnicaDescripción(要点)Ejemplo práctico
Selección de rasgos选原特征的子集,删无关 / 冗余,提升泛化、降复杂度若「眼睛颜色」与糖尿病风险无统计关系,就删掉这一列
Selección de registros用抽样选代表性子集,降计算成本、性能相近100 万条销售记录里取 10 000 条有代表性的样本来训练原型
Extracción de rasgos用组合 / 投影造出更低维的新特征,不必与原特征一致由体重 + 身高造出 IMC;用 PCA 投影到「最大化解释方差」的正交成分上
三个例子要能反过来认:看到「删掉眼睛颜色」→ 特征选择;看到「100 万取 1 万」→ 记录选择;看到「体重身高算 IMC」「PCA 投影」→ 特征提取。考试常把这个表的例子单独抽出来问「属于哪一类」。
注意 IMC 与 PCA 都是提取,但性质不同:IMC 是「人工设计」的新特征(可解释,1 维,由领域知识给出);PCA 是「算法学出来」的新特征(不可解释,k 维,由方差最大化给出)。两者都满足「新特征 ≠ 原特征」这条判据。
表里「Eliminar el rasgo “Color de ojos” si no muestra relación estadística con el riesgo de diabetes」是有前提条件的:只有「没有统计关系」时才删。别记成「眼睛颜色一律删」——若它在某个任务里确实相关,删了就是错的。
p.76

4.1. Selección de rasgos · 小节分隔页(印刷页 79)

▸ 原页截图 p.76 原讲义第 76 页

4.1. Selección de rasgos

4.1 特征选择

本小节只处理列:从 d 个原始特征里挑出 d′ < d 个,不造新特征、不改原值。所以输出一定是「原列的一个子集」,这也是它与 4.2(挑行)、与特征提取(造列)的分界。
本节路线:p.77 三大流派(Filter / Wrapper / Embedded)总述 → p.78 用「做菜」类比 → p.79 Filter 流程 → p.80 Wrapper 流程 → p.81 Embedded(Lasso L1、决策树)→ p.82 三者对比表。考试主问「计算成本排序」和「是否依赖模型」。
「Selección de rasgos」与「Extracción de rasgos」中文都常被译成「特征选择 / 特征提取」,容易混。请认准西语关键词:Selección = 挑(子集);Extracción = 造(变换)。中文答题时也务必写清「子集」还是「变换后的新特征」。
p.77

4.1 Selección de rasgos · Filter / Wrapper / Embedded 三大流派(印刷页 80)

▸ 原页截图 p.77 原讲义第 77 页

Consiste en seleccionar un subconjunto de rasgos originales relevantes según un criterio estadístico o predictivo.

做法是依据某个统计准则或预测准则,从原特征中挑出相关的一个子集。

Métodos de Filtro (Filter Methods)

过滤式方法(Filter)

• Evalúan la relevancia de los rasgos mediante medidas estadísticas calculadas a partir de los datos, sin entrenar un modelo predictivo. Son independientes del algoritmo de aprendizaje y computacionalmente eficientes.

• 用从数据算出的统计指标来评估特征的重要性,不训练预测模型;因此与学习算法无关,计算上很高效。

• Técnicas: Correlación de Pearson/Spearman, χ², Ganancia de información.

• 具体技术:Pearson / Spearman 相关系数、χ²、信息增益。

Métodos de Envoltura (Wrapper Methods)

包裹式方法(Wrapper)

• Evalúan subconjuntos de rasgos entrenando un modelo y seleccionando aquellos que maximizan su rendimiento. Son dependientes del modelo y computacionalmente más costosos.

• 通过真的训练模型来评估各个特征子集,挑出让性能最高的那一组。因此依赖模型、计算上更贵。

• Técnicas: Selección hacia adelante, eliminación hacia atrás.

• 具体技术:前向选择(一个一个加)、后向消除(一个一个删)。

Métodos Integrados (Embedded Methods)

嵌入式方法(Embedded)

• La selección de rasgos se realiza de forma implícita durante el entrenamiento del modelo, como parte del proceso de optimización.

• 特征选择在模型训练过程中隐式完成,是优化过程的一部分(不单独另跑一轮筛选)。

• Técnicas: Regresión Lasso (L1), Árboles de decisión (importancia de rasgos).

• 具体技术:Lasso 回归(L1 正则,可把系数压到 0)、决策树(特征重要性)。

考试三连问的固定答法:①要不要训练模型?Filter 不要,Wrapper 要,Embedded 边训边选;②计算成本?Filter < Embedded < Wrapper;③依赖模型吗?Filter 不依赖(通用),Wrapper / Embedded 依赖(换模型结果会变)。
三者的「花名」:Filter=过滤器(先筛后训)、Wrapper=包裹器(模型包在外面反复试)、Embedded=嵌入式(筛选长在训练里)。中文名与西语名一一对上,别记反。
原文把 Wrapper 写成 computacionalmente más costosos(更费算力),比较对象是 Filter,不是说它「绝对最贵」之外还有别的含义;Embedded 通常介于两者之间。答题写「Wrapper 最贵」是安全的,但若题目要求排序,务必写成 Filter < Embedded < Wrapper。
p.78

4.1 Idea intuitiva con un ejemplo · 用「做菜」理解三种方法(印刷页 81)

▸ 原页截图 p.78 原讲义第 78 页

Idea intuitiva con un ejemplo

用一个例子建立直觉

Supongamos que estamos seleccionando los ingredientes adecuados para crear nuestra propia receta de cocina.

假设我们正在为自创的一道菜挑选合适的配料(配料 = 特征)。

Filtro: elegiría ingredientes evaluándolos por separado: “el azúcar es dulce, me lo quedo; la sal es salada, la descarto”. El problema es que puede eliminar ingredientes que, en combinación, mejorarían el resultado.

过滤式:把每种配料单独评估——「糖是甜的,留下;盐是咸的,扔掉」。问题在于:它可能删掉那些单独看一般、组合起来却出彩的配料(即看不到特征间的交互作用)。

Envoltura (Wrapper): probaría distintas combinaciones cocinando varios pasteles y elegiría la receta que mejor sabe. Evalúa el resultado final (el modelo entrenado), por lo que puede descubrir interacciones entre ingredientes. Como entrena múltiples modelos tiene mayor coste computacional.

包裹式(Wrapper):直接把各种搭配都做出来尝,选最好吃的那份配方。它评估的是最终成品(训练好的模型),所以能发现配料之间的交互作用;但因为要反复训练多个模型,计算成本更高。

Método integrado (Embedded): ajustaría automáticamente los ingredientes mientras cocina, reforzando los que mejor contribuyen al sabor y reduciendo o eliminando los menos útiles. La selección ocurre durante el propio proceso de aprendizaje, guiada por el criterio de optimización del modelo.

嵌入式(Embedded):边做边调——对贡献大的配料加量,对没用的减量或去掉。筛选发生在学习过程本身之中,由模型的优化准则来引导。

这个类比要能原样复述:Filter=逐个尝原料(快,但看不见搭配);Wrapper=整桌菜反复试吃(准,但费时);Embedded=边炒边调味(折中)。考试问「为什么 Filter 发现不了交互作用」,标准答案就是「它单独评估每个特征,不看组合效果」。
这个类比还有一个隐藏考点:Wrapper 的「尝成品」意味着每一组候选特征都要完整训练一次模型,所以特征多时组合数爆炸(2d 种),这也是它最贵的原因。
原文 Filter 的例子「la sal es salada, la descarto(盐是咸的,扔掉)」只是打比方说明「单独判断 → 一律淘汰」,不是说 Filter 会删掉所有「味道不合预期」的特征。真实判据是统计指标是否达标,不是口味。
p.79

4.1 Métodos de Filtro · 通用流程三步(印刷页 82)

▸ 原页截图 p.79 原讲义第 79 页

Métodos de Filtro (Filter Methods)

过滤式方法(Filter Methods)

Evalúan la relevancia de los rasgos mediante medidas estadísticas calculadas directamente a partir de los datos, sin entrenar un modelo predictivo.

用直接从数据算出的统计指标评估特征的相关性,不训练任何预测模型。

Procedimiento general

通用流程

1. Calcular una medida de relevancia para cada rasgo (o para pares de rasgos).

1. 为每个特征(或每对特征)计算一个相关性度量值。

2. Ordenar los rasgos según dicha medida.

2. 按这个度量值给特征排序。

3. Seleccionar los k mejores o aquellos que superen un umbral.

3. 取排名前 k 个,或取超过阈值的那些。

Medidas habituales: Correlación de Pearson / Spearman · Chi-cuadrado · Ganancia de información

常用度量:Pearson / Spearman 相关系数 · 卡方(χ²)· 信息增益

流程背三步:算分 → 排序 → 取前 k / 过阈值。注意第 3 步有两种收尾方式:写死个数(top-k)或写死门槛(umbral)。题目给「选 5 个特征」就用 top-k;给「相关性 > 0.5 的保留」就用阈值。
第 1 步括号里的「o para pares de rasgos」很关键:Filter 也可以算特征两两之间的相关性,用来发现冗余(两个特征几乎重复,留一个就够)——这正是第 2 节讲的 redundancia。
原文第 3 步写成「los 𝒌mejores」,文本层把 k 与 mejores 粘在一起(缺空格),实际读作「los k mejores」=「最好的 k 个」。另外 Chi-cuadrado 就是 χ²(卡方),与 p.49 的 χ² 检验是同一个东西。
p.80

4.1 Métodos de Envoltura · 通用流程与两种策略(印刷页 83)

▸ 原页截图 p.80 原讲义第 80 页

Métodos de Envoltura (Wrapper Methods)

包裹式方法(Wrapper Methods)

Utilizan un algoritmo de aprendizaje como “caja negra” para evaluar distintos subconjuntos de rasgos.

把某个学习算法当成「黑箱」,用它来评估不同的特征子集。

Procedimiento general

通用流程

1. Seleccionar un subconjunto S de rasgos.

1. 选定一个特征子集 S。

2. Entrenar el modelo con el subconjunto S.

2. 用子集 S 训练模型。

3. Evaluar el rendimiento (usando medidas de rendimiento, ROC, F-measure, AUC, etc.).

3. 评估性能(准确率等指标、ROC、F-measure、AUC 等)。

4. Repetir el proceso y comparar los resultados entre los modelos obtenidos

4. 重复上述过程,并在得到的各模型之间比较结果。

• Selección hacia adelante (Forward Selection): Comienza sin rasgos y añade iterativamente el que más mejora el rendimiento.

• 前向选择(Forward Selection):从空集开始,每一轮加入能带来最大提升的那个特征。

• Eliminación hacia atrás (Backward Elimination): Comienza con todos los rasgos y elimina iterativamente el que menos afecta al rendimiento.

• 后向消除(Backward Elimination):从全集开始,每一轮删掉对性能影响最小的那个特征(原文缺句号,属排版遗漏)。

两种策略方向相反、起点相反:Forward=空集起步,只加不删;Backward=全集起步,只删不加。两者每轮都要重新训练模型,所以 d 个特征、走 d 轮 → 训练次数是 O(d) 轮 × 每轮若干候选,代价远高于 Filter。
流程第 3 步的指标要用验证集上的表现,不能用训练集。若用训练集评估,加的特征越多分数越高,最后必然选回全集——这是 Wrapper 最容易踩的坑。
第 4 步原文末尾漏了句号;第 3 步括号前多一个空格、左括号后多一个空格(`etc. )`)。另外「caja negra(黑箱)」是指不需要知道模型内部结构、只调用它,不是指「模型不可解释」这个批评性说法——此处是中性的用法。
p.81

4.1 Métodos Integrados · Lasso(L1) 与决策树(印刷页 84)

▸ 原页截图 p.81 原讲义第 81 页

Métodos Integrados (Embedded Methods)

嵌入式方法(Embedded Methods)

La selección de rasgos se realiza de forma implícita durante el entrenamiento del modelo, que incorpora un mecanismo interno de regularización o de selección estructural que penaliza o prioriza determinados rasgos durante el proceso de optimización.

特征选择在模型训练中隐式完成:模型自带正则化或结构选择机制,在优化过程中对某些特征施加惩罚或给予优先。

Son dependientes del modelo y tienen un coste computacional intermedio.

它们依赖具体模型,计算成本居中。

• Regresión Lasso (regularización L1): Se introduce una penalización en la función de coste y el propio algoritmo tiende a asignar pesos muy pequeños o cero a los rasgos poco relevantes.

• Lasso 回归(L1):在代价函数里加一个惩罚项,算法自己会把无关特征的权重压到极小甚至 0(权重为 0 = 该特征被剔除)。

• Árboles de decisión: Seleccionan rasgos al realizar particiones del espacio de datos, optimizando un criterio de impureza.

• 决策树:通过划分数据空间来选特征,每一步都优化一个不纯度准则(如基尼 / 熵)——被选来做分裂的特征就是被「选中」的特征。

Características: Dependientes del modelo · Integran selección y entrenamiento en un único proceso · Coste computacional intermedio

特点:依赖模型 · 把「选择」与「训练」合成一个过程 · 计算成本居中

Embedded 的两条招牌路线必须能各举一例:Lasso(L1) → 系数被压成 0(稀疏解);决策树 → 分裂时挑最优特征(特征重要性)。答题时把「为什么算 embedded」说清:筛选不是额外一步,而是训练目标 / 分裂准则自带的副产品。
L1 与 L2 的区别一句话:L1(Lasso)能把系数压成「正好 0」→ 顺便做了特征选择;L2(Ridge)只把系数「压小」但几乎不为 0 → 不能剔除特征。所以「L1 可用于特征选择、L2 不行」是高频判断题。
原文「coste computacional intermedio(中等)」是三方比较下的定位(Filter 低 < Embedded 中 < Wrapper 高),不是说它有个固定常数级别的开销。答题写「介于两者之间」最稳。
p.82

4.1 三者对比表 · 何时用 Filter / 何时用 Wrapper(印刷页 85)

▸ 原页截图 p.82 原讲义第 82 页

Método · Modelo · Cuándo selecciona · Captura interacciones · Coste computacional · Riesgo sobreajuste

方法 · 是否用模型 · 何时进行选择 · 能否捕捉交互 · 计算成本 · 过拟合风险(本页六列对比表)

Filtro — Modelo: No · Antes de entrenar · Interacciones: No explícita · Coste: Bajo · Riesgo: Bajo

过滤式——用模型:否 · 在训练前选 · 交互:不显式捕捉 · 成本:低 · 过拟合风险:低

Wrapper — Modelo: Sí · Evalúa subconjuntos · Interacciones: Sí · Coste: Alto · Riesgo: Alto*

包裹式——用模型:是 · 逐个评估子集 · 交互:能 · 成本:高 · 过拟合风险:高*(带星号,见下)

Embedded — Modelo: Sí · Durante el entrenamiento · Interacciones: Depende · Coste: Medio · Riesgo: Moderado

嵌入式——用模型:是 · 在训练过程中选 · 交互:视情况 · 成本:中 · 过拟合风险:中等

Nota: Cuando usar Filtro — Muchos rasgos · Necesidad de método rápido · Primera fase de reducción.

注:何时用 Filter——特征很多 · 需要快速方法 · 作为归约的第一阶段(先粗筛)。

Cuando usar Wrapper — Sospecha de interacciones importantes · Número moderado de rasgos · Recursos computacionales suficientes · Validar correctamente para evitar sobreajuste

何时用 Wrapper——怀疑存在重要的交互作用 · 特征数量中等 · 算力充足 · 必须正确做验证以免过拟合

MétodoModeloCuándo seleccionaInteraccionesCosteRiesgo sobreajuste
FiltroNoAntes de entrenarNo explícitaBajoBajo
WrapperSíEvalúa subconjuntosSíAltoAlto*
EmbeddedSíDurante el entrenamientoDependeMedioModerado
这张表是本节最可能被整张考的内容。建议按「模型 / 交互 / 成本 / 风险」四个词背成一行口令:Filter:无模型、无交互、低成本、低风险;Wrapper:有模型、有交互、高成本、高风险;Embedded:有模型、看情况、中成本、中风险。
「Alto*」的星号在本页没有脚注说明(原文如此)。按上下文理解:Wrapper 的高过拟合风险来自「用同一批数据反复挑子集」,所以最后一行才提醒「Validar correctamente」——即选择与评估必须用不同数据(嵌套交叉验证)。
「Captura interacciones」一列中 Embedded 写的是 Depende(视情况),不能简化成「是」或「否」:决策树能捕捉一部分交互,线性 Lasso 则基本不能。考试若问「哪种一定能捕捉交互」,答案是 Wrapper。
p.83

4.2. Selección de ejemplos · 小节分隔页(印刷页 86)

▸ 原页截图 p.83 原讲义第 83 页

4.2. Selección de ejemplos

4.2 样本(记录)选择

转到行了:4.1 减列,4.2 减行。注意本节标题用的是 ejemplos(样本 / 实例),与 p.74 的 registros、p.73 的 n 是同一件事——西语里 ejemplos / instancias / registros 在此处可互换。
本节路线:p.84 情境(充电宝 20 条评论)→ p.85 记录选择的思路 → p.86 抽样(随机 / 分层)→ p.87–p.88 原型法(保留边界 / 去冗余去噪)→ p.89 ENN 与 CNN → p.90 三联图(62 → 60 → 14)→ p.91 汇总(1000 笔交易 95 / 5)。
「Selección de ejemplos」不是「挑几个样本手工标注」,也不是「数据增强」。它的目标是用更少的行保住相近的性能。判断标准同 4.1:模型效果基本不掉,且省下训练成本。
p.84

4.2 Actividad · 从 20 条充电宝评论里怎么挑(印刷页 87)

▸ 原页截图 p.84 原讲义第 84 页

Actividad: Supongamos que te quieres comprar un powerbank y estás considerando este.

活动题:假设你想买一个充电宝(powerbank),正在考虑这一款。

Quieres decidir si comprarlo o no y para ello te vas a fijar en las reseñas, pero hay muchas y no te las quieres leer todas.

你要决定买还是不买,依据是评论;但评论很多,你不想全读。

Establece qué criterios seguirías para elegir 20 reseñas para leer y justifica por qué crees que esos criterios te ayudarían a tomar una buena decisión.

请给出你挑选 20 条评论的标准,并说明为什么这些标准能帮你做出正确决定。

这道题是整节的情境引子,「20 条评论」=把 n 条记录缩到 n′=20。把「读评论」翻译成机器学习语言:记录 = 评论;类别 / 标签 = 好评 / 差评;特征 = 星级、长度、是否有具体问题描述。标准答案应至少覆盖「覆盖不同星级 / 时间 / 有具体问题」,即保证代表性、别只看一端。
好的答案要区分两种目标:只想估计整体满意度 → 按星级等比例抽(分层);想发现潜在问题 → 故意多看差评 + 有具体故障描述的评论(偏向边界与异常)。这也是 p.86 那道问答题的评分点。
题目问的是「criterios(标准)」,不是「随机抽 20 条」。直接写「随机抽」会被判为没有回答:随机抽样恰恰可能漏掉少数差评,而这正是本题想让你意识到的风险。
p.85

4.2 Selección de registros · D′ ⊂ D 与两条路线(印刷页 88)

▸ 原页截图 p.85 原讲义第 85 页

Sea D un dataset. La selección de registros construye un subconjunto D′ ⊂ D intentando preservar la información relevante para el aprendizaje.

设 D 为一个数据集。记录选择构造一个子集 D′ ⊂ D,力求保住对学习有用的信息。

Los enfoques principales son:

主要路线有两条:

• Muestreo estadístico. Se busca que D′ parezca una muestra del mismo fenómeno.

• 统计抽样:目标是让 D′ 看起来像「同一现象的一个样本」,即分布上与原始数据一致。

• Selección geométrica (prototipos). Se da importancia a mantener la estructura geométrica relevante para el problema concreto.

• 几何选择(原型法):重点是保住对该问题有意义的几何结构(尤其是类别边界)。

• Cuando reducimos registros, no estamos simplificando la realidad de forma neutra. Estamos decidiendo qué aspecto de la realidad queremos preservar.

• 减记录时,我们并不是在中立地简化现实,而是在决定「要保留现实的哪一个侧面」——这个选择本身带有立场。

D′ ⊂ D,且 |D′| = n′ < n
符号西语读法中文含义
Ddataset original原始数据集(全部记录)
D′D prima归约后的子集(撇号读 «prima»)
⊂subconjunto de「是……的子集」,D′ 的元素全部来自 D
n′n prima保留的记录条数,必小于原 n
两条路线的判据完全不同,这是本节的核心考点:统计抽样 → 看「分布像不像」(D′ 的类别比例、均值要接近 D);几何原型 → 看「边界保没保住」(允许分布变形,但决策边界不能丢)。答题时先亮判据,再举方法。
最后一条(不是「中立地简化现实」)是本页的价值观提醒,也是论述题的加分句:抽掉哪部分数据,等于选择让模型看见哪些现实。例如只抽好评,模型就会「以为」大家都满意。
原文「D´ parezca una muestra」用的是锐音符 ´(U+00B4),而不是数学撇号 ′(U+2032)。两者在排版上极像,但在公式里应写 D′。抄写时别把 ´(重音符号)当成撇号——这是西语 PDF 里最常见的字符陷阱。
p.86

4.2 Muestreo · 随机抽样 vs 分层抽样(印刷页 89)

▸ 原页截图 p.86 原讲义第 86 页

Sea D el dataset. El muestreo construye un subconjunto D′ ⊂ D, intentando preservar la distribución empírica original. Los principales tipos de muestreo son:

设 D 为数据集。抽样构造子集 D′ ⊂ D,力求保住原始经验分布(即数据里实际观察到的分布)。主要类型有:

Muestreo aleatorio

随机抽样(简单随机)

• Cada registro se selecciona con probabilidad uniforme, independientemente del resto.

• 每条记录以相同概率被抽中,且彼此独立(抽到谁不影响另一条)。

• Puede infra-representar clases minoritarias.

• 可能让少数类代表性不足(本来就少的类别,随机一抽更容易被漏掉)。

Muestreo estratificado

分层抽样

• Divide el conjunto en estratos (p. ej., por etiqueta).

• 先把数据切成若干层(例如按标签分层:好评一层、差评一层)。

• Selecciona los registros para mantener la proporción original en cada grupo.

• 再在每层内抽样,使各组的比例与原数据保持一致。

Pregunta: Supongamos que las reseñas se distribuyen como se muestra. ¿Cómo seleccionarías 20 reseñas mediante muestreo aleatorio y mediante muestreo estratificado? ¿Qué riesgos tiene cada estrategia y cuál sería más apropiada según tu objetivo (estimar satisfacción media o detectar posibles problemas)?

提问:假设评论的分布如页图所示。你会怎样用随机抽样、怎样用分层抽样各取 20 条?两种策略各有什么风险?按你的目标(估计平均满意度 还是 发现潜在问题),哪一种更合适?

这题的标准答法分三段:①随机 → 在全部评论里等概率抽 20 条;②分层 → 先按星级(或好评 / 差评)分层,再按原比例分配名额(如 5★ 占 60% → 抽 12 条);③风险与取舍:随机简单但可能一条差评都没有 → 估满意度尚可,找问题会失效;分层能保住比例 → 估满意度更稳,但若目标是「发现问题」,反而应故意加抽差评(过采样少数类)。
「estimar satisfacción media」要的是无偏 → 选分层(保住比例);「detectar posibles problemas」要的是别漏掉稀少但重要的样本 → 应刻意偏向少数类。目标不同,最优策略就不同,这是本题的真正考点。
原文「infra-representar」是「代表性不足 / 抽样不足」,反义是 sobre-representar(过度代表),不是「under-fit(欠拟合)」——别把统计学术语和模型训练术语混为一谈。
p.87

4.2 Prototipos · 保边界,而不是保比例(印刷页 90)

▸ 原页截图 p.87 原讲义第 87 页

En lugar de mantener las proporciones del dataset, estos métodos buscan conservar los registros que influyen en la frontera de decisión.

这类方法不追求保住数据集的比例,而是保住那些会影响决策边界的记录。

Sea d(xi, xj) una métrica (por ejemplo, distancia euclídea).

设 d(xi, xj) 为一个度量(例如欧氏距离)。

La selección se basa en analizar la vecindad local de cada registro:

选择依据是分析每条记录的局部邻域(它周围有谁):

• Se conservan ejemplos representativos de su región.

• 保留能代表本区域的样本(密集区的「典型代表」)。

• Se eliminan ejemplos redundantes (muy similares a otros).

• 删掉冗余样本(与别的样本过于相似,信息重复)。

• Se eliminan ejemplos inconsistentes con sus vecinos.

• 删掉与邻居不一致的样本(周围都是别的类别 → 疑似噪声)。

Pregunta: ¿Qué reseñas mirarías si quieres estar cerca de la frontera de decisión entre comprar y no comprar y por qué?

提问:如果你想贴近「买 / 不买」的决策边界,你会看哪些评论?为什么?

d(xi, xj) = ‖xi − xj‖2(euclídea)
符号西语读法中文含义
d(·,·)distancia / métrica距离函数,衡量两条记录有多「像」
xi, xjequis sub i, equis sub j第 i 条与第 j 条记录的特征向量
vecindadvecindad local离该点最近的 k 个邻居构成的局部区域
fronterafrontera de decisión类别交界处,模型最容易判错的地方
本页与 p.86 的分工一句话:抽样保「比例」,原型保「边界」。原型法删样本的三条判据要背下:留代表、删冗余(太像)、删不一致(和邻居类别不同 → 噪声)。
回答本页提问的思路:应看那些「好评差评参半、理由具体」的评论——它们正处在「买 / 不买」的边界上,信息量最大;而「五星好评,很好用」或「一星,垃圾」这类极端且无细节的评论,对判断边界几乎没有帮助。
原文把公式抽成「𝒅𝒙𝒊𝒙𝒋」,丢了括号与逗号,正确写法是 d(xi, xj)。另外「prototipos」在本书指保留下来的代表性样本,不是「原型(prototype)编程」里的意思,也不是聚类中心。
p.88

4.2 Prototipos · 去冗余与去噪声,以及执行代价(印刷页 91)

▸ 原页截图 p.88 原讲义第 88 页

Se utilizan criterios geométricos basados en relaciones de vecindad para filtrar el dataset:

用基于邻域关系的几何准则来过滤数据集:

• Eliminación de redundancia: Se conservan los registros representativos de regiones densas del espacio (prototipos).

• 去冗余:只保留空间中密集区域的代表性记录(即原型)。

• Eliminación de ruido: Borra registros donde su vecindad es mayormente de otra clase

• 去噪声:删掉那些邻居大多属于另一个类别的记录(周围全是「敌对阵营」→ 很可能是错标或异常)。

Reducimos la cantidad de datos y mejoramos su calidad (al quitar el “ruido”), haciendo que el algoritmo aprenda con datos más claros y definidos.

这样既减少了数据量,又提升了数据质量(去掉「噪声」),让算法在更清晰、更明确的数据上学习。

Sin embargo, hay que tener cuenta el coste de ejecutar el algoritmo de selección de prototipos.

但必须考虑运行原型选择算法本身的代价(省了训练时间,却要花时间先筛一遍)。

Pregunta: En el ejemplo del powerbank, ¿qué reseñas considerarías redundantes y cuáles considerarías ruido?

提问:在充电宝的例子中,哪些评论算冗余?哪些算噪声?

两个「删」要分清:冗余 = 与同类太像(本身没判错,只是没必要重复保留,删了不改变边界形状);噪声 = 与邻居类别不同(可能标错 / 异常,删了会让边界更平滑)。考试让举例时:冗余→ 10 条都在说「充电快、容量足」;噪声→ 全是五星中夹一条「一星,物流慢」且内容与产品无关。
本页最后一句是成本提醒,也是论述题的平衡点:原型法能降训练成本,但预处理本身有成本,而且每次数据变动都要重跑。所以「是否值得」取决于数据规模与重训频率。
原文「hay que tener cuenta」漏了冠词 en,正确应为「hay que tener en cuenta」。这是西班牙语固定搭配 tener en cuenta(考虑到),抄写时别漏掉 en。另「el “ruido”」用的是弯引号,原文如此。
p.89

4.2 Prototipos · ENN(去噪)与 CNN(去冗余)(印刷页 92)

▸ 原页截图 p.89 原讲义第 89 页

1. Eliminación de Ruido — ENN (Edited Nearest Neighbor)

1. 去噪声 —— ENN(Edited Nearest Neighbor)

• Objetivo: Mejorar la calidad eliminando errores y outliers.

• 目标:通过删掉错标样本与异常值来提高数据质量。

• ¿Qué hace?: Borra registros cuya etiqueta no coincide con la mayoría de sus k vecinos.

• 做什么:删掉那些标签与它 k 个邻居的多数类别不一致的记录。

• Efecto: Conservador (elimina un 1–5 % de los datos) y suaviza la frontera de decisión.

• 效果:保守(只删掉 1–5 % 的数据),并使决策边界更平滑。

2. Eliminación de Redundancia — CNN (Condensed Nearest Neighbor)

2. 去冗余 —— CNN(Condensed Nearest Neighbor)

• Objetivo: Reducir el volumen comprimiendo el dataset.

• 目标:通过压缩数据集来减小体量。

• ¿Qué hace?: Borra registros interiores redundantes y conserva solo los datos de la frontera (prototipos).

• 做什么:删掉内部冗余记录,只保留边界上的数据(原型)。

• Efecto: Drástico (elimina un 60–80 % de los datos) y acelera el modelo.

• 效果:激进(删掉 60–80 % 的数据),并加快模型(因为 k-NN 要存全部样本,样本少了预测就快)。

算法删什么判据删除比例效果
ENN噪声 / 错标标签 ≠ 多数邻居的类别1–5 %保守 · 边界平滑 · 提质
CNN内部冗余不在边界上(内部点)60–80 %激进 · 大幅压缩 · 提速
两个数字是送分点,务必记牢:ENN 删 1–5 %(保守、提质、平滑边界);CNN 删 60–80 %(激进、压缩、加速)。名字别混:ENN=Edited(编辑 / 修正错误);CNN=Condensed(浓缩)。
不同目标的选法:想清洗标签噪声 → ENN;想给大数据瘦身、加速 k-NN → CNN。两者可以串联:先 ENN 去噪,再 CNN 压缩(p.90 的三联图正是这个顺序:62 → 60 → 14)。
这里的 CNN 不是「卷积神经网络(Convolutional Neural Network)」,而是 Condensed Nearest Neighbor 的缩写,属同形不同义。考试若写「CNN 是卷积网络」直接判错。另原文「1–5%」用的是短横线(连接号),表示区间,读作「del uno al cinco por ciento」。
p.90

4.2 Prototipos · 三联图:62 → 60 → 14(印刷页 93)

▸ 原页截图 p.90 原讲义第 90 页

4.2. Selección de ejemplos: prototipos

4.2 样本选择:原型法(本页为同一数据的三张对比散点图)

1. Dataset Original (62 registros, con ruido)

1. 原始数据集(62 条记录,含噪声)

2. Limpieza de Ruido (ENN) (60 registros / ~97 % conservado)

2. 去噪声(ENN)(60 条记录 / 约保留 97 %)

3. Reducción de Redundancia (CNN) (14 registros / ~22 % conservado)

3. 去冗余(CNN)(14 条记录 / 约保留 22 %)

Leyenda: Clase A · Clase B · Ruido eliminado · Prototipos Clase A · Redundantes eliminados

图例:A 类(蓝)· B 类(红)· 被删的噪声(⊕)· A 类原型(深色实心)· 被删的冗余点(淡色)

阶段记录数相对原始图上变化
1. 原始(含噪声)62100 %两团点有重叠,中间混入异类点
2. ENN 去噪60≈ 97 %只删 2 个「孤立的异类点」(⊕)
3. CNN 去冗余14≈ 22 %内部点全部淡出,只剩边界附近的点
这张图把 p.89 的两个数字画了出来,答题可直接引用:ENN 几乎不动数据(62→60,约 97 % 保留),只是把混进对方阵营的孤立点删掉;CNN 大刀阔斧(60→14,约 22 % 保留),只留下贴着边界的点。结论:去噪改「质」,去冗余改「量」。
看图技巧:第 3 幅里淡色点 = 被删的冗余点,它们全在团的内部;深色实心 = 保留的原型,全部靠近两团交界处。这正好印证 p.87 的判据——「保边界,不保内部」。
页标题写 ~97 % conservado,但 60/62 = 96.77 %,四舍五入应为 96.8 %;14/62 = 22.58 %,原文写 22 %。两处都是近似值,答题时写「约 97 %」「约 22 %」即可,不必与原文小数位完全一致,但也别写成 97.0 % 这种「精确」说法。
p.91

4.2 汇总表 · 1000 笔交易、95 / 5 与 100 条(印刷页 94)

▸ 原页截图 p.91 原讲义第 91 页

Escenario: Tenemos un dataset de 1.000 transacciones bancarias, en el 95 % son transacciones normales y el 5 % son fraudulentas. Queremos reducir a 100 ejemplos.

情境:有一个 1 000 笔银行交易的数据集,其中 95 % 是正常交易,5 % 是欺诈交易;我们要把它缩减到 100 条样本。

Muestreo Aleatorio — Selección independiente con probabilidad uniforme · Preserva: esperanza de la distribución global · Resultado típico: proporción aproximada 95/5 (con variabilidad) · Desventaja: puede infra-representar minorías

随机抽样——等概率独立抽取 · 保留:全局分布的期望 · 典型结果:比例约为 95 / 5(有波动)· 缺点:可能让少数类代表性不足

Muestreo Estratificado — Muestreo dentro de cada clase · Preserva: distribución empírica exacta · Resultado típico: 95 normales, 5 fraudes · Desventaja: requiere etiquetas

分层抽样——在每一类内部抽样 · 保留:精确的经验分布 · 典型结果:95 条正常 + 5 条欺诈 · 缺点:必须有标签才能分层

Prototipos – Redundancia (CNN) — Añadir solo ejemplos mal clasificados por kNN · Preserva: consistencia clasificatoria · Resultado típico: subconjunto mínimo consistente · Desventaja: puede mantener ruido en la frontera, alto coste computacional

原型 – 去冗余(CNN)——只保留被 kNN 误分类的样本(即边界点)· 保留:分类一致性 · 典型结果:最小一致子集 · 缺点:可能把边界上的噪声也留下来,计算成本高

Prototipos – Eliminación de ruido (ENN) — Eliminar ejemplos mal clasificados por kNN · Preserva: coherencia local / suavidad de frontera · Resultado típico: dataset suavizado · Desventaja: puede eliminar casos frontera válidos, alto coste computacional

原型 – 去噪声(ENN)——删掉被 kNN 误分类的样本 · 保留:局部一致性 / 边界平滑 · 典型结果:被平滑过的数据集 · 缺点:可能误删本来有效的边界样本,计算成本高

TécnicaCriterioQué preservaResultado típicoDesventaja
Muestreo aleatorio等概率独立抽取全局分布的期望≈ 95 / 5(有波动)少数类可能不足
Muestreo estratificado类内抽样经验分布(精确)95 正常 + 5 欺诈需要标签
CNN保留 kNN 误分类者分类一致性最小一致子集边界噪声留存;成本高
ENN删除 kNN 误分类者局部一致性 / 平滑平滑后的数据集可能误删有效边界样本;成本高
这张表最好用「加法 vs 减法」记:CNN 是「只留误分类的」=加法(从少开始,往里加);ENN 是「删掉误分类的」=减法(从全开始,往外删)。两者判据都是 kNN 分类是否与标签一致,方向正好相反。
算一下就能秒答:100 条按 95/5 分层 → 95 正常 + 5 欺诈(恰好整除);若要求 200 条则 190 / 10。随机抽样只有「期望」是 95/5,实际可能抽到 96/4 甚至 100/0——这正是它的风险所在。
原文有两处笔误:①「en el el 95 % son」重复了冠词 el,应为「en el 95 % son」;②「el 5 %son fraudulentas」缺空格,应为「el 5 % son」。另外「(5 %)」与前句「el 5 %」重复表述,属排版冗余。抄写时请按规范写法,不必复刻错误。

八、5. Discretización:把连续变量切成区间

p.92–p.95
p.92

5. Discretización · 章节分隔页(印刷页 95)

▸ 原页截图 p.92 原讲义第 92 页

5. Discretización

5. 离散化

这是五阶段的最后一步。方向与前面相反:前面几步大多在「把类别变数字」(3.3 编码),这一步是「把数字变类别」。一句话定位:连续值 → 若干区间 → 每区间一个标签。
本节只有 4 页,但每页都可出题:p.93 定义 + 形式化划分 + 优缺点 + 年龄分箱表;p.94 三种方法(等宽 / 等频 / 专家);p.95 用 12 个年龄把三种方法全部算一遍。重点在 p.95 的三张结果。
「Discretización」不等于 3.3 的「Codificación」:编码是类别 → 数字(不改变取值粒度);离散化是连续 → 区间类别(主动损失精度)。考试若问「二者关系」,答:离散化之后往往还要做编码(区间名 → 0/1/2)。
p.93

5. Discretización · 定义、形式化划分、优缺点与年龄分箱(印刷页 96)

▸ 原页截图 p.93 原讲义第 93 页

La discretización transforma una variable real x ∈ 𝕏 ⊆ ℝ en una variable categórica definida por intervalos (bins).

离散化把一个实值变量 x ∈ 𝕏 ⊆ ℝ 变成由区间(bins,分箱)定义的类别变量。

Formalmente, se define una partición del dominio observado 𝕏: 𝕏 = I1 ∪ I2 ∪ ⋯ ∪ Ik; Ii ∩ Ij = ∅ si i ≠ j

形式上,对观测到的定义域 𝕏 定义一个划分:𝕏 = I1 ∪ I2 ∪ ⋯ ∪ Ik;且当 i ≠ j 时 Ii ∩ Ij = ∅。

y cada valor se asigna al intervalo correspondiente.

每个取值都被分配到它所属的那个区间。

Ventajas — Simplificación: reduce complejidad del espacio. Robustez: atenúa pequeñas variaciones y ruido. Interpretabilidad: facilita reglas y explicaciones. Compatibilidad: útil en modelos que trabajan con variables categóricas.

优点——简化:降低空间复杂度;鲁棒性:削弱微小波动与噪声的影响;可解释性:便于写成规则与解释;兼容性:适用于只能处理类别变量的模型。

Inconvenientes — Pérdida de precisión

缺点——精度损失(把 12 和 17 都叫「儿童」,细差别就没了)

𝕏 = I1 ∪ I2 ∪ ⋯ ∪ Ik, Ii ∩ Ij = ∅ (i ≠ j)
符号西语读法中文含义
xvariable real / continua待离散化的连续变量(如年龄)
𝕏dominio observado观测到的取值范围(数据里出现过的值)
Iiintervalo i-ésimo / bin第 i 个区间(分箱),共 k 个
∪unión并集:所有区间拼起来正好盖住 𝕏
∩ = ∅intersección vacía交集为空:区间互不重叠,每个值只落一处
knúmero de bins区间个数,由人选(如 3 箱)
EdadIntervaloEtiqueta
12, 15, 17[0, 18)Niño (o 0)
25, 34, 45[18, 65)Adulto (o 1)
67, 82, 90[65, max)Anciano (o 2)
形式化那行要能读懂两个条件:∪ 管「不漏」(所有区间合起来覆盖全部取值),∩ = ∅ 管「不重」(同一值不会同时落进两个箱)。换句话说,离散化就是一个合法划分;答题时用「不重不漏」四个字最稳。
四个优点对应四类理由:简化=空间小;鲁棒=抗噪;可解释=能说人话(「儿童 / 成人 / 老人」);兼容=喂给只能吃类别的模型(如朴素贝叶斯、决策树)。缺点只有一个,但很关键:精度损失不可逆。
年龄分箱表里三个区间写法不统一:[0, 18) 与 [18, 65) 是「左闭右开」,而 [65, max) 同样是左闭右开——但标签里 90 岁落在 [65, max) 内,max 必须理解为 ≥ 90。另外区间用的分隔符是逗号,而 p.95 同一概念改用分号([12; 36,3)),因为那里小数点是逗号,属排版惯例差异,含义相同。
p.94

5. Discretización · 等宽 / 等频 / 专家知识三法(印刷页 97)

▸ 原页截图 p.94 原讲义第 94 页

Los métodos más habituales son:

最常用的方法有三种:

Igual ancho (Equal Width)

等宽(Equal Width)

• Divide el rango observado xmin, xmax en k intervalos de igual longitud.

• 把观测到的范围 xmin, xmax 切成 k 个长度相等的区间。

• Preserva estructura métrica, pero puede producir intervalos con muy pocos datos si la distribución es desigual.

• 保住了度量结构(宽度相同 → 距离可比),但若分布不均,会出现几乎没有数据的空箱。

Igual frecuencia (Equal Frequency / Cuantiles)

等频(Equal Frequency / 分位数法)

• Divide los datos de forma que cada intervalo contenga aproximadamente el mismo número de registros.

• 切分时让每个区间包含大致相同条数的记录(按数量分,不按长度分)。

• Preserva la distribución empírica. • Los intervalos pueden tener longitudes muy diferentes.

• 保住了经验分布(每箱样本量平衡)。• 代价是各区间的宽度可能相差很大。

Basada en conocimiento experto

基于专家知识

• Define los cortes según criterios externos (legales, médicos, de negocio).

• 按外部准则(法律、医学、业务)来定切点。

• Introduce semántica interpretativa. • No necesariamente optimiza separación estadística.

• 带来了可解释的语义(如「18 岁=成年」)。• 但它不保证在统计上把类别分得最开。

方法怎么切保住什么典型风险
等宽[xmin, xmax] 等分成 k 份取值间距(度量结构)分布偏斜 → 空箱 / 挤爆箱
等频按分位数切,每箱≈n/k 条经验分布(样本量均衡)箱宽差异极大,边界随数据漂移
专家按领域阈值切(18、65…)可解释性与业务语义统计上未必分得开
三法一句话对照:等宽切「范围」、等频切「人数」、专家切「意义」。考试常问「数据高度偏斜(如收入)该用哪种」→ 答等频(等宽会出空箱);「必须符合法规(如 18 岁成年)」→ 答专家。
等频与 p.86 的分层抽样是同一种思想:都追求「每份样本量均衡」;而等宽与 p.37 的 Min-Max 缩放同样基于「范围」的概念。把新旧知识这样串起来,选择题几乎不会错。
原文说等宽「Preserva estructura métrica」,这里的「度量结构」只指区间宽度一致、数值间距可比,不是说它保住了原始数值本身——所有离散化都会丢原始精度(p.93 的「Pérdida de precisión」)。
p.95

5. Discretización 例 · 12 个年龄走完三种方法(印刷页 98)

▸ 原页截图 p.95 原讲义第 95 页

Supongamos que tenemos que discretizar la variable edad, y nuestros datos son: 12, 15, 17, 18, 19, 21, 22, 23, 25, 27, 70, 85

假设要离散化年龄变量,数据为:12, 15, 17, 18, 19, 21, 22, 23, 25, 27, 70, 85(共 12 个值,最小 12、最大 85)。

Igual ancho — Divide [12, 85] en 3 partes → [12; 36,3) · [36,3; 60,7) · [60,7; 85] → Nº datos por bin: 10 · 0 · 2 → Qué preserva: geometría del rango

等宽——把 [12, 85] 三等分 → [12; 36,3) · [36,3; 60,7) · [60,7; 85] → 每箱条数:10 · 0 · 2 → 保留:范围的几何结构(间距相等)

Igual frecuencia — 12 datos → 4 por grupo → [12, 18] · (18, 23] · (23, 85] → 4 · 4 · 4 → Qué preserva: distribución empírica

等频——12 个数据 → 每组 4 个 → [12, 18] · (18, 23] · (23, 85] → 4 · 4 · 4 → 保留:经验分布(每箱人数相同)

Conocimiento experto — Cortes en 18 y 65 → [0,18) ; [18,65) ; [65,∞) → 3 · 7 · 2 → Qué preserva: interpretabilidad

专家知识——切点定在 18 与 65 → [0,18) ; [18,65) ; [65,∞) → 3 · 7 · 2 → 保留:可解释性(未成年 / 成年 / 老年)

MétodoCómoIntervalosNº datosQué preserva
Igual ancho[12, 85] 三等分[12; 36,3) / [36,3; 60,7) / [60,7; 85]10 / 0 / 2Geometría del rango
Igual frecuencia12 条 → 每组 4 条[12, 18] / (18, 23] / (23, 85]4 / 4 / 4Distribución empírica
Conocimiento experto切在 18 与 65[0,18) ; [18,65) ; [65,∞)3 / 7 / 2Interpretabilidad
三个数字结果必须能复算:等宽 73 ÷ 3 ≈ 24.3 → 12 + 24.3 = 36.3,36.3 + 24.3 = 60.7,所以三箱为 [12, 36.3)、[36.3, 60.7)、[60.7, 85];数一数只有前箱 10 个、中箱 0 个、后箱 2 个 —— 这正是「分布不均 → 空箱」的活教材。等频 12 ÷ 3 = 4 个一组,排序后第 4 / 8 / 12 位分别是 18 / 23 / 85。专家法按 18、65 切,得 3 / 7 / 2。
[12, 85] 的宽度是 85 − 12 = 73(注意不是 85 ÷ 3)。这是本页最容易算错的地方:等宽要先用「最大值 − 最小值」求极差,再除以 k。写成公式:w = (xmáx − xmín) / k。
原文数字用逗号作小数点(36,3 / 60,7),而区间又用分号作分隔符([12; 36,3)),与 p.93 的逗号分隔不一致——这是西语排版为避免歧义的做法。另外三个方法的区间开闭并不统一:等宽是 左闭右开(末箱例外右闭),等频是首箱左闭右闭、其后左开右闭,专家法是左闭右开且末箱写成 [65, ∞)(而 p.93 写 [65, max))。答题时照抄题给写法即可,不要自行「统一」。

A–Z 术语速记表

共 97 条,覆盖全 95 页的高频术语。第三列点页码直接跳回原页;最后一列只写「一句话 + 最容易被扣分的点」,考前扫这一列就够。正文里带浅蓝底的西语词、带虚下划线的中文词,鼠标停上去都会显示对侧语言。

西语术语中文页码一句话记住 · 易错点
A
Alta dimensionalidad高维(特征远多于样本)p.73d ≫ n 时先减列:选择或提取特征,否则必过拟合。
Árboles de decisión决策树p.81每次分裂挑「不纯度下降最多」的特征=Embedded 式选择。
Aprendizaje automático机器学习p.22插补也能用它:拿其他列当输入,预测缺的那一列。
Asimetría positiva正偏(长尾在右)p.60右偏 → 用 log 变换压长尾,不要直接标准化了事。
B
Basada en conocimiento experto基于专家知识(分箱)p.94按 18 / 65 这类领域阈值切;可解释,但不保证统计最优。
C
caja negra黑箱p.80Wrapper 只调用模型、不看内部;此处是中性说法。
capacidad de generalización泛化能力p.73特征过多 → 过拟合 → 泛化掉;降维就是为了救它。
características特征(=列)p.2与 rasgos / atributos 同义,西语三个词换着用。
Chi-cuadrado (χ²)卡方检验p.49两个类别变量的独立性检验;p ≤ α 才说明有关联。
CNN (Condensed Nearest Neighbor)压缩最近邻p.89只留边界原型,可删 60–80%;不是卷积神经网络!
codificación编码p.65类别 → 数字;方向与「离散化」正好相反。
consistencia一致性p.15同一含义在不同列 / 不同表里写法要统一。
coste computacional计算成本p.73Filter 低 < Embedded 中 < Wrapper 高。
cortes切点p.94专家分箱的切点是人定的,不是算法算出来的。
criterio de impureza不纯度准则p.81基尼 / 熵;分裂后不纯度降得最多的特征胜出。
D
discretización离散化p.93连续 → 区间类别;主动损失精度。
distribución empírica经验分布p.86等频分箱、分层抽样都保它;随机抽样只保「期望」。
Duplicados重复记录p.15整行重复先删;别把它当成「样本很多」。
E
Eliminación de redundancia去冗余p.88删「与邻居同类、又位于内部」的点;CNN 属此类。
Eliminación de ruido去噪声p.88删「标签与邻居不一致」的点;ENN 属此类。
Eliminación hacia atrás后向消除p.80从全集起步,每轮删「影响最小」的那一个。
ENN (Edited Nearest Neighbor)编辑最近邻p.89只删 1–5%,保守、平滑边界。
estandarización标准化(Z-score)p.57(x − μ) / σ;不受量纲影响,但假设分布近似正态。
estratos层p.86分层抽样里的子群;按各层占比分配名额。
estructura métrica度量结构(取值间距)p.94等宽保住「间距相等」,不等于保住原值。
F
Feature Extraction特征提取p.74造新特征(PCA、IMC),列变少但每列是组合。
frontera de decisión决策边界p.87原型选择要保住的就是这条边界。
función de coste代价函数p.81Lasso 就是在它上面加 L1 惩罚项。
G
Ganancia de información信息增益p.77Filter 常用指标:分裂前后熵减少多少。
Gran volumen de datos数据量庞大p.73n 太大 → 减行(抽样 / 原型),别硬算全量。
H
heterogeneidad metodológica方法异质性p.51不同来源的口径 / 单位不同,集成前必须先统一。
I
Igual ancho等宽分箱p.94极差 ÷ k;分布偏斜就会出空箱。
Igual frecuencia等频分箱p.94每箱≈n/k 条;保经验分布,但箱宽可能差很多。
IMC体质指数p.10peso / altura²;人工构造特征的教科书例子。
imputación插补p.21用统计量或模型把空格填上,而不是删行。
infra-representar代表性不足p.86随机抽样可能抽不到少数类 → 用分层解决。
instancias duplicadas重复实例p.48集成时先查重,否则同一条记录被算两次。
interacciones交互作用p.82两个特征合起来才有用;Filter 单看一个发现不了。
intervalos区间p.93离散化的产物,必须「不重不漏」。
irrelevantes无关特征p.73与标签无关;留着只增加噪声与成本。
K
k-NN (k vecinos más cercanos)k 近邻p.25插补与原型选择都用它;先标准化再算距离。
L
Label Encoding标签编码p.65一列整数 0…k−1;会造出假顺序,一般只用于 y。
limpieza de datos数据清洗p.15五阶段第一步:缺失、异常、重复、不一致。
Localización de atributos redundantes冗余属性定位p.49用相关 / χ² 找「信息重叠」的列,再决定删哪列。
M
media均值p.21均值插补最省事,但会被离群点拉跑 → 改用中位数。
medida de dependencia依赖度量p.49衡量两列关联强度的统称(r、ρ、χ²)。
medidas estadísticas统计指标p.79Filter 全靠它打分,不训练模型。
Métodos de Envoltura包裹式方法p.77用模型表现当评分;最准也最贵,能看交互。
Métodos de Filtro过滤式方法p.77先打分再挑,不碰模型;最快但看不见交互。
Métodos Integrados嵌入式方法p.77选择发生在训练内部;Lasso、决策树。
métrica度量(距离)p.87原型 / 邻域都靠它定义「近」。
Muestreo aleatorio随机抽样p.86等概率抽;只保「期望」分布,少数类可能丢。
Muestreo estadístico统计抽样p.85目标:小样本仍能代表总体分布。
Muestreo estratificado分层抽样p.86类内按比例抽,分布精确;需要标签。
muestreo抽样p.86减行第一路线;与「原型」并列为两大策略。
N
Normalización (Min-Max)归一化p.56压到 [a, b](常 [0, 1]);对离群点非常敏感。
O
One-Hot Encoding独热编码p.651 列拆 k 列 0/1;名义变量首选,不造假顺序。
Ordinal Encoding序数编码p.65按真实等级给整数;顺序必须真的存在。
orden natural天然顺序p.68有序变量才有;没有就别用序数编码。
outliers离群点p.36数值远离主体;先判断是错误还是真实极端值。
P
partición划分p.93离散化=把 𝕏 划成若干互不重叠的区间。
PCA主成分分析p.75特征提取代表:把 d 列压成少数几列线性组合。
penalización惩罚项p.81L1 惩罚让无关特征的系数被压到 0。
poder estadístico统计功效p.19样本越少越弱;删行之前先算这笔账。
preprocesamiento预处理p.1建模之前的一切准备;本课五阶段的总称。
probabilidad uniforme均匀概率p.86随机抽样里每条样本的入选概率相同。
R
rasgos特征(列)p.73与 características / atributos 同义。
redundantes冗余的p.73与别的列信息重叠;两列留一列就够。
reducción de datos数据归约p.74体积变小、信息不丢;减列或减行。
reescalado重缩放p.56只改范围不改形状;Min-Max 属此类。
Regresión LassoLasso 回归p.81L1 正则 → 稀疏解 → 自动选特征。
registros记录(行)p.73与 ejemplos / instancias 同义。
regularización正则化p.81在代价函数里加约束,防止过拟合。
relaciones artificiales人为(虚构)的关系p.65编码最怕造出数据里不存在的顺序。
representativo有代表性的p.74减行后的子集要能代表原分布。
reseñas评论p.84本章减行练习的数据:20 条酒店评论。
ruido噪声p.20随机错误值;与「异常值」不同,噪声通常无信息。
S
scatterplots散点图p.51看两列关系的第一步;相关 ≠ 因果。
selección estructural结构选择p.81模型自带的结构性筛选(如树的分裂)。
Selección de rasgos特征选择p.74从原列里挑子集,不造新列。
Selección de registros记录选择p.74从原行里挑子集,列不变。
Selección geométrica几何选择(原型)p.85按邻域 / 边界挑代表性样本,不按比例。
Selección hacia adelante前向选择p.80从空集起步,每轮加「最好」的那一个。
semántica interpretativa可解释语义p.94专家分箱换来「18 岁=成年」这种业务含义。
sesgo de selección选择偏差p.19删掉的是特定群体 → 模型系统性偏向。
sesgados有偏的p.15数据整体偏向某群体,不是个别错值。
subconjunto子集p.74选择的结果:D′ ⊂ D。
superfluos多余的p.2与任务无关的属性;集成 / 选择时要清掉。
T
transformación de datos数据变换p.53五阶段第三步:缩放、函数变换、编码。
U
umbral阈值p.79Filter 收尾两种方式之一:过线才留。
V
valores anómalos异常值p.15与噪声、离群点的区分见下方易混卡。
valores faltantes缺失值p.6空格;三条出路:删、简单插补、模型插补。
valores perdidos缺失值(同义)p.17faltantes / perdidos 两个西语词都指空值。
variables categóricas类别变量p.65名义 / 有序;编码前先判断有没有顺序。
variables continuas连续变量p.7可无限细分;要离散化才能当类别用。
variables nominales名义变量p.65无顺序(颜色、城市)→ 只能 One-Hot。
vecindad local局部邻域p.87k 个最近邻围出的区域;ENN / CNN 的判据都基于它。

阈值与流程速记卡

这一章的数字几乎全是「经验规则」,但它们照样是送分点:删多少、相关多强算冗余、删几成样本、几个箱子。背下这张表,判断与简答都能秒答。

编号阈值 / 数字出处含义与用法
15 %p.19删行的经验上限;超过就别硬删,改插补。是「regla orientativa」,不是硬标准。
2|r| > 0.8p.50Pearson 强线性相关 → 可能冗余,两列留一列。
3|ρ| > 0.8p.50Spearman 强单调相关(非线性也算)→ 可能冗余。
4p ≤ αp.49χ² 检验:拒绝「相互独立」→ 两列有关联 / 信息重叠。
52^dp.78Wrapper 的全部候选子集数;d 稍大就组合爆炸。
6d ≫ np.73特征远多于样本 → 减列(选择 / 提取),治过拟合。
7n ≫ dp.73样本远多于特征 → 减行(抽样 / 原型),治算力。
81–5 %p.89ENN 的删除比例:保守、提质、平滑边界。
960–80 %p.89CNN 的删除比例:激进、大幅压缩、提速。
1062 → 60(≈97 %)p.90ENN 示例:62 条只删掉 2 条噪声点。
1162 → 14(≈22 %)p.90CNN 示例:只保留 14 个原型,其余冗余全删。
1295 / 5 → 95 + 5p.911 000 笔缩到 100 笔:分层得 95 正常 + 5 欺诈。
1318 / 65p.93年龄专家分箱切点:未成年 / 成年 / 老年 → 3 / 7 / 2。
14(85 − 12) / 3 ≈ 24,3p.95等宽先求极差再除 k,边界 36,3 与 60,7;不是 85 ÷ 3。
1510 / 0 / 2p.95同一组 12 个年龄走等宽 → 中箱空箱,证明「偏斜别用等宽」。

易混对照卡

这 14 组是选择题与简答题最爱挖的坑:每组只差一个关键词,抓住那个词就不会翻车。

ruido vs outlier vs anomalía
噪声 = 随机错误值(无信息);outlier = 数值远离主体(可能是真的);anomalía = 「异常」的统称,三者常被混用(p.15 / p.36)。
faltantes vs inconsistentes vs duplicados
缺失 = 格子空着;不一致 = 有值但放错 / 写法冲突;重复 = 整行抄了两遍(p.15)。
Eliminación vs Imputación
删 = 扔掉行或列(简单但丢信息、可能引入选择偏差);插补 = 填上(保样本量,但可能编造数据)(p.19–p.22)。
imputación simple vs por modelo
简单 = 均值 / 中位数 / 众数,一步到位;模型 = 用其他列预测(k-NN、回归),更准但更贵(p.21–p.22)。
Normalización (Min-Max) vs Estandarización
Min-Max 压到 [0,1](或 [a,b]),受离群点影响大;Z-score 变成 μ=0、σ=1,假设近似正态(p.56 / p.57)。
Selección vs Extracción de rasgos
选择 = 从原列里挑(列还是原来那些);提取 = 造新列(PCA、IMC),列的含义变了(p.74)。
Selección de rasgos vs de registros
选特征 = 减列(d 变小);选记录 = 减行(n 变小)。别把「降维」一律当成「减行」(p.74 / p.85)。
Filter vs Wrapper vs Embedded
Filter 不训模型(快,看不见交互);Wrapper 反复训模型(准,最贵);Embedded 训练时顺带选(居中,Lasso / 树)(p.77 / p.82)。
Muestreo aleatorio vs estratificado
随机 = 等概率、保「期望」分布、可能丢少数类;分层 = 类内按比例、保精确分布、需要标签(p.86)。
ENN vs CNN
ENN = 删误分类者(去噪声,1–5%);CNN = 只留误分类者(去冗余,60–80%)。此 CNN 不是卷积网络(p.89)。
Eliminación de ruido vs de redundancia
噪声 = 标签与邻居不一致(改质量);冗余 = 与邻居同类且在内部(减数量)。前者改质,后者改量(p.88 / p.90)。
One-Hot vs Ordinal vs Label
One-Hot 拆 k 列(无顺序,名义变量);Ordinal 一列整数且顺序为真;Label 一列整数但顺序未必为真(只给 y)(p.65)。
Discretización vs Codificación
离散化:连续 → 区间(损失精度);编码:类别 → 数字(不改粒度)。先离散化、再编码是常见组合(p.93 / p.65)。
Igual ancho vs Igual frecuencia vs experto
等宽切范围(偏斜会空箱);等频切人数(箱宽不等);专家切意义(可解释但未必统计最优)(p.94)。