Tema 3 · 计算学习导论

Tema 3: Introducción al aprendizaje computacional · Eva Millán
38 页逐页逐句双语对照 · Universidad de Málaga(UMA)· Departamento de Lenguajes y Ciencias de la Computación
怎么用这份讲义

一、从传统编程到「学习」:¿Quién es quién?

p.1–p.5
p.1

Tema 3: Introducción al aprendizaje computacional · 第 3 讲:计算学习导论(封面)

▸ 原页截图 p.1 原讲义第 1 页

Tema 3: Introducción al aprendizaje computacional

第 3 讲:计算学习导论

Eva Millán

Eva Millán(授课教师)

Departamento de Lenguajes y Ciencias de la Computación

语言与计算机科学系

考点:整讲的第一个必背术语就是 aprendizaje computacional——西语考试里它和 aprendizaje automático(machine learning)是同义词,写作用哪个都行,但同一篇文章里别来回换,会被判「术语不统一」。
记忆钩子:computacional 不是「计算机的硬件」,而是「用计算的方式去学」——主角是算法,不是电脑。
p.2

El juego del ¿Quién es quién? · 「猜猜我是谁?」游戏

▸ 原页截图 p.2 原讲义第 2 页

El juego del ¿Quién es quién?

「猜猜我是谁?」这个游戏

图上就是那盒经典桌游:32 张人物卡排成 4×8,每张卡都写着名字(Carolina、Cristina、Gabriela、Óscar……)和一组可视特征——发色、发型长短、有没有胡子、戴不戴眼镜、有没有耳环、肤色等。玩家轮流问「是男的吗?」「戴眼镜吗?」这类只能答是/否的问题,把候选人一片片翻下去,最后只剩一个。
考点:这个游戏是全讲的总比喻。它同时包含后面所有核心概念:对象(每个人物卡)、属性(发色、眼镜……)、分类(把卡分到「是 / 不是」两堆)、最优提问(信息增益,p.11 才正式点名)。考试让你「用一句话解释什么是机器学习」时,直接拿这个游戏开场最稳。
p.3

Programación tradicional · 传统编程

▸ 原页截图 p.3 原讲义第 3 页

Programación tradicional

传统编程

¿?

?(一个大大的问号)

这一页几乎是空的,只有标题和一个红色大问号——老师是在故意留白:如果有人把「猜人物」的规则全写死,会发生什么?下一页(p.4)就给出答案:一大坨 if / else。
考点:传统编程的范式是「规则 + 数据 → 答案」,规则由程序员手写。SIELE / 课堂问答常让你对比:传统编程「人写规则」,机器学习「数据推出规则」。这句话一定要能用西语说出来:En la programación tradicional las reglas las escribe el programador; en el aprendizaje automático las reglas se inducen a partir de los datos.
p.4

Una parte de un posible algoritmo con programación tradicional · 传统编程写法的一小段算法

▸ 原页截图 p.4 原讲义第 4 页

Una parte de un posible algoritmo con programación tradicional

用传统编程写出的、可能算法的一小部分

def adivinar_personaje(rasgos):
    if rasgos['tiene_gafas']:
        if rasgos['es_mujer']:
            if rasgos['pelo_oscuro']:
                return "Beatriz"
            elif rasgos['pelo_castano']:
                return "Inés"
            else:
                # ¿Y si lleva gafas de sol como Loreto?
                # ¿O es Susana? El código se complica...
                return "Susana"
        else:
            if rasgos['tiene_barba']:
                # Borja y Jorge tienen barba y gafas.
                # ¿Cómo los diferenciamos sin más IFs?
                return "Borja"
            else:
                return "Pedro"
代码出处:PDF p.4 代码框原文,逐字照抄(注释里的省略号原文即三个英文句点 ...)。
陷阱:注意第二组 else 的缩进层级——它配的是 if rasgos['es_mujer'],不是 if rasgos['tiene_gafas']。放在「不是女性」这一支里再判 tiene_barba,才轮到 Borja / Pedro。缩进错一层,整段逻辑就全废,这是编程题和阅读题的双重送分/送命点。
考点:这段代码只处理了 5 个人(Beatriz、Inés、Susana、Borja、Pedro),却有 4 层嵌套。老师要你看到的结论是:传统编程的复杂度随规则数量爆炸式增长(组合爆炸),而且每加一个例外都要回头改 if。答题关键词:código estático、no escala。
p.5

Problemas del enfoque tradicional · 传统方法的三大问题

▸ 原页截图 p.5 原讲义第 5 页

• Ambigüedad de los Atributos

• 属性的歧义性

Si definimos la regla tiene_gafas, ¿incluimos las de sol de Loreto?

如果我们定义 tiene_gafas(戴眼镜)这条规则,Loreto 的太阳镜算不算?

• Orden de las Preguntas (Eficiencia)

• 提问的顺序(效率问题)

¿Cual es la mejor pregunta para empezar?

从哪个问题开始问最好?

• Rigidez ante los Datos

• 面对数据时的僵化

El programa tradicional es estático

传统程序是静态的(写死就不动)

• Si mañana incluyo a una nueva chica con gafas y pelo oscuro llamada 'Lucía', este código me seguirá diciendo que es Beatriz

• 如果我明天加进一个戴眼镜、深色头发、叫「Lucía」的新女孩,这段代码仍然会告诉我她是 Beatriz

• Si cambia el tablero ¿hay que empezar todo de nuevo?

• 如果棋盘(人物卡)换了,是不是得全部从头再来?

原文笔误:¿Cual es la mejor pregunta para empezar? —— 原文写 Cual,应为 Cuál(疑问代词带重音),属笔误。考试里拼错重音是要扣分的,别照抄错误版本。
考点:这三条就是「为什么要用机器学习」的标准三段论,写作/口语都直接用:①ambigüedad(属性定义本身模糊,太阳镜算不算眼镜?);②eficiencia(提问顺序决定问几个问题,最优策略=每次把候选集劈成两半);③rigidez(数据一变,代码全废)。第三条的 Lucía 例子几乎是原题:新样本被硬塞进旧规则,输出错误答案。
记忆钩子:三问题记成「说不清、问不快、改不动」——歧义、效率、僵化。图上那个戴墨镜的 Loreto 就是「说不清」的活体标本 😎

二、数据的问题与预处理:从「脏表」到「干净表」

p.6–p.11
p.6

Datos generados por el becario 1. ¿Problemas? · 实习生 1 生成的数据:哪里有问题?

▸ 原页截图 p.6 原讲义第 6 页

Datos generados por el becario 1. ¿Problemas?

实习生 1 生成的数据。有什么问题?

左表(18 位人物,逐格照抄)
PersonajeGéneroColor PeloVello FacialGafasOtros rasgosRopa
AlbertoHombreRubioBarba ralaNoPelo cortoNegro
InésMujerCastañoNoVistaJerseyNaranja
NachoHombreNegroNoNoPelo cortoNegro
PaulaMujerRubioNoNoPelo largoVerde
ÓscarHombrePelirrojoNoSol-Blanco
VerónicaMujerMorenoNoNoTrenza/BindiRojo
BorjaHombreCastañoBarbaVista-Gris
LoretoMujerCastañoNoSol-Verde
ArturoHombreMorenoBigoteNo-Azul
CarolinaMujerRubioNoVistaPelo cortoVerde
PazMujerBlancoNoNoPelo cortoAzul
ÁngelHombreBlancoBarbaNo-Naranja
JesúsHombreMorenoBarbaNo-Verde
BeatrizMujerMorenoNoVistaPelo cortoRojo
MarioHombreMorenoNoVista (G)-Azul
JorgeHombreCastañoBarba/BigoteVista-Gris
SusanaMujerRubioNoVistaPelo cortoBlanco
PedroHombreMorenoNoVista-Rojo
右表(18 位人物,逐格照抄;注意表头 Gafas 与 Otros rasgos 两格在原页上贴在一起)
PersonajeGéneroColor PeloVello FacialGafasOtros rasgosRopa
GabrielaMujerMorenoNoNoPelo largoVerde
JavierHombreRubioNoNoPelo cortoAzul
EstherMujerCastañoNoNoPelo largoNaranja
RaúlHombreMorenoBarba ralaNo-Verde
LucíaMujerMorenoNoNoPelo cortoAzul
CarlosHombreMorenoNoNoPelo cortoRojo
MartaMujerRubioNoNoPelo largoBlanco
JuanHombreMorenoBigoteNo-Azul
ElenaMujerCastañoNoNoPelo cortoNaranja
DavidHombrePelirrojoNoNoPelo cortoVerde
SofíaMujerMorenoNoNoPelo largoRojo
AntonioHombreBlancoNoNoPelo cortoAzul
IsabelMujerRubioNoNoPelo cortoBlanco
RamónHombreMorenoBarbaNo-Naranja
AliciaMujerMorenoNoNoPelo largoVerde
FranciscoHombreCalvo/GrisNoNoPelo cortoRojo
CarmenMujerCastañoNoNoPelo largoBlanco
MiguelHombreRubioNoNoPelo cortoAzul
陷阱:同一张幻灯片上的两张表就已经互相打架了——Alberto 的 Ropa 在左表是 Negro,到 p.7 的「问题版」就变成 Azul;Nacho 在左表是「Color Pelo = Negro、Vello Facial = No」,p.7 变成「Moreno、Barba espesa」。这不是老师手滑,而是故意埋的不一致(inconsistencia)样本。别急着「修正」原文,先把问题找出来。
考点:这一页是整讲的素材库。后面 p.8 的五类预处理问题(分类变量、二元变量、缺失值、不一致、噪声)全都能在这两张表里指到具体单元格:Otros rasgos 里的 - 是缺失值,Jersey 出现在「发色」列是不一致,Vista (G) 是噪声。考试让你「举一个数据质量问题的例子」时,直接报坐标最得分。
p.7

Problemas con los datos · 数据存在的问题

▸ 原页截图 p.7 原讲义第 7 页

Problemas con los datos

数据存在的问题

精简版(15 位人物,逐格照抄;表头最后一列原文为 Color Ropa)
PersonajeGéneroColor PeloVello FacialGafasOtros RasgosColor Ropa
AlbertoHombreRubioBarba ralaNoPelo cortoAzul
InésMujerCastañoNoVistaJerseyVerde
NachoHombreMorenoBarba espesaNoPelo cortoNaranja
PaulaMujerRubioNoNoPelo largoVerde
ÓscarHombrePelirrojoNoSol-Blanco
VerónicaMujerMorenoNoNoTrenza/BindiRojo
BorjaHombreCastañoBarbaVista-Gris
LoretoMujerCastañoNoSol-Verde
ArturoHombreMorenoBigoteNo-Azul
ÁngelHombreBlancoBarbaNo-Naranja
JesúsHombreMorenoBarbaNo-Verde
BeatrizMujerMorenoNoVistaPelo cortoRojo
MarioHombreMorenoNoVista (G)-Azul
JorgeHombreCastañoBarba/BigoteVista-Gris
SusanaMujerRubioNoVistaPelo cortoBlanco
陷阱:与 p.6 左表逐行对比,会发现至少 3 处同人不同值(Alberto 的衣服 Negro→Azul;Nacho 的发色 Negro→Moreno、面部毛发 No→Barba espesa)。这不是印刷错误,而是「同一份数据被两个人各录一遍」的典型一致性问题——考试里问「¿qué es una inconsistencia?」就用这个例子。
考点:请把这一页当成「错误清单」。数一数能抓出几类:① 缺失值(Otros Rasgos 的 -);② 不一致(Jersey 跑进发色列;Trenza/Bindi 一格里塞两个概念);③ 噪声(Vista (G) 这种来源不明的标记);④ 语义混淆(Gris 到底是衣服颜色还是被误填的头发?)。四类全答到,这题满分。
p.8

Preprocesamiento · 预处理

▸ 原页截图 p.8 原讲义第 8 页

Preprocesamiento

预处理

• Variables Categóricas: "Color Pelo" o "Color Ropa".

• 分类变量:「发色」或「衣服颜色」。

Algunos algoritmos no entienden etiquetas como "Rojo", así que tendremos que convertirlo a números.

有些算法看不懂「Rojo(红色)」这类标签,所以我们必须把它转成数字。

• Variables Binarias: "Género" (si lo tratamos como Hombre/Mujer en este dataset) o "Vello Facial" (Sí/No).

• 二元变量:「性别」(在这个数据集里按男 / 女处理)或「面部毛发」(是 / 否)。

¿Merece la pena conservar la información en otras columnas?

把信息保留在其他列里值得吗?(是否还有必要留别的列)

• Valores perdidos: ¿Qué pasa en la columna "Otros Rasgos" cuando no hay nada?

• 缺失值:「其他特征」这一列里什么都没有的时候,怎么办?

(Los guiones -).

(就是那些短横线 -。)

• Inconsistencias. “Jersey” en la columna “Pelo”

• 不一致:「Jersey(毛衣)」出现在了「头发」这一列里。

• Ruido: Hay un valor que pone Vista (G)

• 噪声:有一个值写的是「Vista (G)」。

记忆钩子:五件事按「型、二、缺、矛、噪」背——型=分类变量要编码成数字、二=二元变量压成 0/1、缺=缺失值要处理、矛=矛盾/不一致要统一、噪=噪声要修掉。五个字一顺,整页就下来了。
考点:预处理是考试高频填空。题干常给一张脏表问「¿Qué técnica de preprocesamiento aplicarías?」,答题模板固定:"Otros Rasgos" tiene valores perdidos → imputar o eliminar; "Jersey" en la columna "Pelo" es una inconsistencia → corregir el valor; "Vista (G)" es ruido → eliminar o suavizar. 关键词 imputar(填补)、suavizar(平滑)写上去就比同学高半分。
为什么「分类变量要转数字」这么重要?因为绝大多数算法内部只做算术:算平均值、算距离。字符串 "Rojo" 没法参与加减,必须映射成 Rojo→0, Verde→1, Azul→2。但注意——这种编码会凭空造出顺序(2 比 1 大?),所以名义变量更常用 one-hot 编码,这是后面 p.18–p.19 的伏笔。
p.9

Datos limpios (becario 2) · 干净数据(实习生 2 版)

▸ 原页截图 p.9 原讲义第 9 页

Datos limpios (becario 2)

干净数据(实习生 2 的版本)

18 位人物 × 10 个属性,逐格照抄
NombreSexoColor peloLongitud peloGafasBarbaBigotePielPendientesCalvo
CarolinaMujerCastañoLargoNoNoNoClaraNoNo
CristinaMujerRubioCortoNoNoNoClaraSíNo
GabrielaMujerRubioLargoNoNoNoClaraNoNo
ÓscarHombreNegroCortoNoNoNoOscuraNoNo
MaríaMujerCastañoLargoNoNoNoOscuraSíNo
BorjaHombreNegroCortoSíSíNoOscuraNoNo
LoretoMujerCastañoCortoSíNoNoClaraNoNo
NachoHombreRubioCortoNoNoNoClaraNoNo
BeatrizMujerNegroLargoSíNoNoClaraNoNo
PedroHombreCastañoCortoSíSíNoClaraNoNo
RaquelMujerCastañoCortoNoNoNoClaraNoNo
SaraMujerRubioLargoNoNoNoClaraNoNo
InésMujerCastañoLargoSíNoNoClaraNoNo
DanielHombreCastañoCortoNoNoSíClaraNoNo
SusanaMujerNegroLargoSíNoNoClaraNoNo
RamónHombreRubioCortoNoNoNoClaraNoNo
CatalinaMujerCastañoLargoNoNoNoClaraSíNo
CaminoMujerPelirrojoLargoNoNoNoClaraNoNo

Dataset completo

完整数据集

看清洗版做了什么「整容手术」:① 把原来一格塞两个概念的 Barba/Bigote 拆成 Barba 与 Bigote 两列;② 把 Otros rasgos 拆成 Piel、Pendientes、Calvo;③ 把 Gafas 的 Vista/Sol/No 统一成 Sí/No;④ 把 Longitud pelo 单独成列。这就是「属性重构」——让每一列只装一个含义。
考点:清洗后的表列数变多、每列取值变少,这是预处理的经典判据。考试问「¿Cómo se ve un dataset bien preparado?」,答:cada atributo tiene un dominio bien definido, sin valores mezclados y sin guiones. 顺带记住:这张表虽然叫「干净」,Nacho 的发色仍和 p.6/p.7 不一致——说明清洗也依赖人,人就会错。
p.10

Preguntas · 提问(课堂讨论)

▸ 原页截图 p.10 原讲义第 10 页

Preguntas

问题

• Si tuviéramos que rellenar la columna de "Barba", ¿qué valor le pondríais a Alejandro y cuál a Jesús?

• 如果我们要填「胡子」这一列,你会给 Alejandro 填什么值,给 Jesús 又填什么?

¿Son iguales? ¿Dónde establecemos el límite?

它们一样吗?我们把界限划在哪里?

• Supongamos que en nuestro dataset solo los hombres llevaban gafas, y el algoritmo ha aprendido eso.

• 假设在我们的数据集里只有男人戴眼镜,而算法已经学到了这一点。

¿Qué ocurrirá cuando le enseñemos la foto de Loreto?

那我们给它看 Loreto 的照片时,会发生什么?

• Supongamos que en nuestro dataset todos los ejemplos con ropa azul son hombres.

• 假设在我们的数据集里,所有穿蓝色衣服的样本都是男人。

¿Debería el algoritmo usar el "Color de la ropa" para identificar el género?

算法应该用「衣服颜色」来判断性别吗?

• Si vuestro objetivo es ganar en el menor número de turnos posible, ¿sería una buena estrategia preguntar: "¿Tiene un bindi en la frente?" (como Verónica) al principio de la partida?

• 如果你的目标是用最少的轮数取胜,那么一开局就问「(像 Verónica 那样)额头上有点红痣吗?」会是一个好策略吗?

考点:这四问对应四个必考术语,顺序都给你排好了——①噪声 / 标注主观性(ruido en el etiquetado);②数据偏置(sesgo,训练集里「戴眼镜=男人」,模型就会把戴眼镜的女人判成男人);③伪相关 / 特征选择(correlación espuria,蓝衣服和性别只是碰巧共现);④信息增益(ganancia de información,bindi 这种稀有特征一次只砍掉 1 个人,问了等于白问)。
记忆钩子:四问记成「边界、偏见、假相关、烂问题」。最后一个尤其好玩——开局问 bindi,就像考试先做那道只有 1 分、还只有你会做的题,纯纯浪费时间 😂
p.11

Respuestas · 参考答案

▸ 原页截图 p.11 原讲义第 11 页

Respuestas

参考答案

• Respuesta 1: En AA, este problema se llama ruido en el etiquetado.

• 答案 1:在机器学习(AA)里,这个问题叫「标注噪声」。

Si los datos son subjetivos (dependen de la opinión del humano que hizo la tabla), el modelo tendrá un "techo" de precisión..

如果数据是主观的(取决于做表那个人的看法),模型的准确率就会有一个「天花板」。

• Respuesta 2: Este es un caso de sesgo de los datos.

• 答案 2:这是一个数据偏置的案例。

Si el dataset no es equilibrado, el modelo "memoriza" prejuicios en lugar de aprender conceptos.

如果数据集不均衡,模型「记住」的就是偏见,而不是学到概念。

• Respuesta 3: Entropía y Ganancia de información.

• 答案 3:熵与信息增益。

Preguntar por el bindi tiene una probabilidad de éxito bajísima.

问「有没有 bindi」的成功概率低得可怜。

La "pregunta inteligente" es la que divide el dataset en dos grupos aproximadamente iguales

所谓「聪明的问题」,就是能把数据集切成两个人数大致相等的组的问题。

• Respuesta 4: Overfitting (Sobreajuste) y Selección de Características (Feature Selection) para eliminar atributos volátiles (como la ropa) y quedarse con los robustos (rasgos físicos), asegurando que el modelo funcione con fotos nuevas.

• 答案 4:过拟合(Overfitting)与特征选择(Feature Selection):删掉易变的属性(比如衣服),保留稳定的属性(身体特征),以保证模型对新照片也能用。

原文笔误:el modelo tendrá un "techo" de precisión.. —— 原文在句末写了两个句点,应为 precisión. 一个句点,属笔误。
考点:熵与信息增益是本讲的第一个「公式级」考点(p.11 只点名、p.30 决策树才用)。一句话记住定义:熵 = 集合的混乱程度;信息增益 = 划分前的熵 − 划分后的加权平均熵,值越大说明这一问越「值钱」。答题可直接写:La ganancia de información mide la reducción de entropía que aporta un atributo al dividir el conjunto de datos.
记忆钩子:好问题 = 「一刀切一半」。问 bindi 只切掉 1/32,等于用一把菜刀去切一根头发丝 🔪 而问「是男的吗?」一刀下去 16/16,这才叫爽。

三、什么是机器学习:三个定义与 KDD 流程

p.12–p.16
p.12

Definición · 定义(Samuel / Mitchell / Ng)

▸ 原页截图 p.12 原讲义第 12 页

Definición

定义

Arthur Samuel (1959):

Arthur Samuel(1959):

El campo de estudio que da a los ordenadores la capacidad de aprender sin ser explícitamente programados.

这是一个研究领域:它赋予计算机「无需被显式编程就能学习」的能力。

Tom Mitchell (1997):

Tom Mitchell(1997):

Un programa de ordenador aprende de la experiencia E con respecto a una clase de tareas T y una medida de rendimiento P, si su desempeño en las tareas T, medido por P, mejora con la experiencia E.

若一个计算机程序在任务类 T 上的表现(由性能度量 P 衡量)随着经验 E 而提升,我们就说它关于 T、P 从 E 中学习。

Andrew Ng (2011)

Andrew Ng(2011)

El aprendizaje computacional es la ciencia de lograr que los ordenadores actúen sin estar explícitamente programados

计算学习是一门科学:让计算机在不被显式编程的情况下行动。

Énfasis en la autonomía (no programar a mano).

强调自主性(不手工编程)。

Énfasis en la ingeniería (medir el éxito con métricas P).

强调工程性(用度量 P 来衡量成功)。

Énfasis en la actuación e.g., generalización (predecir sobre datos nunca vistos).

强调表现,例如泛化(对从未见过的数据做预测)。

记忆钩子:Mitchell 那条就是「T–E–P 三件套」——Tarea 任务、Experiencia 经验、Performance 表现。背成中文口诀「任务、经验、成绩单」,答题时缺一个都算漏点。
考点:Mitchell 1997 的定义是标准答案,考试几乎年年出「Define aprendizaje automático según Mitchell」。三个要点必须写全:① 有任务类 T;② 有经验 E(就是数据);③ 有性能度量 P;④ 表现随经验提升。右侧三条批注是三个作者的「侧重面」:Samuel→autonomía、Mitchell→ingeniería、Ng→generalización,选择题最爱在这里玩配对。
p.13

Definición Data Mining · 数据挖掘的定义

▸ 原页截图 p.13 原讲义第 13 页

Definición Data Mining

数据挖掘的定义

Data mining is the process of discovering interesting knowledge, such as patterns, associations, changes, anomalies and significant structures, from large amounts of data stored in databases, data warehouses or other information repositories

数据挖掘是一个过程:从数据库、数据仓库或其他信息存储库中的海量数据里,发现有意义的(有趣的)知识,例如模式、关联、变化、异常和重要结构。

Enfoque: aplicación de técnicas (entre ellas ML) para extraer patrones y conocimiento de grandes conjuntos de datos.

着眼点:应用各种技术(其中包括机器学习)从大数据集中抽取模式与知识。

Referencia: J. Han & M. Kamber, Data Mining: Concepts and Techniques, Morgan Kaufmann, 2000.

参考文献:J. Han 与 M. Kamber,《Data Mining: Concepts and Techniques》,Morgan Kaufmann 出版社,2000 年。

考点:这句英文定义里的五个宾语是填空高频:patterns(模式)、associations(关联)、changes(变化)、anomalies(异常)、significant structures(重要结构)。少写一个就少一分。另外记住 data warehouse=数据仓库,repository=存储库,这两个词经常被拿来考词义。
记忆钩子:五个宾语记成「模、关、变、异、构」——读起来像五个字的武功秘籍,念两遍就刻进脑子了。
p.14

Definición Knowledge Discovery · 知识发现(KDD)的定义

▸ 原页截图 p.14 原讲义第 14 页

Definición Knowledge Discovery

知识发现的定义

Knowledge discovery in databases (KDD) is the nontrivial process of identifying valid, novel, potentially useful, and ultimately understandable patterns in data.

数据库中的知识发现(KDD)是一个非平凡的过程:从数据中识别出有效的、新颖的、可能有用的、并且最终可理解的模式。

Enfoque: proceso completo (selección, limpieza, transformación de datos, data mining, interpretación y uso del conocimiento).

着眼点:完整的过程(数据选择、清洗、变换、数据挖掘、解释以及知识的使用)。

Data mining sería una fase dentro de KDD.

数据挖掘只是 KDD 内部的一个阶段。

Referencia: U. M. Fayyad, G. Piatetsky-Shapiro, P. Smyth, “From Data Mining to Knowledge Discovery in Databases”, AI Magazine, 17(3), 1996.

参考文献:U. M. Fayyad、G. Piatetsky-Shapiro、P. Smyth,〈From Data Mining to Knowledge Discovery in Databases〉,《AI Magazine》17 卷 3 期,1996 年。

考点:Data Mining ⊂ KDD,这是本章最经典的一道辨析题。题干常写「¿Data mining y KDD son lo mismo?」,标准答法:No. KDD es el proceso completo; la minería de datos es solo una de sus fases. 定义里四个形容词也是采分点:válido, novedoso, potencialmente útil, comprensible。
记忆钩子:KDD 是「整条流水线」,Data Mining 是流水线上「最闪的那台机器」。别人夸你机器好,不等于整条线好——所以老师才说 mining 只是一个 fase。
p.15

Fases del proceso de Knowledge Discovery · KDD 流程的各个阶段

▸ 原页截图 p.15 原讲义第 15 页

Fases del proceso de Knowledge Discovery:

知识发现过程的各个阶段:

https://www2.cs.uregina.ca/~dbd/cs831/notes/kdd/1_kdd.html

(课件给出的参考网址,原文照录)

El conocimiento extraído debe:

所提取出的知识必须:

• No ser trivial,

• 不是平凡的(不能是废话),

• Estar implícito en los datos,

• 隐含在数据之中,

• Ser previamente desconocido

• 是此前未知的

• Ser potencialmente útil

• 具有潜在的用处

阶梯图(原图标签逐字照录):五个阶段 + 每阶段产出的数据形态
阶段(原图标签)中文该阶段之后的产物(原图标签)
Selection选择Target Data
Preprocessing预处理Preprocessed Data
Transformation变换Transformed Data
Data Mining数据挖掘Patterns
Interpretation/Evaluation解释 / 评估Knowledge
起点是左下角的 Data(原始数据),终点是右上角的红色立方体 Knowledge(知识)。
考点:阶段顺序是必考排序题——Selección → Preprocesamiento → Transformación → Minería de datos → Interpretación/Evaluación → Conocimiento。特别注意:数据挖掘排在第四,不是第一;它前面有三步准备,后面还有一步解释。答题时把「Patterns → Knowledge」这一步说出来,老师会觉得你真的看懂了图。
为什么「知识」还要满足四个条件?因为从数据里挖出来的东西大部分是垃圾:冰淇淋销量和溺水人数高度相关(都受夏天影响),但这是伪相关、是 trivial,不算知识。四个条件就是四道筛子:不平凡、隐含在数据里、此前不知道、真的有用。
p.16

Un mito en minería de datos · 数据挖掘中的一个「神话」

▸ 原页截图 p.16 原讲义第 16 页

Un mito en minería de datos

数据挖掘中的一个「神话」

El mito:

这个神话是这样的:

En los años 90, una gran cadena de supermercados analizó millones de tickets de compra usando minería de datos (market basket analysis) y se descubrieron varias asociaciones:

上世纪 90 年代,一家大型连锁超市用数据挖掘(购物篮分析)分析了数百万张购物小票,发现了若干关联:

“Cereales, leche”, “ginebra, tónica, limones”, “pañales, cerveza”

「麦片、牛奶」「金酒、汤力水、柠檬」「尿布、啤酒」

Preguntas:

问题:

• ¿Qué descubrimiento cumple las condiciones del knowledge discovery?

• 哪一项发现满足知识发现的条件?

(no ser trivial, estar implícito en los datos, ser previamente desconocido y potencialmente útil)

(不平凡、隐含在数据中、此前未知、且潜在有用)

• ¿Qué interpretación podemos darle?

• 我们能对它作什么解释?

• ¿Qué acción tomaríamos?

• 我们会采取什么行动?

• ¿Qué resultados cabe esperar?

• 可以期待什么样的结果?

陷阱:标题用的词是 mito(神话 / 传说),不是 caso(案例)。「尿布 + 啤酒」这个故事是数据挖掘界最著名的都市传说,多年来没有任何一家超市能拿出原始数据证实。老师把它放在这里,是要你学会一件事:听到一个漂亮的关联,先问它是不是真的。考场作文如果把它当既定事实来引用,遇到较真的阅卷人会掉分,写成「según un mito muy difundido」最安全。
考点:四个问题对应 KDD 的后半段——评估、解释、行动、验证。特别是第一问:三条关联里,「啤酒 + 尿布」流传最广但无法验证;「金酒 + 汤力水 + 柠檬」几乎是同一种饮品的配方,属于 trivial(问都不用问就知道);只有像「麦片 + 牛奶」这种隐含在数据里、此前没人明说、又能指导货架摆放的,才更接近真正的知识。答题关键词:trivial / implícito / desconocido / útil。

四、数据与属性:对象、属性、类型

p.17–p.20
p.17

Definiciones · 基本术语:对象、属性、数据、取值、标注数据

▸ 原页截图 p.17 原讲义第 17 页

Definiciones

定义

• Objetos: casos a estudiar.

• 对象:要研究的个案。

Se les llama también registros, ejemplos, instancias.

它们也被称作记录、样例、实例。

• Atributos: propiedades de un objeto.

• 属性:一个对象的性质。

Se les llama también variables, rasgos o características

它们也被称作变量、特征或特性。

• Datos: colección de objetos y sus atributos

• 数据:对象及其属性的集合。

• Valores del atributo: números o símbolos que pueden ser asignados a cada atributo

• 属性取值:可以赋给每个属性的数字或符号。

• Cuando el conjunto de datos incluye la clase a la que pertenece cada objeto se dice que los datos están etiquetados

• 当数据集包含每个对象所属的类别时,我们就说这些数据是「已标注的」。

右侧动物表(10 个对象 × 4 列,逐格照抄)
NPielPatasVuelaAnimal
1SuaveDosSiPato
2SuaveDosSiPato
3ÁsperaCuatroNoCocodrilo
4SuaveCuatroNoPerro
5SuaveDosSiPato
6ÁsperaCuatroNoCocodrilo
7SuaveCuatroNoPerro
8SuaveCuatroNoPerro
9SuaveDosSiPato
10SuaveCuatroNoPerro
原图标注:10 Objetos(左侧竖排)· 4 atributos(上方括号,覆盖 Piel / Patas / Vuela / Animal 四列)· Clase(箭头指向 Animal 列)。表内 Si 无重音,原文如此。
小小澄清:严格按定义,「属性」是 Piel、Patas、Vuela 这 3 个,Animal 是类标签。幻灯片把 4 列一起括进「4 atributos」并在旁边单独标了「Clase」,是在提示你:类标签也占一列,但它和普通属性的角色不同——它是我们要预测的那个。
考点:五个术语 + 五个同义词是送分题:Objetos = registros = ejemplos = instancias;Atributos = variables = rasgos = características。考试常故意混用,比如题干写 instancias,选项里写 objetos,要立刻反应过来是同一个东西。标注数据(datos etiquetados)这个词更是下一节「监督 / 无监督」的分水岭。
p.18

Tipos de atributos · 属性类型:离散 / 连续,二值 / 名义 / 有序

▸ 原页截图 p.18 原讲义第 18 页

Tipos de atributos

属性类型

Atributos Discretos

离散属性

Toman valores separados y contables (no hay valores "intermedios”)

取彼此分离、可以计数的值(不存在「中间值」)。

Caso particular: atributos binarios (solo tienen dos estados)

特例:二值属性(只有两个状态)。

Tipos de atributos discretos:

离散属性的类型:

- Nominales (Categorías sin orden):

- 名义型(类别之间没有顺序):

- Ordinales (Categorías con orden):

- 有序型(类别之间有顺序):

Tienen un orden lógico, pero la distancia entre valores no es fija.

它们有逻辑上的顺序,但取值之间的距离并不固定。

Ejemplos: Medalla olímpica (Oro, plata, bronce), Talla de ropa (S, M, L, XL).

例子:奥运奖牌(金、银、铜)、衣服尺码(S、M、L、XL)。

Atributos continuos

连续属性

Toman cualquier valor real dentro de un intervalo

在一个区间内取任意实数值。

Ejemplos: peso de un producto: 1.54 kg, 2.01 kg, tiempo de ejecución: 12.4 milisegundos.

例子:商品重量 1.54 kg、2.01 kg;执行时间 12.4 毫秒。

Precio de un artículo: 19.99 €.

商品价格:19.99 €。

本页的分类骨架(按原文措辞整理,不增不减)
大类子类原文判据原文例子
Atributos DiscretosBinariossolo tienen dos estados—
Atributos DiscretosNominalesCategorías sin orden—
Atributos DiscretosOrdinalesCategorías con orden, distancia no fijaMedalla olímpica; Talla de ropa
Atributos continuos—cualquier valor real dentro de un intervalopeso; tiempo de ejecución; precio
原文写 "intermedios”,应为 "intermedios",属笔误:开引号是直引号、闭引号是弯引号,不配对(照抄时保留原样即可)。另外原文只给 Ordinales 配了例子,Nominales 后面是空的——不是漏印考点,是幻灯片排版省略,答题时自己要能补上(如 color de pelo, ciudad, tipo de sangre)。
数值写法一个小坑:本页用小数点(1.54 kg / 19.99 €),而 p.20 的表格用小数逗号(1,70 / 36,6)。西语规范是逗号,英语/编程里是点。抄写、答题统一用逗号最稳;写代码做数据清洗时反过来要先把逗号换成点,不然 "36,6" 会被当成字符串。
考点:离散 vs 连续的判据只有一句——能不能一个个数出来、有没有中间值。最经典的送分/送命题:temperatura(连续)、número de hijos(离散)、código postal(离散,名义型,尽管长得像数字)、peso(连续)。再记住层级:二值 ⊂ 离散,名义 / 有序 ⊂ 离散;有序 ≠ 可加减(S + M 不等于 L,金 + 银 也不等于铜)。
离散 = 楼梯(一格一格,能数);连续 = 斜坡(想取哪就取哪,只能量)。名义 = 抽屉(没顺序);有序 = 楼层(有顺序,但楼层间距不等)。
p.19

Tipos de atributos: atributos discretos · 例:六列客户数据,逐列判类型

▸ 原页截图 p.19 原讲义第 19 页

Ejemplos:

例子:

Tipos de atributos: atributos discretos

属性类型:离散属性

原页表格(5 个对象 × 6 个属性,逐格照抄;表头 Nº_cliente 原文即带下划线与序号符号)
Nº_clienteGéneroNombreCiudadTipo de suscripciónNivel satisfacción
1FAnaMadridPremiumAlto
2MJuanBarcelonaBásicoMedio
3FMaríaSevillaPremiumBajo
4MCarlosValenciaEstándarMedio
5FLucíaMadridEstándarAlto

Pregunta: ¿qué tipo de atributos son?

问题:它们分别属于什么类型的属性?

原页表格下方的三个标注 + 逐列推断(标注在截图上不可见,详见下方红框)
属性原文取值推断类型为什么
Nº_cliente1, 2, 3, 4, 5离散(数值型标识符)能一个个数,但只是编号,做加减没有意义
GéneroF / M二值(binario)只有两个状态
NombreAna, Juan, María…名义(nominal)类别,没有顺序
CiudadMadrid, Barcelona…名义(nominal)地名之间不能排大小
Tipo de suscripciónBásico / Estándar / Premium有序(ordinal)档次有高低,但档次间距不固定
Nivel satisfacciónBajo / Medio / Alto有序(ordinal)Bajo < Medio < Alto,间距不等
原页表格下方有 Binario / Nominal / Ordinal 三个洋红色标注,但在导出的 PDF 页面上看不到(被白色遮住,只留在文本层里,坐标分别对齐 Género、Ciudad、Tipo de suscripción 附近)。所以上表的类型归属是根据标注位置 + 定义推出来的,不是凭空猜:Género 两态→二值;Nombre、Ciudad 无序→名义;Tipo de suscripción、Nivel satisfacción 有等级→有序。
这张表就是给你练「一眼看类型」的:看到 F/M 想二值,看到地名想名义,看到 Bajo/Medio/Alto 想有序,看到编号想「离散但不能算数」。数据预处理时正是按类型选方法:名义型要做独热编码(one-hot),有序型可以给 0/1/2 但要记住间距不等,编号列通常直接丢掉。
考点:「长得像数字」不等于「数值型」。Nº_cliente、código postal、电话号码都是离散的标识符,求平均值毫无意义(平均邮编是段子,不是特征)。反过来,Nivel satisfacción 用 1/2/3 编码后仍然是有序类别,不能当连续变量做回归解释。选择题最爱在这里挖坑。
p.20

Tipos de atributos: atributos numéricos · 例:病人数据 + 两道判断

▸ 原页截图 p.20 原讲义第 20 页

Ejemplos

例子

Tipos de atributos: atributos numéricos

属性类型:数值属性

原页表格(5 个对象 × 4 个属性,逐格照抄;原表用小数逗号)
Nº_pacientePeso (kg)Estatura (cm)Temperatura corporal
1651,7036,6
2501,6535,7
3701,8238,2
4801,5540,1
5551,6839,5
原图标注:Continuo(指向 Peso / Estatura / Temperatura corporal 三列)。

Pregunta: di si las siguientes variables son discretas o continuas

问题:说出下列变量是离散的还是连续的。

• una variable que toma valores 1, 2, 3, 4, …

• 一个取值为 1、2、3、4、…… 的变量

• la variable código postal

• 「邮政编码」这个变量

表头写 Estatura (cm),数值却是 1,70 / 1,65 / 1,82 / 1,55 / 1,68——这明明是米。原文写 cm,应为 m(或把数值写成 170 / 165 / 182 / 155 / 168),属笔误。照抄保留原样,但答题时别跟着写「身高 1.70 厘米」,阅卷老师会笑出声😜。同理 Temperatura corporal 没写单位,默认摄氏度。
考点:两道小问的答案——① 1, 2, 3, 4, … 是离散(可数、没有中间值,比如「孩子个数」);② código postal 是离散,而且进一步是名义型:它是编码不是数量,29001 和 29002 相邻不代表「多 1 个单位」。陷阱在于邮编全是数字,一眼看上去像连续变量。答题话术:"Es discreta, concretamente nominal, porque es un código identificador y no una cantidad"。
同一份讲义里,p.18 写 1.54 kg、p.20 写 1,70。别纠结谁对——西语用逗号,编程/英语用点。做练习时题目给哪种就照哪种写,唯一不能做的是在同一句里混用。

五、模型分类:监督 / 无监督、预测 / 描述

p.21–p.27
p.21

Tipos de modelos (según si hay variable clase o no) · 按「有没有类别变量」分:监督 vs 无监督

▸ 原页截图 p.21 原讲义第 21 页

Tipos de modelos (según si hay variable clase o no)

模型类型(按是否存在类别变量划分)

Según si se incluye la variable clase:

依据是否包含类别变量:

• Aprendizaje supervisado:

• 监督学习:

Datos etiquetados (se incluye una variable clase)

已标注数据(包含一个类别变量)。

• Aprendizaje no supervisado:

• 无监督学习:

Datos no etiquetados (no hay variable clase)

未标注数据(没有类别变量)。

右侧图片:一份 Excel 表格(iris 数据集的一角),列为 sepal_len / sepal_wid / petal_len / petal_wid / Species,最后一列表头被黄色高亮;只露出前 12 行,第 13 行被下边缘截断。
考点:判断监督 / 无监督只看一件事——有没有 clase(标签、etiqueta)。有 → 监督;没有 → 无监督。其余都是次要特征。典型场景:垃圾邮件分类(监督)、房价预测(监督)、客户分群(无监督)、购物篮关联(无监督)。本页右侧 iris 表里 Species 那一列就是类别变量:留着它 = 监督(学会从四个花瓣尺寸判断花的品种);把它删掉 = 无监督(只让算法自己按相似度分组)。
iris(鸢尾花)是机器学习界的「Hello World」:150 朵花、4 个数值特征、3 个品种(setosa / versicolor / virginica)。本页只露出全是 setosa 的前 12 行,所以你看到 Species 一列全一样——这正好说明:类别变量的取值可以很少,但它的存在与否决定了整个任务的性质。
有老师批改 = 监督(答案在手);没人给答案、自己找规律 = 无监督。Con etiqueta → supervisado; sin etiqueta → no supervisado.
p.22

Tipos de modelos (según su objetivo) · 按「目标」分:预测型 vs 描述型

▸ 原页截图 p.22 原讲义第 22 页

Tipos de modelos (según su objetivo)

模型类型(按其目标划分)

Según su objetivo:

依据其目标:

• Modelos predictivos

• 预测型模型

El objetivo es predecir los valores de la variable de interés (clase o variable respuesta) a partir de valores de otras variables.

目标是根据其他变量的取值,预测「关注变量」(类别,或叫响应变量)的取值。

• Modelos descriptivos

• 描述型模型

El objetivo es describir el comportamiento de los datos, encontrando patrones, asociaciones, características comunes, etc.

目标是描述数据的行为,找出模式、关联、共同特征等等。

考点:这是另一把尺子,别和 p.21 混。p.21 按数据分(有没有标签),p.22 按目标分(要不要预测某个变量)。两者可以交叉:监督 + 预测 = 分类 / 回归;无监督 + 描述 = 聚类 / 关联规则。常见错答是把「无监督」直接等同于「描述型」——虽然课程里常成对出现,但严格说是两个维度。
术语全家桶一次背完:variable de interés = variable clase = variable respuesta = variable dependiente = y;对应的输入叫 variables independientes / predictoras / features / X。考试题干换哪个说法都不能卡住。
预测 = 指着某个格子问「这里填什么」(有 y);描述 = 摊开整张表说「大家长这样」(没有 y)。
p.23

Ejemplos: Quién es quién · 例:是谁?——同一张人物表的两连问

▸ 原页截图 p.23 原讲义第 23 页

Ejemplos: Quién es quién

例子:是谁?(Who's Who 桌游)

原页人物表(18 个对象 × 10 列,逐格照抄;粉色空行是原图的分组分隔;表头 Color pelo 与 Longitud pelo 在原文中折成两行)
NombreSexoColor peloLongitud peloGafasBarbaBigotePielPendientesCalvo
CarolinaMujerCastañoLargoNoNoNoClaraNoNo
CristinaMujerRubioCortoNoNoNoClaraSíNo
GabrielaMujerRubioLargoNoNoNoClaraNoNo
ÓscarHombreNegroCortoNoNoNoOscuraNoNo
MaríaMujerCastañoLargoNoNoNoOscuraSíNo
BorjaHombreNegroCortoSíSíNoOscuraNoNo
LoretoMujerCastañoCortoSíNoNoClaraNoNo
NachoHombreRubioCortoNoNoNoClaraNoNo
BeatrizMujerNegroLargoSíNoNoClaraNoNo
PedroHombreCastañoCortoSíSíNoClaraNoNo
RaquelMujerCastañoCortoNoNoNoClaraNoNo
SaraMujerRubioLargoNoNoNoClaraNoNo
InésMujerCastañoLargoSíNoNoClaraNoNo
DanielHombreCastañoCortoNoNoSíClaraNoNo
SusanaMujerNegroLargoSíNoNoClaraNoNo
RamónHombreRubioCortoNoNoNoClaraNoNo
CatalinaMujerCastañoLargoNoNoNoClaraSíNo
CaminoMujerPelirrojoLargoNoNoNoClaraNoNo
右侧是人物头像卡片,名字标在每张卡片下方(Carolina, Cristina, Gabriela…);本页右下角有页码 23。

Preguntas:

问题:

• ¿Es un modelo supervisado o no supervisado?

• 这是一个监督模型还是无监督模型?

• ¿Es un modelo descriptivo o predictivo?

• 这是一个描述型模型还是预测型模型?

参考答法:监督 + 预测型。理由要说得具体:表里每一行都带着 Nombre(身份 = 类别标签),这就是 datos etiquetados;游戏的目标是根据「戴不戴眼镜、有没有胡子、头发长短」这些属性,预测出对方藏的是哪一个人,也就是预测类别变量的取值 → modelo predictivo de clasificación。一句话模板:"Es supervisado porque cada instancia está etiquetada con el nombre del personaje, y es predictivo porque el objetivo es predecir esa clase a partir de los rasgos."(如果只把属性摊开找相似人群、不看姓名,才滑向无监督 / 描述型——但那就不是这个游戏了。)
两处细节别踩:① 本页人物表和 p.9 的 18 人表不是同一批人(这页有 Cristina、Gabriela、Raquel、Sara、Daniel、Ramón、Catalina、Camino,p.9 则是 Alberto、Verónica、Arturo、Paz、Ángel、Jesús、Mario、Jorge 等),别把两张表混着背,只需记住列结构一致。② 这张表是从 Excel 直接截图贴进幻灯片的——所以正文抽取抓不到表内文字,截图上还残留着红色拼写检查波浪线(Sexo, Bigote, Pendientes, Sí 下面那些)。
顺手复习属性类型:Sexo, Gafas, Barba, Bigote, Pendientes, Calvo 都是二值;Color pelo, Piel 是名义;Longitud pelo 只有 Corto / Largo 两态,但隐含顺序,可以当有序看。Nombre 本身是名义型——只不过在这道题里它扮演的是「类别标签」的角色。
p.24

Ejemplos: detección de intrusiones · 例:入侵检测——把网络流量分成「正常 / 恶意」

▸ 原页截图 p.24 原讲义第 24 页

Ejemplos: detección de intrusiones

例子:入侵检测

Se busca entrenar un modelo que clasifique el tráfico de red en normal o malicioso, a partir de los datos capturados en los paquetes que circulan por la red.

目标是训练一个模型,依据网络中流动的数据包所捕获的数据,把网络流量分类为「正常」或「恶意」。

Tenemos una base de datos en la que para cada registro disponemos de la siguiente información:

我们有一个数据库,其中每条记录都包含下列信息:

• Dirección IP de origen y destino

• 源 IP 与目的 IP 地址

• Protocolo usado (TCP, UDP, ICMP, etc.)

• 使用的协议(TCP、UDP、ICMP 等)

• Número de bytes enviados y recibidos

• 发送与接收的字节数

• Duración de la conexión

• 连接持续时间

• Número de paquetes retransmitidos o fallidos

• 重传或失败的数据包数量

• Si el tráfico de red era normal o malicioso

• 该网络流量是正常还是恶意

Preguntas:

问题:

• ¿Es un modelo supervisado o no supervisado?

• 这是监督模型还是无监督模型?

• ¿Es un modelo descriptivo o predictivo?

• 这是描述型模型还是预测型模型?

右侧配图:一张网络安全风格的合成图(指纹、世界地图、「⚠ ALERT / Intrusion Detected」字样、二进制串与锁形图标),右下角页码 24。图只是气氛组,不承载考点。
参考答案:监督 + 预测型(分类)。关键就在最后一条属性:「Si el tráfico de red era normal o malicioso」——它就是类别标签,有它 → datos etiquetados → 监督;目标是判定新流量的类别 → 预测 → 分类(类别只有两个,也可以说是二分类)。一句话模板:"Es supervisado porque el último campo es la clase, y es predictivo porque queremos predecir esa clase en tráfico nuevo."
最容易被绕晕的地方:「已经有答案」不等于「不用模型」。数据库里既有特征(IP、协议、字节数……)也有答案(正常 / 恶意),这正是监督学习的「教材」。如果哪天只给你前五条、把最后一条删掉,让你自己按流量形态分堆,那就变成无监督了——同一份数据,删一列就换了任务,这就是本页和下一页要你体会的点。
顺带看一眼属性类型复习:Dirección IP 名义(标识符)、Protocolo 名义、Número de bytes / Duración / Paquetes 数值(连续或离散计数)、normal o malicioso 二值类别。真实工程里 IP 往往会被聚合成「网段」或直接丢弃,因为取值太散。
p.25

Ejemplos: reglas de asociación · 例:关联规则——买了这个的人往往也买那个

▸ 原页截图 p.25 原讲义第 25 页

Ejemplos: reglas de asociación

例子:关联规则

Cuando un cliente compra un producto, suele comparar/mirar/comprar otros productos

当顾客购买一件商品时,往往会比较 / 浏览 / 购买其他商品。

Preguntas:

问题:

• ¿Es un modelo supervisado o no supervisado?

• 这是监督模型还是无监督模型?

• ¿Es un modelo descriptivo o predictivo?

• 这是描述型模型还是预测型模型?

参考答案:无监督 + 描述型。没有哪个属性是「正确答案」——没有人告诉我们这笔订单「应该」买什么,算法只是从成千上万张购物篮里找出「经常一起出现」的组合,所以是 no supervisado;产出的是「si compra A, tiende a comprar B」这样的规律描述,不预测某个标签的取值,所以是 descriptivo。经典形式:{pañales} → {cerveza}(还记得 p.16 那个「神话」吗😏)。
那句 comparar/mirar/comprar 用斜杠连着三个动词,意思是「比较 / 浏览 / 购买」——教学上是在提示你:关联不只发生在「买」这一步,浏览、加购、比价都能挖关联(电商的「看了又看」「买了又买」就是它的产品化)。
别被「规则」两个字骗了:reglas de asociación 里的 rule 不是人写的 IF-THEN,而是算法从数据里统计出来的共现模式(支持度、置信度那一套)。它和 p.4 那段手写 if/else 正好相反:一个是人写规则,一个是数据长规则。
p.26

Ejemplos: clustering · 例:聚类——按「用量」把手机用户分成三群

▸ 原页截图 p.26 原讲义第 26 页

Ejemplos: clustering

例子:聚类

Agrupar a los usuarios de teléfonos móviles en función de dos características:

依据两个特征把手机用户分组:

• Tiempo medio diario de uso del móvil (horas)

• 日均手机使用时长(小时)

• Consumo medio diario de datos (MB)

• 日均数据流量消耗(MB)

Queremos ver si existen grupos naturales de usuarios, por ejemplo, uso ligero, uso medio, uso intensivo.

我们想知道是否存在天然的用户群体,例如轻度使用、中度使用、重度使用。

Preguntas:

问题:

• ¿Es un modelo supervisado o no supervisado?

• 这是监督模型还是无监督模型?

• ¿Es un modelo descriptivo o predictivo?

• 这是描述型模型还是预测型模型?

右侧两幅散点图(同一批数据,两种状态):左图 Unlabeled data 全部是蓝色小点;右图 Clustered data 同一些点被染成黄、绿、红三簇。横轴 Tiempo medio diario uso móvil (horas),纵轴 Consumo medio datos (MB)(轴标签原文省掉了 de,照录)。
参考答案:无监督 + 描述型。没有任何一列告诉我们「这个用户属于轻度 / 中度 / 重度」——没有类别变量,所以无监督;目标是「看看数据里有没有天然的分群」,属于描述数据行为,所以描述型。判断口诀:聚类 = 没有标准答案的分组。对比一下:如果表里已经有一列「用户等级(轻/中/重)」,那就是分类(监督),不是聚类了。
右图三簇的颜色不是数据自带的,是算法分完组事后涂上去的——这正是「无监督」的直观证据:先有点,后有颜色。左图到右图的变化,就是聚类算法干的全部事情。
注意区分两个词:agrupar(分组,动作)和 grupos naturales(天然群体,目标)。聚类不保证分出来的群「有意义」——算法只会按距离远近抱团,至于这三团叫「轻度 / 中度 / 重度」还是「白天刷 / 夜里刷」,要人来解释。所以描述型模型也需要人做 interpretation(呼应 p.15 的 KDD 最后一步)。
p.27

Ejemplos: predicción de notas · 例:预测成绩——分类还是回归?标签数据还是无标签数据更靠谱?

▸ 原页截图 p.27 原讲义第 27 页

Ejemplos: predicción de notas

例子:成绩预测

Supongamos que queremos predecir la nota de un estudiante según su actividad durante el curso

假设我们想根据一名学生在课程期间的活动情况来预测他的成绩。

• Aprobado/suspenso (clasificación)

• 及格 / 不及格(分类)

• Nota numérica (regresión)

• 数值分数(回归)

Preguntas:

问题:

• ¿Qué estudiante dirías que va a aprobar?

• 你觉得哪个学生将会及格?

• ¿Es un modelo supervisado o no supervisado?

• 这是监督模型还是无监督模型?

• ¿Es un modelo descriptivo o predictivo?

• 这是描述型模型还是预测型模型?

• ¿Qué resultados suelen ser más fiables?

• 哪一类结果通常更可靠?

• Los obtenidos a partir de un modelo elaborado usando datos etiquetados

• 用「已标注数据」构建的模型所得到的结果

• Los obtenidos a partir de un modelo elaborado usando datos no etiquetados

• 用「未标注数据」构建的模型所得到的结果

右侧两张 Excel 柱状图:上图 Estudiante A——整学期都有零散柱子,3 月前后出现一根最高柱;下图 Estudiante B——前面几乎全空,只在最后(4 月之后)冒出两三根很高的柱子。横轴是日期,纵轴标签是 Excel 默认的 Variable(没有实际含义)。
参考答案:① 两个学生都像「及格」的样子,但 A 更稳——A 的活动贯穿整学期,B 只在期末突击;严格说这题是开放题,重点是让你用数据说话,而不是猜。② 监督(「及格 / 不及格」或「分数」就是我们要预测的类别变量,历史上学生的成绩就是标签)。③ 预测型(预测某个变量的取值)。④ 用已标注数据训练的模型结果更可靠——有标准答案校准,模型才知道自己错在哪;无标签数据只能找结构,没法直接验证对错。
本页其实是同一份数据、两种任务的对照实验:把目标定为「及格 / 不及格」→ 类别变量离散 → 分类(clasificación);把目标定为「具体考多少分」→ 连续 → 回归(regresión)。判断分类还是回归,只看你要预测的那一列是离散还是连续,跟输入特征长什么样毫无关系。
图表小坑:这两张图是从 Excel 截图贴进来的,纵轴标题还留着默认的 Variable,横轴日期被挤成一团。考试时如果让你读图,先看轴标题有没有意义——没有意义的轴标题是「装饰」,不要编解释。

六、监督学习:分类与回归的算法清单

p.28–p.33
p.28

Aprendizaje supervisado: tipos de problemas · 监督学习的两类问题:分类 vs 回归 + 算法清单

▸ 原页截图 p.28 原讲义第 28 页

Aprendizaje supervisado: tipos de problemas

监督学习:问题类型

Problemas de Clasificación: la variable clase es discreta (categorías).

分类问题:类别变量是离散的(类别型)。

• Reglas de clasificación. Infieren reglas para clasificar según los valores de los atributos

• 分类规则。根据属性取值推断出用于分类的规则。

• Naive Bayes. Clasifica según la probabilidad de cada clase dados los valores de los atributos

• 朴素贝叶斯。根据在给定属性取值下每个类别的概率进行分类。

• Árboles de decisión. Crean árboles para clasificar según los valores de los atributos

• 决策树。构建树,依据属性取值进行分类。

• K-Nearest Neighbors (k-NN): Clasifica según la "clase" de sus vecinos más cercanos.

• K 近邻(k-NN):根据最近邻的「类别」进行分类。

Problemas de Regresión: la variable clase es continua (números).

回归问题:类别变量是连续的(数值型)。

• Regresión Lineal: Busca la relación lineal (una línea o plano) que mejor ajusta los datos.

• 线性回归:寻找最能拟合数据的线性关系(一条直线或一个平面)。

• Regresión Polinomial: Para relaciones más complejas que no siguen una línea recta.

• 多项式回归:用于不沿直线走的更复杂关系。

Pregunta: ¿Qué tipo de problema es….

问题:下列属于哪类问题……

… predecir si un banco le dará el crédito a un cliente?

…… 预测一家银行是否会给某客户放贷?

... predecir cuánto dinero exactamente le prestará?

…… 预测银行究竟会贷给他多少钱?

两问答案:① 是否放贷 → 输出是「是 / 否」两个类别 → clasificación;② 贷多少钱 → 输出是金额,连续数值 → regresión。这组对照是考试最爱用的模板题:「会不会」是分类,「多少」是回归。同款套题:会不会违约(分类)/ 违约损失多少(回归);会不会得病(分类)/ 住院多少天(回归)。
四个分类算法各记一个关键词就够:Reglas = 规则(if-then)、Naive Bayes = 概率、Árboles = 树(一层层问问题)、k-NN = 邻居投票(近朱者赤)。两个回归算法:Lineal = 一条直线/平面,Polinomial = 弯的曲线(直线不够用时的升级版)。
原文小瑕疵两处:第一问末尾 "¿Qué tipo de problema es…." 用了四个点(… 加 .),第二行开头又写成三个点 "...",两行省略号形式不统一,属排版笔误(照抄即可)。另外 k-NN 里的 "clase" 加了引号,是在提醒你:邻居的「类」是已知标签,不是算法凭空造的。
p.29

Aprendizaje supervisado: esquema general clasificación · 监督学习总流程(分类):训练 → 预测两个阶段

▸ 原页截图 p.29 原讲义第 29 页

1. ENTRENAMIENTO

1. 训练阶段

Datos de entrenamiento con ejemplos etiquetados

带标签样例的训练数据

左上表格:训练集(每一行是一条历史连接记录,最后一列 Clase 就是标签)
ProtocoloDuración (s)Clase
TCP12,4Normal
UDP0,2Maliciosa
TCP8,1Normal

Entrenamiento del modelo

模型训练

Algoritmo de aprendizaje

学习算法

Modelo clasificador

分类器模型

2. PREDICCIÓN

2. 预测阶段

Nuevos ejemplos

新的样例

左下输入表(只有两个特征,没有 Clase 列)与右侧输出表(对应关系按上下顺序:TCP 10,5 → Normal,UDP 0,3 → Maliciosa)
ProtocoloDuración (s)
TCP10,5
UDP0,3
Clase predicha
Normal
Maliciosa

Aplicación del modelo

模型应用

Clase predicha

预测出的类别

流程图走向:训练集 →「Entrenamiento del modelo」→「Modelo clasificador」;新样例 →「Aplicación del modelo」→「Clase predicha」。中间的折线箭头表示「训练好的模型被拿去用」。
这张图是监督学习的骨架图,两阶段必须能画出来:训练阶段输入「特征 + 标签」,产出「模型」;预测阶段输入「只有特征」,产出「预测的类别」。考点常问:为什么预测阶段的输入表没有 Clase 列?因为那正是要被模型算出来的东西——如果已经知道,就不用预测了。这也是「监督」二字的来源:训练时答案(标签)在场,预测时答案缺席。
本页的入侵检测例子只有 3 条训练数据,是示意,不是真实规模:真实 IDS 训练集是几十万条连接记录。但结构一模一样——两个特征(协议、时长)判断这条连接是 Normal 还是 Maliciosa。注意「训练」和「预测」用的是同一套特征,特征含义变了,模型就没法用。
版式小差异:本页顶部没有其他页那条「Introducción al aprendizaje computacional」黑色大标题栏,直接从本节蓝色小标题开始——这是原稿版式差异,不是漏页。另外 Duración (s) 用逗号做小数点(12,4),是西班牙语习惯,别读成「十二点四」以外的意思。
p.30

Aprendizaje supervisado: ejemplo clasificación (árboles de decisión) · 决策树实例:14 条训练样例 → 一棵树 → 新样例判类

▸ 原页截图 p.30 原讲义第 30 页

Introducción al aprendizaje computacional

计算学习导论(页眉标题)

Aprendizaje supervisado: ejemplo clasificación (árboles de decisión)

监督学习实例:分类(决策树)

Variable clase

类别变量

左上训练表:14 条样例、4 个输入属性 + 1 个类别变量(buys_comp.,表头黄色高亮)
ageincomestudentcredit_ratingbuys_comp.
<=30highnofairno
<=30highnoexcellentno
31…40highnofairyes
>40mediumnofairyes
>40lowyesfairyes
>40lowyesexcellentno
31…40lowyesexcellentyes
<=30mediumnofairno
<=30lowyesfairyes
>40mediumyesfairyes
<=30mediumyesexcellentyes
31…40mediumnoexcellentyes
31…40highyesfairyes
>40mediumnoexcellentno

Modelo aprendido

学到的模型

atributo que mejor discrimina las clases

最能区分各个类别的属性

决策树逐层照录:根节点 age? → 左枝 <=30 接 student?(no → 叶 no;yes → 叶 yes);中枝 31…40 直接到叶 yes;右枝 >40 接 credit rating?(excellent → 叶 no;fair → 叶 yes)。标着 atributo que mejor discrimina las clases 的箭头指向 age?,说明根节点是怎么选出来的。

Clasificación de nuevos ejemplos

新样例的分类

左下:待分类的 3 条新样例(类别列写 ?,表示未知)
ageincomestudentcredit_ratingbuys_comp.
<=30fairnofair?
>40highnoexcellent?
31…40lownofair?
右下:模型输出(按上下顺序)
buys_comp.
no
no
yes
决策树的三件套一定要会说:① 内部节点 = 一个属性上的提问(age? / student? / credit rating?);② 分支 = 属性的取值(<=30 / 31…40 / >40);③ 叶节点 = 判定的类别(yes / no)。考试常问「为什么 age 放在根节点」——因为它是最能区分类别的属性(信息增益最大)。走树的方法就是「照着样例取值一路往下走」,不需要任何计算。
手推三遍就会了:新样例 1:<=30 且 student=no → 叶 no;新样例 2:>40 且 credit=excellent → 叶 no;新样例 3:31…40 → 直接到叶 yes。结果正好是 no / no / yes,与右下表一致。注意 income 这个属性整棵树都没用上——决策树会自己淘汰没用的属性,这不是漏画。
图上黄色节点印成「31...4」换行「0」,是文本框太窄把 31…40 折成了两行,不是两个不同的值(对照左表这一列全是 31…40)。另外 credit_rating、buys_comp. 用下划线和句点,是数据库字段名的写法;本章把它统一看作「信用评级」和「是否购买电脑」两个属性名即可。
p.31

Aprendizaje supervisado: esquema general regresión · 监督学习总流程(回归):面积 / 房间数 → 房价

▸ 原页截图 p.31 原讲义第 31 页

Aprendizaje supervisado: esquema general regresión

监督学习总流程:回归

1. ENTRENAMIENTO

1. 训练阶段

Datos de entrenamiento con ejemplos etiquetados

带标签样例的训练数据

左上训练表:三套房子的面积、房间数 → 成交价(Precio (€) 就是数值型标签)
Superficie (m²)N.º hab.Precio (€)
714250 000
983320 000
1286395 000

Entrenamiento del modelo

模型训练

Modelo de regresión

回归模型

2. PREDICCIÓN

2. 预测阶段

Nuevos ejemplos

新的样例

Aplicación del modelo

模型应用

左下输入表(只有面积与房间数)与右下输出表(对应关系按上下顺序:85 m² / 3 室 → 280 000 €,115 m² / 4 室 → 360 000 €)
Superficie (m²)N.º hab.
853
1154
Precio estimado (€)
280 000
360 000
把这张图和 p.29 并排看,会发现骨架完全一样,只换了三个词:Modelo clasificador → Modelo de regresión、Clase predicha → Precio estimado、输出从「离散类别」变成「连续数值」。所以考试问「分类和回归的流程有什么不同」,标准答案是:流程相同,只差输出变量的类型。会画其中一张,另一张照着改词即可。
注意输出表头写的是 Precio estimado(估算价)而不是 Precio——回归给出的永远是估计值,带着误差。同理,模型不可能「知道」真实成交价,它只是按学到的规律算了一个最可能的数。答题时用 estimar / predecir,别用 calcular。
两页数据不是同一套:本页 98 m² 标价 320 000 €、128 m² 标价 395 000 €,而 p.32 的表格里同样面积写的是 209 500 € 与 349 500 €(只有 71 m² / 250 000 € 两页相同)。这是原稿两页各用了一份示意数据,别把两页的数字混着引用。
p.32

Aprendizaje supervisado: ejemplo regresión (lineal) · 线性回归实例:梯度法拟合直线,预测 100 m² 的房子

▸ 原页截图 p.32 原讲义第 32 页

Aprendizaje supervisado: ejemplo regresión (lineal)

监督学习实例:回归(线性)

Método del gradiente

梯度法(梯度下降)

左侧数据表(表头逐字照录,Flor space 为原文笔误,见下方提示)
PriceFlor space
25000071
20950098
349500128
25000086
419000173
22500083

Predicción nuevos ejemplos:

预测新样例:

¿cuánto valdrá una vivienda de 100 m2?

一套 100 平方米的房子值多少钱?

右侧散点图:标题 Regresión Lineal: Superficie vs Precio;图例 Datos reales(蓝点)/ Recta de Regresión(红线);横轴 Floor space (m²),纵轴 Precio (€),刻度 200000–400000。
线性回归要做的事,一句话:在散点里找一条直线,使所有点到直线的「误差平方和」最小。这条线就是 recta de regresión;找到它的常用算法之一就是本页标题的 梯度法(método del gradiente)——从随便一条线出发,反复沿着「误差下降最快的方向」微调斜率和截距,直到误差不再明显下降。考试爱考的三连问:模型是什么(直线)、怎么找(最小化误差 / 梯度下降)、怎么预测(把 x 代进去)。
读图题技巧:问 100 m² 值多少钱,就在横轴找到 100,竖直上去碰到红线,再横着读到纵轴——图上大约落在 32 万–33 万欧元之间。回答时务必加一句「约为 / 由图估算」(aproximadamente),因为回归输出的是估计值;同时注意蓝点都不在红线上,回归不要求穿过每个点,只求整体误差最小。
原文两处小笔误:表格表头 Flor space 少了一个字母,应为 Floor space(右侧坐标轴写的正是 Floor space (m²));正文 100 m2 的 2 应写成上标 m²,属排版问题,意思不变。另外提醒:本页 98 / 128 m² 的价格与 p.31 不一致(见 p.31 的提示),两页各是一份示意数据。
p.33

Aprender NO ES memorizar · 学习 ≠ 记忆:过拟合 vs 泛化,以及 80 / 10 / 10 数据划分

▸ 原页截图 p.33 原讲义第 33 页

Aprender NO ES memorizar

学习不是记忆

Un buen resultado sobre los ejemplos usados para entrenar no basta.

仅仅在用于训练的样例上取得好结果,是不够的。

Queremos que el modelo funcione con nuevos casos del contexto de aplicación.

我们希望模型在应用场景的新案例上也能正常工作。

Separamos algunos datos para entrenar y otros para evaluar.

我们把一部分数据留出来训练,另一部分用于评估。

右上两张小图:左图 Sobre-entrenamiento (Overfitting)——灰色折线把每个点都穿过(抖动剧烈),旁边文字 Alta/Baja precisión de test;右图 Generalización (Good Fit)——一条平滑曲线大致贴合趋势,旁边文字 Alta generalización / Alta/Baja precisión de test。
右中示意图:Datos Conocidos (Entrenamiento) →「?」→ Nuevos Casos (unseen) → Buen Rendimiento en Nuevos Datos(绿色对勾)。
右下数据条:Dataset Total 被切成三段——Entrenamiento (80%)、Validación (10%)(下方小字 Para ajustar hiperparámetros)、Test (10%)。
子集比例作用(原图标注)
Entrenamiento80%学参数(拟合模型)
Validación10%Para ajustar hiperparámetros(调超参数)
Test10%最终评估(只考一次)
本页是过拟合的标准考点页。左图那条抖动的线:训练集上误差几乎为 0,但换成新数据就崩——这就是过拟合(sobre-entrenamiento / overfitting),本质是「把噪声也背下来了」。右图平滑曲线:训练误差稍大,但在新数据上更稳——这就是泛化(generalización)。必背的判据:训练集表现好 ≠ 模型好,只有测试集(新数据)表现好才算好。三个子集的作用也要能分开说:训练学参数、验证调超参数、测试做最终裁决。
口诀:80 学、10 调、10 考。80% 训练——上课学知识;10% 验证——平时小测,用来改学习方法(超参数);10% 测试——期末考试,只能用一次,提前偷看就等于作弊(数据泄漏)。
两处照录说明:① 图中小字 Alta/Baja precisión de test 是原图给示意图配的说明标签(意为「测试精度高 / 低」两种情形的对比),并不是公式,别当成符号表达式去推导;② 本页页脚右侧的页码 33 在文本抽取时会跑到最前面,那只是页脚页码,不是正文第一行。

七、无监督学习与课堂活动

p.34–p.38
p.34

Aprendizaje no supervisado: algoritmos · 无监督学习的算法清单:聚类(K-Means / 层次)与关联规则(Apriori)

▸ 原页截图 p.34 原讲义第 34 页

Aprendizaje no supervisado: algoritmos

无监督学习:算法

Agrupamiento (Clustering)

聚类(Clustering)

El objetivo es dividir los datos en grupos (clusters) donde los miembros de un grupo sean muy parecidos entre sí y muy diferentes a los de otros grupos.

目标是把数据划分成若干组(簇):同一组内的成员彼此非常相似,而与其它组的成员差异很大。

• K-Means: Divide los datos en "K" grupos basándose en la distancia a un centroide (punto central).

• K-Means:依据到「质心」(中心点)的距离,把数据分成 "K" 个组。

• Agrupamiento Jerárquico: Crea una estructura de árbol (dendrograma) para mostrar cómo se agrupan los datos en diferentes niveles de detalle.

• 层次聚类:构建一种树状结构(树状图),展示数据在不同细节层级上如何聚成组。

Reglas de Asociación

关联规则

Buscan reglas del tipo "si sucede A, entonces suele suceder B".

寻找形如「如果发生 A,那么通常会发生 B」的规则。

• Algoritmo Apriori: muy usado en el análisis de cestas de la compra (ej. "el que compra pañales también compra cerveza").

• Apriori 算法:在购物篮分析中用得非常多(例如「买尿布的人也会买啤酒」)。

无监督只有两大类任务,必须能各举一例:聚类(agrupamiento)——把相似的样本抱成一团,算法代表 K-Means(按质心距离)与 Agrupamiento Jerárquico(按树状图逐层合并);关联规则(reglas de asociación)——找「A 出现时 B 也常出现」的共现规律,算法代表 Apriori。考试最爱设的对照题:聚类分的是「样本」,关联规则找的是「属性之间的共现」。购物篮分析就是后者,客户分群就是前者。
K-Means 的 K 是人先给定的(要分几组你自己定),算法只负责把点分好、把质心挪到组中心;层次聚类则不用先定 K,它先两两合并画出树状图,你再在树的某个高度「切一刀」决定要几组。一句话记:K-Means 先定数、后分组;层次聚类先分层、后切刀。
聚类好坏的直觉判据(下一页会正式出现):簇内距离越小越好,簇间距离越大越好。翻译成人话:自己人越像越好,外人越不像越好。
p.35

Esquema general clustering · 聚类总流程:未标注数据 → 训练 → 生成簇(簇内近、簇间远)

▸ 原页截图 p.35 原讲义第 35 页

Ejemplo: construir grupos de viviendas similares

例子:把相似的住房聚成组

1. ENTRENAMIENTO

1. 训练阶段

Datos de entrenamiento con ejemplos NO etiquetados

用「未标注」样例构成的训练数据

左上训练表:四列全是特征,没有类别列(Price / Floor space / Rooms / Lot size,即价格、面积、房间数、地块面积)
PriceFloor spaceRoomsLot size
25000071492
209500985123
3495001286114
25000086498
419000173699
22500083467

Entrenamiento del modelo

模型训练

Modelo de clustering

聚类模型

2. CREACIÓN DE CLÚSTERS

2. 生成簇的阶段

Alta variabilidad entre los grupos y una alta similitud dentro de cada grupo

组与组之间差异大,而每个组内部高度相似。

Las distancias dentro del clúster deben minimizarse

簇内部的距离应当被最小化。

Las distancias entre los clústers deben maximizarse

簇与簇之间的距离应当被最大化。

右下图:三维坐标里三个红圈代表三簇,箭头分两类——粉色组内部的点间箭头(要缩短)、两组之间的蓝箭头(要拉长)。
对比 p.29:监督学习的两阶段是「训练 → 预测」,无监督的两阶段是「训练 → 生成簇」。第二阶段的名字变了,就是最大的考点:聚类没有「预测新样例类别」这一步,它是「把已有数据整理成结构」。所以问「聚类模型能不能预测一条新数据的标签」,答案是不能——它只能告诉你这条新数据离哪一簇最近,而那一簇的「含义」还得人来命名(呼应 p.26 的客户分群)。
住房这个例子的巧处:表里没有「房型(经济 / 改善 / 豪宅)」这一列,所以只能聚类。如果原表里已经有房产中介标的「房型」,那就变成分类(监督)了。同一份数据,有没有那一列标签,决定用哪类算法——这也是复习 p.21 的最好例子。
原文标题写的是 Aprendizaje supervisado: esquema general clustering,但本页副标题明写 Datos de entrenamiento con ejemplos NO etiquetados、内容也全是聚类——标题里的 supervisado 应为 no supervisado,属笔误。另外 clúster 的重音在全章不统一(本页 clústers 带重音,p.34 的 clusters 不带),两种写法都指同一个词。
p.36

Ejemplo clustering (segmentación clientes) · 聚类实例:用 k-medias 做客户分群(VIP / 偶发 / 高频)

▸ 原页截图 p.36 原讲义第 36 页

Aprendizaje no supervisado: ejemplo clustering (segmentación clientes)

无监督学习实例:聚类(客户分群)

Algoritmo k-medias

k-均值算法(即 K-Means)

左侧客户表:10 位客户的年消费额与每月到访次数(只有特征,没有「客户类型」列)
ID ClienteGasto AnualVisitas por mes
1600012
2585011
3620010
455001
557002
653002
725015
818014
931018
1022016
中间散点图:标题 Ejemplo de Clustering: Segmentación de Clientes;横轴 Gasto Anual (€),纵轴 Visitas Mensuales;图例 Perfiles——红 VIP、蓝 Ocasional、绿 Frecuente。红簇落在右中(高消费 / 中高频),蓝簇落在右下(高消费 / 低频),绿簇落在左上(低消费 / 高频)。
右侧画像表:每簇的画像与对应的策略建议(逐字照录)
TipoPerfilAcción Estratégica
VIPGasto alto / Frecuencia alta.Fidelizar: Trato preferente y regalos exclusivos.
OcasionalGasto alto / Frecuencia baja.Reactivar: Recordatorios y cupones de tiempo limitado.
FrecuenteGasto bajo / Frecuencia alta.Aumentar gasto: Ofertas 3x2 y productos complementarios.
这张图能考三个点:① 为什么是无监督——表里只有 Gasto Anual 与 Visitas por mes,没有「客户类型」列;VIP / Ocasional / Frecuente 是聚类之后人起的名,不是输入。② 簇是怎么分出来的——按两个特征构成的平面上的距离,同簇近、异簇远。③ 聚类的商业价值就在最右一列——分完群必须落到「对不同群用不同策略」,否则聚类只是画了三个圈。客户 1–3 = VIP,4–6 = Ocasional,7–10 = Frecuente。
注意术语:本页写 k-medias,p.34 写 K-Means,其实是同一个算法(西语把 K-Means 意译成 k-medias)。答题写哪个都行,但同一篇文章里别混着写。另外「K」= 要分的簇数,本例 K=3。
表格表头 Gasto Anual 没写单位,而散点图横轴写的是 Gasto Anual (€)——单位在图上,不在表里。做数据题时,单位缺失本身就是个坑(是欧元还是千欧元?差 1000 倍),正式报告里一定要补上。
p.37

Actividad · 课堂活动:任选一个日常服务/产品,写出 1 个名义属性、1 个连续属性、1 个监督问题、1 个无监督问题

▸ 原页截图 p.37 原讲义第 37 页

Introducción al aprendizaje computacional

计算学习导论(页眉标题)

Actividad

课堂活动

Elige un servicio o producto cotidiano y define los siguientes elementos:

选一个日常的服务或产品,并定义下列要素:

• Un atributo discreto nominal: una característica que sea una etiqueta o categoría sin orden intrínseco

• 一个离散名义属性:一种作为标签或类别的特征,本身没有内在顺序。

• Un atributo continuo: una propiedad que se mida numéricamente en un intervalo

• 一个连续属性:一种在某个区间内用数值来度量的性质。

• Problema supervisado: una pregunta cuya respuesta sea una etiqueta o clase o predicción

• 一个监督问题:其答案是标签、类别或预测值的问题。

• Problema no supervisado: una pregunta cuya respuesta sea un agrupamiento o conjunto de reglas de asociación

• 一个无监督问题:其答案是某种分组、或一组关联规则的问题。

这题是整章的综合验收,考的就是你能不能把四个概念各就各位。评分点通常看四处:① 名义属性必须无顺序(颜色、语言、品牌——写「小 / 中 / 大」就错了,那是有序);② 连续属性必须带数值和区间(时长、金额、心率——写「身高高 / 矮」就错了,那是离散);③ 监督问题必须能对应到一列标签(能回答「是 / 否」或「多少」);④ 无监督问题必须没有标准答案(分组或共现规律)。
万能模板,套任何产品都能过:名义属性 = 「型号 / 颜色 / 语言 / 套餐类型」;连续属性 = 「时长 / 金额 / 次数 / 温度」;监督 = 「会不会 X?」(分类)或「会有多少 X?」(回归);无监督 = 「把用户 / 商品按某两个特征分组」(聚类)或「买了 A 的人是不是也常买 B」(关联)。
最省事的自查口诀:名义看「有没有顺序」,连续看「有没有小数点」,监督看「有没有答案」,无监督看「有没有分组或 A→B」。四项各对上一句,这题就满分。
p.38

Ejemplo solución actividad · 活动参考答案:Netflix 与 Smartwatch 两行示例 + 两行留给你填

▸ 原页截图 p.38 原讲义第 38 页

Introducción al aprendizaje computacional

计算学习导论(页眉标题)

Ejemplo solución actividad

活动参考解答

整张表逐格照录(后两行 Tu ejemplo 1 / Tu ejemplo 2 在原稿中是空行,留给你填写)
EjemploAtributo NominalAtributo ContinuoProblema Supervisado (Clasificación/Regresión)Problema No Supervisado (Clustering/Asociación)
Netflix Idioma del perfil (español, inglés, etc). Horas totales visualización a la semana. Clasificación: ¿cancelará el usuario su suscripción el próximo mes? Clustering: Agrupar usuarios según géneros preferidos para crear comunidades de gustos.
Smartwatch Tipo deporte detectado (correr, nadar). Frecuencia cardíaca media (pulsaciones por minuto). Regresión: estimar cuántas calorías quemará el usuario en su próxima sesión. Asociación: Identificar que "quien entrena a las 7:00 AM suele activar el modo descanso por la noche".
Tu ejemplo 1
Tu ejemplo 2
看两行示例的配对逻辑,比背答案有用得多:同一个产品,既能问监督问题,也能问无监督问题,区别只在「答案长什么样」。Netflix 那行:问「下个月会不会退订」→ 答案是「会 / 不会」→ 分类(监督);问「按喜欢的类型把人分组」→ 没有标准答案 → 聚类(无监督)。Smartwatch 那行:问「会烧多少卡」→ 数值 → 回归(监督);问「早上 7 点训练的人是不是晚上也开休息模式」→ 共现规律 → 关联(无监督)。这就是「问题决定任务类型」,不是「产品决定任务类型」。
填「Tu ejemplo」的小技巧:挑你天天用的东西(外卖 App、共享单车、视频网站、校园卡),然后照着两行示例的句式改写——监督句用「¿…?」提问并确保答案是一列标签;无监督句用「Agrupar … según …」或「Identificar que quien … suele …」。句式对了,内容几乎不会错。
两处照录说明:① 表头 Problema No Supervisado (Clustering/Asociación) 的斜杠表示「聚类或关联」二者之一,不是要你两种都写;② 名义属性一格里 (español, inglés, etc). 括号前没有空格、句点在括号外,是原文标点习惯,照录即可。

A–Z 术语速记表

共 50 条,覆盖全 38 页的高频术语。第三列点页码直接跳回原页;最后一列只写「一句话 + 最容易被扣分的点」,考前扫这一列就够。正文里带虚下划线的西语词,鼠标停上去也会显示中文。

西语术语中文页码一句话记住 · 易错点
A
algoritmo de aprendizaje学习算法p.29吃「训练数据」,吐「模型」;不是人手写的 if-else 规则。
aprendizaje computacional计算学习(机器学习)p.1不显式编程,让机器从数据里自己找规律。
aprendizaje no supervisado无监督学习p.34数据没有标签;目标是找结构:聚类 / 关联。
aprendizaje supervisado监督学习p.28有标签;学「属性 → 类别 / 数值」的映射。
AprioriApriori 算法p.34关联规则专用(啤酒 + 尿布);别拿它做分类。
árbol de decisión决策树p.30内部节点问属性,叶子给类别;要挑「最能区分」的属性来问。
atributo属性p.17对象的某一维性质 = 表格的一列。
atributo continuo连续属性p.18区间内任意实数:1.54 kg、12.4 ms、19.99 €。
atributo discreto离散属性p.18取值分开、可数,没有中间值;二值属性是它的特例。
atributo nominal名义属性p.18纯类别、无顺序:颜色、国籍;不能比大小。
atributo ordinal有序属性p.18有顺序但间距不固定:S / M / L / XL、金银铜。
C
centroide质心p.34簇的「重心」;K-Means 反复「分配点 + 移动质心」。
clasificación分类p.28类别变量离散:批不批贷款 → 是 / 否。
clasificador分类器p.29训练好的模型;输入新样本,输出 Normal / Maliciosa。
clúster簇p.35组内越像越好、组间越不像越好。
clustering聚类p.26无标签分组;组名要事后自己命名。
conjunto de datos数据集p.17对象(行)× 属性(列)组成的一张表。
conjunto de test测试集p.33只在最后打分用;拿去调参 = 自己给自己泄题。
conjunto de validación验证集p.33专门调超参数的那 10%;别和测试集混用。
D
dato数据p.17单个取值;很多对象 + 属性才构成数据集。
dato etiquetado标注数据p.17带「正确答案(clase)」的样本;监督学习的前提。
datos de entrenamiento训练数据p.29第一阶段用来「学」的那批样本。
dendrograma树状图p.34层次聚类的合并树;横切一刀 = 选定簇数。
descriptivo描述型p.22不预测新值,只总结现有数据的结构(聚类、关联)。
E
ejemplo样本 / 示例p.17和 objeto、instancia、registro 同义:表格一行。
entrenamiento训练p.29第一阶段:用训练数据拟合模型。
etiqueta标签p.17样本的正确答案;分类里就是 clase 那一列。
G
generalización泛化p.12在没见过的数据上表现好,才叫学会(p.33 再讲一遍)。
gradiente (método del)梯度法p.32沿误差下降最快的方向挪参数,一步步逼近最优。
I
inconsistencia不一致p.8「Pelo」列里冒出「Jersey」——同一信息自相矛盾。
instancia实例p.17对象的另一个叫法;一行数据。
K
KDD知识发现流程p.14五阶段整条流水线;Data Mining 只是其中一环。
K-MeansK 均值聚类p.34先定 K,再「分配点 + 移质心」循环;对初值敏感。
M
minería de datos数据挖掘(data mining)p.14KDD 的建模阶段,不是整个 KDD 的同义词。
modelo模型p.29训练出来的「规律」,用来预测新样本。
modelo de clustering聚类模型p.35只描述分组结构,不输出标签。
N
nodo节点p.30决策树的分叉点,内容是一个属性判断(age? / student?)。
O
objeto对象p.17被描述的一个个体 = 表格一行;也叫 registro / ejemplo / instancia。
P
predicción预测p.21第二阶段:拿模型给新样本出结果。
predictivo预测型p.22目标是估计未知值:类别(分类)或数值(回归)。
preprocesamiento预处理p.8建模前必修:类别转数字、补缺失、查不一致、去噪。
problema de clasificación分类问题p.28类别变量离散 → 规则 / Naive Bayes / 决策树 / k-NN。
problema de regresión回归问题p.28类别变量连续 → 线性 / 多项式回归。
R
regresión回归p.28输出连续数值:房价、贷款金额。
regresión lineal线性回归p.32用直线 / 平面拟合;本例只有 6 个点,别过度解读。
S
segmentación de clientes客户分群p.36聚类最经典的商业应用:VIP / 常客 / 偶尔。
sobreajuste过拟合p.11训练集满分、新数据崩盘;模型连噪声都背下来了。
T
tipo de atributo属性类型p.18离散(名义 / 有序 / 二值)vs 连续;类型决定能用什么算法。
V
valor取值p.17某个对象在某个属性上的具体内容(「Suave」「Dos」)。
variable变量p.17属性的统计叫法;同一样东西换个名字,别当成新概念。

阈值与流程速记卡

这门课没有公式推导,但有几个「数字 + 顺序」是送分点:划分比例、KDD 步数、每类算法个数。背下来,判断题和简答题都能秒答。

项目数字 / 顺序一句话口诀
训练 / 验证 / 测试80% / 10% / 10%「八一一」;测试集最后才开箱,碰了就不算数(p.33)。
KDD 阶段数5选择 → 清洗 → 变换 → 挖掘 → 解释与使用(p.14)。
分类算法个数4规则、Naive Bayes、决策树、k-NN(p.28)。
回归算法个数2线性、多项式;区别只在「直不直」(p.28)。
无监督两大任务2聚类(K-Means / 层次)+ 关联规则(Apriori)(p.34)。
属性类型2 大类 / 3 小类离散(名义 / 有序 / 二值特例)+ 连续(p.18)。
「好知识」四条件4不平凡、隐含在数据里、事先未知、潜在有用(p.15)。
聚类两条目标2簇内距离最小、簇间距离最大(p.35)。

易混对照卡

这 15 组是选择题最爱挖的坑:每组只差一个关键词,抓住那个词就不会翻车。

supervisado vs no supervisado
看有没有标签:有 clase 列 = 监督(p.28);只有属性、没有答案 = 无监督(p.34)。
predictivo vs descriptivo
预测型要「估一个未知值」;描述型只「总结现有结构」。聚类、关联都属描述型(p.22)。
clasificación vs regresión
只差类别变量:离散类别 = 分类;连续数值 = 回归。批不批贷款 vs 批多少(p.28)。
clasificación vs clustering
分类有标签、类别事先已知;聚类无标签、组名事后才起。中文都带「类」,西语完全不同(p.28 / p.34)。
nominal vs ordinal
名义无顺序(颜色),有序有等级(S/M/L)。有序能比大小,名义不能(p.18)。
discreto vs continuo
离散可数、有「下一个值」;连续在区间内取任意实数,没有中间空档(p.18)。
atributo vs objeto
属性 = 列(性质),对象 = 行(个体)。问「有几个属性」别数行(p.17)。
dato vs valor
dato 是「对象 + 属性」的集合性说法;valor 是某一格的具体内容(p.17)。
Data Mining vs KDD
KDD 是五阶段整条流水线;Data Mining 只是中间「挖掘」这一步(p.14)。
valores perdidos vs inconsistencias
缺失 = 格子是空的(画了「-」);不一致 = 格子有值但放错列(Pelo 列写 Jersey)(p.8)。
ruido vs sesgo
ruido = 个别离谱值(Vista (G));sesgo = 数据整体不均衡,模型学到偏见(p.8 / p.11)。
sobreajuste vs generalización
过拟合 = 训练集完美、新数据崩;泛化 = 新数据也稳。二者是反义(p.11 / p.33)。
entrenamiento vs validación vs test
训练学参数、验证调超参数、测试只打分。顺序不能倒,测试集不能反复看(p.33)。
K-Means vs agrupamiento jerárquico
K-Means 要先给 K、靠质心迭代;层次聚类给一棵 dendrograma,切哪里由你定(p.34)。
reglas de asociación vs reglas de clasificación
关联规则说「买 A 常买 B」,不预测类别;分类规则才输出 clase(p.28 / p.34)。