Tema 4 · 探索性数据分析

Tema 4: Análisis exploratorio de datos · Eva Millán
28 页逐页逐句双语对照 · Universidad de Málaga(UMA)· Departamento de Lenguajes y Ciencias de la Computación
怎么用这份讲义

一、EDA 是什么 · 数据质量审计

p.1–p.4
p.1

Tema 4: Análisis exploratorio de datos · 第 4 讲:探索性数据分析(封面)

▸ 原页截图 p.1 原讲义第 1 页

Tema 4: Análisis exploratorio de datos

第 4 讲:探索性数据分析

Eva Millán

Eva Millán(授课教师)

Departamento de Lenguajes y Ciencias de la Computación

语言与计算机科学系

考点:整门课的第一道「术语题」通常就问 EDA 的全称与作用——答题要写出 Exploratory Data Analysis,并说明它是「分析前的探索」,不是建模本身。
记忆钩子:exploratorio = 「先踩点再装修」;EDA 就是装修前拿手电筒把房子照一遍。
p.2

Índice · 目录

▸ 原页截图 p.2 原讲义第 2 页

Análisis exploratorio de datos

探索性数据分析

Introducción al análisis exploratorio de datos

探索性数据分析导论

Análisis univariante de variables cuantitativas

定量变量的单变量分析

Análisis univariante de variables categóricas

分类变量的单变量分析

Análisis bivariante de variables cuantitativas

定量变量的双变量分析

Índice

目录

考点:目录就是答题框架。考试若写「请描述 EDA 流程」,按这四块组织:① 定义与目标 → ② 单变量定量 → ③ 单变量分类 → ④ 双变量定量。
陷阱:univariante 是「一个变量」,bivariante 是「两个变量」,别把 bi-(二)写成 bi… 更别和 multivariante(多变量)混用,选择题常在这儿挖坑。
记忆钩子:uni = 单口相声,bi = 双人对话,multi = 群聊。
p.3

¿Qué es el análisis exploratorio de datos? · 什么是探索性数据分析

▸ 原页截图 p.3 原讲义第 3 页

El análisis exploratorio de datos (Exploratory Data Analysis, EDA) es un proceso que combina resúmenes numéricos, visualizaciones y comprobaciones de calidad para comprender un conjunto de datos, identificar patrones y detectar posibles problemas que orienten el análisis posterior..

探索性数据分析(Exploratory Data Analysis,EDA)是一个把数值摘要、可视化与质量检查结合起来的过程,用来理解一个数据集、识别模式,并发现可能存在的问题,从而为后续分析指明方向。。

Filosofía EDA: Explorar los datos, sin dar por supuesta una estructura o distribución determinada, antes de transformarlos y analizarlos.

EDA 的理念:在转换和分析数据之前先探索数据,不预设某种结构或分布。

Objetivos principales:

主要目标:

Describir las distribuciones de las variables y explorar sus relaciones.

描述各变量的分布,并探索它们之间的关系。

Detectar posibles problemas de calidad, como valores ausentes, inconsistencias y valores atípicos (outliers).

发现可能的质量问题,例如缺失值、不一致性和异常值(outliers)。

Valorar el cumplimiento de supuestos relevantes para los métodos que se utilizarán.

评估将要使用的方法所依赖的相关假设是否成立。

Orientar las decisiones posteriores de preprocesamiento y análisis.

为后续的预处理与分析决策提供依据。

原文笔误:第一句末尾原文写 posterior..(两个句点),应为 posterior.。照抄时别把双句号一起抄进答题卡,阅卷时算拼写/格式瑕疵。
考点:EDA 的定义要背「三件套」——resúmenes numéricos + visualizaciones + comprobaciones de calidad。简答题写全这三项就是满分骨架,再补「identificar patrones / detectar problemas」。
记忆钩子:EDA = 数、图、查(数字摘要、可视化、质量检查),三字诀别丢。
p.4

Auditoría de la calidad de los datos · 数据质量审计

▸ 原页截图 p.4 原讲义第 4 页

Estructura y significado de los datos

数据的结构与含义

Variables o atributos: significado, unidades de medida cuando corresponda, tipos (discreta, continua, nominal, ordinal) y tipo de almacenamiento (entero, decimal, texto, fecha, etc.)

变量或属性:含义、在适用情况下的计量单位、类型(离散型、连续型、名义型、有序型)以及存储类型(整数、小数、文本、日期等)。

Dimensión (número de registros y variables)

维度(记录数与变量数)

Identificadores: campos que permiten identificar cada observación.

标识符:能够唯一识别每条观测的字段。

Comprobaciones de calidad

质量检查

Valores ausentes: cantidad y porcentaje por variable y por observación.

缺失值:按变量和按观测统计的数量与百分比。

Duplicados: registros repetidos según la unidad de observación.

重复值:按观测单位判断的重复记录。

Cardinalidad: número de valores distintos por variable.

基数:每个变量不同取值的个数。

Valores inválidos: datos fuera de los rangos o categorías permitidos.

无效值:超出允许范围或允许类别的数据。

Inconsistencias: formatos, unidades o etiquetas diferentes para un mismo significado.

不一致性:同一含义却使用不同格式、单位或标签。

Coherencia entre variables: cumplimiento de relaciones lógicas (ej fecha de finalización posterior a la de inicio).

变量间一致性:是否满足逻辑关系(例如结束日期应晚于开始日期)。

考点:质量检查六个词必须能默写:valores ausentes · duplicados · cardinalidad · valores inválidos · inconsistencias · coherencia entre variables。案例题给一张脏表,让你逐项指出问题,按这六类对号入座即可。
陷阱:cardinalidad 不是「重要性」,而是「不同取值的个数」;inconsistencias(同一含义多种写法)与 valores inválidos(根本不合法的值)是两码事,选择题最爱互换。
记忆钩子:缺(ausente)· 重(duplicado)· 基(cardinalidad)· 非(inválido)· 乱(inconsistencia)· 矛(coherencia)——「缺重基非乱矛」六字经。

二、单变量定量:数值计算与异常值

p.5–p.10
p.5

Análisis univariante variables cuantitativas · 定量变量的单变量分析(总览)

▸ 原页截图 p.5 原讲义第 5 页

Examina una variable cuantitativa para describir su distribución e identificar posibles valores atípicos.

考察单个定量变量,以描述其分布并识别可能的异常值。

Medidas numéricas

数值度量

Tendencia central: media y mediana.

集中趋势:均值与中位数。

Dispersión: desviación típica y rango intercuartílico.

离散程度:标准差与四分位距。

Forma: coeficiente de asimetría.

形状:偏度系数。

Herramientas gráficas

图形工具

Histograma: permite observar la forma de la distribución, su concentración y la presencia de varios picos.

直方图:可以观察分布的形状、集中程度以及是否存在多个峰。

Diagrama de cajas y bigotes: resume la mediana y los cuartiles y señala posibles valores atípicos.

箱线图:概括中位数和四分位数,并标出可能的异常值。

考点:这页是「定量单变量」的总纲,考试常让你「列出描述定量变量的三类数值度量 + 两种图」。答案模板:tendencia central (media, mediana) · dispersión (desviación típica, IQR) · forma (asimetría) + histograma y diagrama de cajas y bigotes。
记忆钩子:定量变量三问——中心在哪?散得多开?歪向哪边? 对应集中、离散、形状。
p.6

Medidas numéricas análisis univariante variables cuantitativas · 定量单变量的数值度量

▸ 原页截图 p.6(公式页,默认展开) 原讲义第 6 页

Medidas de Posición:

位置度量:

Media (\(\bar{x}\)): Promedio aritmético de los valores observados. \(\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i\).

均值(\(\bar{x}\)):所有观测值的算术平均。\(\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i\)。

Percentil (\(p\)) es el valor que, cuando ordenamos los datos de menor a mayor, deja aproximadamente el \(p\%\) de las observaciones por debajo o igual a él.

百分位数(\(p\)):把数据从小到大排序后,约有 \(p\%\) 的观测值小于或等于该值。

Mediana (\(Q_2\)): Percentil 50

中位数(\(Q_2\)):第 50 百分位数。

Primer y tercer cuartil (\(Q_1\) y \(Q_3\)): Percentiles 25 y 75, respectivamente

第一与第三四分位数(\(Q_1\) 与 \(Q_3\)):分别为第 25 和第 75 百分位数。

Medidas de Dispersión:

离散度量:

Desviación Típica muestral. Mide la dispersión respecto a la media. \(s = \sqrt{\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}\)

样本标准差:衡量数据相对于均值的离散程度。\(s = \sqrt{\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}\)

Rango Intercuartílico: Amplitud del intervalo que contiene aproximadamente el 50 % central de los datos. \(IQR = Q_3 - Q_1\)

四分位距:包含约 50% 中间数据的区间宽度。\(IQR = Q_3 - Q_1\)

La media y la desviación típica son sensibles a valores extremos.

均值与标准差对极端值敏感。

La mediana y el rango intercuartílico son robustos a valores atípicos.

中位数与四分位距对异常值具有稳健性。

符号西语读法中文含义
\(\bar{x}\)media muestral样本均值
\(n\)tamaño de la muestra样本量
\(Q_1, Q_2, Q_3\)primer / segundo / tercer cuartil第一 / 第二 / 第三四分位数
\(s\)desviación típica muestral样本标准差(分母 \(n-1\))
\(IQR\)rango intercuartílico四分位距 \(Q_3-Q_1\)
陷阱:样本标准差分母是 \(n-1\)(贝塞尔校正),不是 \(n\);考试给 9 个数却按 9 除,整题连锁错。另:中位数写作 \(Q_2\),不是 \(Q_5\),别被手写体骗了。
考点:计算题必考「均值 / 中位数 / \(Q_1\) / \(Q_3\) / \(s\) / \(IQR\)」六件套;简答题必考「哪些度量稳健」——答 mediana e IQR,并补一句「均值与标准差受极端值影响」。
记忆钩子:均值怕极端,中位数不怕;标准差除以 n−1,因为「样本要留一手」。
p.7

Ejemplo: medidas numéricas · 例题:数值度量(RTT)

▸ 原页截图 p.7 原讲义第 7 页

Se ha medido el tiempo de ida y vuelta (Round Trip Time, RTT en milisegundos) de 9 paquetes 10, 12, 15, 15, 18, 20, 22, 25, 80

已测量 9 个数据包的往返时延(Round Trip Time,RTT,单位毫秒):10、12、15、15、18、20、22、25、80。

Calcula:

计算:

Medidas de posición:

位置度量:

Media, Mediana, Primer cuartil, Tercer cuartil

均值、中位数、第一四分位数、第三四分位数。

Medidas de dispersión:

离散度量:

Desviación típica muestral, Rango intercuartílico

样本标准差、四分位距。

统计量计算过程结果
均值 \(\bar{x}\)217 / 924,11 ms
中位数 \(Q_2\)排序后第 5 个 = 1818 ms
\(Q_1\)(12 + 15) / 213,5 ms
\(Q_3\)(22 + 25) / 223,5 ms
\(IQR\)23,5 − 13,510 ms
标准差 \(s\)\(\sqrt{3694{,}89/8}\)21,49 ms
考点:这道 RTT 例题会贯穿整个 Tema 4(p.7、p.10、p.12、p.13 都在用它)。考试可能只给这一组 9 个数,连问「均值、中位数、四分位数、IQR、Tukey 界限、是否 outlier」——按上面表格的顺序写,过程分全拿。
陷阱:求四分位数前必须先排序;9 个数时 \(Q_1\) 是第 2、3 个的平均、\(Q_3\) 是第 7、8 个的平均,别直接取第 3 个和第 7 个。均值被 80 拉高到 24,11,而中位数只有 18——这正是「极端值」的现场证据。
记忆钩子:9 个数排排坐,中位坐第 5 位;四分位取「两两平均」,像分披萨先切两半再切两半。
p.8

Medidas de Forma y detección de valores atípicos · 形状度量与异常值检测(Fisher 偏度)

▸ 原页截图 p.8(公式页,默认展开) 原讲义第 8 页

Coeficiente de Asimetría de Fisher (\(\mathbf{g_1}\)):

Fisher 偏度系数(\(\mathbf{g_1}\)):

\[ g_1 = \frac{\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^3}{\left[\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2\right]^{3/2}} \]

\[ g_1 = \frac{\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^3}{\left[\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2\right]^{3/2}} \](三阶中心矩除以二阶中心矩的 3/2 次方)

Interpretación:

解释:

Según el signo:

按符号判断:

\(g_1 < 0\) Asimetría negativa

\(g_1 < 0\):负偏(左偏),长尾在左。

\(g_1 \approx 0\) Simétrica

\(g_1 \approx 0\):对称分布。

\(g_1 > 0\) Asimetría positiva

\(g_1 > 0\):正偏(右偏),长尾在右。

Según la magnitud

按绝对值大小判断:

\(|g_1| < 0.5\) asimetría leve.

\(|g_1| < 0.5\):轻度偏斜。

\(0.5 < |g_1| < 1\) asimetría moderada.

\(0.5 < |g_1| < 1\):中度偏斜。

\(|g_1| > 1\) asimetría fuerte.

\(|g_1| > 1\):强烈偏斜。

符号西语读法中文含义
\(g_1\)coeficiente de asimetría de FisherFisher 偏度系数
\(x_i-\bar{x}\)desviación respecto a la media相对均值的离差
\(n\)tamaño de la muestra样本量(此公式按 \(1/n\) 计)
考点:偏度题分两问答——①「符号说明什么?」答 g₁ > 0 asimetría positiva (cola a la derecha);②「强弱怎么看?」答绝对值阈值 0,5 / 1。两问分开写,别只答一半。
陷阱:阈值比较的是 \(|g_1|\)(绝对值),不是 \(g_1\) 本身;\(g_1=-1{,}8\) 也属于「强」,因为它离 0 超过 1。还有:符号看「尾巴方向」,不是看「数据堆在哪边」——右偏是长尾在右、大多数值挤在左边。
记忆钩子:正偏=尾巴向右甩(像被右边的大值拽住);0.5 轻、1 重,过了 1 就是强。
p.9

Criterio del Rango Intercuartílico (Regla de Tukey) · 四分位距准则(Tukey 法则)

▸ 原页截图 p.9(公式页,默认展开) 原讲义第 9 页

La regla de Tukey utiliza el rango intercuartílico para señalar observaciones alejadas del 50 % central de los datos. No requiere que la distribución sea normal.

Tukey 法则利用四分位距来标记远离数据中间 50% 的观测。它不要求分布服从正态。

Rango Intercuartílico \(IQR = Q_3 - Q_1\)

四分位距 \(IQR = Q_3 - Q_1\)。

Límites de detección (Vallas de Tukey):

检测界限(Tukey 围栏):

Límite Inferior \(LI = Q_1 - 1{,}5 \cdot IQR\)

下界 \(LI = Q_1 - 1{,}5 \cdot IQR\)。

Límite Superior \(LS = Q_3 + 1{,}5 \cdot IQR\)

上界 \(LS = Q_3 + 1{,}5 \cdot IQR\)。

Criterio de clasificación:

分类判据:

Dato “normal”: \(x_i \in [LI, LS]\) (cae dentro del intervalo)

“正常”数据:\(x_i \in [LI, LS]\)(落在区间内)。

Candidato a outlier: \(x_i < LI\) o \(x_i > LS\) (posible valor atípico)

异常值候选:\(x_i < LI\) 或 \(x_i > LS\)(可能的异常值)。

符号西语读法中文含义
\(IQR\)rango intercuartílico四分位距 \(Q_3-Q_1\)
\(LI\)límite inferior下界(valla inferior)
\(LS\)límite superior上界(valla superior)
\(1{,}5\)uno coma cincoTukey 的 1.5 倍系数
考点:Tukey 法则必考「写出两个围栏公式 + 判断某值是否 outlier」。答题模板:LI = Q₁ − 1,5·IQR;LS = Q₃ + 1,5·IQR;si x < LI o x > LS → posible valor atípico。还要会补一句「不要求正态分布」。
陷阱:等于边界不算异常值(判据是严格小于 / 大于);系数是 1,5 不是 3(3 倍 IQR 对应「极端异常值」的另一套经验规则,课上没讲,别混写)。
记忆钩子:「下减上加,都是 1.5 倍」;围栏外才是野马(outlier),围栏内都算家养。
p.10

Ejemplo: medidas numéricas · 例题:偏度与异常值检测(RTT)

▸ 原页截图 p.10 原讲义第 10 页

Consideremos de nuevo el ejemplo de la muestra RTT de 9 paquetes 10, 12, 15, 15, 18, 20, 22, 25, 80

再次考虑 9 个数据包 RTT 样本的例子:10、12、15、15、18、20、22、25、80。

Medidas de forma y detección:

形状度量与检测:

Asimetría

偏度

Coeficiente de Fisher: \(g_1 = 2{,}25\) (asimetría positiva fuerte)

Fisher 系数:\(g_1 = 2{,}25\)(强正偏)。

Detección de posibles valores atípicos

可能异常值的检测

\(LI = Q_1 - 1{,}5 \times IQR = 13{,}5 - 15 = -1{,}5\) ms.

\(LI = Q_1 - 1{,}5 \times IQR = 13{,}5 - 15 = -1{,}5\) ms。

\(LS = Q_3 + 1{,}5 \times IQR = 23{,}5 + 15 = 38{,}5\) ms.

\(LS = Q_3 + 1{,}5 \times IQR = 23{,}5 + 15 = 38{,}5\) ms。

El tiempo de 80 ms supera la valla superior (80 > 38,5) (posible outlier)

80 ms 这一取值超过上界(80 > 38,5),是可能的异常值。

步骤计算结果
\(Q_1\)(12+15)/213,5
\(Q_3\)(22+25)/223,5
\(IQR\)23,5 − 13,510
\(LI\)13,5 − 1,5 × 10−1,5
\(LS\)23,5 + 1,5 × 1038,5
判定 8080 > 38,5outlier ✓
补充:\(g_1 = 2{,}25\) 是按本页公式「除以 \(n\)」的矩估计算出的;若用 Excel 的 SKEW(含样本校正)会得到约 2,72。考试按课上公式写,过程分才稳。
考点:这是全章最可能的「大题原题」——给 9 个数,要求算偏度、画/读箱线图、判断 outlier。答题顺序:排序 → \(Q_1,Q_2,Q_3\) → \(IQR\) → \(LI,LS\) → 逐点比较 → 结论写 «80 ms es un posible valor atípico»。
陷阱:算 \(LI\) 时 \(1{,}5\times IQR = 1{,}5\times10 = 15\),别把 \(IQR\) 当成 13,5 或 23,5;另外 \(LI=-1{,}5\) 是负数很正常(RTT 不可能为负),不代表算错。
记忆钩子:13,5 减 15 得 −1,5;23,5 加 15 得 38,5——「一减一加十五,80 出局」。

三、单变量定量:图形工具

p.11–p.13
p.11

Herramientas gráficas · 图形工具(直方图与箱线图)

▸ 原页截图 p.11 原讲义第 11 页

Histograma

直方图

Agrupa los valores en intervalos y representa la frecuencia de las observaciones en cada uno.

把取值按区间分组,表示每个区间内观测的频数。

Permite observar la forma de la distribución, su concentración, asimetría y la presencia de varios picos.

可以观察分布的形状、集中程度、偏斜情况以及是否存在多个峰。

Su apariencia depende de la anchura y número los intervalos elegidos.

它的外观取决于所选区间的宽度和数量。

Diagrama de cajas y bigotes

箱线图(箱须图)

Resume la posición y la dispersión de los datos y señala posibles valores atípicos mediante la regla de Tukey.

概括数据的位置与离散程度,并用 Tukey 法则标出可能的异常值。

Caja: se extiende desde \(Q_1\) hasta \(Q_3\) y representa aproximadamente el 50 % central de los datos.

箱体:从 \(Q_1\) 延伸到 \(Q_3\),代表约 50% 的中间数据。

Línea interior: indica la mediana (\(Q_2\)).

箱内线:表示中位数(\(Q_2\))。

Bigotes: llegan hasta el menor y el mayor valor observado dentro de las vallas de Tukey.

须:延伸到 Tukey 围栏内最小和最大的观测值。

Puntos fuera de los bigotes: representan posibles valores atípicos.

须外的点:代表可能的异常值。

原文笔误:第三句原文写 número los intervalos,缺少介词,应为 número de intervalos。抄写时补上 de,否则语法扣分。
考点:箱线图五个元素必背——caja (Q₁–Q₃) · línea interior (mediana) · bigotes (hasta el último dato dentro de las vallas) · puntos fuera (outliers)。画图题按这五点标,缺一个扣一个。
记忆钩子:箱线图 = 「箱装中间一半,须挑围栏内最远,点是被赶出去的」。
p.12

Ejemplo: herramientas gráficas · 例题:直方图(RTT)

▸ 原页截图 p.12(图示页,默认展开) 原讲义第 12 页

En el ejemplo de la muestra RTT de 9 paquetes 10, 12, 15, 15, 18, 20, 22, 25, 80

在 9 个数据包 RTT 样本的例子中:10、12、15、15、18、20、22、25、80。

读图要点:图中组距 10 ms,三根柱分别是 [10,20) 频数 5、[20,30) 频数 3、[80,90) 频数 1。最右边孤零零那根柱,就是 p.10 判定的 outlier 80 ms;直方图用「一眼可见的空档」把 Tukey 的数值结论可视化了。
考点:给一张直方图让你「描述分布」——按四句话答:forma (asimétrica a la derecha)、concentración (la mayoría entre 10 y 30 ms)、varios picos / un valor aislado、posible valor atípico。这就是标准答案的骨架。
陷阱:直方图的柱子紧贴(表示连续区间),条形图的柱子分开(表示分类)。画反了,图形题直接判错——p.18 还会专门强调这一点。
记忆钩子:直方图=连体婴(柱相连),条形图=排队做核酸(柱分开)。
p.13

Ejemplo: herramientas gráficas para análisis univariante · 例题:RTT 样本的箱线图与统计量表

▸ 原页截图 p.13(图示页,默认展开) 原讲义第 13 页

En el ejemplo de la muestra RTT de 9 paquetes 10, 12, 15, 15, 18, 20, 22, 25, 80

以 9 个数据包的 RTT 样本为例:10、12、15、15、18、20、22、25、80。

量(Magnitud)计算(Cálculo)值(Valor)
Mediana (Q₂)(中位数)Quinto dato(第 5 个数据)18 ms
Primer cuartil (Q₁)(第一四分位)(12 + 15) / 213,5 ms
Tercer cuartil (Q₃)(第三四分位)(22 + 25) / 223,5 ms
Rango intercuartílico(四分位距)23,5 − 13,510 ms
Límite inferior(下限)13,5 − 1,5 × 10−1,5 ms
Límite superior(上限)23,5 + 1,5 × 1038,5 ms
Bigote inferior(下须)Menor dato dentro de los límites(围栏内最小值)10 ms
Bigote superior(上须)Mayor dato dentro de los límites(围栏内最大值)25 ms
Valor atípico(异常值)Dato fuera de los límites(围栏外的数据)80 ms
考点:这张表就是「箱线图默写题」的标准答案表。九个格子按顺序填:\(Q_2 \to Q_1 \to Q_3 \to IQR \to LI \to LS \to\) 下须 \(\to\) 上须 \(\to\) 异常值。注意下须是 10(不是 \(LI=-1{,}5\)),上须是 25(不是 \(LS=38{,}5\))——须只画到围栏内真实存在的数据。
陷阱:Quinto dato 成立的前提是数据已排序且 n=9,中位数正好是第 5 个。若 n 为偶数,中位数必须取中间两个数的平均,写成「第 n/2 个」就错了。
记忆钩子:「表里九个值,图上一只箱:箱到 Q₁Q₃,线在 18,须到 10 和 25,80 单独站外面」。

四、单变量分类:频率、失衡与条形图

p.14–p.19
p.14

Métricas para el análisis univariante variables categóricas · 分类变量的单变量分析:频率度量

▸ 原页截图 p.14(公式页,默认展开) 原讲义第 14 页

Medidas de frecuencia

频率度量

Frecuencia absoluta (\(n_i\)): número de observaciones de la categoría i.

绝对频数(\(n_i\)):类别 i 的观测个数。

Frecuencia relativa (\(p_i\)): % observaciones categoría i respecto al total N. \(p_i = 100 * n_i / N\)

相对频率(\(p_i\)):类别 i 的观测占总数 N 的百分比,\(p_i = 100 \times n_i / N\)。

\[ p_i = 100 \cdot \frac{n_i}{N} \qquad IR = \frac{n_{\max}}{n_{\min}} \]
符号西语读法中文
\(n_i\)frecuencia absoluta de la categoría i类别 i 的绝对频数(个数)
\(p_i\)frecuencia relativa de la categoría i类别 i 的相对频率(%)
\(N\)total de observaciones观测总数
\(IR\)ratio de desequilibrio de clases类别失衡比
\(n_{\max},\,n_{\min}\)frecuencia máxima / mínima最大 / 最小类别频数

Aspectos a observar:

需要观察的方面:

Cardinalidad: número de categorías distintas.

基数:不同类别的个数。

Ejemplo: el atributo “protocolo de transporte” sería de baja cardinalidad (TCP, UDP) k=2; mientras que el atributo “ip de origen” podría tener alta cardinalidad.

例如:属性「传输协议」属于低基数(TCP、UDP),k=2;而属性「源 IP」可能是高基数。

Concentración de frecuencias (desequilibrio de clases): se produce cuando algunas categorías reúnen gran parte de las observaciones.

频率集中(类别失衡):某些类别汇集了大部分观测时出现。

El ratio de desequilibrio de clases IR se define como \(IR = n_{\max} / n_{\min}\)

类别失衡比 IR 定义为 \(IR = n_{\max} / n_{\min}\)。

Ejemplo: hay 600 conexiones legítimas y 20 sospechosas IR = 600/20 = 30

例如:有 600 个合法连接和 20 个可疑连接,IR = 600/20 = 30。

Categorías poco frecuentes. Por ejemplo, nº comunicaciones sospechosas

低频类别。例如:可疑通信的数量。

Etiquetas inconsistentes: distintas escrituras de una misma categoría, (ej. “Madrid”, “madrid” y “MAD”).

标签不一致:同一类别的不同写法(例如 “Madrid”、“madrid” 和 “MAD”)。

考点:这一页是分类变量的「公式 + 四个观察点」满分模板。必背四件套:cardinalidad、concentración (IR)、categorías poco frecuentes、etiquetas inconsistentes。考试常给一张脏数据表,让你先 limpiar etiquetas,再算 \(p_i\) 和 \(IR\)。
陷阱:\(IR\) 的分子分母都用清洗后的频数,且 \(IR\) 无量纲、永远是 \(\ge 1\)。若算出小于 1,说明分子分母写反了;\(IR=30\) 要读成「多数类是个别类的 30 倍」,不是「多 30 个」。
记忆钩子:「基数数个数,失衡算倍数;绝对数人头,相对算百分比」——\(n_i\) 是个数,\(p_i\) 是百分数,别混。
p.15

Análisis univariante de variables categóricas: ejemplo · 例题:500 个银行联系渠道的原始频数表

▸ 原页截图 p.15(表格页,默认展开) 原讲义第 15 页

Se registra el canal utilizado en 500 contactos con un banco. Cada fila del conjunto de datos representa un contacto:

记录了与银行 500 次联系所使用的渠道。数据集的每一行代表一次联系:

Canal(渠道)Frecuencia(频数)
"Web"200
"web"100
"WEB"100
"App Mobile"65
"Sucursal"25
"Teléfono"6
"tlf"3
"TELEFONO"1
TotalN = 500
考点:这是「脏标签」的标准素材。考试会问「¿cuántas categorías hay realmente?」——注意问的是真实渠道数(4 个),不是原始标签数(8 个)。答 8 个是典型送分题变送命题。
陷阱:别急着算百分比。此时 8 个标签里 “Web/web/WEB” 是同一类,“Teléfono/tlf/TELEFONO” 是同一类,直接在这张表上算 \(p_i\) 会把 Web 算成 40% 而不是 80%。先清洗,再统计——顺序错了全盘皆错。
记忆钩子:「八张脸,四个人」——Web 三兄弟、电话三兄弟,剩下 App 和 Sucursal 各一个。
p.16

Métricas de frecuencia · 频率度量:标签统一后的频数表

▸ 原页截图 p.16(表格页,默认展开) 原讲义第 16 页

Hay ocho etiquetas distintas, pero algunas representan el mismo canal. Tras confirmar su significado, podemos unificar “Web”, “web” y “WEB”, y también “Teléfono”, “tlf” y “TELEFONO”

共有八个不同标签,但其中一些代表同一渠道。确认含义之后,可以把 “Web”、“web”、“WEB” 合并,也可以把 “Teléfono”、“tlf”、“TELEFONO” 合并。

Canal(原标签)Frecuencia(频数)Canal “limpio”(清洗后)Frecuencia (\(n_i\))Porcentaje (\(p_i\))
"Web"200Web40080%
"web"100
"WEB"100
"App Mobile"65App Mobile6513%
"Sucursal"25Sucursal255%
"Teléfono"6Teléfono102%
"tlf"3
"TELEFONO"1
核对:400 + 65 + 25 + 10 = 500,百分比 80 + 13 + 5 + 2 = 100。清洗只会「合并」标签,不会改变 \(N\)——如果合完总数变了,说明你在合并时把记录弄丢了。
考点:unificar etiquetas 这一步在考试里通常占 2–3 分,评分点是:①写出合并规则;②给出清洗后的 \(n_i\);③给出 \(p_i\) 且合计 100%。三步齐了才满分。
原文笔误提醒:本页表格的 “Web” 用的是弯引号 “ ”,而正文用直引号 " ",属于排版不一致;抄表时统一成一种引号即可,不算内容错误,但别在答题卡上混用。
记忆钩子:「合并同类项,总数不变;400 是老大,10 是小弟」。
p.17

Aspectos a observar · 需要观察的方面:集中度、IR 与稀有类别

▸ 原页截图 p.17 原讲义第 17 页

Aspectos a observar:

需要观察的方面:

Cardinalidad baja

低基数

Cuatro categorías: Web, Aplicación móvil, Sucursal y Teléfono.

四个类别:Web、移动应用、网点、电话。

Concentración de frecuencias

频率集中

Web reúne el 80 % de los contactos, mientras que Teléfono representa el 2 %.

Web 汇集了 80% 的联系,而电话只占 2%。

IR = nmax / nmin = 400 / 10 = 40 (Hay 40 contactos por Web por cada contacto telefónico).

IR = \(n_{\max}/n_{\min}\) = 400/10 = 40(每 1 次电话联系,对应 40 次 Web 联系)。

Categorías poco frecuentes

低频类别

Teléfono cuenta con solo 10 observaciones.

电话只有 10 条观测。

Posible agrupación: Sucursal y Teléfono podrían agruparse como «Atención directa» si el objetivo del análisis justifica esa categoría:

可能的合并:如果分析目标能支持这一类别,可以把网点和电话合并为「直接服务」:

n = 25 + 10 = 35 contactos → 7 %

n = 25 + 10 = 35 次联系 → 7%。

La agrupación pierde la distinción entre ambos canales y no debe decidirse únicamente por sus frecuencias.

这种合并会丢失两个渠道之间的区分,不能只凭频数就决定合并。

考点:\(IR=40\) 这句话必须会「翻译成人话」——「Web 是电话的 40 倍」,而不是「相差 40」。另外「能否合并稀有类别」是开放性简答题:答「可以合并,但要基于业务含义,不能只看频数」才拿满分。
陷阱:合并后 \(35 \to 7\%\) 是合并后的新类别占比,不是「增加了 7%」。而且一旦合并,\(IR\) 会从 40 降到 400/35 ≈ 11,4,别把合并前后的 IR 混着写。
记忆钩子:「八成 Web,两成电话,四十倍差距;合并可以,别只看数字」。
p.18

Herramientas gráficas para variables categóricas: diagrama de barras · 分类变量的图形工具:条形图

▸ 原页截图 p.18 原讲义第 18 页

Representa cada categoría mediante una barra cuya altura indica su frecuencia absoluta, relativa o porcentual.

用一根柱子表示每个类别,柱高表示其绝对频数、相对频数或百分比。

Permite comparar las frecuencias e identificar categorías predominantes o poco frecuentes.

可以比较频数,并识别占主导或低频的类别。

Distinción visual respecto al Histograma: Las barras deben mostrarse separadas por espacios, subrayando que representan niveles cualitativos discontinuos y no un continuo numérico.

与直方图的视觉区别:柱子之间必须留有空隙,强调它们代表的是离散的定性水平,而不是数值连续体。

Criterio de Ordenación:

排序准则:

Variables Nominales: Se deben ordenar las barras de mayor a menor frecuencia para facilitar la lectura del peso relativo de cada nivel.

名义变量:柱子应按频数从大到小排序,便于读出各水平的相对权重。

Variables Ordinales: Debe respetarse siempre el orden jerárquico natural de las categorías (ej. Bajo → Medio → Alto), ignorando el orden de frecuencias.

有序变量:必须始终遵循类别的自然等级顺序(例如 低 → 中 → 高),忽略频数顺序。

对比项Diagrama de barras(条形图)Histograma(直方图)
变量类型分类(cualitativa)定量(cuantitativa)
柱子间距分开(separadas)紧贴(juntas)
排序规则名义:频数降序;有序:自然序按区间数值顺序
每根柱代表一个类别一个数值区间
考点:三条必背——①条形图柱分开、直方图柱相连;②名义变量按频数降序排;③有序变量保持自然序(哪怕「高」的人数最少,也不能挪到最前面)。这三点每年都换着问法考。
陷阱:「按频数降序」只适用于名义变量。如果题目给的是「低/中/高」「小/中/大」这类有序变量,你按频数排序直接判错——这是最容易被忽略的一分。
记忆钩子:「名义看谁多,有序看辈分;条形留缝隙,直方手拉手」。
p.19

Ejemplo: canal de contacto con un banco · 例题:银行联系渠道的条形图

▸ 原页截图 p.19(图示页,默认展开) 原讲义第 19 页

Ejemplo: canal de contacto con un banco

例题:与银行的联系渠道

Web: 400 contactos (80 %).

Web:400 次联系(80%)。

Aplicación móvil: 65 contactos (13 %).

移动应用:65 次联系(13%)。

Sucursal: 25 contactos (5 %).

网点:25 次联系(5%)。

Teléfono: 10 contactos (2 %).

电话:10 次联系(2%)。

El gráfico muestra un claro predominio del canal Web.

该图显示 Web 渠道明显占主导。

考点:读图题的标准句式是「El gráfico muestra un claro predominio de…」+数据支撑。注意这里是名义变量,四根柱已按 400 > 65 > 25 > 10 降序排列——如果题目问「排序是否合理」,答「合理,名义变量按频数降序」。
陷阱:图上显示的是百分比还是频数要看纵轴标签,别把 400 读成 400%。本题 400 次 = 80%,两者差 5 倍,写反了整段描述作废。
记忆钩子:「四根柱,八二开;Web 一柱顶半边天」。

五、双变量定量:相关系数与诊断

p.20–p.23
p.20

Análisis bivariante variables cuantitativas · 定量变量的双变量分析:总览

▸ 原页截图 p.20 原讲义第 20 页

Examina conjuntamente dos variables cuantitativas, X e Y, para explorar si existe una asociación entre ellas y describir su dirección, forma e intensidad.

联合考察两个定量变量 X 和 Y,探索它们之间是否存在关联,并描述其方向、形态与强度。

Para ello disponemos de medidas numéricas y herramientas gráficas:

为此我们有数值度量和图形工具:

Medidas numéricas:

数值度量:

Correlación de Pearson: cuantifica la asociación lineal.

Pearson 相关:量化线性关联。

Correlación de Spearman: cuantifica la asociación monotónica, es decir, la tendencia a que una variable aumente o disminuya cuando aumenta la otra.

Spearman 相关:量化单调关联,即一个变量增大时另一个变量趋于增大或减小的倾向。

Herramientas gráficas:

图形工具:

Diagrama de dispersión: representa los pares de valores y permite observar tendencias, agrupaciones y posibles valores atípicos.

散点图:表示成对的取值,可观察趋势、聚集和可能的异常值。

Mapa de correlaciones: representa mediante colores los coeficientes de correlación calculados para distintos pares de variables.

相关图(热图):用颜色表示不同变量对之间计算出的相关系数。

¡Ojo!. las asociaciones entre dos variables no implican relaciones causales

注意!两个变量之间的关联并不意味着因果关系。

原文笔误:本页最后一句原文写作 ¡Ojo!. las asociaciones…,句号后接小写 las,应为 ¡Ojo! Las asociaciones…(去掉多余句点,句首大写)。照抄可以,但答题时要写对。
考点:这一页是全章提纲,考试最爱问「¿Qué mide Pearson y qué mide Spearman?」。标准答:Pearson → asociación lineal;Spearman → asociación monotónica。再补一句「关联 ≠ 因果」,直接踩中评分点。
记忆钩子:「Pearson 认直线,Spearman 认趋势;两个都怕异常值,但 Spearman 排了名次更抗揍」。
p.21

Medidas numéricas: Pearson y Spearman · 数值度量:Pearson 与 Spearman 系数

▸ 原页截图 p.21(公式页,默认展开) 原讲义第 21 页

Pearson (asociaciones lineales):

Pearson(线性关联):

\[ r_{x,y}=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})} {\sqrt{\sum_{i=1}^{n}(x_i-\bar{x})^{2}\;\sum_{i=1}^{n}(y_i-\bar{y})^{2}}}, \qquad r_{x,y}\in[-1,1] \]

Cuantifica la dirección y la intensidad de la asociación lineal entre dos variables cuantitativas.

量化两个定量变量之间线性关联的方向与强度。

Es sensible a valores atípicos, que pueden aumentar o reducir el coeficiente.

它对异常值敏感,异常值可能抬高或拉低该系数。

Spearman (asociaciones monotónicas):

Spearman(单调关联):

\[ \rho_{x,y}=1-\frac{6\sum_{i=1}^{n} d_i^{2}}{n\,(n^{2}-1)}, \qquad \rho_{x,y}\in[-1,1] \]

donde \(d_i = rango(x_i) - rango(y_i)\) representa la diferencia entre las posiciones ordinales (rangos) del dato i-ésimo al ordenar X e Y de menor a mayor.

其中 \(d_i = \mathrm{rango}(x_i) - \mathrm{rango}(y_i)\),表示把 X 与 Y 分别由小到大排序后,第 i 个数据的秩次之差。

Detecta tendencias crecientes o decrecientes, aunque no sean lineales.

能识别递增或递减趋势,即使它们并非线性。

Al trabajar con rangos, es menos sensible a valores extremos.

由于使用秩次,它对极端值不那么敏感。

符号西语读法中文
\(r_{x,y}\)coeficiente de correlación de PearsonPearson 相关系数
\(\rho_{x,y}\)coeficiente de correlación de Spearman (rho)Spearman 相关系数(读 rho)
\(\bar{x},\ \bar{y}\)media de X / media de YX 的均值 / Y 的均值
\(d_i\)diferencia de rangos del dato i第 i 个数据的秩次差
\(n\)número de pares de observaciones观测对的数量
考点:两个公式的「适用场景」比公式本身更常考——线性 + 无异常值 → Pearson;单调 + 有异常值/序数 → Spearman。若题目同时给出 r 和 ρ,就是让你做 p.23 的诊断矩阵判断。
陷阱:Spearman 公式里的 \(6\) 和 \(n(n^2-1)\) 只适用于没有并列秩次的简化式;有并列时必须用秩次直接算 Pearson 相关。另外 \(d_i\) 是「X 的秩 − Y 的秩」,顺序反了符号会整体翻转。
记忆钩子:「Pearson 拿原始值算直线,Spearman 先排队再算趋势;一个怕极端,一个不怕」。
p.22

Interpretación y diagnóstico bivariante (r y ρ) · 双变量解释与诊断:强度阈值与警报

▸ 原页截图 p.22(阈值页,默认展开) 原讲义第 22 页

1. Escala de Magnitud y Redundancia (umbrales orientativos)

1. 强度与冗余量表(参考阈值)

Aplica tanto a Pearson (r) como a Spearman (ρ) (les llamaremos |coef|)

同时适用于 Pearson(r)和 Spearman(ρ)(我们统称为 |coef|)。

Fuerte (0,80 ≤|coef| ≤1,00)

强(0,80 ≤ |coef| ≤ 1,00)

Moderada (0,30 ≤|coef| < 0,80)

中等(0,30 ≤ |coef| < 0,80)

Débil o Nula (0,00 ≤coef < 0,30

弱或无(0,00 ≤ |coef| < 0,30)

Alertas:

警报:

Si |r| > 0,85 → Alerta de multicolinealidad lineal

若 |r| > 0,85 → 线性多重共线性警报。

Una variable se puede aproximar mediante una transformación lineal de la otra (Y ≈ aX + b).

一个变量可以用另一个变量的线性变换来近似(Y ≈ aX + b)。

Si ρ > 0,85 → Alerta de redundancia de información

若 ρ > 0,85 → 信息冗余警报。

Una variable se puede aproximar mediante una transformación no lineal monotónica de la otra (ej. Y ≈ e^x o Y ≈ log X), conservando el mismo orden jerárquico.

一个变量可以用另一个变量的单调非线性变换来近似(例如 Y ≈ e^x 或 Y ≈ log X),并保持相同的排序。

|coef| 区间强度西语标签
0,80 – 1,00强Fuerte
0,30 – <0,80中等Moderada
0,00 – <0,30弱或无Débil o Nula
> 0,85警报线Multicolinealidad (r) / Redundancia (ρ)
原文笔误(两处):①「Débil o Nula」一行原文写作 0,00 ≤coef < 0,30,缺绝对值符号与右括号,应为 0,00 ≤ |coef| < 0,30);②冗余警报原文写作 Si ρ > 0,85,应为 Si |ρ| > 0,85(负相关同样构成冗余)。照抄原文,但理解按带绝对值的版本来。
考点:三个阈值必须记死——0,80 分强弱、0,30 分有无、0,85 报警报。注意 \(r\) 的 0,85 叫 multicolinealidad,\(ρ\) 的 0,85 叫 redundancia,名字不能互换,这是判断题的经典陷阱。
记忆钩子:「八零算强,三零算有,八五拉警报;r 说共线,ρ 说冗余」。
p.23

2. Matriz diagnóstica · 诊断矩阵:r 与 ρ 的组合判读

▸ 原页截图 p.23(表格页,默认展开) 原讲义第 23 页

2. Matriz diagnóstica

2. 诊断矩阵

Si...(若……)Diagnóstico(诊断)Interpretación posible (confirmar con gráficos)(可能解释,需用图形确认)
r ≈ ρ, ambos altos y del mismo signo Tendencia en línea recta (Lineal) Compatible con una relación lineal directa y limpia, sin distorsión por datos extremos.
|ρ| ≫ |r| Tendencia en curva o datos atípicos Los datos crecen o decrecen siempre en el mismo sentido, pero en curva (ej. exponencial) o un valor aislado hace que baje el valor de r.
Signo r ≠ Signo ρ Dato atípico influyente Podría ser que único punto extremo distorsione el cálculo de r invirtiendo su signo.
r ≈ 0 y ρ ≈ 0 Sin tendencia simple No hay una subida o bajada continua (ej. parabólica).
中文速读:①r≈ρ 都高同号 → 干净直线;②|ρ| 远大于 |r| → 曲线或异常值拖累 r;③符号相反 → 单个极端点把 r 拉反了;④两者都≈0 → 无简单趋势(可能是抛物线/U 形)。
原文笔误:第三行解释写 Podría ser que único punto extremo…,缺不定冠词,应为 que un único punto extremo…。抄写时补 un。
考点:诊断矩阵是「给 r 和 ρ 让你下结论」的万能表。答题模板:«Como r ≈ ρ y ambos son altos, la relación es lineal; conviene confirmarlo con el diagrama de dispersión»。切记最后一定要加「需图形确认」——这是评分点。
记忆钩子:「同高同号是直线,ρ 大 r 小是弯的,符号相反有刺客,双双为零没趋势」。

六、双变量图形:热图与散点图

p.24–p.28
p.24

1. Mapa de Calor de Correlaciones (Heatmap) · 相关系数热图

▸ 原页截图 p.24(图示页,默认展开) 原讲义第 24 页

Matriz visual (p×p) codificada por colores que sintetiza los coeficientes (r o ρ) entre todos los pares de variables cuantitativas.

用颜色编码的 (p×p) 可视化矩阵,汇总所有定量变量两两之间的系数(r 或 ρ)。

Paleta de color (Divergente):

配色方案(发散型):

Distingue el signo de la relación (ej. azul para +, rojo para −).

区分关联的符号(例如蓝色表示 +,红色表示 −)。

Intensidad / Saturación: Representa la magnitud (|coef|):

强度 / 饱和度:表示大小(|coef|):

Color intenso / oscuro: Coeficiente próximo a +1 o −1 (alerta visual de alta asociación o redundancia).

深色 / 浓色:系数接近 +1 或 −1(高关联或冗余的视觉警报)。

Color neutro / claro: Coeficiente próximo a 0 (ausencia de asociación lineal/monotónica).

中性色 / 浅色:系数接近 0(不存在线性 / 单调关联)。

考点:热图三要素必答——①p×p 对称矩阵;②颜色区分正负(发散色板);③深浅表示强度。考试常问「为什么对角线都是 1,00」,答:变量与自身的相关系数为 1,这是自相关,不是冗余。
陷阱:热图只给「系数」,不给「因果」,也不告诉你关系是否线性——所以 p.23 的诊断矩阵才反复强调「confirmar con gráficos」。别在简答题里写「热图证明 X 导致 Y」。
记忆钩子:「蓝正红负,越深越黏;对角线全是自己,当然 1,00」。
p.25

Ejemplo análisis bivariante · 例题:员工数据表(10 名员工,4 个变量)

▸ 原页截图 p.25(表格页,默认展开) 原讲义第 25 页

Considérense los siguientes datos ficticios sobre empleados de una empresa:

考虑以下关于某公司员工的虚构数据:

EmpleadoEdad (X1)Experiencia (X2)Horas Formación (X3)Salario k€ (Y)
E012516028
E022844038
E033562545
E0440113068
E0542105062
E0645152080
E0750163582
E0854211588
E0958204595
E1062251096
表头变量编号很关键:X1 = 年龄、X2 = 经验、X3 = 培训小时、Y = 薪资(千欧)。后面 p.26 的热图和 p.28 的散点图都按这四个变量讲解,编号对不上就全乱套了。
考点:这类「n=10、4 变量」的小表是计算题素材。常考:①判断变量类型(全为定量);②算某两列的 Pearson;③根据结果说是否冗余。注意 Y 的单位是 k€(千欧元),答题时写上单位更稳。
陷阱:表里 E09 的经验(20)比 E08(21)小,但年龄更大——说明经验不是年龄的严格线性函数。别看着「大概同步」就手算 Pearson 写成 1,00,真实值是 0,99。
记忆钩子:「年龄涨、经验涨、工资涨,培训反向掉;E09 经验回个头,所以不是完美 1」。
p.26

Ejemplo: mapas de calor · 例题:员工数据的热图解读

▸ 原页截图 p.26(图示页,默认展开) 原讲义第 26 页

Edad, experiencia y salario: los mapas muestran correlaciones positivas muy fuertes (coef. > 0,97).

年龄、经验与薪资:热图显示非常强的正相关(系数 > 0,97)。

Edad y experiencia: elevada correlación sugiere posible redundancia

年龄与经验:高相关提示可能存在冗余。

Formación: presenta correlaciones negativas moderadas con las demás variables, entre −0,53 y −0,65.

培训:与其他变量呈中等负相关,介于 −0,53 与 −0,65 之间。

PearsonEdad X1Experiencia X2Formación X3Salario Y
Edad X11,000,99−0,560,98
Experiencia X20,991,00−0,650,98
Formación X3−0,56−0,651,00−0,58
Salario Y0,980,98−0,581,00

(右图为 Spearman 矩阵:Edad–Experiencia 0,98;Edad–Salario 0,99;Formación 与其他变量 −0,53 ~ −0,65。)

(右图为 Spearman 矩阵:年龄–经验 0,98;年龄–薪资 0,99;培训与其他变量 −0,53 ~ −0,65。)

考点:这页的标准结论句必须背下来——«Edad, experiencia y salario presentan correlaciones positivas muy fuertes (> 0,97), lo que sugiere redundancia; la formación muestra correlaciones negativas moderadas (−0,53 a −0,65)»。分数全在这两个数字区间上。
陷阱:0,99 > 0,85,按 p.22 的规则已经触发冗余警报;不要只说「相关很强」就收笔,必须补一句「可作为冗余变量考虑剔除」。另外负相关看绝对值判强度:−0,65 是中等,不是「弱」。
记忆钩子:「年龄经验薪资三兄弟 0,97 以上抱团,培训一个人 −0,6 反向站」。
p.27

2. Diagrama de Dispersión (Scatter Plot) · 散点图

▸ 原页截图 p.27 原讲义第 27 页

Representa cada observación como un punto (xᵢ, yᵢ) en un plano cartesiano. Permite diagnosticar visualmente:

把每个观测表示为笛卡尔平面上的一个点 \((x_i, y_i)\)。可用来直观诊断:

Forma de la relación:

关系的形态:

Lineal: Puntos distribuidos a lo largo de una recta.

线性:点沿一条直线分布。

Curva Monotónica: Tendencia creciente/decreciente en curva (ej. saturación de enlace o retardo exponencial).

单调曲线:呈曲线状递增 / 递减趋势(例如链路饱和或指数时延)。

No Monotónica: Patrones complejos (ej. parabólicos o en "U") donde r ≈ 0 y ρ ≈ 0.

非单调:复杂模式(例如抛物线或「U」形),此时 r ≈ 0 且 ρ ≈ 0。

Agrupaciones y Atípicos:

聚集与异常值:

Cúmulos (Clusters): Subpoblaciones de datos dentro del dataset.

簇(聚类):数据集内部的子群体。

Puntos atípicos/influyentes: Observaciones alejadas de la tendencia global.

异常 / 影响点:远离整体趋势的观测。

考点:散点图三种形态 + 两个特殊结构,一共五个词:lineal、curva monotónica、no monotónica、clúster、punto atípico/influyente。描述题按「形态 → 方向 → 强度 → 有无异常点 / 聚集」四步写,稳拿满分。
陷阱:「U 形」时 r ≈ 0 并不代表「没有关系」,而是没有线性/单调关系。这是最经典的偷换概念题:看到 r=0 就下结论「两变量无关」会被扣分,正确说法是「可能存在非单调关系,需看散点图」。
记忆钩子:「直线一条,曲线单调,U 形两空;抱团叫簇,飞出去叫异常」。
p.28

Ejemplo: diagramas de dispersión · 例题:员工数据的散点图矩阵

▸ 原页截图 p.28(图示页,默认展开) 原讲义第 28 页

Edad y experiencia: presentan una asociación positiva muy fuerte y aproximadamente lineal, lo que sugiere posible redundancia.

年龄与经验:呈现非常强且近似线性的正关联,提示可能存在冗余。

Formación: muestra una tendencia negativa respecto a la edad, la experiencia y el salario, con mayor dispersión.

培训:相对年龄、经验和薪资呈负向趋势,且离散程度更大。

Salario: presenta una asociación positiva clara con la edad y la experiencia (al principio sube rápido y luego se desacelera)

薪资:与年龄和经验呈明显的正关联(起初上升很快,随后放缓)。

Hipótesis para investigar: ¿podría ser que la formación se concentre en empleados con menos experiencia?

待研究的假设:培训是否可能集中在经验较少的员工身上?

¡Ojo!. Las asociaciones no permiten establecer causalidad y el tamaño pequeño de la muestra no permite generalizar

注意!关联不能确立因果关系,且样本量小,不能推广。

原文笔误:原文写作 ¡Ojo!. Las asociaciones…,感叹号后又加了句点,属重复标点,应为 ¡Ojo! Las asociaciones…。另外「al principio sube rápido y luego se desacelera」正好对应 p.27 的 curva monotónica,别误判成线性。
考点:本页给出两个「结论 + 限制」的满分模板:①asociación fuerte ≈ redundancia;②asociación ≠ causalidad + muestra pequeña → no generalizar。任何相关性大题,最后两句不写,直接丢 2 分。
答题加分句(可直接背):«La relación entre edad y salario parece no lineal: crece rápido al inicio y se satura después; sería conveniente ajustar un modelo no lineal y ampliar la muestra antes de generalizar.»
记忆钩子:「相关不是因果,小样本别吹牛;工资先冲后刹,那是曲线不是直线」。

七、专有名词总表

A–Z · 全章 28 页

A–Z 术语速记表

按西语字母排序;「页」可点击跳回原页上下文。最后一列是考试时真正救命的「一句话 + 易错点」。

西语术语中文页一句话记住 · 易错点
A
análisis exploratorio de datos探索性数据分析p.3先摸清数据再建模;不是「画图课」。
análisis univariante单变量分析p.5一次只看一个变量:定量看分布,分类看频数。
análisis bivariante双变量分析p.20只研究两个定量变量的关联,不等于回归建模。
asociación关联p.20关联 ≠ 因果,任何相关题都要补这句。
asimetría偏度p.8g₁>0 右尾长(正偏),g₁<0 左尾长(负偏)。
atributo属性 / 字段p.4等同 variable;审计先看类型与单位。
B
bigote须p.11须只画到围栏内真实数据,不画到 LI / LS。
diagrama de barras条形图p.18柱分开;名义降序,有序保自然序。
C
cardinalidad基数p.14不同取值个数;8 个原始标签 ≠ 4 个真实类别。
caja箱体p.11从 Q₁ 到 Q₃,装中间 50% 的数据。
cuartil四分位p.6Q₁=P25、Q₂=P50、Q₃=P75。
correlación de PearsonPearson 相关p.21只测线性;对异常值敏感。
correlación de SpearmanSpearman 相关p.21测单调;用秩次,抗极端值。
clúster / cúmulo簇p.27散点图里的子群体,不是异常点。
concentración de frecuencias频率集中p.14少数类别占大多数 → 类别失衡。
coherencia entre variables变量间一致性p.4逻辑校验,如结束日期 ≥ 开始日期。
D
desviación típica标准差p.6样本公式分母 n−1;和均值一样怕极端值。
diagrama de dispersión散点图p.27看形态、聚集、异常点最直观。
diagrama de cajas y bigotes箱线图p.11五要素:箱、中线、两须、须外点。
desequilibrio de clases类别失衡p.14用 IR 量化,IR = n_max / n_min ≥ 1。
E
etiquetas inconsistentes标签不一致p.14Madrid / madrid / MAD 先合并再统计。
escala de magnitud强度量表p.220,80 分强弱、0,30 分有无、0,85 报警报。
estructura de los datos数据结构p.4变量、维度、标识符,三件事开场。
F
frecuencia absoluta绝对频数p.14n_i 是个数,不是百分比。
frecuencia relativa相对频率p.14p_i = 100 · n_i / N,合计 100%。
coeficiente de asimetría de FisherFisher 偏度系数p.8课上公式除以 n,不是 n−1。
forma (medidas de forma)形态(度量)p.5偏度描述形状,不是离散程度。
H
histograma直方图p.11柱紧贴;组距一改,外观就变。
heatmap / mapa de calor热图p.24p×p 对称;颜色分正负,深浅看强度。
I
identificadores标识符p.4唯一标识观测,不参与相关性分析。
inconsistencias不一致p.4格式 / 单位 / 标签不统一,属质量问题。
IQR (rango intercuartílico)四分位距p.6IQR = Q₃ − Q₁,含中间 50%。
IR (ratio de desequilibrio)类别失衡比p.14600/20=30,读作「30 倍」不是「多 30」。
L
límite inferior / límite superior下限 / 上限p.9LI = Q₁ − 1,5·IQR;LS = Q₃ + 1,5·IQR。
lineal (asociación)线性(关联)p.20点沿直线分布,Pearson 的主场。
M
media均值p.6对极端值敏感,总和除以 n。
mediana中位数p.6稳健;就是 Q₂ = P50。
multicolinealidad多重共线性p.22|r| > 0,85 的线性冗余警报。
matriz diagnóstica诊断矩阵p.23用 r 与 ρ 的大小、符号组合下结论。
mapa de correlaciones相关图p.20热图的另一种叫法,用颜色表系数。
N
variable nominal名义变量p.18类别无序;条形图按频数降序。
dato normal正常数据p.9落在 [LI, LS] 内,不是「正态分布」。
O
variable ordinal有序变量p.18有等级;条形图保自然序,别按频数排。
outlier异常值p.9候选异常 ≠ 一定要剔除,要结合业务。
P
percentil百分位p.6P50 就是中位数;P25/P75 是四分位。
punto atípico / influyente异常 / 影响点p.27远离整体趋势,可能翻转 r 的符号。
R
rango intercuartílico四分位距p.6同 IQR,是稳健的离散度量。
redundancia冗余p.22|ρ| > 0,85;单调非线性也算。
rango (Spearman)秩次p.21d_i = rango(x_i) − rango(y_i)。
S
saturación (de color)饱和度p.24颜色越深,|coef| 越大。
signo (de la relación)关联符号p.20正=同向,负=反向;热图蓝正红负。
T
regla de TukeyTukey 法则p.91,5×IQR 画围栏,不要求分布正态。
tendencia central集中趋势p.5均值 + 中位数,两件套。
tamaño de la muestra样本量p.28小样本不能推广,结论题必写。
V
valor atípico异常值p.980 ms > LS=38,5 → 候选异常。
valores ausentes缺失值p.4按变量和按观测都要统计。
valores inválidos无效值p.4超出允许范围 / 类别,和缺失不是一回事。
vallas de TukeyTukey 围栏p.9[LI, LS] 之外即候选异常。

阈值与公式速记卡

这一章真正要背死的数字都在这里;考试前扫一眼就够。

项目阈值 / 公式一句话口诀
Fisher 偏度 \(g_1\)0–0,5 leve · 0,5–1 moderada · >1 fuerte「半点轻微,一点强;符号看尾巴」
Tukey 围栏LI = Q₁ − 1,5·IQR
LS = Q₃ + 1,5·IQR
「一五倍 IQR,两边各画一道栏」
百分位与四分位Q₁=P25 · Q₂=P50 · Q₃=P75「二五五零七五,三刀切四段」
类别失衡比 IRIR = n_max / n_min「最大除最小,永远 ≥ 1」
相关强度0,80–1,00 fuerte
0,30–<0,80 moderada
0–<0,30 débil o nula
「八零算强,三零算有」
警报线|r| > 0,85 multicolinealidad
|ρ| > 0,85 redundancia
「八五拉警报,r 共线、ρ 冗余」
相对频率p_i = 100 · n_i / N「人头除以总数,再乘一百」
样本标准差s = √( Σ(x_i−x̄)² / (n−1) )「分母 n−1,别写成 n」

易混对照卡

下面每一对都是「看着像、考起来要命」的组合,左右各一句判据。

直方图 vs 条形图
直方图:定量、柱紧贴、按区间。条形图:分类、柱分开、按类别。
Pearson vs Spearman
Pearson 测线性、用原始值、怕异常值;Spearman 测单调、用秩次、抗异常值。
均值 vs 中位数
均值对极端值敏感;中位数稳健,等于 P50。
标准差 vs IQR
标准差配均值、怕极端值;IQR 配中位数、稳健。
异常值 vs 无效值
异常值是「罕见但可能真实」;无效值是「超出允许范围,不可能真实」。
缺失值 vs 不一致
缺失是「没有」;不一致是「有,但写法/单位/格式对不上」。
基数 vs 类别数
基数是不同取值个数;原始标签 8 个,清洗后真实类别只有 4 个。
名义 vs 有序
名义条形图按频数降序;有序必须保持自然等级序。
多重共线性 vs 冗余
|r|>0,85 是线性共线;|ρ|>0,85 是单调冗余。名字不能互换。
关联 vs 因果
相关只说明同向/反向变动,不能推出「谁导致谁」。
箱体 vs 须
箱体 Q₁–Q₃ 装中间 50%;须只到围栏内最远的真实数据。
热图 vs 散点图
热图给「系数矩阵」;散点图给「逐点形态、聚集、异常点」。
线性 vs 单调
线性一定单调;单调不一定线性(如指数、对数曲线)。
候选异常 vs 必删
Tukey 只负责「标记候选」,删不删要看业务与数据质量。