Posts on Xiangyun Huang | 黄湘云

一道医疗背景的笔试题

Sat, 02 May 2026 00:00:00 +0000

这是一道 2019 年的某公司笔试题，面试官要求用不少于 5 种统计模型来建模，在三天内完成并给一个展示。不过，本文仅给出探索分析和广义线性模型的结果，算是前一篇广义线性模型和指数族的应用。

广义线性模型与 R 语言

Thu, 30 Apr 2026 00:00:00 +0000

本文假定读者对简单线性模型（Simple Linear Models）已经比较熟悉了，在其他条件不变的情况下，当响应变量不是高斯分布，而是其他分布时，如何拟合模型呢？在 R 语言中，内置的函数 glm() 可以拟合响应变量的分布属于指数族的模型。这类模型单独取了个名字，叫广义线性模型（Generalized Linear Models）。典型的情况有这样一些，响应变量服从泊松分布、伯努利分布、二项分布、指数分布、伽马分布等。这些常见的分布都可以写成一个指数族（Exponential family）的统一形式，如下。

值得一试的 gglite 包

Sat, 18 Apr 2026 00:00:00 +0000

数据可视化方面，我可是用过不少的 R 包，在生产实践上，大量使用的 R 包是 plotly 包，自己出于兴趣又嫌 plotly 包太笨重，遂在本博客网站上，大量使用 echarts4r 包。

来自政府统计部门的数据

Wed, 15 Apr 2026 00:00:00 +0000

中国政府部门统计数据发布网站


海南省	广西省	湖南省
湖北省	河南省	山东省
江西省	江苏省	上海市
福建省	安徽省	贵州省
河北省	天津市	重庆市
浙江省	吉林省	辽宁省
四川省	宁夏	青海省
内蒙古	陕西省	新疆
黑龙江省	吉林省	北京市
国家统计局	中国人民银行

R 语言中使用 JAGS 和 CmdStan

Mon, 13 Apr 2026 00:00:00 +0000

1 cars 数据集

数据集 cars 来自 Base R 内置的 datasets 包，仅有两个变量 speed （单位：英里/每小时）和 dist（单位：英尺），1 英里约等于 1.6 公里，1 英尺约等于 30.48 厘米。下表展示了数据集 cars 的部分内容。

R 语言中使用 Spark

Mon, 13 Apr 2026 00:00:00 +0000

在生产环境中，数仓团队根据业务需求，生产一张张表（明细表 detail、维度表 dim、主题表 topic、聚合表 aggr、应用表 app），落在 Hive 管理的数据仓库中。Spark 是大规模分布式计算引擎，将数据加载到内存中进行计算。在大规模复杂的计算中，会用到 Hive SQL 或 Spark SQL，前者内存资源需求少但计算慢，后者吃内存资源但计算更快。

matplotlib 绘制双轴图

Tue, 07 Apr 2026 00:00:00 +0000

注：本文的绘图代码借助 AI 转化和生成。读取数据的代码由 R 语言版转为 Python 版，绘图代码由 AI 生成，再手动调整。

个人住房贷款余额的变化能反应房地产市场居民端购房情况。结合数据来看，购房需求见顶，房地产市场进入存量时代。从 2011 年到 2025 年，个人住房贷款余额从 6.4 万亿增加到 37.44 万亿，信贷扩展了近 5 倍。而中国 GDP 从 47 万亿到 140 万亿，增加了仅 2 倍。

A/B 实验之多重假设检验

Wed, 01 Apr 2026 00:00:00 +0000

本文介绍 A/B 实验过程中多重假设检验的问题，实验策略迭代优化的时候，可能会影响多个指标。业务上，我们希望能在保持住某些指标的情况下（约束指标），努力提升一些指标，很少有对所有指标都带来显著提升的情况。所以，在一次 A/B 实验中做了多个检验，其中一些指标向好，另一些指标向坏，在探索和利用的精细平衡之间，常常出现跷跷板现象。逐个检验指标还是同时检验多个指标以避免假阳性问题呢？当然是后者，在统计学上，这是一个多重假设检验的问题。

A/B 实验之两样本的比率检验

Mon, 30 Mar 2026 00:00:00 +0000

在 A/B 实验场景下，对于比率型指标的检验，以访购率为例，今天的访购率相比于昨天的访购率是有显著提升还是随机波动？这涉及到两样本二项总体的比例检验。

A/B 实验之假设检验的理论

Sat, 28 Mar 2026 00:00:00 +0000

1 基础篇

设 \(X_1,X_2,\ldots,X_n\) 是相互独立且同为正态分布 \(N(\mu,\sigma^2)\) 的一组随机变量，\(x_1,x_2,\ldots,x_n\) 是抽取自该正态分布的一组样本观察值。

用 geopandas 绘制邵阳市各区县的人口分布图

Fri, 27 Mar 2026 00:00:00 +0000

我以前写过 10 篇用 R 语言绘制地图和空间数据可视化相关的博客。

【热门文章】R 语言画中国地图找各种地图数据、检查数据可用性
【热门文章】空间数据可视化与 R 语言（上篇）介绍空间数据操作 sf 包，用 echarts4r、 leaflet、plotly 和 lattice 包绘制可视化图形。
空间数据可视化与 R 语言（中篇）找各类在线地图服务，结合在线地图绘制空间数据的各类可视化图形。
空间数据可视化与 R 语言（下篇）不同类型的空间数据和不同的绘制方法。
【进阶】地区分布图及其应用总结 R 语言中 7 种空间数据可视化的绘图方法。
【进阶】R 语言制作地区分布图及其动画以动画的方式可视化空间数据（时空数据）。
【高阶】预测朗格拉普岛核辐射强度的分布 R 语言做空间分析和建模。
【进阶】中国常住人口分布图（2023 年市级） leaflet 包可视化中国各市的常住人口数及其变化。
地震越来越频繁了吗？ ggplot2 包绘制地图。
highcharter 食谱 highcharter 包绘制地图。

今天，用一些 Python 模块绘制一幅邵阳市人口的空间分布图。

命令行工具版本冲突导致 brew 管理失效

Wed, 25 Mar 2026 00:00:00 +0000

MacOS Tahoe 是一次 UI 上大改变的版本更新，流动的玻璃质感，我之前忍不住更新了一下。后来，通过系统设置检查更新，发现新的系统和CLT（命令行开发工具），又更新过系统，也更新过 CLT 。不知怎的，发现 brew 安装的 APP 不能用 brew 卸载，而且 brew 安装 app 的时候，有时候还出现错误。

matplotlib 绘制分组折线图

Tue, 24 Mar 2026 00:00:00 +0000

本文用 matplotlib 绘制一幅分组折线图，所用数据源：国家统计局统计年鉴 https://www.stats.gov.cn/sj/ndsj/2025/indexch.htm 。想要按私营单位与非私营单位分组展示2010-2024年房价与税前人均年收入的比值的变化趋势，即一般地，一个人需要多少年不吃不喝才能攒够一笔城里买房的钱。

A/B 实验之统计指标的计算

Thu, 19 Mar 2026 00:00:00 +0000

去年 12 月份中旬，面试淘宝闪购的一个数据科学家职位，考察内容主要分三块 SQL、Python 和 A/B 实验。发现自己对胸有成竹的东西的忽视，以至于在小问题上翻船了。有必要回顾一下 A/B 实验的相关内容，本文介绍 A/B 实验场景中，遇到复杂指标的时候，如何做统计分析。其核心是如何估计一个随机变量的函数的分布，真实的分布是无法获得的，只能根据现有的数据去近似，Delta 方法和 Bootstrap 方法。

scikit-learn 做机器学习

Sat, 01 Nov 2025 00:00:00 +0000

本文基于 iris 数据集介绍 scikit-learn (https://scikit-learn.org/stable/) 的简单用法，并提供 R 语言的等价表示。

Tensorflow 的张量（多维数组）操作

Fri, 31 Oct 2025 00:00:00 +0000

1 准备

创建数组

import tensorflow as tf
A = tf.constant([[1.0, -1.0], [1.0, 1.0]])
A

## <tf.Tensor: shape=(2, 2), dtype=float32, numpy=
## array([[ 1., -1.],
##        [ 1.,  1.]], dtype=float32)>

import numpy as np
a = np.array([[1., -1.], [1., 1.]])
a

## array([[ 1., -1.],
##        [ 1.,  1.]])

2 张量操作

2.1 基础操作

均值和矩阵乘法

SciPy 做科学计算

Sat, 18 Oct 2025 00:00:00 +0000

SciPy 是基于 NumPy 做科学计算的 Python 模块，它的官网没有类似 NumPy 和 Pandas 的快速入门文档，但有一个按功能分类的用户指南。本文介绍 SciPy 提供的基础算法，涵盖优化、积分、插值、特征值问题、代数方程、微分方程、统计学等功能。

NumPy 快速入门

Fri, 17 Oct 2025 00:00:00 +0000

本文继《10分钟入门pandas》之后，又一篇快速入门 Python 模块的文章，来自 NumPy 的官网NumPy quickstart，也是要同步添加 R 代码实现。

10分钟入门pandas

Tue, 07 Oct 2025 00:00:00 +0000

这是为 Pandas 新用户准备的简短的入门介绍，我补充了对应的 R 语言实现。对 R 语言用户来说是熟悉 Python 语言的机会，对 Python 用户来说是了解 R 语言的机会 – 左手用 R 右手用 Python 。

可视化局部多项式回归结果

Tue, 07 Oct 2025 00:00:00 +0000

复现 ISLR (《Introduction to Statistical Learning with Applications in R》) 书中图 2.3 — 收入关于受教育年限、工作资历的关系。

library(readr)
# https://github.com/rghan/ISLR/blob/master/Income2.csv
Income <- read_csv("data/Income2.csv", col_types = cols(x1 = col_skip()))

拟合数据 Local Polynomial Regression Fitting

model <- loess(Income ~ Education + Seniority, data = Income)

生成预测值

湖南省统计年鉴（区县级）

Tue, 07 Oct 2025 00:00:00 +0000

加载湖南省区县级行政区划边界地图数据

hunan_geo <- sf::read_sf("data/湖南省.json")
hunan_geo

## Simple feature collection with 122 features and 9 fields
## Geometry type: MULTIPOLYGON
## Dimension:     XY
## Bounding box:  xmin: 108.8 ymin: 24.64 xmax: 114.3 ymax: 30.13
## Geodetic CRS:  WGS 84
## # A tibble: 122 × 10
##    adcode name   childrenNum level    parent     subFeatureIndex center centroid
##     <int> <chr>        <int> <chr>    <chr>                <int> <list> <list>  
##  1 430102 芙蓉区           0 district "{ \"adco…               0 <dbl>  <dbl>   
##  2 430103 天心区           0 district "{ \"adco…               1 <dbl>  <dbl>   
##  3 430104 岳麓区           0 district "{ \"adco…               2 <dbl>  <dbl>   
##  4 430105 开福区           0 district "{ \"adco…               3 <dbl>  <dbl>   
##  5 430111 雨花区           0 district "{ \"adco…               4 <dbl>  <dbl>   
##  6 430112 望城区           0 district "{ \"adco…               5 <dbl>  <dbl>   
##  7 430121 长沙县           0 district "{ \"adco…               6 <dbl>  <dbl>   
##  8 430181 浏阳市           0 district "{ \"adco…               7 <dbl>  <dbl>   
##  9 430182 宁乡市           0 district "{ \"adco…               8 <dbl>  <dbl>   
## 10 430202 荷塘区           0 district "{ \"adco…               0 <dbl>  <dbl>   
## # ℹ 112 more rows
## # ℹ 2 more variables: acroutes <list>, geometry <MULTIPOLYGON [°]>

加载 2023 年湖南省各区县的数据（数据来自湖南省统计局发布的统计年鉴 2024）

那些年看过的影视剧

Wed, 24 Sep 2025 00:00:00 +0000

如果要看电影，不妨刷刷这些奖项的榜单。在豆瓣或百度百科上可以找到历届获奖的影片，比如 1992 年第 64 届奥斯卡、1989 年第 9 届金鸡奖。

奖项	华表奖	百花奖	金鸡奖	金像奖	金马奖	奥斯卡奖	金棕榈奖	金狮奖	金熊奖	飞天奖	白玉兰奖
设立年份	1957	1962	1981	1982	1962	1929	1957	1949	1951	1981	1988
影视类别	电影	电影	电影	电影	电影	电影	电影	电影	电影	电视	电视
国家地区	中国	中国	中国	中国香港	中国台湾	美国	法国戛纳	意大利威尼斯	德国柏林	中国	中国

以前的影视剧看起来就是够有劲，比如 2006 年的《至高利益》，相比于 2017 年的《人民的名义》更直接更生猛更深刻，都是周梅森的作品。

中国常住人口分布图（2023 年市级）

Wed, 17 Sep 2025 00:00:00 +0000

数据说明

从收集整理展示房地产相关的核心数据后，感到人口数据是最本质的一个数据指标，事关全局发展。为了防止过粗，不选省级数据，又防止数据整理规模过大，不选区县级，因此，量力而行，先选一个数据指标—中国各市、州的年末常住人口数（有的统计年鉴没有常住人口数指标，以年末总人口替代，重庆市各区县以年末户籍人口替代）。香港特别行政区最新的人口数据是 2021年的，澳门特别行政区的情形同香港。~~（大半天的时间在各种格式的统计年鉴中摘数据。）~~

中国各地区城镇化率

Fri, 05 Sep 2025 00:00:00 +0000

在网上常看到一些展示你追我赶的动态图，用于需要比较的展示场合，比如ECharts 示例动态排序折线图，在论坛发了一个贴如何制作一个动态的时间序列趋势图，得到解决办法。

过去 10 年中国各地区的城镇化率数据来自国家统计局发布的 2024 年统计年鉴。

非交互表格

Tue, 05 Aug 2025 00:00:00 +0000

一些需要打印或出版的场景需要制作非交互的表格。R 语言社区也有不少 R 包可以制作所需表格，其中 gt 包非常值得介绍，它可以制作非常复杂的表格样式，表格定制能力很强，gt 包的设计遵循 ggplot2 的设计哲学，打造制作表格的语法。

时间序列预测与 mgcv 包

Tue, 15 Apr 2025 00:00:00 +0000

在数据处理规模和复杂性上，传统的统计方法往往容易受到挑战和质疑，特别是在这种以预测为主要目的的任务上。实际上，统计方法中有一类非/半参数方法（参数量可随样本量而定），比如样条模型。这类半参数模型中的代表是可加模型，而这可加模型是梯度提升类模型（代表是 xgboost (Chen and Guestrin 2016)）的统计表示(J. Friedman, Hastie, and Tibshirani 2000; J. H. Friedman 2001)，可加成分中的样条类型和复杂度可根据数据和优化目标决定。

可视化可加模型与 mgcv 包

Wed, 26 Mar 2025 00:00:00 +0000

我在了解高斯过程拟合的过程中，在 brms 包[1]的 gp() 函数帮助文档中发现 mgcv 包[2]的 gamSim() 函数，这个函数打包了一些数据模拟的过程，这个具体过程需要看该函数的源代码。

用 tikz 绘制一个凸锥

Wed, 26 Mar 2025 00:00:00 +0000

2023年我想用 tikz 绘制一个凸锥（凸锥优化），遇到一个问题，这个问题Maybe a bug in addplot3，最终发现不是软件的BUG，而是遇到了浮点数计算溢出的问题，这个问题是绘图者自己应该考虑的。本文将 TikZ 绘图的代码和问题暂记于此。

图像处理与 R 语言

Tue, 25 Mar 2025 00:00:00 +0000

R 语言生态中专门做图像处理的工具也不少，最流行的莫过于 magick 包。计算机视觉方面的前沿技术和理论还是卷积神经网络这套工具，什么神经网络就不说了，什么是卷积本文以简单的示例揭开其神秘面纱。像 ImageMagick 和 Adobe Photoshop 等图像处理软件，其背后都有卷积，甚至神经网络算法。

文本处理与 tm 包

Sat, 22 Mar 2025 00:00:00 +0000

本文以 R 包元数据中的描述字段作为语料，基于 tm 包 (Feinerer, Hornik, and Meyer 2008) 介绍文本分析中的基本概念和操作。我的专业背景不涉及生物信息，但是我会以 BioC 仓库(https://www.bioconductor.org/)而不是 CRAN 的R包元数据作为语料，一是了解一个陌生的领域，这令人兴奋，二是学习新的技术脱离熟悉的地方可以检查一下学习的效果，本文若有分析错误的地方，希望看到的朋友给提出来。