先从今年的国赛C题说起吧,第一次建模比赛还是很紧张的,和队友晚上五点就在等着啦

初步看一下三道题,作为知识储备不深的三位小白果断选择C题,数据分析题

国赛C题:先来看一下题

问题 1 对这些玻璃文物的表面风化与其玻璃类型、纹饰和颜色的关系进行分析;结合玻 璃的类型,分析文物样品表面有无风化化学成分含量的统计规律,并根据风化点检测数据,预 测其风化前的化学成分含量。

我们的分析:

通过对58组玻璃文物表面风化情况与玻璃类型、纹饰和颜色之间进行相关性分析,同时采用卡方检验和fisher’s精确检验,详细分析了各类指标变量之间的相关关系,对比论证了分析结果的合理性;整理了各类玻璃不同风化情况下化学成分的数据,并绘制成化学含量分布直方图,通过对风化过程相关文献进行研究,选取主要指标变量(后续模型建立求解依旧沿用),并结合数据平均数和方差分析其统计规律;分析风化点检测数据,寻找风化过程中不变的参量,提出同一玻璃类型风化机理近似相同的假设,对各类玻璃化学成分含量这一数据进行散点图绘制,发现拟合曲线近似直线,针对风化前后同类玻璃的化学成分含量建立线性函数,利用最小二乘法计算出参数k,b,带入风化后的化学成分含量,得到观测值,对风化前含量进行预测。

解题过程:

3.1 基本假设

  1. 文物挖掘地点相互独立,文物彼此之间没有影响。
  2. 文物表面取样点随机,具有一定的代表性。
  3. 各个观测指标具有相互独立的观测性。
  4. 同种玻璃类型的风化机理近似相同。
  5. 除了题干中给到的无效数据筛选,其余统计数据均为有效数据。

利用SPSS软件算出pearson卡方与显著性检验指标p的数值结果,根据概率统计学假设检验知识可知,设定显著性检验标准为p0=0.05,将p与p0进行对比(小于P0可以认为有95%的可能性拒绝原假设——认为相关)。此外,设相关性强弱指标P1=|P-P0|P0 ,虽然P0是拒绝与接受原假设的分界标准,但是P1一定程度也可以反映相关性的强弱,即:当pp0时,P1越大,相关性越弱。随后通过卡方检验的结果,进一步对变量合理性进行分析,划分变量类型应用于fisher’s检验,同时对比卡方检验和fisher’s检验结果(检验标准与卡方检验一致,也为p0)得出更具有普遍意义的结论。(检验表略)

卡方基本公式:

针对铅钡玻璃,所给数据点显示了其经历未风化——风化——严重风化阶段:在这一阶段中,二氧化硅含量在逐渐减少,但是其风化过程的稳定性一直很差,说明二氧化硅在铅钡玻璃风化过程中,其受到环境影响而发生化学变化导致含量改变的可能性很高;对于氧化铅、氧化钡,考虑总体趋势,两者含量在逐渐增多,但稳定性在逐渐减弱,由此分析可能随着风化程度加深,其化学性质越来越不稳定,容易受到环境影响而产生频繁的化学反应;对于氧化钙,在风化阶段中,其含量也在小幅度缓慢增加,相对于其他化学成分比较,基本不参与整个风化过程(化学性质较为稳定,进行化学反应的机会很少)

我们发现不同类型的玻璃风化前后化学成分的含量不同,但是他们有一个相反的变化趋势,因此我们建立线性拟合的方法给出化学成分之间的函数关系,即通过类别的划分,我们可以计算出(预测)风化前的主要成分含量,最后我们给出该线性模型的检验结果,证明其合理可靠。(结果略)

·································································································································

问题 2 依据附件数据分析高钾玻璃、铅钡玻璃的分类规律;对于每个类别选择合适的化 学成分对其进行亚类划分,给出具体的划分方法及划分结果,并对分类结果的合理性和敏感性 进行分析。

我们的分析:

针对问题二,分析筛出无效数据后的66组文物取样点,建立k均值聚类模型,我们期望所得到与题目类似的模型分类结果,由题意可知,簇的数量k=2,利用欧式距离算法,算出中心簇,对所给数据进行划分,对比数据分析可知,发现所得到的分类结果与我们所期望的分类结果具有很高的近似度,根据数据的特征,给出相应的分类标准;考虑到数据的相关性,在亚类划分的过程中,我们结合了主成分分析和层次聚类模型,首先用层次聚类模型,同样用欧氏距离算法算出中心簇,给出分类结果,随后运用主成分分析,对14个化学成分变量指标进行降维分析,得到相似度极高的分类结论,同时对比两类分类结果给出分类依据,分析其合理性与敏感性。

解题过程:

本题需要依据数据分析铅钡玻璃、高钾玻璃的分布规律。因此考虑从聚类模型出发,期望得到符合我们分类要求的聚类结果,本题我们选取了K均值聚类算法,根据题目要求设定簇的数量为2,即k等于2,针对于计算与簇中心距离的方法,考虑采用欧氏距离算法,计算新的簇中心,最后得到两类聚类结果,根据所得两类数据,对照两类玻璃类型的数据进行分析检验,找出分类规律。

本题需要我们进一步对不同类型玻璃进行亚类划分,给出分类标准,分析其合理性和敏感性。根据题意,我们考虑到数据之间具有一定的相似性,因此首先想到了建立层次聚类分析模型,再由于考虑到样本容量大,变量多会导致不确定性的增肌,我们加入主成分(PCA)分析来对变量进行降维处理,和层次聚类结果进行对比。

k均值聚类模型的求解

  1. 确定聚类的个数本题根据题意,最终目标得到两类结果,因此确定k=2
  2. 给定聚类的数据集,有n个样本X={X1,X2,……Xn},每个样本都含有14个不同的化学成分作为变量Xij 0<i<n,(0<j<14) ,并将变量标准化

本题样本数据将通过Python的csv格式导入自定义数组,进行后续计算

  1. 随机初始化聚类中心,我们本题随机初始化2个聚类中心,{M1,M2}
  2. 本题我们距离计算采用欧式距离公式
  3. d=Xi0-Mt2+(Xi0-Mt)2+….(Xij-Mt)2
  4. 依次比较每一个样本到簇中心的距离,将样本划分到最近的簇中心
  5. 根据计算新簇的均值与当前向量对比,确定新的簇中心,确定类别的划分,给出理想的距离簇中心的欧式距离的范围

Python结果和SPSS结果均最后附上;

最终聚类中心

聚类

1

2

Zscore: 二氧化硅(SiO2)

-0.46412

1.07920

Zscore: 氧化钾(K2O)

-0.24464

0.50405

Zscore: 氧化钡(BaO)

0.13889

-0.47138

Zscore: 氧化铅(PbO)

0.50659

-1.21365

Zscore: 氧化钠(Na2O)

-0.41877

1.27048

层次聚类模型的求解

  1. 相似于k均值聚类,确定聚类的个数,考虑到样本数量大,可分类的变量众多,为了得到相似性的分类结果,我们本题采用k=3
  2. 给定聚类的数据集,有n个样本X={X1,X2,……Xn},每个样本都含有14个不同的化学成分作为变量Xij 0<i<n,(0<j<14) ,并将变量标准化

本题样本数据将通过Python的csv格式导入自定义数组,进行后续计算

  1. 随机初始化聚类中心
  2. 不同于k均值聚类,我们发现使用欧式距离的聚类效果差别太大,对于样本大的铅钡玻璃,我们采用平均值距离,高钾玻璃仍采用欧式距离
  3. 依次比较每一个样本到簇中心的距离,将样本划分到最近的簇中心
  4. 输出类别的划分

主成分分析的求解

  1. 首先我们导入数据集,本题样本数据将通过Python的csv格式导入自定义数组,进行后续计算
  2. 对数据进行去中心化和归一化处理
  3. 计算协方差矩阵,得特征值和特征向量,进而确定主成分
  4. 将特征向量按对应特征值大小从上到下按行排列成矩阵,取前k行组成矩阵P(保留最大的k各特征向量),给出k值选取检验的可视化分析
  5. 降维到K维后的数据

结果的合理性和敏感性分析

  1. 高钾玻璃和铅钡玻璃的分类结果利用SPSS准确率100%,利用Python还是有偏差,因此我们认为该部分Python算法有待改进,大致结果相似,证明两种玻璃类型差异显著,结果具有敏感性和合理性
  2. 对两种玻璃进行亚类分析的结果层次分析和PCA具有高度的相似性,反映了该模型的准确性和合理性

……………(见二啦)

·································································································································