新新的博客 | Xinxin Blog

高可用升级Python3

Masakari和Masakari-monitor升级分析

Masakari模块 1、更新Py文件头部声明 #!/usr/bin/python 改为 #!/usr/bin/python3 2、移除six模块 from six.moves import http_client as http 改为 from http import client as http 429: "overLimit" 改为 http.TOO_MANY_REQUES...

Posted by xinxin on July 2, 2021

NumPy基础

数据处理

NumPy（Numerical Python的简称）是Python数值计算最重要的基础包。大多数提供科学计算的包都是用NumPy的数组作为构建基础。 NumPy的部分功能如下： ndarray，一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组。用于对整组数据进行快速运算的标准数学函数（无需编写循环）。用于读写磁盘数据的工具以及用于操作内存映射文件的工具。 ...

Posted by xinxin on December 15, 2020

为什么用多进程

Python进程与线程的切换机制

背景 1、GIL(Global Interpreter Lock;全局解释器锁),来源是Python涉及之初的考虑，未来数据安全所作的决定。 2、每个CPU在同一时间只能执行一个线程（在单核CPU下的多线程其实都只是并发，不是并行，并发和并行从宏观上来讲都是同时处理多路请求的概念。但并发和并行又有区别，并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔内发生。）...

Posted by xinxin on December 15, 2020

大页内存和虚拟机热迁移

linux内存大页配置方法及具有内存大页特性的虚拟机热迁移流程

大页内存的作用　　CPU是通过寻址来访问内存的。32位CPU的寻址宽度是0~0xFFFFFFFF,计算后得到的大小是4G,也就是说可支持的物理内存最大是4G。但如果碰到了这样的问题，程序需要使用4G内存，而可用物理内存小于4G，导致程序不得不降低内存占用。为了解决此类问题，现代CPU引入了 MMU（Memory Management Unit 内存管理单元）。　　MMU 的核心思想是...

Posted by xinxin on December 3, 2020

数据预处理方法总结

数据预处理方法包括相似度、抽样以及降维等方法

数据预处理方法总结数据是什么？数据就是一组对象及其属性的集合，其中属性定义为对象的特征或性质。真实数据在应用前基本都有经过预处理，以便在机器学习算法中使用。本次数据预处理方法的总结是基于推荐系统设计进行展开的，其中包括相似度的度量方法、抽样以及降维技术这三个尤为重要的问题。相似度度量方法在相似度度量方法中，最简单、最常用的就是欧几里得距离： \[{\rm{d}}(x,y...

Posted by xinxin on February 20, 2019

自编码器

自编码器的种类介绍

自编码器在网上一直在搜自编码器的相关资料，但好多看不懂，可能是自己水平限制吧，毕竟对自编码器什么都不懂。经过自己这几天搜集资料，希望能够写一篇相对完善的关于自编码器的资料，希望能有小白看过之后对自编码器有一个初步的了解。自编码器是神经网络的一种，经过训练后能够将输入复制到输出。该网络可以看到由两部分组成：一个由函数h=f(x)表示的编码器和一个生成重构的解码器r=g(h)。这个可能很...

Posted by xinxin on January 19, 2019

数据挖掘流程

数据挖掘是提高机器学习算法准确性的重要一步

数据挖掘流程：我在天池做过一些比赛，比如新人赛里面的o2o，但对于建模前的一些准备（特征工程或者说叫数据挖掘）并没有什么概念，网上也并没有找到相应的资料。刚好今天在网上的课程（京东购买预测）中找到了详细的步骤，故做记录保存分享。（一）数据清洗 1.数据集完整性验证数据是否存在残缺 2.数据集中是否存在缺失值缺失数据是很常见的。python中的pandas的...

Posted by xinxin on January 17, 2019

github博客公式编辑

关于公式编辑的种种

博客搭建进程从昨天下午到刚刚的那一片关于《汽车故障信号特征提取》的文章发出，从一个小小白变成初识github博客的编辑套路，网上关于windows的软件真的是少，比如图床吧，就琢磨对比了一个上午最终还是用七牛云来做。这个网站需要实名认证，不过用着很方面，直接拖拽到软件上就可以直接生成链接复制就可以了。虽然只有10G的流量，但想着刚开始也就这样吧。后来发现就算是有免费的10G还是有一个月免...

Posted by xinxin on January 17, 2019

汽车故障数据特征提取

特征工程包含特征构建、特征提取、特征选择等

从故障信号中提取特征特征工程包含特征构建、特征提取、特征选择等，特征提取中有PCA、ICA、LDA以及最新的降维方法t-SNE等，特征选择也有很多种方法可供使用。本人是研究基于数据驱动的汽车故障诊断，在研究中发现故障信号数据集并不能直接送入有监督的分类器中，还需要在原先数据集的基础上进行特征工程，以便取得更好的检测效果。阅读论文的过程中找到以下6个公式可以从信号数据集中计算统计特征。 ...

Posted by xinxin on January 16, 2019

My First Post

Hello World, Hello Blog

Hey 这是我的第一篇博客。

Posted by xinxin on January 15, 2019

Xinxin Blog