售前咨询
技术支持
渠道合作
  • 常见的网络攻击之ARP攻击

    什么是ARP攻击 ARP(Address Resolution Protocol,地址解析协议)是一个位于TCP/IP协议栈中的底层协议,负责将某个IP地址解析成对应的MAC地址。ARP协议的基本功能就是通过目标设备的IP地址,查询目标设备…

  • CDN_IP对应地区-MRJob-Python数据分析(17)

    1.1. 前言 由于我们这边没有使用 M/R join的方法来实现 IP对应的区域,我们是使用M/R结合Pandas来实现。 我们计算CDN IP对应地区经过这四个步骤: Mapper: 将以行数据解析成 key=cdn_ip value=…

  • 每日PV-Pandas-Python数据分析(3)

    1.1. 前言 这边我们使用内存分析框架Pandas来分析每日PV。 1.2. 对Pandas的好评 其实个人对Pandas这个模块是颇有好感。本人用Pandas完成可许多的日常实用的小工具,如生产excel报表,简单数据迁移等等。 对我来…

  • MySQL开启命令自动补全功能(auto-rehash)

    mysql命令行工具自带这个功能,但是默认是禁用的。想启用其实很简单,打开配置文件找到no-auto-rehash,用符号 # 将其注释,另外增加auto-rehash即可。 1 2 3 [mysql] #no-auto-rehash au…

  • 分区表的使用

    1.1. 场景 在每个系统中都会生成一些日志,往往有些日志都是需要记录的,比如:生成订单的过程的一些记录、某个账号活动的一些信息。这样一来每天生成的日志会很多,而且还会生成到数据库中。 像这些记录信息在某段时间过后就没用了。为了节省空间资源…

  • 每日PV-MRJob-Python数据分析(2)

    1.1. 前言 这边我们使用Python的M/R框架MRJob来分析 1.2. M/R步骤 M/R分析数据步骤一般有 3 步: Mapper => Shuffle => Reduce Mapper: 一般是解析文件中的每一行数据…

  • Maxscale-SQL防火墙(3)

      Maxscale的SQL防火墙需要有: 防火墙规则文件 将规则文件配置进 /etc/maxscale.cnf 实现 防火墙规则文件 1 2 3 4 5 6 7 8 9 10 11 12 vim /usr/local/maxsc…

  • CDN_IP对应地址-Pandas-Python数据分析(18)

    1.1. Pandas分析步骤 载入日志数据 载入area_ip数据 将 CDN_IP请求数 进行 COUNT。类似如下SQL: 1 2 3 4 5 6 7 8 9 10 SELECT inet_aton(l.cdn_ip),     co…

  • git 命令自动补全的方法

    只需要完成下面两部,就可以实现在mac osx 下git 命令自动补齐,自动补全之后可以不用记住那么多命令了。 首先下载自动补齐脚本,使用curl命令如下: 1 2 curl https://raw.githubusercontent.co…

  • 真实IP对应区域-MRJob-Python数据分析(19)

    1.1. 前言 由于我们这边没有使用 M/R join的方法来实现 IP对应的区域,我们是使用M/R结合Pandas来实现。 我们计算每日PV经过这四个步骤: Mapper: 将以行数据解析成 key=real_ip value=1的形式 …