分类 "Linux" 下的文章

今天在业务上云的时候,遇到了些问题。最终发现问题的根源不好排查,于是——

把生产环境的全量配置文件,还有日志全量打包下载到开发机器分析!

刚入职不是很久的整个运维团队,也不是很熟悉生产环境(有时候觉得自己就是个运维哈哈哈哈),于是把机器下线后,一顿 tar 压缩,就准备 scp 发送了。

生产和开发机内网不通,都是走公网传输。很容易想到:10+G,非 80 端口,ssh 协议(自己公司约定好的),肯定特别慢,之前用的时候每秒也就 2 兆。

某同事:“我有办法让你更快点。”

我:“请教下?”

于是,他就教了我:)

  1. 假设开发机器的公网 IP 是 1.1.1.1,在该机器先监听 80 端口,并重定向到文件,接收完进程会自己退出。
nc -l 80 > all.tar.gz
  1. 生产环境机器,直接往 1.1.1.1 的 80 端口写入数据即可,写完进程会自动结束!
nc 1.1.1.1 80 < all.tar.gz
  1. 用 md5sum 校验一下,发现 md5 一致
md5sum all.tar.gz

时间多久就真的忘记了,确实比 scp 快很多!

事情是这样,服务器很多人在使用,以前的离职同事留了一大堆不知道是什么东西。

那些文件看不了,又删不掉,非常碍眼。

我搜索了挺多资料,没有一篇文章能真的解决问题(感觉都是抄来抄去的)。

用 SFTP 工具、PHPStorm 全家桶,都删不了……

后面找到了一篇英文资料,提示说可以用 inode 编号删,所以就有了今天这篇文章。

步骤很简单,分两步:

阅读全文

cURL,熟悉 Linux 的同学,没有人不知道这个命令吧:)

它有非常非常多的参数,我这里就不复制粘贴了,有需要可以 -h 或者谷歌搜索看看。

我从实用性的角度,说下我比较常用的几个参数:

  • -v:啰嗦模式,打印请求头部、响应头部,如果是 https 请求会打印握手信息;
  • -H:包含 HTTP 头部,可多次使用
  • -s:不打印进度条
  • -o:指定输出,如果不想看输出的内容,可以 -o /dev/null 丢弃
  • -k:忽略 https 证书校验
  • -d:用来提交数据
  • -X:指定 HTTP method
  • -w:可以输出连接的时间、服务器处理的时间、请求总时间等

简单的参数组合

curl -v -H 'Host: imlht.com.test' \
     -H 'Content-Type: application/json' \
     -H 'Cookie: uid=123' \
     -s \
     -o /dev/null \
     -X PUT \
     -k \
     -d '{"name": "John"}' https://10.43.1.101/user/123

有几个小细节,我提一下:

-k 可以忽略 https 的证书校验,调试的时候很好用。

比如上面的 imlht.com.test,一般情况下你是没有这个证书的,但是你又想测试 10.43.1.101 的 /user 接口,此时可以直接跳过测接口的内容。

-d 参数默认的 Content-Type 是表单,如果你提交的数据是 JSON,需要像上面一样指定好 JSON 头部。

有些接口会依赖这个头部解析 body 的内容;另外默认的 method 是 POST,这里我用了 -X PUT 指定 method。

有点复杂的 -w 参数

curl -w "\ntime_namelookup: %{time_namelookup}\ntime_connect: %{time_connect}\ntime_appconnect: %{time_appconnect}\ntime_redirect: %{time_redirect}\ntime_pretransfer: %{time_pretransfer}\ntime_starttransfer: %{time_starttransfer}\n--------\ntime_total: %{time_total}\n" https://im.qq.com/
(省略一部分内容)
...
</body>
</html>

time_namelookup: 0.028
time_connect: 0.030
time_appconnect: 0.136
time_redirect: 0.000
time_pretransfer: 0.136
time_starttransfer: 0.296
--------
time_total: 0.436
  • time_namelookup :DNS 解析耗时
  • time_connect :TCP 连接建立耗时,也就是三次握手的时间
  • time_appconnect :SSL/SSH 等上层协议建立连接的时间,比如 connect/handshake 的时间
  • time_redirect :从开始到最后一个请求事务的时间
  • time_pretransfer :从请求开始到响应开始传输的时间
  • time_starttransfer :从请求开始到第一个字节将要传输的时间
  • time_total :这次请求花费的全部时间

根据上面的解释,我们可以得到以下的结论:

  • DNS 解析耗时:28ms
  • TCP 连接时间: pretransfter(136) - namelookup(28) = 108ms
  • 服务器处理时间:starttransfter(296) - pretransfer(136) = 160ms
  • 内容传输时间: total(436) - starttransfer(296) = 140ms

今天向公司申请了一台 Linux 主机,作为平时的开发环境。由于自己并不依赖远程开发(大多数情况下项目都可以本地开发、调试),于是只申请了 4C/8G 的低配机器。

突然好奇的是,这台机器的性能怎么样?磁盘就不测试了,IO 应该和生产环境差不多。先看看 CPU 的信息:

cat /proc/cpuinfo
processor    : 0
vendor_id    : GenuineIntel
cpu family    : 6
model        : 45
model name    : Intel(R) Xeon(R) CPU E5-2650 0 @ 2.00GHz
stepping    : 7
microcode    : 0x71a
cpu MHz        : 1999.999
cache size    : 20480 KB
physical id    : 0
siblings    : 1
core id        : 0
cpu cores    : 1
apicid        : 0
initial apicid    : 0
fpu        : yes
fpu_exception    : yes
cpuid level    : 13
wp        : yes
flags        : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx rdtscp lm constant_tsc arch_perfmon nopl xtopology tsc_reliable nonstop_tsc eagerfpu pni pclmulqdq ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx hypervisor lahf_lm ssbd ibrs ibpb stibp tsc_adjust arat md_clear spec_ctrl intel_stibp flush_l1d arch_capabilities
bogomips    : 3999.99
clflush size    : 64
cache_alignment    : 64
address sizes    : 45 bits physical, 48 bits virtual
power management:

E5-2650,2012 年 Q1 生产的,已经是很旧的机器了。

Linux 系统中,bc 命令是一个任意精度的计算器,如果用它计算圆周率,我们可以大概估算出 CPU 的浮点运算性能:

time echo "scale = 5000; 4 * a(1)" | bc -l -q

其中:

  1. time 用来计算执行时间;
  2. scale = 5000,表示精度为 5000,也就是计算圆周率小数点后的 5000 位;
  3. 4 * a(1),这个用来计算圆周率,1 的反正切是 π / 4;
  4. -l 定义使用的标准数学库;-q 不打印正常的 GNU bc 环境信息。

执行结果如下:

real    0m23.992s
user    0m23.983s
sys    0m0.003s

找了台苹果笔记本 Air,i5 的 CPU,耗时 20s,说明我电脑的单核性能比 Linux 的机器还快了一点。

不过,这个方法只适合粗略估算,如果要求精确,需要安装专业的性能测试套件。

今天遇到线上的一个问题:

我需要批量杀死某台机器的 PHP 进程,该怎么办?

注意,不是 php-fpm,是常驻任务。

如果是一个进程,那就好办了,ps -ef | grep php,找到 PID 然后 kill -9 PID……

那批量怎么搞呢?答案是 awk 命令。

阅读全文