契約してはいけない Zenlogic


ある機会があって使う事になった、Zenlogic ファーストサーバと言えば、業界人なら「あぁ…」と言うはず。歴史に残る大事件を引き起こした会社です。あれから早4年。どうやら自社サーバはやめて、全てYahooプラットホームベースに乗せたクラウドサービスを初めたようです。

さて、その使い勝手ですが…正直良くありません。

Zenlogic 障害・メンテナンス情報

月1か2回起こる接続障害。サービスが停止するレベルの障害です。ぶっちゃけ、ありえない。自分は自社で7年運用実績がありますが、一度も障害を起こした事がありません。一度HDD障害はありましたが、サービスを停止する事なく復旧させています。その為の三重監視を自社構築しているのです。

話が逸れましたが、まず上記の時点でありえないです。そして本日も4時間、利用できない時間が発生しました。原因はストレージシステムの過負荷の為。こういうサーバは大体、外部ストレージと繋がっていて、そこからOSが起動しています。

その部分に負荷が掛かると当然遅くなるわけで、最悪停止してしまうのです。つまりストレージシステムに繋がっているサーバ全てに影響するので、影響範囲がとても大きくなります。実力の無い人達がやると、この辺りを見誤ってトラブルを起こします。

 

で、肝心のサーバですが…プランSをテストしてみました。1vCPU+1GBに300GBストレージ。スペックだけなら申し分無いのですが、実際に運用してみると想像以上に遅いです。コントロールパネル経由でメールアドレスを作ったりするのですが、その反応がやたら遅くタイムアウトする始末。ロードアベレージが何もしていないのに、8とか10になります(笑) この時点で怪しかったので、サーバーの情報を取得する物を作って組み込みました。SSHが許可されていないので、できる事は限られます。

CPU情報はこんな感じ。2GHz 1Coreならまあまあでしょう。E5504辺り?

processor : 0
vendor_id : GenuineIntel
cpu family : 6
model : 44
model name : Westmere E56xx/L56xx/X56xx (Nehalem-C)
stepping : 1
microcode : 1
cpu MHz : 2000.070
cache size : 4096 KB
physical id : 0
siblings : 1
core id : 0
cpu cores : 1
apicid : 0
initial apicid : 0
fpu : yes
fpu_exception : yes
cpuid level : 11
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc up rep_good unfair_spinlock pni pclmulqdq vmx ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt aes hypervisor lahf_lm vnmi ept
bogomips : 4000.14
clflush size : 64
cache_alignment : 64
address sizes : 40 bits physical, 48 bits virtual

で、もって問題のプロセス一覧。

USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1 0.0 0.0 19232 564 ? Ss Jul17 0:05 /sbin/init
root 2 0.0 0.0 0 0 ? S Jul17 0:00 [kthreadd]
root 3 0.0 0.0 0 0 ? S Jul17 0:00 [migration/0]
root 4 0.0 0.0 0 0 ? S Jul17 0:33 [ksoftirqd/0]
root 5 0.0 0.0 0 0 ? S Jul17 0:00 [stopper/0]
root 6 0.0 0.0 0 0 ? S Jul17 0:22 [watchdog/0]
root 7 0.0 0.0 0 0 ? S Jul17 19:19 [events/0]
root 8 0.0 0.0 0 0 ? S Jul17 0:00 [cgroup]
root 9 0.0 0.0 0 0 ? S Jul17 0:00 [khelper]
root 10 0.0 0.0 0 0 ? S Jul17 0:00 [netns]
root 11 0.0 0.0 0 0 ? S Jul17 0:00 [async/mgr]
root 12 0.0 0.0 0 0 ? S Jul17 0:00 [pm]
root 13 0.0 0.0 0 0 ? S Jul17 0:48 [sync_supers]
root 14 0.0 0.0 0 0 ? S Jul17 0:55 [bdi-default]
root 15 0.0 0.0 0 0 ? S Jul17 0:00 [kintegrityd/0]
root 16 0.0 0.0 0 0 ? S Jul17 3:19 [kblockd/0]
root 17 0.0 0.0 0 0 ? S Jul17 0:00 [kacpid]
root 18 0.0 0.0 0 0 ? S Jul17 0:00 [kacpi_notify]
root 19 0.0 0.0 0 0 ? S Jul17 0:00 [kacpi_hotplug]
root 20 0.0 0.0 0 0 ? S Jul17 0:00 [ata_aux]
root 21 0.0 0.0 0 0 ? S Jul17 0:00 [ata_sff/0]
root 22 0.0 0.0 0 0 ? S Jul17 0:00 [ksuspend_usbd]
root 23 0.0 0.0 0 0 ? S Jul17 0:00 [khubd]
root 24 0.0 0.0 0 0 ? S Jul17 0:00 [kseriod]
root 25 0.0 0.0 0 0 ? S Jul17 0:00 [md/0]
root 26 0.0 0.0 0 0 ? S Jul17 0:00 [md_misc/0]
root 27 0.0 0.0 0 0 ? S Jul17 0:00 [linkwatch]
root 29 0.0 0.0 0 0 ? S Jul17 0:15 [khungtaskd]
root 30 0.0 0.0 0 0 ? S Jul17 2:07 [kswapd0]
root 31 0.0 0.0 0 0 ? SN Jul17 0:00 [ksmd]
root 32 0.0 0.0 0 0 ? SN Jul17 0:52 [khugepaged]
root 33 0.0 0.0 0 0 ? S Jul17 0:00 [aio/0]
root 34 0.0 0.0 0 0 ? S Jul17 0:00 [crypto/0]
root 42 0.0 0.0 0 0 ? S Jul17 0:00 [kthrotld/0]
root 44 0.0 0.0 0 0 ? S Jul17 0:00 [kpsmoused]
root 45 0.0 0.0 0 0 ? S Jul17 0:00 [usbhid_resumer]
root 46 0.0 0.0 0 0 ? S Jul17 0:00 [deferwq]
root 77 0.0 0.0 0 0 ? S Jul17 0:00 [kdmremove]
root 78 0.0 0.0 0 0 ? S Jul17 0:00 [kstriped]
root 124 0.0 0.0 0 0 ? S Jul17 0:00 [scsi_eh_0]
root 125 0.0 0.0 0 0 ? S Jul17 0:00 [scsi_eh_1]
root 207 0.0 0.0 0 0 ? S Jul17 0:00 [virtio-blk]
root 233 0.0 0.0 0 0 ? D Jul17 3:42 [jbd2/vda1-8]
root 234 0.0 0.0 0 0 ? S Jul17 0:00 [ext4-dio-unwrit]
root 304 0.0 0.0 10648 244 ? Sroot 335 0.0 0.0 0 0 ? S Jul17 0:00 [virtio-net]
root 338 0.0 0.0 0 0 ? S Jul17 0:00 [vballoon]
root 518 0.0 0.0 10648 228 ? S< Jul17 0:00 /sbin/udevd -d
root 571 0.0 0.0 0 0 ? S Jul17 0:14 [kauditd]
root 706 0.0 0.0 9120 488 ? Ss Jul17 0:00 /sbin/dhclient -q -cf /etc/dhcp/dhclient-eth0.conf -lf /var/lib/dhclient/dhclient-eth0.leases -pf /var/run/dhclient-eth0.pid eth0
root 750 0.0 0.0 93156 632 ? Sroot 831 0.0 0.0 10644 224 ? S< Jul17 0:00 /sbin/udevd -d
root 868 0.0 0.0 0 0 ? S Jul17 0:00 [kdmflush]
root 879 0.0 0.0 0 0 ? S Jul17 0:33 [kdmflush]
root 896 0.0 0.0 0 0 ? S Jul17 0:00 [xfs_mru_cache]
root 897 0.0 0.0 0 0 ? S Jul17 1:01 [xfslogd/0]
root 898 0.0 0.0 0 0 ? S Jul17 1:04 [xfsdatad/0]
root 899 0.0 0.0 0 0 ? S Jul17 0:00 [xfsconvertd/0]
root 900 0.0 0.0 0 0 ? S Jul17 0:35 [xfsalloc/0]
root 901 0.0 0.0 0 0 ? S Jul17 0:13 [xfseofblocks/0]
root 902 0.0 0.0 0 0 ? S Jul17 1:31 [xfsbufd/dm-1]
root 903 0.0 0.0 0 0 ? S Jul17 0:24 [xfs-cil/dm-1]
root 904 0.0 0.0 0 0 ? S Jul17 1:02 [xfssyncd/dm-1]
root 905 0.0 0.0 0 0 ? S Jul17 35:19 [xfsaild/dm-1]
dbus 947 0.0 0.0 21432 192 ? Ss Jul17 0:00 dbus-daemon --system
root 963 0.0 0.0 4080 308 ? Ss Jul17 0:00 /usr/sbin/acpid
root 1668 0.0 0.0 26616 156 ? S Jul17 0:00 supervising syslog-ng
root 1669 0.0 0.2 56088 2644 ? Ss Jul17 18:50 syslog-ng -p /var/run/syslog-ng.pid
root 1818 0.0 0.0 117368 476 ? Ss Jul17 1:13 crond
root 1840 0.0 0.5 286620 5288 ? Sl Jul17 37:06 /usr/bin/docker -d --iptables=false --ip-masq=false --ip-forward=false --bridge=none --insecure-registry=repository.mngsvr.com:5000 --insecure-registry=repository.staging.mngsvr.com:5000 --insecure-registry=repository.backstage.mngsvr.com:5000 --insecure-registry=repository.disposable.mngsvr.com:5000 --insecure-registry=repository.sandbox.mngsvr.com:5000
root 1960 0.0 0.0 0 0 ? S< Jul17 0:00 [loop0]
root 1961 0.0 0.0 0 0 ? S< Jul17 0:00 [loop1]
root 1962 0.0 0.0 0 0 ? S Jul17 0:00 [kdmflush]
root 1965 0.0 0.0 0 0 ? S Jul17 0:14 [dm_bufio_cache]
root 1978 0.0 0.0 4064 216 tty1 Ss+ Jul17 0:00 /sbin/mingetty /dev/tty1
root 1981 0.0 0.0 4080 244 ttyS0 Ss+ Jul17 0:00 /sbin/agetty /dev/ttyS0 9600 vt100-nav
root 1984 0.0 0.0 0 0 ? S Jul17 0:00 [kcopyd]
root 1985 0.0 0.0 0 0 ? S Jul17 2:14 [dm-thin]
root 1989 0.0 0.0 0 0 ? S Jul17 0:00 [kdmflush]
root 2441 0.0 0.0 45128 692 ? Ss Jul17 4:50 /usr/libexec/postfix/master -w
root 2490 0.0 0.0 23952 788 ? Ss Jul17 7:14 /usr/sbin/dovecot
dovecot 2495 0.0 0.0 13308 628 ? S Jul17 1:40 dovecot/anvil
ftp 2551 0.0 0.3 160276 3216 ? SLs Jul17 10:15 proftpd: (accepting connections)
root 2592 0.0 0.0 66688 528 ? Ss Jul17 0:19 /usr/sbin/sshd
postfix 2627 0.0 0.1 45668 1232 ? S Aug20 2:10 qmgr -l -t fifo -u
unbound 2631 0.0 1.7 75556 17684 ? Ss Jul17 10:39 /usr/sbin/unbound -c /etc/unbound/unbound.conf
zabbix 2670 0.0 0.0 76900 396 ? S Jul17 0:00 /usr/sbin/zabbix_agentd
zabbix 2671 0.0 0.0 76900 516 ? S Jul17 24:38 /usr/sbin/zabbix_agentd: collector [idle 1 sec]
zabbix 2672 0.0 0.0 76900 796 ? S Jul17 3:34 /usr/sbin/zabbix_agentd: listener #1 [waiting for connection]
zabbix 2673 0.0 0.0 76900 796 ? S Jul17 3:27 /usr/sbin/zabbix_agentd: listener #2 [waiting for connection]
zabbix 2674 0.0 0.0 76900 796 ? S Jul17 3:24 /usr/sbin/zabbix_agentd: listener #3 [waiting for connection]
zabbix 2675 0.0 0.0 76908 656 ? S Jul17 7:31 /usr/sbin/zabbix_agentd: active checks #1 [idle 1 sec]
postfix 2778 0.0 0.0 45336 980 ? S Aug20 0:19 tlsmgr -l -t unix -u
root 3365 0.0 0.0 13684 968 ? S Jul17 2:50 dovecot/log
ntp 3397 0.0 0.0 30732 800 ? Ss Jul17 0:29 ntpd -u ntp:ntp -p /var/run/ntpd.pid -g
postfix 3680 0.0 0.2 45304 2544 ? S 08:18 0:02 anvil -l -t unix -u
root 3805 0.0 0.2 20756 2392 ? S 08:20 0:08 dovecot/config
dovecot 4932 0.0 1.5 43212 15760 ? S 08:57 0:07 dovecot/auth
vmail 6672 0.0 0.2 23216 2128 ? S Aug30 0:16 dovecot/imap
drweb 9705 0.0 0.1 405368 1024 ? Ssl Sep02 0:52 /opt/drweb/drweb-monitor.real -c /etc/drweb/monitor.conf
drweb 9708 0.0 0.2 580652 2888 ? Ssl Sep02 0:08 /opt/drweb/drweb-agent.real -c /etc/drweb/agent.conf
drweb 9722 0.0 24.6 331260 251392 ? Ss Sep02 2:19 /opt/drweb/drwebd.real -a=local:/var/drweb/ipc/.agent --foreground=yes
drweb 9738 0.0 0.3 595504 3536 ? Ssl Sep02 0:04 /opt/drweb/drweb-notifier.real local:/var/drweb/ipc/.agent
drweb 9746 0.0 0.4 722284 5056 ? Ssl Sep02 3:07 /opt/drweb/drweb-sender.real local:/var/drweb/ipc/.agent
drweb 9748 0.0 7.0 1376272 71472 ? Ssl Sep02 3:26 /opt/drweb/drweb-maild.real local:/var/drweb/ipc/.agent
drweb 9775 0.0 0.3 729620 3736 ? Ssl Sep02 1:23 /opt/drweb/drweb-milter.real local:/var/drweb/ipc/.agent
vmail 15411 0.0 0.2 23212 2144 ? S Aug30 0:17 dovecot/imap
apache 18703 0.0 5.3 543612 54352 ? S 14:36 0:00 /usr/sbin/httpd
apache 18707 0.0 5.2 543588 53976 ? S 14:36 0:00 /usr/sbin/httpd
apache 18725 0.0 5.3 543600 54228 ? S 14:38 0:00 /usr/sbin/httpd
apache 18765 0.0 5.3 543612 54320 ? S 14:43 0:00 /usr/sbin/httpd
apache 18766 0.0 5.3 543652 54264 ? S 14:43 0:00 /usr/sbin/httpd
apache 19161 0.0 5.2 543436 53904 ? S 15:01 0:00 /usr/sbin/httpd
root 19638 0.0 0.0 0 0 ? S 15:13 0:00 [flush-252:0]
root 21308 0.0 0.0 0 0 ? S Aug10 1:18 [flush-253:1]
root 25040 0.0 5.5 541196 56668 ? Ss Aug31 0:50 /usr/sbin/httpd
apache 27042 0.0 5.2 543484 54052 ? S 03:27 0:00 /usr/sbin/httpd
apache 27043 0.0 5.2 543492 53992 ? S 03:27 0:00 /usr/sbin/httpd
apache 27044 0.0 5.2 543500 53944 ? S 03:27 0:00 /usr/sbin/httpd
apache 27045 0.0 5.3 543500 54080 ? S 03:27 0:00 /usr/sbin/httpd
apache 27046 0.0 5.2 543576 53996 ? S 03:27 0:00 /usr/sbin/httpd
apache 27047 0.0 5.2 543492 53648 ? S 03:27 0:00 /usr/sbin/httpd
apache 27048 0.0 5.3 543600 54564 ? S 03:27 0:00 /usr/sbin/httpd
apache 27049 0.0 5.2 543492 54036 ? S 03:27 0:00 /usr/sbin/httpd
apache 27050 0.0 5.3 543492 54080 ? S 03:27 0:00 /usr/sbin/httpd
apache 27051 0.0 5.2 543492 54044 ? S 03:27 0:00 /usr/sbin/httpd
apache 27962 0.0 5.3 543500 54344 ? S 03:54 0:00 /usr/sbin/httpd
drweb 28549 0.5 24.8 331660 253048 ? S 17:57 0:20 /opt/drweb/drwebd.real -a=local:/var/drweb/ipc/.agent --foreground=yes
drweb 28550 0.3 24.7 331168 252472 ? S 17:57 0:14 /opt/drweb/drwebd.real -a=local:/var/drweb/ipc/.agent --foreground=yes
vmail 28779 0.0 0.2 23208 2108 ? S Aug30 0:17 dovecot/imap
vmail 28780 0.0 0.2 23440 2128 ? S Aug30 0:30 dovecot/imap
postfix 30731 0.0 0.3 45668 3308 ? S 18:42 0:00 cleanup -z -t unix -u
dovenull 31181 0.0 0.3 42360 3628 ? S 18:52 0:00 dovecot/pop3-login
vmail 31182 0.0 0.2 23304 2624 ? S 18:52 0:00 dovecot/pop3
postfix 31191 0.0 0.2 45412 3004 ? S 18:53 0:00 trivial-rewrite -n rewrite -t unix -u
postfix 31192 0.0 0.3 45536 3172 ? Ss 18:53 0:00 verify -l -t unix -u
postfix 31209 0.0 0.5 48612 5132 ? S 18:53 0:00 smtpd -n smtp -t inet -u -o stress=
postfix 31240 0.0 0.5 48724 5212 ? S 18:53 0:00 smtpd -n smtp -t inet -u -o stress=
postfix 31253 0.0 0.5 48612 5184 ? S 18:53 0:00 smtpd -n smtp -t inet -u -o stress=
postfix 31280 0.0 0.2 45420 2676 ? S 18:53 0:00 lmtp -t unix -u
dovenull 31333 0.0 0.3 42360 3628 ? S 18:54 0:00 dovecot/pop3-login
vmail 31334 0.0 0.2 23288 2588 ? S 18:54 0:00 dovecot/pop3
vmail 31341 0.0 0.2 23304 2660 ? S 18:55 0:00 dovecot/pop3
postfix 31356 0.0 0.2 45208 2456 ? S 18:56 0:00 pickup -l -t fifo -u
postfix 31362 0.0 0.2 45420 2680 ? S 18:56 0:00 lmtp -t unix -u
postfix 31384 0.0 0.3 45800 3356 ? S 18:58 0:00 cleanup -z -t unix -u
root 31385 0.0 0.3 34228 3156 ? S 18:58 0:00 dovecot/lmtp
dovenull 31476 0.0 0.3 42360 3624 ? S 18:58 0:00 dovecot/pop3-login
vmail 31477 0.0 0.2 23288 2592 ? S 18:58 0:00 dovecot/pop3
drweb 31512 0.0 24.5 331260 250788 ? S 18:59 0:00 /opt/drweb/drwebd.real -a=local:/var/drweb/ipc/.agent --foreground=yes
root 31523 0.0 0.2 25692 3000 ? S 19:00 0:00 dovecot/lmtp
postfix 31537 0.1 0.4 46624 4876 ? S 19:00 0:00 smtp -t unix -u
dovenull 31540 0.0 0.3 42360 3624 ? S 19:00 0:00 dovecot/pop3-login
root 31541 0.0 0.1 19424 1532 ? S 19:00 0:00 dovecot/ssl-params
vmail 31542 0.0 0.2 23292 2588 ? S 19:00 0:00 dovecot/pop3
postfix 31550 0.0 0.2 45420 2676 ? S 19:00 0:00 lmtp -t unix -u
postfix 31551 0.0 0.2 45196 2380 ? S 19:00 0:00 scache -l -t unix -u
root 31554 0.0 0.1 25400 1988 ? S 19:00 0:00 dovecot/lmtp
apache 31567 1.0 0.1 13368 1064 ? R 19:01 0:00 ps aux
root 32579 0.0 9.0 383776 92488 ? Sl Aug29 0:47 ruby /usr/local/rvm/gems/ruby-2.1.4/bin/jackalope --pidfile /var/run/jackalope.pid --logfile /var/log/jackalope.log --routing-key 1YHlEfaHw7Ueu9JwWm8hag --oom-score-adj -1000 --environment development --heart-beat 600 --jsonlog --daemon 

何これ…一言で言わせて貰えば、素人が作ったサーバー?という感じです。適当に何かパッケージをインストールして初期設定のままサービスに組み込んだ風です。dhclient が起動している時点でお察しください。
現時点で何もしていないのに、150MBもswap落ちしているそうです。これだけ不要なプロセスが上がってる上に、ウイルス対策ソフトだけでどれだけメモリ食ってるの?と。しかも、このサーバ。コントロールパネルでmysqlも起動できるんです。そんなん起動したら、swapの処理だけでCPUが食われて終わりますね(笑)
これをサービスとして出しちゃう辺りが素人同然だと言わざるを得ません。判りやすく言えば、100km/hで走れる車を買ってみたら20km/hで走るのがせいぜい、それ以上走ったら壊れて動かなくなりますというレベルです。
常時SSL とか言う前に、自分のところのサービスをもっと見直してみた方がいいんじゃないですかね?

Zenlogic、こんな感じでした。

15:16:18 up 50 days, 19:32, 0 users, load average: 5.31, 20.09, 30.06

ゲラゲラ笑いたいところですよ、自分とこに被害が無ければ。ちなみに、iowait が非常に高いそうです。iowait って事はさっくり言うと書き込み負荷の事です。このサーバは1時間に数十件のメールを処理する「だけ」のサーバで、書き込み負荷が高い…と。つまり、load average が高い理由は、書き込み待ちのプロセスが沢山あるからですね。で、それらプロセスが溜まるから、swapに落ちるという悪循環。データベースなんて絶対使い物になりません。

 

まあシステムだけでメモリ1GB食いつぶしてりゃ当然ですね。というわけで、障害の多さも中身の稚拙さも含めて、全くオススメできません。私は自腹で年払いしてますから、文句くらい言わせてください。

 

※追記
プロセス監視してたら、こんなんしてました。

root 2590 0.0 0.4 96328 4336 ? Ss 20:15 0:00 sshd: backupuser [priv]
root 2592 0.0 0.0 66688 528 ? Ss Jul17 0:19 /usr/sbin/sshd
10003 2594 1.9 0.2 97504 3024 ? S 20:15 0:19 sshd: [email protected]
root 2595 0.0 0.2 169404 3040 ? Ss 20:15 0:00 sudo /usr/bin/rsync --server --sender -lHogDtprSe.iLs --timeout=600 --bwlimit=25000 --numeric-ids . /
root 2696 1.9 0.5 129104 5756 ? D 20:15 0:18 /usr/bin/rsync --server --sender -lHogDtprSe.iLs --timeout=600 --bwlimit=25000 --numeric-ids . /

あのファーストサーバだもんね。バックアップ大事だもんね。

そりゃこんなプロセス動かしてて、ストレージシステムが重くて負荷がとか言っちゃってる時点でアウト。というか普通サーバのOSのプロセスレベルでバックアップなんて取らないでしょ…普通…もっと上位のストレージとかアプライアンスレベルで取るものじゃないの?設計思想が全く判らないです。何ていうか、力押し?力づく?

コメントを残す

メールアドレスが公開されることはありません。