サイトアイコン goods and life +

レンタルサーバーを借りたとたんにこれだし、ふざけんなだし!

レンタルサーバーを借りた

レンタルサーバーを借りた

360Spiderはキチ●イだから気をつけないとね(`・ω・´)!

360Spider

inali はファンブログを利用するのやめる気満々でファイアバードっていうレンタルサーバーを借りたんです(今は名前が変わってスターサーバーだけど)。

※追記:FIREBIRD はコスパ抜群のクラウド型にうまれ変わって、名前が SterServer になりました。
月額126円(税抜)から!WordPressも使えるクラウド型高速レンタルサーバー、スターサーバー


サーバーには最新のハイスペックマシンを使用ってことなので、じゃあそれで WordPress を使ってみようかなと。
で、ドメインもスタードメインってのをファイアバードと同じ会社がやっているので、ついでに取得。
無料レンタルブログからの移転なのでドメインが新しくなりつまりドメイン0歳に…。

(いろいろ調べてみるとファイアバードっておそらくさくらインターネットのインフラっぽくてどうもエックスサーバーと同じような気が…。

サーバー管理ツールの画面もエックスサーバーのオマケの digidigi とベースが同じっぽい雰囲気だし、エックスサーバーとネットオウルのメンテもだいたい同じ日だし…。
で、サーバーのスペックもまたエックスサーバーとほぼ同じような感じのを運用しているんじゃないのかと)

サーバー容量100GB、クアッドコアCPU、メモリ 12GB、RAID構成 RAID1…。
なんで下位のミニバードが RAID10 なのにここが RAID1 って書いてあるのかはちょっとよくわかりませんけどね、なかなかいい感じですよ。
だからそんなにハズレ鯖に当たることもないかと思って、たぶんだけど。
(※追記:FIREBIRD が SterServer に変わり、クラウド型の仮想CPUとなるので、ちょっとここらの情報は変更になってます。)

あとアカウント毎に MySQL は 10個使えます、もしそれ以上作るならデータベーステーブルの接頭辞を変更して 1つの MySQL で複数の WordPress を使えるようにするか、Wordpress のマルチサイト化にする。
まあそういうことをやると出来るけど、遅くなるかもしれない。

以前 CMS じゃないサイトでエックスサーバーを使っていたんですけど、その間はわりと快適だったので、あの感じで使えたらいいな〜と。
そういうわけで、ファイアバードはお手頃な値段の割に、案外いい感じの性能かもなーと思ったわけです。
ついこのあいだからディスク容量も倍になったことだし、ドメイン格安取得のキャンペーンは延長になってるしで、ラッキーかも。

で、ファンブログから取得していた SQLiteのDB ファイルから、レンタルサーバーに入れた WordPress に db のデータを移植して、とりあえず 8月16日から表示などのチェックや CSS の修正など含めて、こっそりごにょごにょ活動開始してたわけです。
ファイアバードのファイルマネージャでは、安全を考慮して国外からの WordPress 各書類へのアクセスをデフォルトで切ってあります。
でも、サーバーの access_log を見たら速攻でこれ。



ふざけんなって感じ(`・ω・´)!
何ですかこれ、Google bot さんに混じってまあ大量に攻撃のような形跡が…


27.153.230.176 - - [20/Aug/2013:01:57:18 +0900] "POST /goods_and_life_plus/trackback/ HTTP/1.1" 404 59185 "/goods_and_life_plus/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

あと hn.kd.ny.adsl、こいつ、360Spider を名乗るこいつ!
China Unicom 中国聯通(中国聯合通信有限公司)から。

hn.kd.ny.adsl - - [20/Aug/2013:01:16:33 +0900] "GET /goods_and_life_plus/sitemap HTTP/1.1" 200 267124 "/goods_and_life_plus/sitemap" "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.0.11) Firefox/1.5.0.11; 360Spider"

ここは奇虎360(チーフーサンロクマル)科技有限公司っていう表向きは普通のソフト屋さんのはずで、PageRank Status っていう Chrome 用の拡張機能を入れてみたら一番下に出ている「360」(すぐに.htaccessで拒否してるからみかけ上のインデックスは0になってます)ってのがここなんだとは思いますけど、この痕跡はスパムとかハッキング目的にしか見えないでしょ、これもしかして奇虎360では普通のクローリングなんでしょうか?
もしかしたらそうなのかもしれないけど。






で、これとか。
27.153.230.176 (27.153.128.0 - 27.153.255.255)Putian city a broadband からです。
さっそく『/trackback/ とかつけて POST アクセス』とか、これもしかして普通のクローリングなんでしょうか?、やめれと。

あとこんなんとか…。

hn.kd.ny.adsl - - [20/Aug/2013:04:08:48 +0900] "GET /robots.txt HTTP/1.1" 200 549 "https://catchymood.com/robots.txt" "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.0.11) Firefox/1.5.0.11; 360Spider"

こういうアクセスが4秒ごとにずら〜っと、ウゼえぇ!
こんなのがものすごい大量にきてて激重になってたり鯖落ちたりしたらどうするんだよ面倒臭い、360Spider 氏ね。
たぶんみんなにもきてるから、サーバー重いなあって思う時は、access_log をチェックしてみたほうがいいんじゃないでしょうか。

.htaccess に deny from hn.kd.ny.adsl を書いておかないと!
(※環境により書き方が違うので注意)

#####ipcheck#####
order deny,allow
deny from .kr
deny from .cn
deny from hn.kd.ny.adsl
#####end:ipcheck#####

そういえば台湾からのアクセスもあったのでした。
Putian city ってのは台湾です。
deny from .cn ってのは既にやっていたんだけど、台湾の南端にある Putian市から。
たまたまリアルタイムで動きを見てて場所を確認しました。

台湾はこのあいだの東北の大災害でもすごく助けてくれた国ですが、でも、本省人か外省人かによって受けてきている教育環境やら思想が違うので、このあいだロイターが取り上げていたようなものすごい反日活動ってのも事実としてあるわけです。
.twも deny に追加しないといけないのかと、いやですね。

あとついでに robots.txt にも
User-Agent: 360Spider
Disallow: /

これとあと、

Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /wp-includes/

とかも書いておいた方がよさそうなのかも(`・ω・´)

追記:結局今はこんな感じのも足してます。

User-Agent: 360Spider
Disallow: /
User-agent: YoudaoBot
Disallow: /
User-agent: sogou spider
Disallow: /
User-Agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
User-agent: baiduspider+
Disallow: /
User-agent: baiduimagespider
Disallow: /
User-agent: baidumobaider
Disallow: /
User-Agent: Yeti
Disallow: /
User-Agent: Yandex
Disallow: /

2013年末に、日本語入力ソフトからの情報不正送信をやらかしたり、非公開サーバーに2時間で数十万回の大量アクセスだとか、今いろいろとお騒がせ中でものすごい怪しい動きの Baidu の件も、やっぱりねって感じです。
へんな顔文字とか Simeji とかに手をださないでいて正解だったと思ってます。

そうやってまで収集していた情報の今後の取り扱いについてのインフォメーションも、ちょっとそれ信用できるのかな?、って感じです。(※個人の感想です)



※ robots.txt や .htaccess を設定する時は、ご自分のサーバーの上位設定などをよくお確かめのうえでお願いします。
※ Googleは robots.txt で JavaScript と CSS をブロックするなと推奨しています。



スターサーバー
なんもしなくてもネットオウルのサービスからそのまま移行というかたちなので快適で、むしろプランの切り替えなんかもすごく便利になったです。




追記:Google から JavaScript と CSSファイルへのクロールについての警告文が来ている場合
WordPressの場合、コンテンツのレンダリングに必要な JavaScript や CSS が含まれている記述をブロックするのをやめるといいみたい。(robots.txt に以下のディレクトリが記述してある場合、削除する)

Disallow: /wp-includes/
Disallow: /wp-content/

inali の場合は上で書いていた以下の3つを削除しました。
Disallow: /wp-includes
Disallow: /wp-content/
Disallow: /wp-content/cache

ただし、plugins や themes を付け狙う輩対策のために、とりあえず以下のディレクトリの指定は残しておきました。
(ブロックすることが絶対的に正しいかというと、絶対かどうかはわかんないけど。)
Disallow: /wp-content/plugins
Disallow: /wp-content/themes

この状態で Search Console の[クロール]→[robots.txt テスター]でテストした時に Googlebot [許可済み]になっていれば一応問題はないかと。

ついでに、気休めとして Googlebot に対して JavaScript や CSS を明示的に Allow しておきました。
User-Agent: Googlebot
Allow: .js
Allow: .css

robots.txt ルールを更新
最後に、Search Console の[クロール]→[robots.txt テスター]から新しく書き直した robots.txt を再送信して確認します。

inali の場合は警告は来ていなかったですけど、Search Console の [Google インデックス]→[ブロックされたリソース] のところで ブロックされたリソース > http://stats.wp.com の e-201529.js が原因で割とたくさんブロックされてしまっている様子。

この js が読めないため、適切にレンダリングされない可能性があるわけですけど、http://stats.wp.com/robots.txt は所有者ではないので robots.txt ルールを更新できないし、リソースのブロックを解除することは無理なので放置。
wp.com だからそのうちに修正してくれるかと思います。(追記:修正されました)
モバイルバージョンを終了