goods and life +

レンタルサーバーを借りたとたんにこれだし、ふざけんなだし!

360Spiderはキチ●イだから気をつけないとね(`・ω・´)!

360Spider

inali はファンブログを利用するのやめる気満々でファイアバードっていうレンタルサーバーを借りたんです(今は名前が変わってスターサーバーだけど)。

※追記:FIREBIRD はコスパ抜群のクラウド型にうまれ変わって、名前が SterServer になりました。
月額126円(税抜)から!WordPressも使えるクラウド型高速レンタルサーバー、スターサーバー


サーバーには最新のハイスペックマシンを使用ってことなので、じゃあそれで WordPress を使ってみようかなと。
で、ドメインもスタードメインってのをファイアバードと同じ会社がやっているので、ついでに取得。
無料レンタルブログからの移転なのでドメインが新しくなりつまりドメイン0歳に…。

(いろいろ調べてみるとファイアバードっておそらくさくらインターネットのインフラっぽくてどうもエックスサーバーと同じような気が…。

サーバー管理ツールの画面もエックスサーバーのオマケの digidigi とベースが同じっぽい雰囲気だし、エックスサーバーとネットオウルのメンテもだいたい同じ日だし…。
で、サーバーのスペックもまたエックスサーバーとほぼ同じような感じのを運用しているんじゃないのかと)

サーバー容量100GB、クアッドコアCPU、メモリ 12GB、RAID構成 RAID1…。
なんで下位のミニバードが RAID10 なのにここが RAID1 って書いてあるのかはちょっとよくわかりませんけどね、なかなかいい感じですよ。
だからそんなにハズレ鯖に当たることもないかと思って、たぶんだけど。
(※追記:FIREBIRD が SterServer に変わり、クラウド型の仮想CPUとなるので、ちょっとここらの情報は変更になってます。)

あとアカウント毎に MySQL は 10個使えます、もしそれ以上作るならデータベーステーブルの接頭辞を変更して 1つの MySQL で複数の WordPress を使えるようにするか、Wordpress のマルチサイト化にする。
まあそういうことをやると出来るけど、遅くなるかもしれない。

以前 CMS じゃないサイトでエックスサーバーを使っていたんですけど、その間はわりと快適だったので、あの感じで使えたらいいな〜と。
そういうわけで、ファイアバードはお手頃な値段の割に、案外いい感じの性能かもなーと思ったわけです。
ついこのあいだからディスク容量も倍になったことだし、ドメイン格安取得のキャンペーンは延長になってるしで、ラッキーかも。

で、ファンブログから取得していた SQLiteのDB ファイルから、レンタルサーバーに入れた WordPress に db のデータを移植して、とりあえず 8月16日から表示などのチェックや CSS の修正など含めて、こっそりごにょごにょ活動開始してたわけです。
ファイアバードのファイルマネージャでは、安全を考慮して国外からの WordPress 各書類へのアクセスをデフォルトで切ってあります。
でも、サーバーの access_log を見たら速攻でこれ。

チャイナフリー


ふざけんなって感じ(`・ω・´)!
何ですかこれ、Google bot さんに混じってまあ大量に攻撃のような形跡が…


27.153.230.176 - - [20/Aug/2013:01:57:18 +0900] "POST /goods_and_life_plus/trackback/ HTTP/1.1" 404 59185 "/goods_and_life_plus/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

あと hn.kd.ny.adsl、こいつ、360Spider を名乗るこいつ!
China Unicom 中国聯通(中国聯合通信有限公司)から。

hn.kd.ny.adsl - - [20/Aug/2013:01:16:33 +0900] "GET /goods_and_life_plus/sitemap HTTP/1.1" 200 267124 "/goods_and_life_plus/sitemap" "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.0.11) Firefox/1.5.0.11; 360Spider"

ここは奇虎360(チーフーサンロクマル)科技有限公司っていう表向きは普通のソフト屋さんのはずで、PageRank Status っていう Chrome 用の拡張機能を入れてみたら一番下に出ている「360」(すぐに.htaccessで拒否してるからみかけ上のインデックスは0になってます)ってのがここなんだとは思いますけど、この痕跡はスパムとかハッキング目的にしか見えないでしょ、これもしかして奇虎360では普通のクローリングなんでしょうか?
もしかしたらそうなのかもしれないけど。
PageRank Status


スパム攻撃


ハッキングにトライ


で、これとか。
27.153.230.176 (27.153.128.0 - 27.153.255.255)Putian city a broadband からです。
さっそく『/trackback/ とかつけて POST アクセス』とか、これもしかして普通のクローリングなんでしょうか?、やめれと。

あとこんなんとか…。

hn.kd.ny.adsl - - [20/Aug/2013:04:08:48 +0900] "GET /robots.txt HTTP/1.1" 200 549 "https://catchymood.com/robots.txt" "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.0.11) Firefox/1.5.0.11; 360Spider"

こういうアクセスが4秒ごとにずら〜っと、ウゼえぇ!
こんなのがものすごい大量にきてて激重になってたり鯖落ちたりしたらどうするんだよ面倒臭い、360Spider 氏ね。
たぶんみんなにもきてるから、サーバー重いなあって思う時は、access_log をチェックしてみたほうがいいんじゃないでしょうか。

.htaccess に deny from hn.kd.ny.adsl を書いておかないと!
(※環境により書き方が違うので注意)

#####ipcheck#####
order deny,allow
deny from .kr
deny from .cn
deny from hn.kd.ny.adsl
#####end:ipcheck#####

そういえば台湾からのアクセスもあったのでした。
Putian city ってのは台湾です。
deny from .cn ってのは既にやっていたんだけど、台湾の南端にある Putian市から。
たまたまリアルタイムで動きを見てて場所を確認しました。

台湾はこのあいだの東北の大災害でもすごく助けてくれた国ですが、でも、本省人か外省人かによって受けてきている教育環境やら思想が違うので、このあいだロイターが取り上げていたようなものすごい反日活動ってのも事実としてあるわけです。
.twも deny に追加しないといけないのかと、いやですね。

あとついでに robots.txt にも
User-Agent: 360Spider
Disallow: /

これとあと、

Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /wp-includes/

とかも書いておいた方がよさそうなのかも(`・ω・´)

追記:結局今はこんな感じのも足してます。

User-Agent: 360Spider
Disallow: /
User-agent: YoudaoBot
Disallow: /
User-agent: sogou spider
Disallow: /
User-Agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
User-agent: baiduspider+
Disallow: /
User-agent: baiduimagespider
Disallow: /
User-agent: baidumobaider
Disallow: /
User-Agent: Yeti
Disallow: /
User-Agent: Yandex
Disallow: /

2013年末に、日本語入力ソフトからの情報不正送信をやらかしたり、非公開サーバーに2時間で数十万回の大量アクセスだとか、今いろいろとお騒がせ中でものすごい怪しい動きの Baidu の件も、やっぱりねって感じです。
へんな顔文字とか Simeji とかに手をださないでいて正解だったと思ってます。

そうやってまで収集していた情報の今後の取り扱いについてのインフォメーションも、ちょっとそれ信用できるのかな?、って感じです。(※個人の感想です)



※ robots.txt や .htaccess を設定する時は、ご自分のサーバーの上位設定などをよくお確かめのうえでお願いします。
※ Googleは robots.txt で JavaScript と CSS をブロックするなと推奨しています。



スターサーバー
なんもしなくてもネットオウルのサービスからそのまま移行というかたちなので快適で、むしろプランの切り替えなんかもすごく便利になったです。




追記:Google から JavaScript と CSSファイルへのクロールについての警告文が来ている場合
WordPressの場合、コンテンツのレンダリングに必要な JavaScript や CSS が含まれている記述をブロックするのをやめるといいみたい。(robots.txt に以下のディレクトリが記述してある場合、削除する)

Disallow: /wp-includes/
Disallow: /wp-content/

inali の場合は上で書いていた以下の3つを削除しました。
Disallow: /wp-includes
Disallow: /wp-content/
Disallow: /wp-content/cache

ただし、plugins や themes を付け狙う輩対策のために、とりあえず以下のディレクトリの指定は残しておきました。
(ブロックすることが絶対的に正しいかというと、絶対かどうかはわかんないけど。)
Disallow: /wp-content/plugins
Disallow: /wp-content/themes

この状態で Search Console の[クロール]→[robots.txt テスター]でテストした時に Googlebot [許可済み]になっていれば一応問題はないかと。

ついでに、気休めとして Googlebot に対して JavaScript や CSS を明示的に Allow しておきました。
User-Agent: Googlebot
Allow: .js
Allow: .css

robots.txt ルールを更新
最後に、Search Console の[クロール]→[robots.txt テスター]から新しく書き直した robots.txt を再送信して確認します。

inali の場合は警告は来ていなかったですけど、Search Console の [Google インデックス]→[ブロックされたリソース] のところで ブロックされたリソース > http://stats.wp.com の e-201529.js が原因で割とたくさんブロックされてしまっている様子。

この js が読めないため、適切にレンダリングされない可能性があるわけですけど、http://stats.wp.com/robots.txt は所有者ではないので robots.txt ルールを更新できないし、リソースのブロックを解除することは無理なので放置。
wp.com だからそのうちに修正してくれるかと思います。(追記:修正されました)

お買いもの忘れはないですか?

  • コメント ( 27 )
  • トラックバック ( 0 )
  1. order deny,allow
    deny from .kr
    deny from .cn
    deny from hn.kd.ny.adsl

    この記述は間違ってるダス。多分。

    order deny,allow
    これだと全てのアクセスをを拒否した上でその下に続くallowだけを許可する。

    order deny,allow #これで一旦すべて拒否して例外として下を許可
    allow from .jp #.jpを許可

    もしorder deny,allowの下にdenyが続いても拒否が重複するだけです。

    だから
    order deny,allow
    ではなく
    order allow,deny
    にしないといけない。

    order allow,deny #これで一旦すべて許可して例外として下を不許可
    deny from .kr #.krを不許可
    deny from .cn #.cnを不許可
    deny from hn.kd.ny.adsl #hn.kd.ny.adslを不許可

    おそらく記事に書く際の書き間違いだと思うけど。
    もし、この記事のとおり.htaccessに書かれていたら、誰も閲覧できないハズ。

    足し算しないといけないので電卓さがしたりして
    コメントを送信するのに時間がかかります。

  2. ごめん。間違えてた。
    order deny,allowは優先順位だけの設定だ。
    2行目に deny from all または allow from all が必要になる。

    order deny,allow #順序の設定
    deny from all #ここですべて不許可
    allow from .jp #.jpを許可

    こういう感じになる。
    だから下の記述にはdeny from allが抜けている。

    order deny,allow
    deny from .kr
    deny from .cn
    deny from hn.kd.ny.adsl

    たぶん、サーバーの上位設定がallow from allのある状態なので
    今はdeny fromの部分だけが有効になっている?

    参考「ミケネコの htaccess リファレンス」の「ホスト/IP 制限」

    • よく考えたらファイアバードの管理ツールって WordPress の各種書類に海外からアクセスできないようにしてあるのがデフォ(ブルートフォースアタックを確認したため国外IPアドレスからのアクセスを制限)で、この設定で間違ってなかった。
      というか、この書き方がここの仕様みたいですよ。

      あと、アクセス拒否設定で .cn とか、27.153.128.0 – 27.153.255.255 など、拒否する IP を入れると、自分で直接 .htaccess を書かなくても自動的にそこの ipcheck に設定できるようになっていて、これは初心者にもめっちゃ便利になってました。
      なので、自分で追加するのは、robots.txtの
      User-Agent: 360Spider
      Disallow: /
      だけでいいかも。
      でもrobots.txtは外からも見えちゃう以上あれなのだよな〜。

  3. 有料のサーバーなのに、
    沢山の攻撃があるんですね

    無料ならまだ納得できますが、
    有料で攻撃されると腹が立ちますね

    • 有料無料問わず、こういうのに攻撃されるのは世界中どこのサーバーも同じ条件ですよ、でもまあ悪意でやる連中にアクセスさせなければいいわけだし。
      無料ブログもだいたい国内向けのサービスなんだし、国外から管理部分にアクセスさせるのを切っちゃえばいいだけです。
      でもhn.kd.ny.adslは何度も何度も4秒あけて連続アタックとかしつこい、360Spiderはアカン、というか仮に無料サーバーでも納得はできない。

    • で、何も対処してくれないかもしれない人まかせな無料サーバーとは違って、不要なアクセスに対して自分でさっさと deny できるところがぜんぜん違うところ。
      ドメインも同じようなもので、自分のコントロール下に置けないところで不利に評価されたり、何年やってもやめたらそこで終わりで信用が育たない運命共同体みたいなのにはもう戻る気がしなくなるよ。

  4. □+1=2
     
    さっきこんなの出たけど難しくてリロードしようとしたらリロードボタンがないし。
    断念して、帰りました。
     
    時間が経ったので戻ってきたけど、コメントの中身は忘れました。

  5. 今日、ブログを読みに来たら、
    いきなり、セキュリティチェックがありましたけど
    これって、そんな仕様に変えたんですか?

    • いや、何にもしてないよ。
      そういえば今朝サーバー再起動メンテナンスの日だったから、サーバー側で何かセキュリティの仕様をちょっと変えたのかもしれないねー、inaliは何も触ってないよ、いろんな修正に追われてるのですw

      • 今日は、無事に直接ブログにたどり着きました(笑)
        やっぱり、サーバー側の仕様だったんですね

        ただ、急にセキュリティチェックが入ると
        悪い事してないのに、悪い事した気分になります(笑)

        • セキュリティチェックってどんな表示が出るんだろ??
          inaliは自分では何も触ってないこっちからはぜんぜんわかんないので困ったな〜。
          思い当たる節といえば、もしかしたらCAPTCHAその他、いくつかいれているプラグインのバージョンが上がってるので、それもあるかもしれない気が…

  6. うん、どんなふうになってるのか見たいなー。
    360スパイダーはこれなくなったようだよ(笑)
    cloudflareのデータを見たらやっぱ中国からの認知されてる脅威ってのがはじめの頃たくさん来てたわ。

    • 今日、またセキュリティチェックが入りました(笑)
      しかも、今日は何度入力しても、受け付けてくれないので、
      ブログを見るのを諦めようかなとも思いました(笑)

      他の方は、普通に見れているんですかね?
      そうなると、自分のPCやネット環境に問題があるって事になりますよね?

      一応、その時の画像を約束どおり撮りました

      http://goo.gl/A2QBI4
      http://goo.gl/E6po9Q
      http://goo.gl/ci5pW4

      • ん〜困ったなこれー。
        CAPTCHAかな〜、それとも絵の感じからしてcloudflareの方のセキュリティなのかなー。
        ちょっとCAPTCHA と cloudflareの方のセキュリティやめにして、Throws SPAM Away のプラグインに変えてみます。

      • コメント書き込みをするのにセキュリティチェックが入るのではなくて、ブログを閲覧するのにセキュリティチェックが入るってことだよね?、なんだろうな。
        とりあえずcloudflareのセキュリティを低にして、CAPTCHAのかわりにThrows SPAM Awayを入れてみた。

        • そうなんですよ
          コメントが出来ないとかじゃ無くて、
          ブログのトップページにも入れないんです

          ただ、毎日チェックがある訳じゃ無いんですよね
          その辺りがどうなっているのか分からないんですよね
          今日は、普通にブログが表示されました

          • 今日はセキュリティチェックなかったのか〜、てことはcloudflareのセキュリティレベルが中になっていると、疑いレベルがけっこう厳しくなるのかもしれないなー。
            今ちょうど GMO インターQ ロリポの日本の WordPress サイトがものすごい数ハッキングされてるだけにいろいろ心配だなー。

  7. このページになぜか[adobe 迷惑メール]というキーワードで流入がありますが、迷惑メールを出しているのは adobe ではなくて、abode と名乗る輩なのです。
    クロネロヤマトや佐々川急便と同じで、文字をよく見ないとうっかり字面で騙されますのでご注意ください。

    • あとなんでガブリエルさんだけセキュリティチェックにかかるのかその理由がわかったよ。

      • 今、自分のPCをもう一度、セキュリティチェックしています
        やっぱり、自分のネット環境も影響していたんですね
        とにかく、原因が分かってよかったです

  8. ロリポやOCNへのアタックもだけど、botnet感染にも気をつけないとな〜

ガブリエル への返信 コメントをキャンセル

*
*
* (公開されません)

CAPTCHA


※スパム対策のため、日本語を含まない投稿は無視されます。

Return Top