Comments on: EventMachineを使ったクローラの書き方の足がかり http://blog.masuidrive.jp/index.php/2008/08/07/how-to-write-spider-using-eventmachine/ life with open sources. Thu, 02 Sep 2010 16:09:14 +0000 hourly 1 http://wordpress.org/?v=3.0.1 By: maimuzo http://blog.masuidrive.jp/index.php/2008/08/07/how-to-write-spider-using-eventmachine/comment-page-1/#comment-679 maimuzo Thu, 14 Aug 2008 08:30:55 +0000 http://blog.masuidrive.jp/?p=126#comment-679 skynetはgoogleのMapReduceをrubyで実装したgemです。 http://skynet.rubyforge.org/ ただ、どうもコードをマップするのではなく、データをマップするようなので、あらかじめコードをワーカに配置しておかなければならないようですけどね。(よく理解してないんですけどね^^) EC2などで必要なときだけインスタンス立ち上げて、マップでクロール対象URLを蒔いて、結果を集計すれば個人でも計算可能量がものすごく増加すると思うので使ってみたいのですが、どういう風に使えばいいのかイマイチピンとこないのです。 ググると日本語ではこれぐらいしか出てこないので困っています。　 http://www.moongift.jp/2008/06/skynet/ http://www.infoq.com/jp/news/2008/02/ruby-mapreduce-skynet GEM_HOMEの中のexampleが一番参考になりそうですが、読み解くのに時間がかかりそうです…　 skynetはgoogleのMapReduceをrubyで実装したgemです。
http://skynet.rubyforge.org/
ただ、どうもコードをマップするのではなく、データをマップするようなので、あらかじめコードをワーカに配置しておかなければならないようですけどね。(よく理解してないんですけどね^^)
EC2などで必要なときだけインスタンス立ち上げて、マップでクロール対象URLを蒔いて、結果を集計すれば個人でも計算可能量がものすごく増加すると思うので使ってみたいのですが、どういう風に使えばいいのかイマイチピンとこないのです。
ググると日本語ではこれぐらいしか出てこないので困っています。　
http://www.moongift.jp/2008/06/skynet/
http://www.infoq.com/jp/news/2008/02/ruby-mapreduce-skynet
GEM_HOMEの中のexampleが一番参考になりそうですが、読み解くのに時間がかかりそうです…　

]]> By: masuidrive http://blog.masuidrive.jp/index.php/2008/08/07/how-to-write-spider-using-eventmachine/comment-page-1/#comment-678 masuidrive Wed, 13 Aug 2008 03:41:47 +0000 http://blog.masuidrive.jp/?p=126#comment-678 そうですね。うちは別ポートでキューにURLを突っ込めるようにしたいなと思ってます。 HTMLのパースなら、Hpricotあたりが有名だと思います。 skynetってなんですか？ そうですね。うちは別ポートでキューにURLを突っ込めるようにしたいなと思ってます。
HTMLのパースなら、Hpricotあたりが有名だと思います。

skynetってなんですか？

]]> By: maimuzo http://blog.masuidrive.jp/index.php/2008/08/07/how-to-write-spider-using-eventmachine/comment-page-1/#comment-677 maimuzo Wed, 13 Aug 2008 03:32:34 +0000 http://blog.masuidrive.jp/?p=126#comment-677 自分もクローラーを使いたくて調べてた所だったのでとても参考になりました。 これって、最大クライアント数(CONCURRENCY)までHTTPリクエストを並列実行する部分のソースですよね。 こんなに簡単にできるんだ。 TARGET_URLをキューから持ってくるようにして、resultのパースを自分で書けば(ここも便利なgemとかあるんだろうか)、比較的簡単にできそうな気がしてきました。 skynetと絡ませたら面白そうですね。 自分もクローラーを使いたくて調べてた所だったのでとても参考になりました。
これって、最大クライアント数(CONCURRENCY)までHTTPリクエストを並列実行する部分のソースですよね。
こんなに簡単にできるんだ。
TARGET_URLをキューから持ってくるようにして、resultのパースを自分で書けば(ここも便利なgemとかあるんだろうか)、比較的簡単にできそうな気がしてきました。
skynetと絡ませたら面白そうですね。

]]>