perl
吉沢明歩動画リンク集があったので、スクリプト書いて大量に動画を頂きました。それだけ。 http://fc23.blog63.fc2.com/blog-entry-813.html #!/usr/bin/perl use strict; use warnings; use File::Basename; use LWP::UserAgent; use Perl6::Say; use URI; …
あとで調べる、きっと。Windows Vista + Strawberry Perl な環境。 D:\temp>cat zzz.pl use ExtUtils::MakeMaker; WriteMakefile( 'NAME' => 'Foo::Bar' ); D:\temp>perl zzz.pl Writing Makefile for Foo::Bar D:\temp>grep -n @ARGV Makefile 210:ECHO = $…
Geography::JapanesePrefecturesの市区町村版みたいなGeography::JapaneseMunicipalsを作った。 近々、CPANにうｐしようかと。 use strict; use warnings; use utf8; use FindBin::libs; use Geography::JapaneseMunicipals; use YAML; binmode STDOUT, ':en…
文字ばっけー対策パッチ（数文字だけど…）送ったら速攻採用してくれてうれしかった。 中学生レベルの英語を間違えたのに気づいて恥ずかしかった。 WWW-Mechanize-Plugin-Web-Scraper-0.02 - Scrape the planet! - metacpan.org
http://www.pasmo.co.jp/useful/mypage.htmlをスクレイピングするモジュールWWW::PASMOを作ってとりあえずコミッた。 use strict; use warnings; use WWW::PASMO; use YAML; my $pasmo = WWW::PASMO->new; die "faild to login" unless $pasmo->login('your …
ノーコメントで。 # yah.pl use utf8; use WWW::YourAVHost; my $av = WWW::YourAVHost->new; my $entries = $av->entries(actress => 'みひろ'); foreach my $entry (@{$entries}) { $av->get($entry); } % yah.pl % ls -R (略) ./みひろ: 1600mihiro_part0…
http://coderepos.org/share/browser/lang/perl/Net-Twitter-Scraper ぜんぜんできてないけどコミッた。他力なんとかってやつです。 Twitter API を使わずにスクレイピングだけで Net::Twitter とそれなりに互換の機能＋αを実装しようかと。 今ならみんな大…
確実に私しか使わないと思うけど…。Item - データベース: ISBN Scraper - wedata に登録してある ISBN を抽出する XPath をテストするスクリプトを書いた。 Wedata からデータ(URL, XPath, SampleURL, SampleISBN)を取得 SampleURL なサイトの HTML を取得 H…
#!/usr/bin/perl use strict; use warnings; use utf8; use YAML; use Geo::Coder::Google; my $geocoder = Geo::Coder::Google->new( apikey => 'Your API Key' ); my $location = $geocoder->geocode( location => '国立国会図書館' ); binmode STDOUT, ':…
via ttp://movatwitter.jugem.jp/?eid=60 モバツイの写ツがジオタグを付加できるようになったようなので時々試していたんだけど、私のやり方が悪いのか携帯が悪いのか全く付加されない。ExifTool がなんか警告だすのでこれが怪しいと思っている。 くやしいの…
Yahoo! ファイナンスから持ち株の合計評価額を取得してはてなグラフに登録するようにしてあったのだけど、何か変わったのか最近うまく動いていなかったみたい。 center タグって久々にみた希ガス。 #!/usr/bin/perl use strict; use warnings; use URI; use …
素敵な feed を吐くようになったので書きなおした。 ffmpeg はキー入力をチェックしているのでバックグラウンドで動かせないみたい。無効にするオプションを追加すればいいのに。 なので、強引に yes | ffmpeg -i ...で回避した。これで寝ている間にサーバで…
私は ero ではないですが erogeek さんを尊敬しています。 表には出さないけど絶対みんなやってるよね。改良の余地ありありです。 #!/usr/bin/perl use strict; use warnings; use URI; use URI::Escape 'uri_unescape'; use HTTP::Request; use LWP::UserAg…
以前、都内の図書館やらをマーキングする Google マイマップを作ったのだけど、手作業でマーカーを追加するしかなく非常にめんどうだったので放置していた。 が、いつのまにか KML インポート機能が追加されていたので、これを使ってさっくり完成させました…
via http://b.hatena.ne.jp/mattn/20071016#bookmark-6186564 scraper シェル上で組み合わせたら便利なのではと思い試してみた。 $ cat foo.html <html> <body> <div><span>aaa</span>bbb</div> <div><span>ccc</span>ddd</div> </body> </html> $ scraper foo.htmlとりあえず抽出したいテキストを使ったりしてノードを特定し、そのノー…
via http://d.hatena.ne.jp/natu_n/20061108/1162984712 ISBN はハイフンの位置が地域によって異なる。 The International ISBN Agency にあるスクリプトから編集用のテーブルを生成してみた。 #!/user/bin/perl use strict; use warnings; use LWP::UserAge…
0.21_01 まで。 0.21_01 Thu Oct 4 01:05:00 PDT 2007 - Added an experimental filter support (Thanks to hirose31, tokuhirom and Yappo for brainstorming) 0.21 Wed Oct 3 10:37:13 PDT 2007 - Bumped up HTML::TreeBuilder dependency to fix 12_html.…
今日は車であちこち行かなきゃならなかったので、モバツイッターの試用をかねて所々でその時居る地名を送っていた。せっかくなので地図上に表示してみた。方法は、 Twitter API でステータス履歴取得 モバツイッター経由のステータス(地名)抽出 Google Maps …
#!/usr/bin/perl use strict; use warnings; use utf8; use Web::Scraper; use LWP::UserAgent; use HTTP::Response::Encoding; use Encode; use YAML; use URI; my $ua = LWP::UserAgent->new(keep_alive => 1); $Web::Scraper::UserAgent = $ua; my $resp …
#!/usr/bin/perl use strict; use warnings; use utf8; use Web::Scraper; use YAML; use URI; print Dump scraper { process '//table[tr/th]/tr[2]', info => scraper { process '//td[2]/font/a', href => '@href'; process '//td[6]', umu => 'text'; };…
#!/usr/bin/perl use strict; use warnings; use utf8; use Web::Scraper; use LWP::UserAgent; use URI; use YAML; $Web::Scraper::UserAgent = LWP::UserAgent->new(keep_alive => 1); my $data= scraper { process '//table/tbody/tr/td/a', href => '@hr…
0.16 から 0.19。 0.19 Thu Sep 20 22:42:30 PDT 2007 - Try to get HTML encoding from META tags as well, when there's no charset value in HTTP response header.0.18 Thu Sep 20 19:49:11 PDT 2007 - Fixed a bug where URI is not absolutized when s…
via http://use.perl.org/~miyagawa/journal/34461 Web::Scraper 0.15 がリリースされました。 0.15 - Call env_proxy in scraper CLI - Added $Web::Scraper::UserAgent and $scraper->user_agent accessor to deal with UserAgent object - Don't escape n…
env_proxy に喜びすぎて、ほかの更新を見逃してたのは内緒。 さっきちょこっと書いたけど、 - Call env_proxy in scraper CLI D:\>set HTTP_PROXY=http://userid:passwd@proxy.example.com:8080 D:\>scraper "http://quote.yahoo.co.jp/q?s=9684.t&d=t" scra…
うちの会社、 proxy を通さないと外へ出れません。 D:\>scraper http://www.yahoo.co.jp GET http://www.yahoo.co.jp failed: 500 Can't connect to www.yahoo.co.jp:80 (Bad hostname 'www.yahoo.co.jp') at ...scraper シェルを使う時は次のようにしてます…
品川区立図書館の所蔵状態チェック。あとでまとめるので結果は特に編集してない。 #!/usr/bin/perl use strict; use warnings; use utf8; use YAML qw(Dump); use Encode qw(decode); use Web::Scraper; use LWP::UserAgent; use HTTP::Response::Encoding; …
使い捨て。ちょっと下調べに使っただけです。XPath とかいまいちです。 #!/usr/bin/perl use strict; use warnings; use utf8; use Web::Scraper; use URI; my $scraper = scraper { process '//font[@size="-1"]/span/span[@style]', status => sub { my $n…
pushing Web::Scraper 0.13 that has code generation and more examples in eg/ http://twitter.com/miyagawa/statuses/243570942 今度はコード生成だそうで。0.12 もチェックしていなかったので、あわせて新機能を確認。scraper CLI で遊ぶ - へたっぴ日記…
via Web::Scraper プレゼン＠YAPC::EU Web::Scraperにコマンドラインインタフェースが追加されたのでさっそく遊んでみた。お題は、オライリー・ジャパン発行書籍一覧から書籍情報の抽出。簡単杉…。 HTMLソースはこんなん。スクレイピング向きのきれいなソー…
ISBNの変換はBusiness::ISBNでできるらしいのでインストールしてみた。けど、ググるとでてくるisbn_to_ean関数は見当たらないよ。変わったのかなー。試した結果を記しとこう。桁数、ハイフン編集簡単。 [hetappi@lily work]$ perl -ne "eval" use Business::…
