2007-01-01から1年間の記事一覧

Web::Scraper + XML::LibXML

via http://b.hatena.ne.jp/mattn/20071016#bookmark-6186564 scraper シェル上で組み合わせたら便利なのではと思い試してみた。 $ cat foo.html <html> <body> <div><span>aaa</span>bbb</div> <div><span>ccc</span>ddd</div> </body> </html> $ scraper foo.htmlとりあえず抽出したいテキストを使ったりしてノードを特定し、そのノー…

今日の幸せ

データ型の自動変換

JavaScript 第5版 3.12 型変換のまとめ 表 3-3 データ型の自動変換より引用。 値 文字列 数値 論理値 オブジェクト 未定義値 "undefined" NaN false Error null "null" 0 false Error 空でない文字列 - 文字列の数値または NaN true String オブジェクト 空…

丸善@丸の内

via 王様のブランチ 松田さんの今日のお勧めと以前のお勧め。両方とも絶賛ぎみ。八日目の蝉作者: 角田光代出版社/メーカー: 中央公論新社発売日: 2007/03メディア: 単行本購入: 8人 クリック: 264回この商品を含むブログ (318件) を見る有頂天家族作者: 森見…

ISBN 編集テーブル自動更新

via http://d.hatena.ne.jp/natu_n/20071014/1192365298 natu_n さんの野望を読んでいて、Greasemonkey スクリプトに関してはユーザ側でテーブルをキャッシュするというアプローチもありなんじゃないかと思ったので試してみた。 やりたいことはこんなの。 ra…

杉並区立図書館の ISBN 検索がわからない

書名で検索してヒットした本の ISBN で検索してもヒットしてくれません。絶対バ(ry。検索ページには - (ハイフン)は不要です。 ISBNが入力文字列で始まるものを検索します。 とある。 前方一致検索と読めるが、検索する前のチェックではじかれてる気…

ISBN ハイフン編集用テーブル生成

via http://d.hatena.ne.jp/natu_n/20061108/1162984712 ISBN はハイフンの位置が地域によって異なる。 The International ISBN Agency にあるスクリプトから編集用のテーブルを生成してみた。 #!/user/bin/perl use strict; use warnings; use LWP::UserAge…

DREAMS COME TRUE「ア・イ・シ・テ・ルのサイン〜わたしたちの未来予想図〜」

HMV@メトポリ。ひさびさにシングル買った。ア・イ・シ・テ・ルのサイン ~わたしたちの未来予想図~アーティスト: DREAMS COME TRUE出版社/メーカー: UNIVERSAL J(P)(M)発売日: 2007/10/03メディア: CD クリック: 38回この商品を含むブログ (73件) を見る

Web::Scraper Watch

0.21_01 まで。 0.21_01 Thu Oct 4 01:05:00 PDT 2007 - Added an experimental filter support (Thanks to hirose31, tokuhirom and Yappo for brainstorming) 0.21 Wed Oct 3 10:37:13 PDT 2007 - Bumped up HTML::TreeBuilder dependency to fix 12_html.…

捨てられた頭

深夜の美容院の前にて。なんか悲しくなりました。

Amazon の商品ページから東京都内の図書館の蔵書検索を行う Greasemonkey スクリプト

今日は雨で出かけるのが面倒になったので、前から作ろうと思っていた都内の図書館+αをまとめて蔵書検索する Greasemonkey スクリプトを書いた。やりたいことの半分くらいしかできなかったけど…。 こんな感じで検索対象を定義する。予想外に複雑になってしま…

JavaScript本借りた

図書館で借りた。基本的なことがわからないときが多々あるので基礎から勉強しなおそう。JavaScript の本を読むのってはじめてかも。第5版がもうあるなんてすごいよ。JavaScript 第5版作者: David Flanagan,村上列出版社/メーカー: オライリー・ジャパン発売…

The Best of Dragon Ash with Changes

HMV@メトポリ。ポイント3倍につられた。車中で聴いてると音量をめっちゃ上げたくなる。けど、かっくわるいのでそんなことしない。The Best of Dragon Ash with Changes Vol.1アーティスト: Dragon Ash出版社/メーカー: ビクターエンタテインメント発売日: …

丸善@丸の内

キラレ×キラレ (講談社ノベルス)作者: 森博嗣出版社/メーカー: 講談社発売日: 2007/09/07メディア: 新書購入: 1人 クリック: 24回この商品を含むブログ (157件) を見る*1 なんかもう一冊出てた?早く読まなきゃ。UNIX MAGAZINE (ユニックス マガジン) 2007年…

ブックオフ@西五反田

昨日だけど。200円コーナあさった。ナラタージュ作者: 島本理生出版社/メーカー: 角川書店発売日: 2005/02/28メディア: 単行本購入: 2人 クリック: 69回この商品を含むブログ (400件) を見る約束作者: 石田衣良出版社/メーカー: 角川書店発売日: 2004/07/27…

今日の位置ログ地図

今日は車であちこち行かなきゃならなかったので、モバツイッターの試用をかねて所々でその時居る地名を送っていた。せっかくなので地図上に表示してみた。方法は、 Twitter API でステータス履歴取得 モバツイッター経由のステータス(地名)抽出 Google Maps …

渋谷区立図書館調査

#!/usr/bin/perl use strict; use warnings; use utf8; use Web::Scraper; use LWP::UserAgent; use HTTP::Response::Encoding; use Encode; use YAML; use URI; my $ua = LWP::UserAgent->new(keep_alive => 1); $Web::Scraper::UserAgent = $ua; my $resp …

新宿区立図書館調査

#!/usr/bin/perl use strict; use warnings; use utf8; use Web::Scraper; use YAML; use URI; print Dump scraper { process '//table[tr/th]/tr[2]', info => scraper { process '//td[2]/font/a', href => '@href'; process '//td[6]', umu => 'text'; };…

世田谷区立図書館調査

#!/usr/bin/perl use strict; use warnings; use utf8; use Web::Scraper; use LWP::UserAgent; use URI; use YAML; $Web::Scraper::UserAgent = LWP::UserAgent->new(keep_alive => 1); my $data= scraper { process '//table/tbody/tr/td/a', href => '@hr…

well-formed でない html で DOM を試す

Firebug で試したログをコピペ。まず、well-formed なもので確認。 >>> var html = '<html><head><title>foo</title></head><body><img src="bar.png"/></body></html>' >>> var doc = (new DOMParser).parseFromString(html, 'text/xml') >>> doc.getElementsByTagName('title') [title] >>> doc.evaluate('//title', doc, null, 6, nul…

Web::Scraper Watch

0.16 から 0.19。 0.19 Thu Sep 20 22:42:30 PDT 2007 - Try to get HTML encoding from META tags as well, when there's no charset value in HTTP response header.0.18 Thu Sep 20 19:49:11 PDT 2007 - Fixed a bug where URI is not absolutized when s…

Amazon で DOM

via ふぁっきん not well-formed, XMLHttpRequest とかで well-formed ではない HTML はこの方法で DOM アクセスできる。今まで Amazon では正規表現でごにょごにょしてたけど、これからはこれ使お。 GM_xmlhttpRequest({ method : 'get', url : 'http://www…

ページ内の ISBN を一覧表示する Greasemonkey スクリプト

いつか買うリスト?に ISBN を追加するのがコピペでささっとできて便利です、きっと。自分以外、需要があるとは思えないな…。とりあえずスクリーンショットだけ。

env_proxy キタ

via http://use.perl.org/~miyagawa/journal/34461 Web::Scraper 0.15 がリリースされました。 0.15 - Call env_proxy in scraper CLI - Added $Web::Scraper::UserAgent and $scraper->user_agent accessor to deal with UserAgent object - Don't escape n…

Web::Scraper Watch

env_proxy に喜びすぎて、ほかの更新を見逃してたのは内緒。 さっきちょこっと書いたけど、 - Call env_proxy in scraper CLI D:\>set HTTP_PROXY=http://userid:passwd@proxy.example.com:8080 D:\>scraper "http://quote.yahoo.co.jp/q?s=9684.t&d=t" scra…

今日も幸せ

Mozilla 24

Shibuya.js だけ見てきた。ドキッ! 丸ごと〜は Live 中継で。

サボテンの花

scraper シェルで proxy 越え

うちの会社、 proxy を通さないと外へ出れません。 D:\>scraper http://www.yahoo.co.jp GET http://www.yahoo.co.jp failed: 500 Can't connect to www.yahoo.co.jp:80 (Bad hostname 'www.yahoo.co.jp') at ...scraper シェルを使う時は次のようにしてます…

図書館カード

財布に図書館カードが4、5枚入っているのを見られた。冗談だと信じているがキモイって言われた。もちろん20枚ほど持ってることは言わなかった。キモくなんかないよね?