タグ: PHP

[PHP]DOM, XPathを使ったスクレイピング(HTMLのタグ内容取得)

Posted on 2014/11/27,
by  in PHP

サイトから特定のタグを抜き出すには、DOMDocument::loadHTML() を使います。
基本的な手法は以前解説した記事と同じですのでまずはそちらをお読み下さい。

このサンプルはちょっと癖のある HTML ページからいくつかのタグの内容を取得するものです。

<?php
$html = <<<EOD
<html>
<head>
  <title>Page Title</title>
</head>
<body>
  <div id="container">
    <div id="header">
	  <p>this is header</p>
	</div>
	
    <div id="content">
	  <p>&quot;Hello, World!&quot;</p>
	  <p id="sample">Sample <strong>Text</strong></p>
	  
	  <ul>
	    <li>A</li>
	    <li>B</li>
	    <li>C</li>
	  </ul>
	  
	  <DL>
	    <DT>foo</DT>
		<dd>bar</dd>
	  </DL>
    </div>
	
    <div id="footer">
	  <p>Copyright (C) 2014 <a href="https://php-archive.net">php-archive.net</a></p>
	</div>
  </div>
</body>
</html>
EOD;
 
$dom = new DOMDocument('1.0', 'UTF-8');
$html = mb_convert_encoding($html, "HTML-ENTITIES", 'auto');
@$dom->loadHTML($html);
$xpath = new DOMXPath($dom);
$xpath->registerNamespace("php", "http://php.net/xpath");
$xpath->registerPHPFunctions();

// title
$title = $xpath->query('//head/title[1]')->item(0)->nodeValue;
echo $title . "\n";

// id="content"
$content = $xpath->query('//*[@id="content"]')->item(0);

// id="sample"
$sample = $xpath->query('//*[@id="sample"]')->item(0);
$sampleHtml = getInnerHtml($sample);

echo $sample->nodeValue . "\n";
echo $sampleHtml . "\n";

// href
$a = $xpath->query('//div[@id="footer"][1]/p[1]/a[1]')->item(0);
$href = $a->getAttribute('href');
echo $href . "\n";

// li
$liNodes = $xpath->query('.//ul[1]/li', $content);
foreach($liNodes as $li){
	echo $li->nodeValue . "\n";
}

// dl (大文字小文字を無視)
$dl = $xpath->query(".//*[[php:functionString('strcasecmp', name(), 'dl')=0]]", $content)->item(0);

$dlChildren = $dl->childNodes;
foreach($dlChildren as $node){
	if($node->hasChildNodes()){
		$nodeName = strtolower($node->nodeName);
		if($nodeName == 'dt'){
			echo 'dt:' . $node->nodeValue . "\n";
		} else if($nodeName == 'dd') {
			echo 'dd:' . $node->nodeValue . "\n";
		}
	}
}

// HTMLとして取り出す
function getInnerHtml($node){
	$children = $node->childNodes;
	$html = '';
	foreach($children as $child){
		$html .= $node->ownerDocument->saveHTML($child);
	}
	return $html;
}

結果: 

Page Title
Sample Text
Sample <strong>Text</strong>
A
B
C
dt:foo
dd:bar

順番に解説していきます。

HTML ファイルを読み込むには XML を読み込むときと同様に DOMDocument を用います。

$dom = new DOMDocument('1.0', 'UTF-8');
$html = mb_convert_encoding($html, "HTML-ENTITIES", 'auto');
@$dom->loadHTML($html);
$xpath = new DOMXPath($dom);
$xpath->registerNamespace("php", "http://php.net/xpath");
$xpath->registerPHPFunctions();

今回は loadXML() の代わりに loadHTML() で読み込みます。ファイルから読み込む場合は loadHTMLFile() にファイルパスを渡します。「@」でエラーを抑制しているのは HTML の記述に誤りがあった場合でもエラーを表示しないようにするためです。例えば HTML ページ中に同じ id 属性が複数存在していた場合 Warning エラーとなります。
文字化けを防ぐ目的で mb_convert_encoding() を利用しています。HTML ページのエンコーディングが明確な場合や「auto」で正しく認識しない場合は直接文字コードを指定してください。

タグの検索には XPath を用いるので DOMXPath() で割り当てます。
その下にある registerNamespace() と registerPHPFunctions() については後述しますが、XPath の検索条件として PHP の関数を利用できるようにするためのもので、単純な検索なら必須ではありません。

まずはページのタイトルタグから取得します。XPath のクエリは「//head/title[1]」で、head 要素から１番目の title 要素を取得しています。query() は一致した全ての要素をリストの形で返すので item(0) として最初の要素を指定する必要があります。これはクエリの title[1] で１つに絞り込まれていることが明らかでも省略できません。
XPath クエリのインデックス番号は [1] から始まり、item(n) は 0 から始まることに注意して下さい。 

// title
$title = $xpath->query('//head/title[1]')->item(0)->nodeValue;
echo $title . "\n";

// id="content"
$content = $xpath->query('//*[@id="content"]')->item(0);

次は属性 id が content であるものを取得します。属性(Attribute)は「@」で表され、「@id="content"」のとき id が content であるものを指します。 「*」は要素名のワイルドカードで、すべての要素が対象になります。<div> であることがあらかじめわかっているなら「//div[@id="content"]」としてしまっても構いません。

クラス名を指定して取得する際などに「class="foo bar"」のように複数の属性を持つ要素を選択する場合、*[@class="foo"] と書くだけでは class が foo のみの要素という意味になってしまうため取得できません。完全一致で *[@class="foo bar"] と書くか、クラスに foo が含まれるものという意味で *[contains(@class, "foo")] としなければなりません。

同じように属性 id が sample であるものを取得し、内容を表示します。

$sample = $xpath->query('//*[@id="sample"]')->item(0);
$sampleHtml = getInnerHtml($sample);

echo $sample->nodeValue . "\n";
echo $sampleHtml . "\n";

[nodeValue]
Sample Text

[innerHtml]
Sample <strong>Text</strong>

ここでは２つの異なる方法で表示しています。ひとつは nodeValue() でもう一つは独自に定義した getInnerHtml です。
nodeValue の結果は「Sample Text」で、本来あるはずの <strong> が消えています。また、「&quot;」などの文字参照も「"」等に置き換えられた状態で取得されます。
これを防ぐには getInnerHtml() として定義したように saveHTML() や C14N() で HTML 文字列として取得します。

フッターにある <a>タグからリンクアドレス(href)を取得するには次のようにします。 

// href
$a = $xpath->query('//div[@id="footer"][1]//a[1]')->item(0);
$href = $a->getAttribute('href');
echo $href . "\n";

id に "footer" を持つ <div> 以下の <a>を取得しています。「//a」とすることで <p> の有無にかかわらず <div id="footer"> 以下のすべての階層を取得対象にしています。
属性を取得するには getAttribute() を用います。指定した属性が存在しない場合は空の文字列が返されます。

画像タグ <img> からファイルパスの属性 src を取得する場合でも同様です。body 内の全ての画像のパスを得るなら「//body//img」で全てを取得しておき、getAttribute() で src を抜き出すだけです。

$imgs = $xpath->query('//body//img');

foreach($imgs as $img){
	echo $img->getAttribute('src') . "\n";
}

<ul> のようなリストタグから子要素を取得する場合は「.//ul[1]/li」のようにします。

// li
$liNodes = $xpath->query('.//ul[1]/li', $content);
foreach($liNodes as $li){
	echo $li->nodeValue . "\n";
}

query() の第二引数に抽出元となるノード（コンテキストノード）を指定しているので「.//」とした場合そのコンテキストノード以下から検索されます。この場合 id="content" の要素以下から１番目の <ul> を探し、それ以下の <li> 要素を全て抜き出すことになります。

最後は <dt> の抽出ですが、少し厄介な問題があります。
たいていのサイトはタグを小文字で統一しているので大丈夫なのですが、中には大文字と小文字が混在するサイトも存在します。XPath のクエリは大文字と小文字を区別するので「DT」と「dt」は一致しません。XPath 2.0 であれば lower-case() で変換するというのもありますが現在 PHP に標準搭載されているものは XPath 1.0 なので、PHP 側の関数 strcasecmp() をクエリ内で使えるようにします。
その準備として registerNamespace() で名前空間を登録し、registerPHPFunctions() で使用する関数を登録します。本来は registerPHPFunctions("strcasecmp") のように使うものだけ登録しますが、引数なしの場合制限がなくなり、全ての関数が使えるようになります。使う際には「名前空間:functionString("関数名", 引数…)」のようにします。 

$xpath->registerNamespace("php", "http://php.net/xpath");
$xpath->registerPHPFunctions();

$dl = $xpath->query(".//*[php:functionString('strcasecmp', name(), 'dl')=0]", $content)->item(0);

$dlChildren = $dl->childNodes;
foreach($dlChildren as $node){
	if($node->hasChildNodes()){
		$nodeName = strtolower($node->nodeName);
		if($nodeName == 'dt'){
			echo 'dt:' . $node->nodeValue . "\n";
		} else if($nodeName == 'dd') {
			echo 'dd:' . $node->nodeValue . "\n";
		}
	}
}

要素名は「DL」か「dl」なのか未知なので「.//*」とし、XPath の関数 name() で得られた要素名と「dl」を strcasecmp() で比較して一致していれば true という条件にします。
あとは得られた <dl> の子要素 childNodes を foreach() で回して <dt> の時と <dd> の時で処理を分けています。この際に hasChildNodes() でチェックしておかないと改行や空白文字などが混じってしまいます。

functionString() で使うことのできる関数は PHP 標準のものだけでなく、独自に定義した関数でも動作します。
例えば後方一致させる関数 endsWith() を作っておくと、指定した文字で終わるものだけを選択できます。
これを使えば img 要素のうち、src が「.jpg」で終わるものだけを抽出することができます。 

// 部分一致
$partial = $xpath->query('//body//img[contains(@src, "sample")]');

// 前方一致
$prefix = $xpath->query('//body//img[starts-with(@src, "picture")]');

// 後方一致
$suffix = $xpath->query('//body//img[php:function("endsWith", @src, ".jpg")]');

function endsWith($node, $needle){
	$length = mb_strlen($needle);
	if(mb_substr($node[0]->nodeValue, - $length) === $needle){
		return true;
	} else {
		return false;
	}
}

"sample" を含むもの、"picture" で始まるもの、".jpg" で終わるものを選択しています。
部分一致を表す contains() や 前方一致を表す starts-with() は XPath の関数としてあらかじめ用意されているので自分で作る必要はありません。

内容の複雑さゆえ、やや長文になってしまいましたが解説は以上です。
形式の整った XML に比べて HTML は不規則であることが多いため、パースする際は正しくないデータが送られてくる前提で柔軟な設計を取るのが良さそうです。

参考:
http://php.net/manual/ja/class.domxpath.php

[PHP]PubSubHubbub(PuSH)を使ってサイトの更新を瞬時に通知

Posted on 2014/11/12,
by  in PHP

通常、RSS リーダーなどで最新の記事があるかをチェックするには、定期的にサイトをチェックする必要がありました。そこで、データの変更をリアルタイムに通知するためのプロトコル「PubSubHubbub（パブサブハバブ）」が作られ、更新があった場合瞬時に RSS リーダーにプッシュ通知を送ることができるようになりました。これにより、定期的にサイトをチェックして更新がないか確認する必要がなくなり、更新通知を受けてから読み込みに行くこと可能となります。
WordPress ではプラグインの「pubsubhubbub」や「PuSHPress」などを使って実装することができます。

PHP でも curl を使った POST でサーバーと簡単にやりとりすることが可能です。
パラメーターは検索エンジンによって異なりますが、Google の場合 hub.mode と hub.url をサーバー （http://pubsubhubbub.appspot.com/）に送信することで要求できます。

hub.url とはフィードの URL で、更新したことを伝える場合 hub.mode は「publish」としておきます。

PHP の関数にしたものがこちらです。

<?php
// フィードのURL
$feed = 'http://example.com/feed/rss/';

pubSubHubbub($feed);

function pubSubHubbub($feed){
	$url = 'http://pubsubhubbub.appspot.com/';
	$post = array(
		'hub.mode' => 'publish',
		'hub.url' => $feed
	);

	$ch = curl_init();
	curl_setopt($ch, CURLOPT_URL, $url);
	curl_setopt($ch, CURLOPT_POST, true);
	curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($post));
	curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-Type: application/x-www-form-urlencoded'));
	curl_setopt($ch, CURLINFO_HEADER_OUT, true);
	$response = curl_exec($ch);
	$info = curl_getinfo($ch);
	//print_r($info);
	curl_close($ch);
	return $response;
}

フィードの自動探査に対応させる

RSS や Atom フィードを PubSubHubbub に対応させるには、記述を追加する必要があります。
必要とする要素や形式、記述の詳細は送信先サーバーの仕様によって異なりますが、一例として「http://pubsubhubbub.appspot.com」のケースを説明します。

【RSS 1.0 / RSS 2.0 の場合】

<?xml version="1.0"?>
<rss xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <atom:link rel="hub" href="http://pubsubhubbub.appspot.com" />
    <atom:link rel="self" type="application/rss+xml" href="http://example.com/feed/rss/" />
    ...
  </channel>
</rss>

rss 要素（rdf:RDFの場合も同様）に「xmlns:atom="http://www.w3.org/2005/Atom"」を追加し、channel 要素内に link 要素として PubSubHubbub サーバー（hub）と自サイトのフィード URL （self）を追加します。

【Atom の場合】

属性 hub と self の link 要素を追加し、hub に Pubsubhubbub サーバー、self に自サイトのフィード URL を記述します。

<?xml version="1.0"?>
<feed xmlns="http://www.w3.org/2005/Atom">
  <title>...</title>
  <link rel="hub" href="http://pubsubhubbub.appspot.com/" />
  <link rel="self" type="application/atom+xml" href="http://example.com/feed/atom/" />
  ...
  <entry>
  ...
  </entry>
</feed>

リアルタイムに更新通知を受けるには、フィードリーダー側も PubsubHubbub に対応している必要があります。

参考:
http://pubsubhubbub.github.io/PubSubHubbub/pubsubhubbub-core-0.4.html

[PHP]自然言語処理（形態素解析）を利用した簡易全文検索

Posted on 2014/11/08,
by  in PHP

ある文字列が文章内に存在するかを確認するだけなら mb_strpos() で調べることができますが、完全一致なので少しでも言い回しを変えると一致しなくなります。
例えば「東京は日本の首都です」という文章と「日本の首都は東京です」は人間の感覚ではほとんど同じですがコンピュータにとってイコールではありません。
検索に曖昧さを持たせるには、文章を小さな単位に分解し、それがある程度含まれていれば一致したとみなすという手法が一般的で、今回は形態素解析を利用した全文検索を行ってみます。

このサンプルの動作には igo-php が必要です。
過去の記事を参考に環境を準備して下さい。 

<?php
require_once 'lib/Igo.php';

$keyword = '東京は日本の首都です';

$text = array(
	'これは日本語で書かれた文章です',
	'日本の首都は東京です',
	'日本語には漢字が使われます。',
	'かつては京都が日本の首都でしたが現在は東京です'
);

$fulltext = new FullTextSearch();

// インデックスを作成
foreach($text as $value){
	$fulltext->index($value);
}

$results = $fulltext->search($keyword);
print_r($results);

class FullTextSearch
{
	private $igo;
	private $indexes = array();
	private $threshold = 0.8; // 許容するしきい値

	function __construct(){
		$this->igo = new Igo("./ipadic", "UTF-8");
	}
	
	// 分かち書き
	function wakati($str){
		$arr = $this->igo->wakati($str);
		return array_map(array('FullTextSearch', 'remove_space'), $arr);
	}
	
	// 検索対象を登録
	function index($str){
		$arr = array_unique($this->igo->wakati($str));
	
		$this->indexes[] = array(
			$str, implode(' ', $arr)
		);
	}

	// インデックスから検索
	function search($str){
		$words = array_unique($this->wakati($str));

		$results = array();
		$wordCount = count($words);
		if($wordCount == 0) return $results;
		
		foreach($this->indexes as $index){
			$match = 0;
			foreach($words as $word){
				if(mb_strpos($index[1], $word) != false){
					$match++;
				}
			}
			
			if($match / $wordCount >= $this->threshold){
				$results[] = $index[0];
			}
		}
		
		return $results;
	}
	
	// スペースを取り除く
	function remove_space($value){
		return str_replace(array(' ', '　'), '', $value);
	}
}

結果: 

Array
(
    [0] => 日本の首都は東京です
    [1] => かつては京都が日本の首都でしたが現在は東京です
)

まずはキーワードを分かち書きし、「東京 | は | 日本 | の | 首都 | です」のような配列にします。あとは複数の文章中から一定数の語句を含むものを探して表示します。

本来は検索対象の文章をあらかじめ分かち書きしてデータベースに登録しておきますが、この例はあくまでコンセプトなのでその都度変換しています。
登録されるインデックスは次のような形で格納されています。 

Array
(
    [0] => Array
        (
            [0] => これは日本語で書かれた文章です
            [1] => これ は 日本語 で 書か れ た 文章 です
        )

    [1] => Array
        (
            [0] => 日本の首都は東京です
            [1] => 日本 の 首都 は 東京 です
        )

    [2] => Array
        (
            [0] => 日本語には漢字が使われます。
            [1] => 日本語 に は 漢字 が 使わ れ ます 。
        )

    [3] => Array
        (
            [0] => かつては京都が日本の首都でしたが現在は東京です
            [1] => かつて は 京都 が 日本 の 首都 でし た 現在 東京 です
        )

)

配列 [0] にはオリジナルの文章が、[1] にはスペースで区切った語句が格納されています。
適合率が変数 threshold（しきい値）以上であった場合検索結果に加えるという流れです。
しきい値には0.0～1.0までの小数が利用でき、0.8 のときは単語の 80% 以上が一致すれば検索結果に加えるという意味になります。

MySQL を使って全文検索を行う場合は「MATCH(カラム) AGAINST(語句)」を用います。
分かち書きをしたスペース区切りの語句をデータベースに保存し、そのカラムに対して FULLTEXT インデックスを張ります。InnoDB での FULLTEXT は MySQL 5.6.4 以上でなければ使えません。バージョンが古い場合、エンジンには MyISAM を使って下さい。

ALTER TABLE テーブル名 ADD fulltext(カラム名)

あとは「SELECT * FROM pages WHERE MATCH(content) AGAINST('+東京 +首都' in boolean mode)」のようにして検索します。「+」は語句が含まれるという意味で、「-」の場合語句を含まないものという意味になります。

通常 MySQL には検索に使われるキーワードの最低文字数が設定されています。（ft_min_word_len、innodb_ft_min_token_size）
この文字数に満たない語句は無視されてしまいます。設定を確認するには次のようなクエリを発行します。 

show variables like '%ft%'

４文字に設定されていることが多く、そのままでは日本語のほとんどのキーワードが無視されてしまいます。そこで MySQL の設定ファイル my.cnf に「ft_min_word_len=2」あるいは「innodb_ft_min_token_size=2」のように書き加えてサーバーを再起動します。