[PHP]キーワードとなる文字列が何文字目にあるかを全て取得

by  in PHP

文章中からキーワードの現れる最初の位置を調べるなら mb_strpos() が使えますが、取得できるのは一つだけなので、同じキーワードが複数回出現している場合でも最初に見つかった一つしか得られません。
そこで、語句が出現する全ての位置を取得して配列の形で返す関数を作ってみました。 

<?php
mb_internal_encoding('utf-8');

$needle = 'テスト';
$haystack = 'これはテストです。二箇所目のテストです。三箇所目のテストです';

$result = mb_strpos_all($haystack, $needle);

print_r($result);

function mb_strpos_all($haystack, $needle, $offset=0, $encoding=null, $result=array() ){
	if( empty($encoding) ) $encoding = mb_internal_encoding();
	$pos = mb_strpos($haystack, $needle, $offset, $encoding);
	if($pos !== false){
		$result[] = $pos;
		return mb_strpos_all($haystack, $needle, $pos + 1, $encoding, $result);
	} else {
		return $result;
	}
}

出力結果: 
Array
(
    [0] => 3
    [1] => 14
    [2] => 25
)

キーワードとなる語句は 3 回使われているので結果の配列も 3 つです。数値は何文字目に現れるかを示しており、3 文字目、14 文字目、25 文字目に単語が存在することがわかります。

上記の例では再帰処理を行いましたが単純に下のようにしても同じ結果が得られます。

<?php
mb_internal_encoding('utf-8');

$needle = 'テスト';
$haystack = 'これはテストです。二箇所目のテストです。三箇所目のテストです';

$offset = 0;
$result = array();
while(true){
	$pos = mb_strpos($haystack, $needle, $offset);
	if($pos === false){
		break;
	} else {
		$result[] = $pos;
		$offset = $pos + 1;
	}
}

print_r($result);

[PHP]file_get_contents()でWebページのステータスコードを取得する

by  in PHP

HTTP で Web ページの内容を取得するには file_get_contents() で可能ですが、サーバーが 404 などのエラーコードを返しても通常の file_get_contents() は false を返すだけでエラーの内容がわかりません。

そこで、stream_context_create() を使って ignore_errors を true にセットするとエラー時であっても取得することができます。

<?php
$url = 'http://example.com';

$options = array(
	'http' => array('ignore_errors' => true)
);
$context = stream_context_create($options);

$result = @file_get_contents($url, false, $context);

$code = 0;
if($result){
	$pattern='#\AHTTP/\d+\.\d+ (\d+) (.*)\E#';
	preg_match($pattern, $http_response_header[0], $matches);
	if(isset($matches[1])) $code = (int)$matches[1];
}

echo $code;

結果:

200

取得したヘッダーは $http_response_header という配列変数に自動的に格納されます。
上の例では正規表現でレスポンスコードの数字を取り出して出力しています。
URL 自体が誤っていてサーバーに辿りつけない場合は file_get_contents は false を返すので「@」を使って Warning エラーを抑制しています。

参考:
http://php.net/manual/ja/function.file-get-contents.php
http://php.net/manual/ja/function.stream-context-create.php

[PHP]DOM, XPathを使ったスクレイピング(HTMLのタグ内容取得)

Posted on 2014/11/27,
by  in PHP

サイトから特定のタグを抜き出すには、DOMDocument::loadHTML() を使います。
基本的な手法は以前解説した記事と同じですのでまずはそちらをお読み下さい。

このサンプルはちょっと癖のある HTML ページからいくつかのタグの内容を取得するものです。

<?php
$html = <<<EOD
<html>
<head>
  <title>Page Title</title>
</head>
<body>
  <div id="container">
    <div id="header">
	  <p>this is header</p>
	</div>
	
    <div id="content">
	  <p>&quot;Hello, World!&quot;</p>
	  <p id="sample">Sample <strong>Text</strong></p>
	  
	  <ul>
	    <li>A</li>
	    <li>B</li>
	    <li>C</li>
	  </ul>
	  
	  <DL>
	    <DT>foo</DT>
		<dd>bar</dd>
	  </DL>
    </div>
	
    <div id="footer">
	  <p>Copyright (C) 2014 <a href="https://php-archive.net">php-archive.net</a></p>
	</div>
  </div>
</body>
</html>
EOD;
 
$dom = new DOMDocument('1.0', 'UTF-8');
$html = mb_convert_encoding($html, "HTML-ENTITIES", 'auto');
@$dom->loadHTML($html);
$xpath = new DOMXPath($dom);
$xpath->registerNamespace("php", "http://php.net/xpath");
$xpath->registerPHPFunctions();

// title
$title = $xpath->query('//head/title[1]')->item(0)->nodeValue;
echo $title . "\n";

// id="content"
$content = $xpath->query('//*[@id="content"]')->item(0);

// id="sample"
$sample = $xpath->query('//*[@id="sample"]')->item(0);
$sampleHtml = getInnerHtml($sample);

echo $sample->nodeValue . "\n";
echo $sampleHtml . "\n";

// href
$a = $xpath->query('//div[@id="footer"][1]/p[1]/a[1]')->item(0);
$href = $a->getAttribute('href');
echo $href . "\n";

// li
$liNodes = $xpath->query('.//ul[1]/li', $content);
foreach($liNodes as $li){
	echo $li->nodeValue . "\n";
}

// dl (大文字小文字を無視)
$dl = $xpath->query(".//*[[php:functionString('strcasecmp', name(), 'dl')=0]]", $content)->item(0);

$dlChildren = $dl->childNodes;
foreach($dlChildren as $node){
	if($node->hasChildNodes()){
		$nodeName = strtolower($node->nodeName);
		if($nodeName == 'dt'){
			echo 'dt:' . $node->nodeValue . "\n";
		} else if($nodeName == 'dd') {
			echo 'dd:' . $node->nodeValue . "\n";
		}
	}
}

// HTMLとして取り出す
function getInnerHtml($node){
	$children = $node->childNodes;
	$html = '';
	foreach($children as $child){
		$html .= $node->ownerDocument->saveHTML($child);
	}
	return $html;
}

結果: 

Page Title
Sample Text
Sample <strong>Text</strong>
A
B
C
dt:foo
dd:bar

順番に解説していきます。

HTML ファイルを読み込むには XML を読み込むときと同様に DOMDocument を用います。

$dom = new DOMDocument('1.0', 'UTF-8');
$html = mb_convert_encoding($html, "HTML-ENTITIES", 'auto');
@$dom->loadHTML($html);
$xpath = new DOMXPath($dom);
$xpath->registerNamespace("php", "http://php.net/xpath");
$xpath->registerPHPFunctions();

今回は loadXML() の代わりに loadHTML() で読み込みます。ファイルから読み込む場合は loadHTMLFile() にファイルパスを渡します。「@」でエラーを抑制しているのは HTML の記述に誤りがあった場合でもエラーを表示しないようにするためです。例えば HTML ページ中に同じ id 属性が複数存在していた場合 Warning エラーとなります。
文字化けを防ぐ目的で mb_convert_encoding() を利用しています。HTML ページのエンコーディングが明確な場合や「auto」で正しく認識しない場合は直接文字コードを指定してください。

タグの検索には XPath を用いるので DOMXPath() で割り当てます。
その下にある registerNamespace() と registerPHPFunctions() については後述しますが、XPath の検索条件として PHP の関数を利用できるようにするためのもので、単純な検索なら必須ではありません。

まずはページのタイトルタグから取得します。XPath のクエリは「//head/title[1]」で、head 要素から１番目の title 要素を取得しています。query() は一致した全ての要素をリストの形で返すので item(0) として最初の要素を指定する必要があります。これはクエリの title[1] で１つに絞り込まれていることが明らかでも省略できません。
XPath クエリのインデックス番号は [1] から始まり、item(n) は 0 から始まることに注意して下さい。 

// title
$title = $xpath->query('//head/title[1]')->item(0)->nodeValue;
echo $title . "\n";

// id="content"
$content = $xpath->query('//*[@id="content"]')->item(0);

次は属性 id が content であるものを取得します。属性(Attribute)は「@」で表され、「@id="content"」のとき id が content であるものを指します。 「*」は要素名のワイルドカードで、すべての要素が対象になります。<div> であることがあらかじめわかっているなら「//div[@id="content"]」としてしまっても構いません。

クラス名を指定して取得する際などに「class="foo bar"」のように複数の属性を持つ要素を選択する場合、*[@class="foo"] と書くだけでは class が foo のみの要素という意味になってしまうため取得できません。完全一致で *[@class="foo bar"] と書くか、クラスに foo が含まれるものという意味で *[contains(@class, "foo")] としなければなりません。

同じように属性 id が sample であるものを取得し、内容を表示します。

$sample = $xpath->query('//*[@id="sample"]')->item(0);
$sampleHtml = getInnerHtml($sample);

echo $sample->nodeValue . "\n";
echo $sampleHtml . "\n";

[nodeValue]
Sample Text

[innerHtml]
Sample <strong>Text</strong>

ここでは２つの異なる方法で表示しています。ひとつは nodeValue() でもう一つは独自に定義した getInnerHtml です。
nodeValue の結果は「Sample Text」で、本来あるはずの <strong> が消えています。また、「&quot;」などの文字参照も「"」等に置き換えられた状態で取得されます。
これを防ぐには getInnerHtml() として定義したように saveHTML() や C14N() で HTML 文字列として取得します。

フッターにある <a>タグからリンクアドレス(href)を取得するには次のようにします。 

// href
$a = $xpath->query('//div[@id="footer"][1]//a[1]')->item(0);
$href = $a->getAttribute('href');
echo $href . "\n";

id に "footer" を持つ <div> 以下の <a>を取得しています。「//a」とすることで <p> の有無にかかわらず <div id="footer"> 以下のすべての階層を取得対象にしています。
属性を取得するには getAttribute() を用います。指定した属性が存在しない場合は空の文字列が返されます。

画像タグ <img> からファイルパスの属性 src を取得する場合でも同様です。body 内の全ての画像のパスを得るなら「//body//img」で全てを取得しておき、getAttribute() で src を抜き出すだけです。

$imgs = $xpath->query('//body//img');

foreach($imgs as $img){
	echo $img->getAttribute('src') . "\n";
}

<ul> のようなリストタグから子要素を取得する場合は「.//ul[1]/li」のようにします。

// li
$liNodes = $xpath->query('.//ul[1]/li', $content);
foreach($liNodes as $li){
	echo $li->nodeValue . "\n";
}

query() の第二引数に抽出元となるノード（コンテキストノード）を指定しているので「.//」とした場合そのコンテキストノード以下から検索されます。この場合 id="content" の要素以下から１番目の <ul> を探し、それ以下の <li> 要素を全て抜き出すことになります。

最後は <dt> の抽出ですが、少し厄介な問題があります。
たいていのサイトはタグを小文字で統一しているので大丈夫なのですが、中には大文字と小文字が混在するサイトも存在します。XPath のクエリは大文字と小文字を区別するので「DT」と「dt」は一致しません。XPath 2.0 であれば lower-case() で変換するというのもありますが現在 PHP に標準搭載されているものは XPath 1.0 なので、PHP 側の関数 strcasecmp() をクエリ内で使えるようにします。
その準備として registerNamespace() で名前空間を登録し、registerPHPFunctions() で使用する関数を登録します。本来は registerPHPFunctions("strcasecmp") のように使うものだけ登録しますが、引数なしの場合制限がなくなり、全ての関数が使えるようになります。使う際には「名前空間:functionString("関数名", 引数…)」のようにします。 

$xpath->registerNamespace("php", "http://php.net/xpath");
$xpath->registerPHPFunctions();

$dl = $xpath->query(".//*[php:functionString('strcasecmp', name(), 'dl')=0]", $content)->item(0);

$dlChildren = $dl->childNodes;
foreach($dlChildren as $node){
	if($node->hasChildNodes()){
		$nodeName = strtolower($node->nodeName);
		if($nodeName == 'dt'){
			echo 'dt:' . $node->nodeValue . "\n";
		} else if($nodeName == 'dd') {
			echo 'dd:' . $node->nodeValue . "\n";
		}
	}
}

要素名は「DL」か「dl」なのか未知なので「.//*」とし、XPath の関数 name() で得られた要素名と「dl」を strcasecmp() で比較して一致していれば true という条件にします。
あとは得られた <dl> の子要素 childNodes を foreach() で回して <dt> の時と <dd> の時で処理を分けています。この際に hasChildNodes() でチェックしておかないと改行や空白文字などが混じってしまいます。

functionString() で使うことのできる関数は PHP 標準のものだけでなく、独自に定義した関数でも動作します。
例えば後方一致させる関数 endsWith() を作っておくと、指定した文字で終わるものだけを選択できます。
これを使えば img 要素のうち、src が「.jpg」で終わるものだけを抽出することができます。 

// 部分一致
$partial = $xpath->query('//body//img[contains(@src, "sample")]');

// 前方一致
$prefix = $xpath->query('//body//img[starts-with(@src, "picture")]');

// 後方一致
$suffix = $xpath->query('//body//img[php:function("endsWith", @src, ".jpg")]');

function endsWith($node, $needle){
	$length = mb_strlen($needle);
	if(mb_substr($node[0]->nodeValue, - $length) === $needle){
		return true;
	} else {
		return false;
	}
}

"sample" を含むもの、"picture" で始まるもの、".jpg" で終わるものを選択しています。
部分一致を表す contains() や 前方一致を表す starts-with() は XPath の関数としてあらかじめ用意されているので自分で作る必要はありません。

内容の複雑さゆえ、やや長文になってしまいましたが解説は以上です。
形式の整った XML に比べて HTML は不規則であることが多いため、パースする際は正しくないデータが送られてくる前提で柔軟な設計を取るのが良さそうです。

参考:
http://php.net/manual/ja/class.domxpath.php