[PHP]自然言語処理（形態素解析）を利用した簡易全文検索

Posted on 2014/11/08,
by  in PHP
このエントリーをはてなブックマークに追加
Pocket

ある文字列が文章内に存在するかを確認するだけなら mb_strpos() で調べることができますが、完全一致なので少しでも言い回しを変えると一致しなくなります。
例えば「東京は日本の首都です」という文章と「日本の首都は東京です」は人間の感覚ではほとんど同じですがコンピュータにとってイコールではありません。
検索に曖昧さを持たせるには、文章を小さな単位に分解し、それがある程度含まれていれば一致したとみなすという手法が一般的で、今回は形態素解析を利用した全文検索を行ってみます。

このサンプルの動作には igo-php が必要です。
過去の記事を参考に環境を準備して下さい。 

<?php
require_once 'lib/Igo.php';

$keyword = '東京は日本の首都です';

$text = array(
	'これは日本語で書かれた文章です',
	'日本の首都は東京です',
	'日本語には漢字が使われます。',
	'かつては京都が日本の首都でしたが現在は東京です'
);

$fulltext = new FullTextSearch();

// インデックスを作成
foreach($text as $value){
	$fulltext->index($value);
}

$results = $fulltext->search($keyword);
print_r($results);

class FullTextSearch
{
	private $igo;
	private $indexes = array();
	private $threshold = 0.8; // 許容するしきい値

	function __construct(){
		$this->igo = new Igo("./ipadic", "UTF-8");
	}
	
	// 分かち書き
	function wakati($str){
		$arr = $this->igo->wakati($str);
		return array_map(array('FullTextSearch', 'remove_space'), $arr);
	}
	
	// 検索対象を登録
	function index($str){
		$arr = array_unique($this->igo->wakati($str));
	
		$this->indexes[] = array(
			$str, implode(' ', $arr)
		);
	}

	// インデックスから検索
	function search($str){
		$words = array_unique($this->wakati($str));

		$results = array();
		$wordCount = count($words);
		if($wordCount == 0) return $results;
		
		foreach($this->indexes as $index){
			$match = 0;
			foreach($words as $word){
				if(mb_strpos($index[1], $word) != false){
					$match++;
				}
			}
			
			if($match / $wordCount >= $this->threshold){
				$results[] = $index[0];
			}
		}
		
		return $results;
	}
	
	// スペースを取り除く
	function remove_space($value){
		return str_replace(array(' ', '　'), '', $value);
	}
}

結果: 

Array
(
    [0] => 日本の首都は東京です
    [1] => かつては京都が日本の首都でしたが現在は東京です
)

まずはキーワードを分かち書きし、「東京 | は | 日本 | の | 首都 | です」のような配列にします。あとは複数の文章中から一定数の語句を含むものを探して表示します。

本来は検索対象の文章をあらかじめ分かち書きしてデータベースに登録しておきますが、この例はあくまでコンセプトなのでその都度変換しています。
登録されるインデックスは次のような形で格納されています。 

Array
(
    [0] => Array
        (
            [0] => これは日本語で書かれた文章です
            [1] => これ は 日本語 で 書か れ た 文章 です
        )

    [1] => Array
        (
            [0] => 日本の首都は東京です
            [1] => 日本 の 首都 は 東京 です
        )

    [2] => Array
        (
            [0] => 日本語には漢字が使われます。
            [1] => 日本語 に は 漢字 が 使わ れ ます 。
        )

    [3] => Array
        (
            [0] => かつては京都が日本の首都でしたが現在は東京です
            [1] => かつて は 京都 が 日本 の 首都 でし た 現在 東京 です
        )

)

配列 [0] にはオリジナルの文章が、[1] にはスペースで区切った語句が格納されています。
適合率が変数 threshold（しきい値）以上であった場合検索結果に加えるという流れです。
しきい値には0.0～1.0までの小数が利用でき、0.8 のときは単語の 80% 以上が一致すれば検索結果に加えるという意味になります。

MySQL を使って全文検索を行う場合は「MATCH(カラム) AGAINST(語句)」を用います。
分かち書きをしたスペース区切りの語句をデータベースに保存し、そのカラムに対して FULLTEXT インデックスを張ります。InnoDB での FULLTEXT は MySQL 5.6.4 以上でなければ使えません。バージョンが古い場合、エンジンには MyISAM を使って下さい。

ALTER TABLE テーブル名 ADD fulltext(カラム名)

あとは「SELECT * FROM pages WHERE MATCH(content) AGAINST('+東京 +首都' in boolean mode)」のようにして検索します。「+」は語句が含まれるという意味で、「-」の場合語句を含まないものという意味になります。

通常 MySQL には検索に使われるキーワードの最低文字数が設定されています。（ft_min_word_len、innodb_ft_min_token_size）
この文字数に満たない語句は無視されてしまいます。設定を確認するには次のようなクエリを発行します。 

show variables like '%ft%'

４文字に設定されていることが多く、そのままでは日本語のほとんどのキーワードが無視されてしまいます。そこで MySQL の設定ファイル my.cnf に「ft_min_word_len=2」あるいは「innodb_ft_min_token_size=2」のように書き加えてサーバーを再起動します。

Similar Posts:




コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です