레벤쉬테인:MySQL + PHP

레벤쉬테인:MySQL + PHP

$word = strtolower($_GET['term']); 

$lev = 0;

$q = mysql_query("SELECT `term` FROM `words`"); 
while($r = mysql_fetch_assoc($q)) 
{ 
    $r['term'] = strtolower($r['term']); 

    $lev = levenshtein($word, $r['term']);

    if($lev >= 0 && $lev < 5)
    {
        $word = $r['term'];
    }
}

어떻게 하면 이 모든 것을 하나의 쿼리로 옮길 수 있을까요?모든 용어를 조회하고 PHP로 필터링할 필요가 없기를 바랍니다.

당신은 MySQL에서 levenshtein 함수가 필요하고 쿼리는 다음과 같습니다.

$word = mysql_real_escape_string($word);
mysql_qery("SELECT `term` FROM `words` WHERE levenshtein('$word', `term`) BETWEEN 0 AND 4");

MySQL에는 Levenshtein 함수를 구현하는 두 가지 방법이 있습니다.첫 번째는 입력과 출력이 서로 다르다는 점을 제외하고는 저장된 트랜잭션과 매우 유사하게 작동하는 저장된 기능을 만드는 것입니다.이것은 작은 데이터 세트에는 괜찮지만, 몇 천 행에 가까워지는 것에는 조금 느립니다.

CREATE FUNCTION levenshtein( s1 VARCHAR(255), s2 VARCHAR(255) )
RETURNS INT
DETERMINISTIC

BEGIN
DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT;
DECLARE s1_char CHAR;
-- max strlen=255
DECLARE cv0, cv1 VARBINARY(256);
SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0;
IF s1 = s2 THEN
  RETURN 0;
ELSEIF s1_len = 0 THEN
  RETURN s2_len;
ELSEIF s2_len = 0 THEN
  RETURN s1_len;
ELSE
  WHILE j <= s2_len DO
    SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1;
  END WHILE;
  WHILE i <= s1_len DO
    SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1;
    WHILE j <= s2_len DO
    SET c = c + 1;
    IF s1_char = SUBSTRING(s2, j, 1) THEN
      SET cost = 0; ELSE SET cost = 1;
    END IF;
    SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost;
    IF c > c_temp THEN SET c = c_temp; END IF;
      SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1;
      IF c > c_temp THEN
        SET c = c_temp;
      END IF;
      SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1;
    END WHILE;
    SET cv1 = cv0, i = i + 1;
  END WHILE;
END IF;

RETURN c;

END//

위 코드를 .sql 파일에 저장한 후 다음과 같이 데이터베이스로 가져옵니다.

source /tmp/mysql_udf.sql

두 번째 방법은 C/C++에 User Defined Function을 구현하여 공유 라이브러리(*.so 파일)로 MySQL에 연결하는 것입니다.이 메서드는 라이브러리를 호출하는 데 STOREED FECTORY를 사용하기도 합니다. 즉, 이 메서드 또는 첫 번째 메서드에 대한 실제 쿼리가 동일할 수 있습니다(두 함수에 대한 입력 제공은 동일함).이 방법에 대한 자세한 내용은 http://samjlevy.com/mysql-levenshtein-and-damerau-levenshtein-udfs/ 에서 확인할 수 있습니다.

이 두 가지 방법 중 하나를 사용하면 쿼리는 다음과 같습니다.

SELECT term FROM words WHERE levenshtein(term, 'term') < 5;

또한 '임계값' 값은 원래 단어의 길이와 관련하여 변경되어야 합니다.백분율 값, 즉 단어의 절반 = 50%, '용어'의 절반 = 2로 생각하는 것이 좋습니다.

거대한 데이터베이스가 있는 경우 SOUNDEX를 사용하여 단어를 먼저 필터링할 수 있습니다.

$word = strtolower(mysql_real_escape_string($_GET['term']));

$rs = mysql_query("SELECT LOWER(`term`) FROM `words` WHERE SOUNDEX(term) = SOUNDEX(" . $word . ")");

while ($row = mysql_fetch_assoc($rs)) { 

    $lev = levenshtein($word, $row['term']);

    ....

}

C 확장이나 프로시저로 플레이할 수 있을 만큼 시간이 있다면 더 나은 성능을 달성할 수도 있지만 실제 레벤슈타인을 적용하기 전에 mysql의 기록을 필터링하면 거의 노력 없이도 일이 더 빨라질 것입니다.

만약 당신이 매우 큰 데이터 세트를 다루고 있다면, 나는 MySQL에서보다 Levenshtein 연산을 처리하고 PHP로 정렬하는 것이 훨씬 더 효율적이라는 것을 알게 되었습니다. 예를 들어 약 1000개의 레코드에 대한 쿼리:

MySQL( ~ 0.0050s) -> PHP Levenshtein( ~ 1.300s)

대.

MySQL Levenshtein( >= 5.000s) -> PHP( ~ 0.250s)

검색 엔진을 최적화하기 위한 여러 가지 다른 옵션도 있지만 Levenshtein을 사용하려면 처리할 데이터와 원하는 지연 시간에 유의해야 합니다.

이 코드를 좀 더 깔끔하게 만들 수 있지만 @profitphp가 맞습니다. 레벤슈타인 라이브러리 없이는 MySQL에서 할 수 없습니다.

$word = strtower($_GET['term']);
$q = mysql_uquery('단어'에서 SELECT Lower('항');
($r = mysql_fetch_associate ($q)) { 동안
$lev = levenshtein ($어, $r['항'])
....
}

저는 당신의 질의에 levenshtein(링크: http://www.artfulsoftware.com/infotree/queries.php#552) )의 호출을 포함시킬 것을 제안합니다.

mysql_query($q)가 더 이상 사용되지 않으므로 mysqli_query($q)를 사용해야 하며 향후 php 버전에서는 제거될 수 있습니다!

$word = mysql_real_escape_string($word);
$query = "SELECT `term` FROM `words` WHERE levenshtein('$word', `term`)   BETWEEN 0 AND 4";
mysqli_qery($query);

호출할 수 있는 함수 안에 PL/SQL에 알고리즘을 구현하여 Oracle에서 이 작업을 수행합니다.

그것은 하나의 질문입니다.levenshtein functionality를 mysql로 이동할 수 있는지 문의하시는 경우에는 이동할 수 없습니다.

좋아요, 가능하긴 하지만 그냥 php로 하는 것보다 더 쉬운 일은 아닙니다.

http://www.artfulsoftware.com/infotree/queries.php?&bw=1280#552

언급URL : https://stackoverflow.com/questions/4671378/levenshtein-mysql-php