Ekstrakcja konkretnych fragmentów z ogromnych zrzutów SQL przy użyciu PHP

Czasami trzeba przywrócić tylko jedną bazę danych lub określoną tabelę z wielogigabajtowego (np. 5 GB) zrzutu MySQL. Otwarcie tak dużego pliku w standardowych edytorach tekstu, takich jak VS Code czy Notepad++, zazwyczaj kończy się drastycznym spadkiem wydajności lub całkowitym zawieszeniem programu.

Zamiast męczyć się z oprogramowaniem desktopowym lub skomplikowanymi narzędziami wiersza poleceń (jak awk czy sed), możemy użyć prostego, wydajnego pod względem pamięci skryptu PHP, aby wyciągnąć dokładnie to, czego potrzebujemy.

Rozwiązanie: Przetwarzanie strumieniowe

Sztuczka polega na tym, aby nie ładować całego pliku do pamięci naraz (co robią funkcje takie jak file_get_contents()). Używając funkcji fgets() w PHP, możemy przetwarzać ogromny plik strumieniowo, linia po linii.

Poniższy skrypt szuka standardowych komentarzy mysqldump, które wskazują początek docelowej bazy danych lub tabeli (np. -- Current Database: db„). Gdy znajdzie nasz cel, przełącza flagę, aby rozpocząć zapisywanie tych linii do nowego pliku. Gdy tylko natrafi na początek innej bazy danych lub tabeli, wyłącza zapis.

Oto kompletny skrypt:

<?php
ini_set('memory_limit', '2G');

$inputFile = 'dump_5GB.sql';
$outputFile = 'db_fragment.sql';
$targetName = 'db';

$in = fopen($inputFile, 'r');
$out = fopen($outputFile, 'w');

$isExtracting = false;

while (($line = fgets($in)) !== false) {
    if (strpos($line, '-- Current Database: `' . $targetName . '`') === 0 || 
        strpos($line, 'USE `' . $targetName . '`;') === 0) {
        $isExtracting = true;
    } elseif (strpos($line, '-- Current Database: `') === 0 || 
              strpos($line, 'USE `') === 0) {
        $isExtracting = false;
    }

    if (!$isExtracting) {
        if (strpos($line, '-- Table structure for table `' . $targetName . '`') === 0 ||
            strpos($line, '-- Table structure for table `' . $targetName . '_') === 0) {
            $isExtracting = true;
        } elseif (strpos($line, '-- Table structure for table `') === 0) {
            $isExtracting = false;
        }
    }

    if ($isExtracting) {
        fwrite($out, $line);
    }
}

fclose($in);
fclose($out);

Ta metoda utrzymuje zużycie pamięci na ułamkowym poziomie – nie przekraczając kilku megabajtów – i w ciągu kilku sekund przetwarza gigabajty danych SQL.