El día de hoy estaba indexando una carpeta y guardando los nombres sus ficheros dentro de una base de datos. Lo malo que noté es que para indexar sólo 400 archivos el tiempo requerido era de 20 segundos aproximadamente. Cosa que es muy, muy lenta.

Para demostrar esto vamos a crear un ejemplo que registre 500 filas usando un sencillo ciclo for. Vamos a asumir que $db es un objeto PDO y que tenemos la tabla “nombres” en nuestra base de datos.

<?php
require_once __DIR__ . "/db.php";
$db = DatabaseService::obtenerInstancia();
$sentencia = $db->prepare("INSERT INTO nombres(nombre, paterno, materno) VALUES (?,?,?);");
$tiempoInicio = time();
for($x = 0; $x < 500; $x++){
  $sentencia->execute(["Nombre $x", "Apellido paterno $x", "Apellido materno $x"]);
}
printf("Guardados 500 registros en %f segundos", time() - $tiempoInicio);
?>

La ejecución del código tarda (al menos en mi pc usando las configuraciones de xampp) 24 segundos, y a pesar de que no estamos procesando nada, el desempeño es muy bajo.

La solución es muy fácil de hallar. Simplemente hay que decirle a mysql que no haga commit hasta que terminemos el for. Y para ello usamos $db->beginTransaction() antes del ciclo (o de la inserción de miles de datos) y luego hacemos un $db->commit() para “guardar” nuestro cambios. También es importante mencionar a $db->rollBack() pero eso es otra historia. Pero bueno, al final con esto logramos que la base de datos no tenga que indexar ni actualizar los índices internos en cada iteración; lo hará sólo una vez al final del ciclo. El código entonces queda:

<?php
require_once __DIR__ . "/db.php";
$db = DatabaseService::obtenerInstancia();
$sentencia = $db->prepare("INSERT INTO nombres(nombre, paterno, materno) VALUES (?,?,?);");
$db->beginTransaction();
$tiempoInicio = time();
for($x = 0; $x < 500; $x++){
  $sentencia->execute(["Nombre $x", "Apellido paterno $x", "Apellido materno $x"]);
}
$db->commit();
printf("Guardados 500 registros en %f segundos", time() - $tiempoInicio);
?>

De 24 segundos pasamos a 1 segundo. Y de hecho es menos que un segundo, porque time() devuelve segundos, no milisegundos. De esta forma podemos insertar incluso millones de filas sin tener que tardar tanto. También es importante recordar que si hacemos scripts que toman mucho tiempo debemos usar set_time_limit() y pasarle un 0 como argumento, para que el archivo pueda ejecutarse por tiempo indefinido.

Esto es todo. Tal vez sea algo muy fácil, o algo que cualquiera sabe, pero yo no lo sabía y me estuvo dando muchos problemas (incluso iba a programar eso en C para ver si lo hacía más rápido).

Y aquí una imagen para comprobar que los datos se insertaron. Son mil porque ejecutamos el ciclo dos veces (una lenta y otra rápida).