El día de hoy estaba indexando una carpeta y guardando los nombres sus ficheros dentro de una base de datos. Lo malo que noté es que para indexar sólo 400 archivos el tiempo requerido era de 20 segundos aproximadamente. Cosa que es muy, muy lenta.

Para demostrar esto vamos a crear un ejemplo que registre 500 filas usando un sencillo ciclo for. Vamos a asumir que $db es un objeto PDO y que tenemos la tabla “nombres” en nuestra base de datos.

La ejecución del código tarda (al menos en mi pc usando las configuraciones de xampp) 24 segundos, y a pesar de que no estamos procesando nada, el desempeño es muy bajo.

La solución es muy fácil de hallar. Simplemente hay que decirle a mysql que no haga commit hasta que terminemos el for. Y para ello usamos $db->beginTransaction() antes del ciclo (o de la inserción de miles de datos) y luego hacemos un $db->commit() para “guardar” nuestro cambios. También es importante mencionar a $db->rollBack() pero eso es otra historia. Pero bueno, al final con esto logramos que la base de datos no tenga que indexar ni actualizar los índices internos en cada iteración; lo hará sólo una vez al final del ciclo. El código entonces queda:

De 24 segundos pasamos a 1 segundo. Y de hecho es menos que un segundo, porque time() devuelve segundos, no milisegundos. De esta forma podemos insertar incluso millones de filas sin tener que tardar tanto. También es importante recordar que si hacemos scripts que toman mucho tiempo debemos usar set_time_limit() y pasarle un 0 como argumento, para que el archivo pueda ejecutarse por tiempo indefinido.

Esto es todo. Tal vez sea algo muy fácil, o algo que cualquiera sabe, pero yo no lo sabía y me estuvo dando muchos problemas (incluso iba a programar eso en C para ver si lo hacía más rápido).

Y aquí una imagen para comprobar que los datos se insertaron. Son mil porque ejecutamos el ciclo dos veces (una lenta y otra rápida).

Estoy interesado en trabajar contigo de manera remota para llevar tu idea a la realidad, formar parte de tu equipo de desarrolladores, ayudarte con tu tarea, dar asesorías y todo lo relacionado con tecnología y programación. Contáctame para más información
No te vayas sin seguirme en Twitter, Facebook y GitHub
Si tienes dudas déjalas en un comentario, pero asegúrate de seguirme antes como agradecimiento (no te cuesta nada y me ayudas mucho)


parzibyte

He trabajado por más de 4 años en el desarrollo de software con experiencia en Java, PHP, JavaScript, HTML, Node.JS, Python, Android y Go. También he trabajado con bases de datos SQL como MySQL y SQLite, así como con bases de datos NoSQL usando MongoDB. Soy bueno utilizando algunos frameworks y herramientas como Firebase, jQuery, AngularJS, VueJS, CodeIgniter, Laravel, BulmaCSS, Bootstrap y Electron. Otros términos que conozco son: Arduino, GraphQL, API's, REST, AJAX, PouchDB, CouchDB, Experiencia de usuario, buenas prácticas de programación, Webpack, NPM, Administración de servidores y programación de scripts La plataforma en la que tengo más experiencia es la web, pero en mis ratos libres realizo unos pequeños ejercicios en C# y C. Estoy aquí para ayudarte a resolver tus problemas de programación y depuración :-)

1 Comment

Pequeño, muy pequeño sistema de ventas con PHP - Parzibyte's blog - El blog de Luis Cabrera · marzo 13, 2018 a las 12:16 pm

[…] Si me preguntan por beginTransaction y commit, es para (aunque ni se nota) agilizar el proceso. Es como hacer muchos cambios en la base de datos pero no guardarlos hasta que terminemos. Más información en Bajo rendimiento en sentencias preparadas con PHP y MySQL. […]

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

A %d blogueros les gusta esto: