La experiencia me ha enseñado que cuando trabajamos con WordPress, cuantos menos plugins tengamos instalados, mejor.

Cada plugin requiere tiempo y mantenimiento

El repositorio de wordpress es infinito, y así es la cantidad de plugins disponibles. Cada plugin debe de ser actualizado y revisado para ver si es compatible con nuestra plantilla y otros plugins.
Otro aspecto muy importante y que mucha gente no toma en cuenta, son las actualizaciones del mismo plugin. Podemos estar usando un plugin que funciona muy bien, pero que su desarrollador ha abandonado y se queda obsoleto. Aquí es cuando tenemos, no uno, sino dos problemas. Primero, si no se actualiza podemos tener problemas de compatibilidades. Segundo y mas importante, un plugin obsoleto es una posible puerta de acceso para hackers y problemas futuros en nuestra web.

Mejor código que plugin

Existen muchas cosas que agregando una linea de codigo quedan solucionadas, envez de colocar un plugin adicional. Estilos, colores, redirecciones, etc. Vale la pena investigar y ver si podemos evitar usar un plugin adicional, para una cosa que puede solucionarse de otra forma.
El típico plugin de redirección 301, puede ser sustituido con unas cuantas lineas en el .htaccess. Para que colocar un plugin  de redirección, que acabará haciendo lo que tu puedes hacer directamente sobre el .htaccess (antes de tocarlo, infórmate bien, es un archivo sencillo, pero potente).

Los plugins de un solo uso

Existen muchos plugins que los utilizamos una vez y luego los podemos eliminar. EL problema es que o no lo sabemos, o nos olvidamos de ellos.
Los plugins de un solo uso son todos los importadores (como los que usamos cuando comenzamos un nuevo proyecto wp), los de mantenimiento o los que usamos para crear un tema hijo (y se pueden borrar despúes de haber creado el tema hijo).
Otros plugins de uso puntual como los navideños, no hace falta tenerlos instalados todo el año, ya los volverás a instalar el proximo año.

Mientras mas plugins, mas consumo

Otro aspecto a considerar es el rendimiento de tu web. Si como el 90% de la gente tienes un hosting compartido, el consumo de recursos debería de ser vital para ti.
Sobre el tema de cuantos plugins tener encontraras material de todo tipo de opiniones. El que te dirá que tiene un WP con 35 plugins y va perfecto, o el que con 5 o 6 esta bien. En mi trabajo del día a día, paso muchas horas revisando proyectos en wordpress de todos tipo, y los plugins, al final, siempre acaban afectando el tiempo de carga, el consumo o el rendimiento de la web.
Si tienes muchos plugins, tu consumo será mayor y tu web irá mas lenta o puede quedarse bloqueada en algunos momentos puntuales.

Mejor de pago que gratuitos

Yo al igual que todos, tengo la gran mayoría de plugins gratuitos, pero los de pago tienen sus ventajas. Si pagas por un plugin, estas haciendo que su creador continue trabajando en él, lo cual hará que tengas mas opciones de que no se discontinué. El problema de los plugins gratuitos, es que muchas veces quedan en el abandono.
Los plugins de pago, generalmente duran mas tiempo en activo, lo cual es una garantía para tu wordpress y su seguridad. Otro aspecto importante, es que son actualizados y probados con mayor frecuencia, así evitas incompatibilidades.
Los plugins fremium también son buenos. Son los típicos plugins gratuitos con versión de pago que ofrecen mas características. El típico caso el el YOast SEO, muy bueno en su versión gratuita, pero con opciones de pago. Aunque solo uses la versión gratuita, el que tenga una opción de pago hará que tenga muchas mas opciones de continuar en el mercado y ser una buena opción para tu WP.
Por último, los plugins de pago, generalmente son mucho mas completos (alguien paga por el trabajo de los desarrolladores), como el caso de Slider Revolution, que es mas completo que los equivalentes de pago.

Los plugins son necesarios, pero con medida

No digo que puedes tener una web sin plugins, no. Lo que si es cierto es que con 10 o menos plugins, tu web puede funcionar perfectamente.
Ten en cuenta que no todos los plugins consumen los mismos recursos, es por ello que antes de instalar cualquier plugin, debes de revisarlo, leer sobre el y probarlo durante un tiempo.
Antes de instalar cualquier plugin, piénsalo dos veces, evalúa los beneficios y el consumo antes de tomar la última decisión.