Lentidão do site por causa do FTP

Realizei alguns testes para saber a razão e o motivo do meu site está deliberadamente lento, evitando assim que o google faça um ranqueamento melhor dele.

Descobrir que não importa o que eu faça, ao abrir apenas o FTP, somente abrir, o site decai o desempenho de uma forma surpreendente. Criei uma conta teste e avaliei a situação de forma como usuário e é bem perceptivo a diferença, sendo que a única coisa que fiz, foi abrir o FTP.

Portanto, como eu faria para fazer as adaptações que eu desejo, sem que decaia tanto o desempenho dessa forma? o layout em si é quase completo, porém eu melhoro ainda mais ele para ficar nos conformes ao meu público-alvo e isso é apenas nível código ou pagando um absurdo por um APP para fazer uma ação por muitas das vezes básica.

Como eu faço para resolver essa situação? Visto que preciso do FTP aberto.

Vídeo mostrando a diferença: Loom | Free Screen & Video Recording Software

Nos obrigam a manter o FTP fechado, não sei o por que.