Absolument tout!
La distance entre le DSLAM et chez toi, la section des cables, la vetustée de l'armoire FT, des cables entre l'armoire et chez toi, des cables de ton installation, des filtres (au dessus de 3, il y a pas mal de risque), de condensateurs dans tes prises téléphone (ou du moins dans le répartiteur)...
Enfin bref, pour minimiser le problème, il faut qu'il y est le moins d'appareils branchés, et que la distance soit la plus courte possible, avec des cables récent.