Pour ceux que ça intéresse, j'ai trouvé la solution mais elle n'est valable que pour des imprimantes HP.
@TagadaTsoinTsoi m'avait largement orienté vers une partie de la solution qui repose sur un logiciel externe et un paramétrage du WiFi. Le logiciel HP Easy start fait le job, il faut l'installer sur un PC connecté à l'imprimante en USB et connecté au réseau WiFi en 2.4 Ghz, avec un chiffrage WAP et surtout pas en WAP2.
Bref c'était bien mon imprimante le problème, dira-t-on. Mais c'est aussi parce que les box récentes ont intégré un protocole qui rend certaines imprimantes obsolètes. Enfin presque, parce qu'on peut encore accéder à certains réglages.