Depende.
TALVEZ, daqui a alguns anos (uns 10 ou mais) a prática constante da musculação (aliada a dieta correta) aumente bastante tua massa muscular. Então, em regra, maior, mais pesado (pesado, não gordo), mais lento.
O que você pode fazer é adequar o treino de musculação com os teus objetivos no boxe. Treine para ser forte e rápido. o resto o tempo faz.
Não esqueça que o boxe (e outras modalidades de luta) trabalha com categorias de peso. Então você não vai lutar com alguém MUITO mais leve e, por isso, mais rápido.
Boa leitura:
Treino De Musculação Para Lutadores De Artes Marciais (Mma)