No final do dia, o que conta é o deficit calórico. Claro, contar calorias é chato, mas tem lugares que usam essa estratégia. E lembrando que ficar estressado (liberar cortisol) por não comer o doce, também impede o emagrecimento.
Ou seja, se for uma coisa bem limitada, coma o doce. Mas não faça disso regra.