Vou tentar não tocar em pontos específicos demais (p.e. patologias, alergias em geral) nem composição corporal.
Essa rotulação "saudável" e o contraponto ("não-saudável") pode significar uma miríade de coisas. É um termo tão aberto que pode ser pervertido em qualquer coisa. Uma "alimentação saudável" pode significar pra um uma alimentação low-carb, pra outro uma low-fat, pra outro uma com consumo baixo de sódio, pra outro uma alimentação orgânica, e assim por diante. E por você potencialmente dizer qualquer coisa quando afirma que uma alimentação é saudável, no fim você não diz nada.
Se aplicado o conceito a um alimento isolado, cai no meu exemplo da comparação entre bolo de chocolate e banana. Todos concordam que banana é um alimento saudável, certo? E um bolo de chocolate não é. Mas e se tratarmos de 35kg de banana? Deixa de ser saudável, não? Ou comer 35kg de banana no café da manhã é saudável? E se a gente comparar, então, nessa situação, o bolo de chocolate, ainda que seja um bolo inteiro, com bastante cobertura e recheios e FST7 com granola e leite, é mais saudável que os 35kg de banana. Ou menos lesivo, se é que isso quer dizer alguma coisa. Então a questão não é a origem do alimento, mas sim a quantidade dele. E o que determina uma quantidade saudável? Uma maneira de quantificar e determinar o que é e o que não é saudável? Resposta eminentemente simples: Necessidade. Necessidade de quê? Nutrientes.
E aí você passa a ver o outro erro da "teoria da nutrição saudável", que é as pessoas acreditarem que o corpo humano enxerga alimentos. Que seu intestino vê um bolo de chocolate, pensa "perdeu, playboy, te vira com teu adipócito", ou "te vira aí, tecido cardíaco!", e seja lá pra onde acham que o tal do bolo vai. O corpo não lida com alimentos. Lida com nutrientes: carbos simples e complexos e fibras, gorduras saturadas e insaturadas e com todas as particularidades dos ácidos presentes nas soluções, proteínas que se quebram em um determinado aminograma, vitaminas, minerais, álcool, água, etc. E a necessidade individual é determinada com base neles mediante a requisição que o cotidiano do sujeito apresenta.
Me argumentam, então, "alimento saudável é alimento rico em vitaminas e minerais". E os 35kg de banana? Ficaram mais saudáveis porque banana tem manganês e vitamina C? Manganês em altas dosagens pode ser associado a doenças neur... Mas são 35kg de banana! Acho que dá 8kg de carboidrato! Não importa se é de alto ou baixo IG, se tem 1kg de fibra. Eu preciso de 8kg de carboidrato numa única refeição? Eu não preciso disso num dia, numa semana... E com relação aos minerais, não sei quanto uma banana oferece de manganês por dia. Mas chutemos que seja 0.1mg a cada 100g. Regra de três e temos então 35g, é isso? E tem gente que fala que não pode consumir mais que 30g de proteína por refeição... O exemplo é absurdo, e o objetivo é esse mesmo, denotar o quão absurdo é você afirmar que quantidade não importa. Quantidade de alimento traduz em quantidade de nutriente, e quantidade de nutriente classifica algo dentro ou fora da necessidade básica do indivíduo, e é aí que você poderia, talvez, começar a definir o que é saudável ou não.
Mas ainda assim a afirmação é sem sentido se você analisar sob esse ponto de vista, porque ela é aplicável única e exclusivamente a um indivíduo, e ainda assim categoriza demais, generaliza demais. Ao invés de pensar "isso é saudável" ou "isso não é saudável", você deve questionar "eu preciso disso?". E teu corpo te diz se você precisa ou não, ele é bem eficiente nisso (a menos que o sujeito tenha uma disfunção neurológica - anorexia, anorexia nervosa, bulimia, compulsões e TOCs diversos, etc - relacionada a alimentação). No fim, moderação é o que dita a alimentação ser ou não saudável num contexto todo, não num momento isolado.