Antes de tudo, isso não vai ser um guia para identificar todo tipo de problema em pesquisas pois tem muita coisa que pode ser feita e eu também não sou pesquisador para saber tudo.

Os problemas mais comuns podem vir desde:

·         Design: Quantas pessoas(amostra)? Quais critérios medidos? Qual o controle de comparação? É randomizado? É duplo-cego? Qual os parâmetros de cálculos estatísticos? etc)

·         Foi feito revisão-por-pares (peer-reviewed) por outros cientistas/jornais?

·         Outros pesquisadores encontraram o mesmo resultado?

·         O jornal que aceitou ele é reconhecido?

·         Houve dinheiro de industrias na área?

·         O pesquisador pagou para ter a pesquisa publicada?

E muito mais...

Para interessados, eu já havia feito o post:

Ou também sobre conflito de interesse (autores e pesquisadores que promovem produtos e livros E também financiam pesquisas para provar que estão certos).

Pode ler mais aqui:

Ou aqui diretamente (em inglês): https://sci-fit.net/investigation-keto-scientists-companies/

Vamos discutir como são feitas algumas manipulações de resultados em pesquisas científicas para sempre dar resultados positivos.

Isso é extremamente comum em pseudociências (medicina alternativa como homeopatia, acupuntura, reflexologia, etc) e até na indústria médica e de suplementos.

Comparação: A contra A + B

Clássico método utilizado por medicina alternativa.

Pense o seguinte: "A quantidade de dinheiro A+B sempre é maior que apenas A, a não ser que B seja negativa."

Pode não fazer sentido agora, mas pense que ao comparar:

“Tratamento convencional” contra “Tratamento Convencional + Medicina Alternativa”, o segundo sempre vai dar resultados levemente melhores pois não estamos descartando efeito placebo.

A única possibilidade de dar um resultado pior é se o tratamento fizer mal no paciente.

“Tratamento Convencional + Medicina Alternativa” sempre vai dar um resultado melhor, mesmo se a medicina alternativa for comprovada for placebo, afinal placebo é maior que nada.

Fonte: https://edzardernst.com/2012/11/no-negatives-please-we-are-alternative/

Categoria “Inconclusivo”

Outro clássico método utilizado por medicina alternativa.

Geralmente as categorias de resultados para testes controlados são: Positivo e Negativo.

Ou o tratamento testado funciona ou não funciona.

Mas recentemente um artigo de homeopatia publicou que os resultados da homeopatia são praticamente os mesmos da medicina tradicional:

… No final de 2014, 189 testes controlado randomizado (RCT) de homeopatia em 100 condições médicas diferentes medical foram publicados em jornais peer-reviewed. Destes, 104 papéis foram controlados com placebo e foram eleitos para uma resenha detalhada:

41% foram positivos (43 testes) – achados que homeopatia foi efetiva

5% foram negativos (5 testes) – achados que homeopatia não foi efetiva

54% foram inconclusivas (56 testes)

E comparado com a medicina tradicional?

Uma revisão sistemática de 1016 RCTs de medicina tradicional teve resultados semelhantes!

Quais os problemas disso?

Um teste clínico é uma ferramenta para testar hipóteses, algo como “o tratamento experimental gera os mesmos resultados que o tratamento no grupo de controle”.

Se o teste não mostra diferença entre os resultados, a hipótese nula é confirmada, assim concluindo que o resultado foi negativo.

Se o tratamento experimental foi melhor que o tratamento de controle, o resultado é positivo.

Em outras palavras, testes clínicos podem apenas gerar resultados positivos e negativos, pois a hipótese pode ser apenas confirmada ou rejeitada.

Mas para entusiastas da medicina alternativa isso cria um dilema, visto a quantidade absurda de resultados negativos e mostrando que o tratamento em questão não é efetivo.

Por que não criar mais uma categoria para resultados negativos?

Assim que nasce “inconclusivo”.

• Assim estudos positivos vão ser chamados de POSITIVO.
• Estudos aonde o tratamento experimental gera resultados piores que o do grupo de controle (geralmente placebo) serão chamados de NEGATIVOS.
• Estudos aonde o tratamento experimental teve resultados semelhantes ao placebo serão chamados de INCONCLUSIVOS.

Então anteriormente em vez de falar que 57% foram resultados negativos, falamos que 5% foram negativos e 54% foram inconclusivos

Segundo problema:

Não é possível comparar um RCT (Teste Controlado Randomizado) com Revisão Sistemática de RCT.  

Revisão sistemática (systematic review) pode realmente gerar (e geralmente gera) resultados inconclusivos.

Enquanto é possível ter RCT com resultado apenas positivo e negativo, quando se olha para revisão sistemática isso pode realmente gerar “inconclusivo” só pelo fato de de adicionar muitas pesquisas positivas e negativas na mesma revisão, isso por conta dos critérios estatísticos adotados.

Fonte:

https://www.editage.com/insights/a-young-researchers-guide-to-a-systematic-review

https://edzardernst.com/2018/06/the-homeopathy-research-institute-bringing-unreliable-information-to-a-wide-international-audience/

Valor-p (p-value)

Direto do wikipedia:

Citar

Na estatística clássica, o valor-p (também chamado de nível descritivo ou probabilidade de significância)^[1], é a probabilidade de se obter uma estatística de teste igual ou mais extrema que aquela observada em uma amostra, sob a hipótese nula. 

(...)

Enganos comuns sobre o valor-p

·         O valor-p não é a probabilidade da hipótese nula de um teste ser verdadeira.

·         O valor-p não é a probabilidade de um dado resultado ter sido obtido de um "acaso".

·         O valor-p não é a probabilidade da hipótese nula ter sido enganosamente rejeitada.

·         A magnitude do valor-p não indica o tamanho ou a importância de um efeito observado. Por exemplo, em uma pesquisa clínica onde são comparados dois tratamentos, um valor-p bastante pequeno não é um indicador de que existe uma grande diferença entre os efeitos dos tratamentos comparados.

·         Valor-p e nível de significância não são sinônimos.[6] O valor-p é sempre obtido de uma amostra, enquanto o nível de significância é geralmente fixado antes da coleta dos dados.

Fonte: https://pt.wikipedia.org/wiki/Valor-p

Pra ficar mais simples, pense o seguinte:

Qual a chance que você teria os resultados que teve (ou resultados maiores) se sua hipótese não é verdadeira?

Geralmente em medicina isso é relacionado ao efeito do tratamento, como por exemplo, a diferença de redução de dor entre placebo e um tratamento experimental.

Esta diferença é estatisticamente significante?

Um p-value de 0.05, tradicionalmente é utilizado como limite, significa que há uma chance de 5% que você obteria tal resultado sem ter um efeito real ocorrendo.

Mas o p-value nunca foi desenvolvido para testar se um efeito é real ou não. Um estudo com p-value de 0.05 não significa que há 95% de chances que o efeito é real. Ainda pode ser apenas uma minúscula probabilidade que o efeito é real, dependendo de outros fatores.

Manipular os resultados para mostrar valores menores que 0.05 é chamado “p-hacking”, isso é possível apenas forçando decisões comuns que os pesquisadores fazem, decisões que geralmente não são reportadas.

Citando outro paragrafo:

Citar

·         P-values podem indicar o quão incompatível os dados são em um modelo estatístico.

·         P-values não medem a probabilidade que a hipótese estudada é verdadeira, ou a probabilidade que os dados foram produzidos apenas por uma chance aleatória.

·         Conclusões científicas, de negócios ou políticas não devem ser baseadas em apenas se um valor passa o valor limite de p-value.

·         Interferências necessitam de um report complete e transparência.

·         Um p-value, ou significância estatística, não mede a magnitude de um efeito ou a importância do resultado.

·         P-Value sozinho não gera uma boa medida de evidência sobre o modelo ou hipótese.

Fonte: https://sciencebasedmedicine.org/p-value-under-fire/

Mais sobre o assunto (em inglês):

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/

Em 18/06/2018 em 20:30, krebz disse:

Antes de tudo, isso não vai ser um guia para identificar todo tipo de problema em pesquisas pois tem muita coisa que pode ser feita e eu também não sou pesquisador para saber tudo.

Os problemas mais comuns podem vir desde:

·         Design: Quantas pessoas(amostra)? Quais critérios medidos? Qual o controle de comparação? É randomizado? É duplo-cego? Qual os parâmetros de cálculos estatísticos? etc)

·         Foi feito revisão-por-pares (peer-reviewed) por outros cientistas/jornais?

·         Outros pesquisadores encontraram o mesmo resultado?

·         O jornal que aceitou ele é reconhecido?

·         Houve dinheiro de industrias na área?

·         O pesquisador pagou para ter a pesquisa publicada?

E muito mais...

Para interessados, eu já havia feito o post:

Ou também sobre conflito de interesse (autores e pesquisadores que promovem produtos e livros E também financiam pesquisas para provar que estão certos).

Pode ler mais aqui:

Ou aqui diretamente (em inglês): https://sci-fit.net/investigation-keto-scientists-companies/

Vamos discutir como são feitas algumas manipulações de resultados em pesquisas científicas para sempre dar resultados positivos.

Isso é extremamente comum em pseudociências (medicina alternativa como homeopatia, acupuntura, reflexologia, etc) e até na indústria médica e de suplementos.

Comparação: A contra A + B

Clássico método utilizado por medicina alternativa.

Pense o seguinte: "A quantidade de dinheiro A+B sempre é maior que apenas A, a não ser que B seja negativa."

Pode não fazer sentido agora, mas pense que ao comparar:

“Tratamento convencional” contra “Tratamento Convencional + Medicina Alternativa”, o segundo sempre vai dar resultados levemente melhores pois não estamos descartando efeito placebo.

A única possibilidade de dar um resultado pior é se o tratamento fizer mal no paciente.

“Tratamento Convencional + Medicina Alternativa” sempre vai dar um resultado melhor, mesmo se a medicina alternativa for comprovada for placebo, afinal placebo é maior que nada.

Fonte: https://edzardernst.com/2012/11/no-negatives-please-we-are-alternative/

Categoria “Inconclusivo”

Outro clássico método utilizado por medicina alternativa.

Geralmente as categorias de resultados para testes controlados são: Positivo e Negativo.

Ou o tratamento testado funciona ou não funciona.

Mas recentemente um artigo de homeopatia publicou que os resultados da homeopatia são praticamente os mesmos da medicina tradicional:

… No final de 2014, 189 testes controlado randomizado (RCT) de homeopatia em 100 condições médicas diferentes medical foram publicados em jornais peer-reviewed. Destes, 104 papéis foram controlados com placebo e foram eleitos para uma resenha detalhada:

41% foram positivos (43 testes) – achados que homeopatia foi efetiva

5% foram negativos (5 testes) – achados que homeopatia não foi efetiva

54% foram inconclusivas (56 testes)

E comparado com a medicina tradicional?

Uma revisão sistemática de 1016 RCTs de medicina tradicional teve resultados semelhantes!

Quais os problemas disso?

Um teste clínico é uma ferramenta para testar hipóteses, algo como “o tratamento experimental gera os mesmos resultados que o tratamento no grupo de controle”.

Se o teste não mostra diferença entre os resultados, a hipótese nula é confirmada, assim concluindo que o resultado foi negativo.

Se o tratamento experimental foi melhor que o tratamento de controle, o resultado é positivo.

Em outras palavras, testes clínicos podem apenas gerar resultados positivos e negativos, pois a hipótese pode ser apenas confirmada ou rejeitada.

Mas para entusiastas da medicina alternativa isso cria um dilema, visto a quantidade absurda de resultados negativos e mostrando que o tratamento em questão não é efetivo.

Por que não criar mais uma categoria para resultados negativos?

Assim que nasce “inconclusivo”.

• Assim estudos positivos vão ser chamados de POSITIVO.
• Estudos aonde o tratamento experimental gera resultados piores que o do grupo de controle (geralmente placebo) serão chamados de NEGATIVOS.
• Estudos aonde o tratamento experimental teve resultados semelhantes ao placebo serão chamados de INCONCLUSIVOS.

Então anteriormente em vez de falar que 57% foram resultados negativos, falamos que 5% foram negativos e 54% foram inconclusivos

Segundo problema:

Não é possível comparar um RCT (Teste Controlado Randomizado) com Revisão Sistemática de RCT.  

Revisão sistemática (systematic review) pode realmente gerar (e geralmente gera) resultados inconclusivos.

Enquanto é possível ter RCT com resultado apenas positivo e negativo, quando se olha para revisão sistemática isso pode realmente gerar “inconclusivo” só pelo fato de de adicionar muitas pesquisas positivas e negativas na mesma revisão, isso por conta dos critérios estatísticos adotados.

Fonte:

https://www.editage.com/insights/a-young-researchers-guide-to-a-systematic-review

https://edzardernst.com/2018/06/the-homeopathy-research-institute-bringing-unreliable-information-to-a-wide-international-audience/

Valor-p (p-value)

Direto do wikipedia:

Fonte: https://pt.wikipedia.org/wiki/Valor-p

Pra ficar mais simples, pense o seguinte:

Qual a chance que você teria os resultados que teve (ou resultados maiores) se sua hipótese não é verdadeira?

Geralmente em medicina isso é relacionado ao efeito do tratamento, como por exemplo, a diferença de redução de dor entre placebo e um tratamento experimental.

Esta diferença é estatisticamente significante?

Um p-value de 0.05, tradicionalmente é utilizado como limite, significa que há uma chance de 5% que você obteria tal resultado sem ter um efeito real ocorrendo.

Mas o p-value nunca foi desenvolvido para testar se um efeito é real ou não. Um estudo com p-value de 0.05 não significa que há 95% de chances que o efeito é real. Ainda pode ser apenas uma minúscula probabilidade que o efeito é real, dependendo de outros fatores.

Manipular os resultados para mostrar valores menores que 0.05 é chamado “p-hacking”, isso é possível apenas forçando decisões comuns que os pesquisadores fazem, decisões que geralmente não são reportadas.

Citando outro paragrafo:

Fonte: https://sciencebasedmedicine.org/p-value-under-fire/

Mais sobre o assunto (em inglês):

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/

Opa jovem, massa o seu topico, depois de ler e refleti, gostaria só de complementar com uma visão técnica de mercado:

Essa situação ocorre por que a agencia reguladora que supervisiona esse modelo de estudo, seguem péssimos ou quase nenhum padrão de estudo científico para aprovação de laudo regulamentador.

Já que existe a terceira categoria - Inconclusivos - Teoricamente, a contra prova deveria apresentar os mesmos resultados, gerando ainda mais base que os efeitos são desconhecidos ou inexistentes, comparado ao placebo.

Se a indústria fica a mercê de uma não obrigatoriedade de gerar uma contra prova, a resposta final é aquela que ela quer informar. ( O time de marketing agradece )

Entre outras palavras, assim como descrito no seu texto, +1 grupo deve se chegar aos mesmo resultado pelos mesmos meios apresentados pela fabricante, ou estudo científico.

A contra prova seria mais um laudo, que agregaria ao estudo.

Exemplo: Um estudo especifico do porque tomar creatina com carbo é tão ineficiente, comparado em aumentar a sua ingestão calórica de proteína de X para Y

Suplementação não possui obrigatoriedade de criar contra prova, apenas deve apresentar um laudo, e o órgão regulador deve realizar testes afins de certificar que as informações descritas no laudo encontra-se no produto. Isso não basta como contra prova, mas sim, apenas uma certificação de que naquele produto contem os itens X ou Y.

Diferente da indústria farmacêutica que precisa apresentar um laudo de quais são os efeitos positivos, e os efeitos negativos daquele medicamento em grupos distintos - Exemplo: Animais X Humanos.

Por isso que existe tantos testo booster, termogenicos e pilulas do milagre por ai.

E uma dura para fins estéticos é proibida.

Infelizmente cada um faz o que quer, enquanto não houver uma padrão bem definido do que é considerado do ramo da saúde x alimentos

Se falei muita bobeira, peço desculpas!

Editado 13/12/2023 às 16:55 12/13, 2023 por Rafael Urso
Esqueci de finalizar a postagem