Ontem a Daily Nous publicou uma postagem sobre um artigo suspeito que saiu na Synthese sobre “apreciação de poesia em estudantes chineses do sétimo ano”.
Falamos sobre um monte de coisas nos comentários, mas vamos ao ponto central:
Este ramo de atividade que é a pesquisa depende da transparência para ter o mínimo de credibilidade. Depende também de outros valores como, por exemplo, dos editores não filtrarem os fatos a partir das próprias preferências políticas, morais, estéticas. Mas isso é assunto para outra ocasião.
Sem transparência, as razões para financiar a pesquisa colapsam. Eis porque é importante conversar sobre essas questões relacionadas às políticas editoriais.
Os exemplos que você traz parecem frustrar a expectativa de trabalho editorial rigoroso. Em algumas áreas de pesquisa parece se exigir um cuidado maior. Não é assim na pesquisa acadêmica sobre lógica?
No geral sim, é mais rigoroso. Porém casos assim estão se infiltrando em periódicos de lógica matemática e computação, como o Logic of IGPL. Inclusive artigos que foram submetidos e aceitos em um dia. Muito estranho. Isso começou a ser avaliado, vamos ver no que dá.
Tem uma impressão de injustiça razoável com relação a assimetria de critérios de avaliação. Mas além disso, há um paradoxo em nosso meio: pesquisador iniciante nem pode ser menos cuidadoso nestas situações, tem que ser mais. Principalmente porque quem está no início de carreira não tem prestígio, e quando é avaliado por um sênior que não o conhece, arranca seu fígado por qualquer equívoco. Enquanto que com parceiros de pesquisa com prestígio ou quando apadrinhado desses pesquisadores é tranquilo (até porque muitas dessas revistas não são revisão duplo-cego). Isso nem é subjetivo, é papo consenso de conversa de corredor, digamos assim. Se estes artigos enfraquecem a confiabilidade dos próprios periódicos nos quais submetemos, eles irão aumentar o crivo de avaliação após estes casos, e este crivo não recairá sobre os seniores, mas sobre os de início de carreira, entende? E mesmo que seja um bom artigo, qualquer inadequação pode ser rejeição, sem revisão.
Um ponto importante que você traz aqui diz respeito a ler artigos da revista antes de submeter. Eu evito submeter artigos para revistas que não respeito. E nisso vem algo importante da tua postagem, pois é sobre reputação editorial, a qual é difícil de conquistar e fácil de perder.
Os exemplos que você deu era de aceite rápido de artigos pouco elaborados. Você parecia estar falando que a explicação é o tema do artigo. A suposição era, para mim, que o artigo passou por avaliação cega. Mas agora você está dizendo algo que me parece diferente: novatos teriam avaliação rigorosa, sêniores teriam avaliação frouxa. Não condiz com minha experiência de receber "Não!" o tempo todo, mas ok. Digamos que seja assim. Essa assimetria se daria apesar da avaliação por pares ser cega? Ou você está dizendo que sêniores não passam por avaliação cega? (De novo, isso não condiz com a minha experiência seja como autor, seja como avaliador. E eu comecei a submeter manuscritos no mestrado.)
Ah sim. É porque o senhor perguntou sobre os periódicos de lógica e se este fenômeno de artigos estranhos me atrapalhava como pesquisador. Os do exterior de lógica, uma boa parte não tem avaliação cega. Os casos que me referi no texto são os de periódicos brasileiros, que são duplo-cegos e que parecem ter uma dinâmica diferente. Acho que o esquema funciona assim: alguns pesquisadores devem se cadastrar como pareceristas e colocam os temas que avaliam. Outros pesquisadores que conhecem estes pareceristas e seus trabalhos enviam para a revista, e seus conhecidos caem como os pareceristas dos mesmos, aceitando logo em seguida e o ciclo continua. No caso das revistas brasileiras não me prejudica diretamente, mas acredito que prejudica a confiabilidade dos periódicos daqui.
Na experiência dos pareceres negativos e positivos, acho que depende também da comunidade filosófica que estamos inseridos (ou não estamos). Alguns são mais rigorosos uns com os outros, e dependendo da afinidade com os temas podem incidir em mais ou menos rejeições (no meu caso que tenho pesquisas heterodoxas, minhas rejeições estão em alta hahaha)
Com relação a assimetria persistir: em parte acredito que sim, até porque tem certos temas que apenas uma quantidade pequena de pesquisadores trabalham, eles se conhecem e reconhecem o trabalho um do outro. Porém, como comunidade de investigação acho que deve haver o compromisso de uma metodologia e qualidade adequados, e o periódico (com sua política de avaliação e publicação) é um mediador disto, creio.
Falamos sobre um monte de coisas nos comentários, mas vamos ao ponto central:
Este ramo de atividade que é a pesquisa depende da transparência para ter o mínimo de credibilidade. Depende também de outros valores como, por exemplo, dos editores não filtrarem os fatos a partir das próprias preferências políticas, morais, estéticas. Mas isso é assunto para outra ocasião.
Sem transparência, as razões para financiar a pesquisa colapsam. Eis porque é importante conversar sobre essas questões relacionadas às políticas editoriais.
Plenamente de acordo. Inclusive este foi um dos principais motivadores de escrever algo a respeito aqui.
Acho que esta plataforma, o PubPeer, pode te interessar:
https://pubpeer.com
Os exemplos que você traz parecem frustrar a expectativa de trabalho editorial rigoroso. Em algumas áreas de pesquisa parece se exigir um cuidado maior. Não é assim na pesquisa acadêmica sobre lógica?
No geral sim, é mais rigoroso. Porém casos assim estão se infiltrando em periódicos de lógica matemática e computação, como o Logic of IGPL. Inclusive artigos que foram submetidos e aceitos em um dia. Muito estranho. Isso começou a ser avaliado, vamos ver no que dá.
Como isso te afeta como pesquisador? Tu sente pressão para ser menos cuidadoso?
Tem uma impressão de injustiça razoável com relação a assimetria de critérios de avaliação. Mas além disso, há um paradoxo em nosso meio: pesquisador iniciante nem pode ser menos cuidadoso nestas situações, tem que ser mais. Principalmente porque quem está no início de carreira não tem prestígio, e quando é avaliado por um sênior que não o conhece, arranca seu fígado por qualquer equívoco. Enquanto que com parceiros de pesquisa com prestígio ou quando apadrinhado desses pesquisadores é tranquilo (até porque muitas dessas revistas não são revisão duplo-cego). Isso nem é subjetivo, é papo consenso de conversa de corredor, digamos assim. Se estes artigos enfraquecem a confiabilidade dos próprios periódicos nos quais submetemos, eles irão aumentar o crivo de avaliação após estes casos, e este crivo não recairá sobre os seniores, mas sobre os de início de carreira, entende? E mesmo que seja um bom artigo, qualquer inadequação pode ser rejeição, sem revisão.
Um ponto importante que você traz aqui diz respeito a ler artigos da revista antes de submeter. Eu evito submeter artigos para revistas que não respeito. E nisso vem algo importante da tua postagem, pois é sobre reputação editorial, a qual é difícil de conquistar e fácil de perder.
Os exemplos que você deu era de aceite rápido de artigos pouco elaborados. Você parecia estar falando que a explicação é o tema do artigo. A suposição era, para mim, que o artigo passou por avaliação cega. Mas agora você está dizendo algo que me parece diferente: novatos teriam avaliação rigorosa, sêniores teriam avaliação frouxa. Não condiz com minha experiência de receber "Não!" o tempo todo, mas ok. Digamos que seja assim. Essa assimetria se daria apesar da avaliação por pares ser cega? Ou você está dizendo que sêniores não passam por avaliação cega? (De novo, isso não condiz com a minha experiência seja como autor, seja como avaliador. E eu comecei a submeter manuscritos no mestrado.)
Ah sim. É porque o senhor perguntou sobre os periódicos de lógica e se este fenômeno de artigos estranhos me atrapalhava como pesquisador. Os do exterior de lógica, uma boa parte não tem avaliação cega. Os casos que me referi no texto são os de periódicos brasileiros, que são duplo-cegos e que parecem ter uma dinâmica diferente. Acho que o esquema funciona assim: alguns pesquisadores devem se cadastrar como pareceristas e colocam os temas que avaliam. Outros pesquisadores que conhecem estes pareceristas e seus trabalhos enviam para a revista, e seus conhecidos caem como os pareceristas dos mesmos, aceitando logo em seguida e o ciclo continua. No caso das revistas brasileiras não me prejudica diretamente, mas acredito que prejudica a confiabilidade dos periódicos daqui.
Na experiência dos pareceres negativos e positivos, acho que depende também da comunidade filosófica que estamos inseridos (ou não estamos). Alguns são mais rigorosos uns com os outros, e dependendo da afinidade com os temas podem incidir em mais ou menos rejeições (no meu caso que tenho pesquisas heterodoxas, minhas rejeições estão em alta hahaha)
Com relação a assimetria persistir: em parte acredito que sim, até porque tem certos temas que apenas uma quantidade pequena de pesquisadores trabalham, eles se conhecem e reconhecem o trabalho um do outro. Porém, como comunidade de investigação acho que deve haver o compromisso de uma metodologia e qualidade adequados, e o periódico (com sua política de avaliação e publicação) é um mediador disto, creio.