Oportunidade de aprendizagem de conteúdo em Matemática no PISA 2012

O Programa Internacional de Avaliação de Estudantes (PISA) 2012 avaliou, por meio do questionário do estudante, a Oportunidade de Aprendizagem de Conteúdo, definida como a exposição dos estudantes ao conteúdo de uma determinada área do conhecimento na escola – nesse caso, especificamente a área de Matemática. Com base nos resultados dos questionários, foram gerados três índices que, neste artigo, foram relacionados com o desempenho dos estudantes de um grupo de países no teste cognitivo de Matemática. O estudo sugere que há uma relação entre dois desses índices e as médias do teste de Matemática, sendo essa relação fraca para o terceiro índice. Esses resultados podem iluminar aspectos nem sempre conhecidos sobre a exposição a tarefas e conceitos matemáticos em sala de aula.Palavras-chave: PISA; Oportunidade de Aprendizagem de Conteúdo; Questionário; Matemática. Oportunidad de aprendizaje de contenido en Matemáticas en el PISA 2012El Programa Internacional de Evaluación de Estudiantes (PISA) 2012 evaluó, por medio del cuestionario del estudiante, la Oportunidad de Aprendizaje de Contenido, definida como la exposición de los estudiantes al contenido de una determinada área del conocimiento en la escuela –en dicho caso específico, el área de Matemáticas. En base a los resultados de los cuestionarios se generaron tres índices que, en este artículo, se relacionaron con el desempeño de los estudiantes de un grupo de países en la prueba cognitiva de Matemáticas. El estudio sugiere que hay una relación entre dos de estos índices y los promedios de la prueba de Matemáticas, pero tal relación es muy baja en lo que concierne al tercer índice. Dichos resultados pueden iluminar aspectos no siempre conocidos sobre la exposición a tareas y conceptos matemáticos en el aula.Palabras-clave: PISA; Oportunidad de aprendizaje de Contenido; Cuestionario; Matemáticas. Opportunity to learn the content of Mathematics in PISA 2012The Programme for International Student Assessment] (PISA) 2012 used student-level questionnaires to evaluate the Opportunity to Learn Content defined as students’ exposure to subject content in school – in this case, specifically in the area of Mathematics. Based on the results of the questionnaires, three indexes related to students’ performance in a group of countries were generated. The study suggests that there is a relationship between two of the indexes and the mean scores in the Mathematics test, but this relationship is weak for the third index. These results can elucidate aspects about exposure to mathematical tasks and concepts in the classroom which are not always well known.Keywords: PISA; Opportunity to Learn Content; Questionnaire; Mathematics.

Download Full-text

Fabrication of interview data

Quality Assurance in Education ◽

10.1108/qae-06-2017-0028 ◽

2018 ◽

Vol 26 (2) ◽

pp. 213-226 ◽

Cited By ~ 3

Author(s):

Jörg Blasius

Keyword(s):

Survey Research ◽

International Student ◽

Student Assessment ◽

Content Type ◽

International Student Assessment ◽

Pisa 2012 ◽

Research Organizations ◽

Using Data ◽

Copy And Paste ◽

Practical Implications

Purpose Evidence from past surveys suggests that some interviewees simplify their responses even in very well-organized and highly respected surveys. This paper aims to demonstrate that some interviewers, too, simplify their task by at least partly fabricating their data, and that, in some survey research institutes, employees simplify their task by fabricating entire interviews via copy and paste. Design/methodology/approach Using data from the principal questionnaires in the Programme for International Student Assessment (PISA) 2012 and the Programme for the International Assessment of Adult Competencies (PIAAC) data, the author applies statistical methods to search for fraudulent methods used by interviewers and employees at survey research organizations. Findings The author provides empirical evidence for potential fraud performed by interviewers and employees of survey research organizations in several countries that participated in PISA 2012 and PIAAC. Practical implications The proposed methods can be used as early as the initial phase of fieldwork to flag potentially problematic interviewer behavior such as copying responses. Originality/value The proposed methodology may help to improve data quality in survey research by detecting fabricated data.

Download Full-text

Examining students’ achievement in mathematics: A multilevel analysis of the Programme for International Student Assessment (PISA) 2012 data for Greece

International Journal of Educational Research ◽

10.1016/j.ijer.2016.05.013 ◽

2016 ◽

Vol 79 ◽

pp. 106-115 ◽

Cited By ~ 8

Author(s):

Anastasios Karakolidis ◽

Vasiliki Pitsia ◽

Anastassios Emvalotis

Keyword(s):

Multilevel Analysis ◽

International Student ◽

Student Assessment ◽

International Student Assessment ◽

Pisa 2012 ◽

Achievement In Mathematics

Download Full-text

Defasagem idade-série e letramento científico no Pisa

Estudos em Avaliação Educacional ◽

10.18222/eae.v31i77.7103 ◽

2020 ◽

Vol 31 (77) ◽

pp. 393

Author(s):

Andriele Ferreira Muri Leite ◽

Alicia Maria Catalano de Bonamino

Keyword(s):

Secondary Education ◽

Linear Regression ◽

Scientific Literacy ◽

International Student ◽

Student Assessment ◽

Grade Repetition ◽

International Student Assessment ◽

Palabras Clave ◽

The Difference ◽

Brazilian Students

O artigo analisa a preparação científica de estudantes brasileiros participantes do Pisa (Programme for International Student Assessment – em português Programa Internacional de Avaliação dos Estudantes), considerando a defasagem idade-série. Foram realizadas uma análise exploratória dos resultados e uma regressão linear para investigar o efeito da variável repetência sobre o desempenho em ciências dos estudantes brasileiros. O estudo mostra que: os estudantes brasileiros estão em desvantagem em relação aos estudantes dos países da Organização para Cooperação e Desenvolvimento Econômico (OCDE); a maioria dos estudantes brasileiros não é capaz de realizar as tarefas mais simples estabelecidas pelo Pisa; a diferença entre estudantes brasileiros defasados e estudantes da OCDE alcança 150 pontos em algumas competências; apenas os estudantes brasileiros das séries finais do ensino médio atingem os níveis esperados pelo Pisa.Palavras-chave: Pisa, Brasil, Letramento Científico, Defasagem Idade-série. Distorsión de grado y edad y la competencia científica en PisaEl artículo analiza la preparación científica de los estudiantes brasileños que participan en el PISA (Programme for International Student Assessment – en español, Programa Internacional de Evaluación de Estudiantes), teniendo en cuenta la distorsión de grado y edad. Se realizó un análisis exploratorio de los resultados y una regresión lineal para investigar el efecto de la variable de repetición en el rendimiento en ciencias de los estudiantes brasileños. El estudio muestra que: los estudiantes brasileños están en desventaja en comparación con los estudiantes de los países de la Organización para Cooperación y Desarrollo Económico (OCDE); la mayoría de los estudiantes brasileños no puede realizar las tareas más simples establecidas por el PISA; la diferencia entre estudiantes brasileños que presentan distorsión de grado y edad y estudiantes de la OCDE alcanza a 150 puntos en algunas competencias; solo los estudiantes brasileños en los años finales de la escuela secundaria alcanzan los niveles esperados por el PISA.Palabras clave: Pisa, Brasil, Competencia Científica, Distorsión de Grado y Edad. Age-grade distortion and scientific literacy in PisaThe article analyzes the scientific preparation of Brazilian students participating in PISA (Programme for International Student Assessment), taking into account the age-grade distortion. An exploratory analysis of the results and a linear regression were carried out to investigate the effect of the grade repetition variable on Brazilian students’ performance in Science. The study shows that: Brazilian students are at a disadvantage compared to students from Organization for Economic Cooperation and Development (OECD) countries; the majority of Brazilian students are not able to perform the simplest tasks defined by PISA; the difference between Brazilian over-age students and OECD students reaches 150 points in some competencies; only Brazilian students in the final grades of secondary education reach the levels expected by PISA.Keywords: Pisa, Brazil, Scientific Literacy, Age-grade Distortion.

Download Full-text

Resultados brasileiros no PISA e seus (des)usos

Estudos em Avaliação Educacional ◽

10.18222/eae.v28i68.4553 ◽

2017 ◽

Vol 28 (68) ◽

pp. 344 ◽

Cited By ~ 1

Author(s):

Maria de Lourdes Haywanon Santos Araújo ◽

Robinson Moreira Tenório

Keyword(s):

Large Scale ◽

International Student ◽

Student Assessment ◽

Educational Assessment ◽

Educational Context ◽

Structured Interviews ◽

Fundamental Factor ◽

International Student Assessment ◽

Documentary Analysis ◽

Palabras Clave

O objetivo desta pesquisa consistiu em analisar como foram utilizados os resultados do Programa Internacional de Avaliação de Estudantes (PISA) no contexto educacional brasileiro. A revisão de literatura permitiu apontar a avaliação como um fator fundamental para a qualificação da educação, elaborar um panorama das pesquisas sobre o PISA no Brasil, além de propiciar discussões sobre a necessidade do uso dos resultados das avaliações em larga escala. A partir da análise documental e de entrevistas semiestruturadas, foi possível não apenas apresentar um estudo sobre o uso dos resultados do PISA no país, mas também estabelecer categorias de usos como o Uso Indevido ou Não Uso, apresentando as possibilidades e dificuldades dessa utilização e o papel dos gestores nesse processo.Palavras-chave: Pisa; Uso de Resultados; Avaliação Educacional; Políticas Públicas. Resultados brasileños en el PISA y sus (des)usosEl objetivo de este estudio consistió en analizar cómo se utilizaron los resultados del Programa Internacional de Evaluación de Estudiantes (PISA) en el marco educacional brasileño. La revisión de literatura permitió que la evaluación se considerase como un factor fundamental para la cualificación de la educación y se elaborase un panorama de las investigaciones sobre PISA en Brasil, además de propiciar discusiones sobre la necesidad del uso de los resultados de las evaluaciones en gran escala. A partir del análisis documental y de entrevistas semiestructuradas, se hizo posible no solo presentar un estudio sobre el uso de los resultados de PISA en el país, sino también establecer categorías de usos, como el Uso Indebido o No Uso, presentando las posibilidades y dificultades de dicha utilización y el papel de los gestores en este proceso.Palabras-clave: PISA; Uso de Resultados; Evaluación Educacional; Políticas Públicas. Brazilian results in PISA and its (mis)usesThe objective of this study was to analyze how the results of the Program for International Student Assessment (PISA) were used in the Brazilian educational context. The literature review showed that assessment is a fundamental factor for the qualification of education, for elaborating an overview of the PISA studies in Brazil, as well as for promoting discussions about the need to use the results of evaluations on a large scale. Based on the documentary analysis and semi-structured interviews, it was possible not only to present a study on the use of the PISA results in the country but also to establish categories of uses, such as Improper Usage or Lack of Usage, showing the possibilities and difficulties of such use and the administrators’ role in this process.Keywords: PISA; Use of Results; Educational Assessment; Public Policies.

Download Full-text

Avaliações e pesquisas educacionais internacionais: entrevista com Andreas Schleicher

Estudos em Avaliação Educacional ◽

10.18222/eae.v28i68.4848 ◽

2017 ◽

Vol 28 (68) ◽

pp. 630

Author(s):

Gabriela Moriconi ◽

Adriana Bauer

Keyword(s):

International Education ◽

Comparative Research ◽

International Student ◽

Student Assessment ◽

Educational Programs ◽

Secretary General ◽

International Student Assessment ◽

Palabras Clave ◽

International Assessment

Nesta entrevista, Andreas Schleicher, Diretor de Educação e Assessor Especial em Política Educacional da Secretaria Geral da Organização para a Cooperação e Desenvolvimento Econômico (OCDE), comenta sobre o papel da OCDE e, em especial, do Programme for International Student Assessment (PISA), no contexto educacional internacional, sua relação com atores da comunidade educacional, bem como os impactos de sua atuação. A entrevista aborda, ainda, aspectos relativos à participação do Brasil em programas e projetos educacionais da OCDE.Palavras-chave: Avaliação Internacional; Pesquisa Comparada; Pisa; OCDE. International education assessments and surveys: interview with Andreas SchleicherIn this interview, Andreas Schleicher, Director for Education and Sills, and Special Advisor on Education Policy to the Secretary-General at the Organisation for Economic Co-operation and Development (OECD), comments on the role of the OECD and, in particular, of the Program for International Student Assessment (PISA), in the international education context, its relationship with actors in the educational community, as well as the impacts of its performance. The interview also addresses aspects related to Brazil’s participation in OECD educational programs and projects.Keywords: International Assessment; Comparative Research; Pisa; OECD. Evaluaciones e investigaciones educativas internacionales: entrevista con Andreas SchleicherEn esta entrevista, Andreas Schleicher, Director de Educación y Asesor Especial en Política Educacional de la Secretaría General de la Organización para la Cooperación y Desarrollo Económico (OCDE), comenta sobre el papel de la OCDE y, en especial, del Programa Internacional de Evaluación de Estudiantes (PISA), en el contexto educativo internacional; su relación con actores de la comunidad educacional; así como los impactos de su actuación. La entrevista aborda asimismo aspectos relativos a la participación de Brasil en programas y proyectos educativos de la OCDE.Palabras-clave: Evaluación Internacional; Investigación Comparada; PISA; OCDE

Download Full-text

Examining school variables affecting PISA 2012 math achievement in Turkey and Shanghai-China

Contemporary Educational Researches Journal ◽

10.18844/cerj.v6i4.586 ◽

2017 ◽

Vol 6 (4) ◽

pp. 167-174

Author(s):

Mustafa Kale

Keyword(s):

International Student ◽

Math Achievement ◽

Student Assessment ◽

International Student Assessment ◽

Pisa 2012 ◽

Math Scores ◽

Model Research ◽

School Variables ◽

Research Population ◽

The Difference

The main purpose of the research is to examine school variables that have effect on Programme for International Student Assessment (PISA) 2012 math achievement in Turkey and Shanghai-China. The research was designed in casual comparison model. Research population was constituted by student in age group of 15 in Turkey and Shanghai-China in 2012.The sample consists of 4848 students and 170 schools in Turkey and 5177 students and 155 schools in Shanghai-China that participated in PISA 2012. Two-leveled Hierarchical Linear Modelling (HLM) was used to analyze data because the data collected in PISA 2012 had a hierarchical data structure. As a result of analysis, variability in math scores, 63% in Turkey and 47% in Shanghai-China, was found due to the difference between the mean math scores of schools. It was determined that MACTIV, SCMATEDU and TCMORALE in Turkey and MACTIV, in Shanghai-China statistically affect on math achievement. Keywords: PISA, school administration, school variables, HLM

Download Full-text

Repetência e indisciplina: evidências de Brasil e Portugal no Pisa 2012

Cadernos de Pesquisa ◽

10.1590/198053143669 ◽

2016 ◽

Vol 46 (161) ◽

pp. 614-636 ◽

Cited By ~ 3

Author(s):

Daniel Abud Seabra Matos ◽

Maria Eugénia Ferrão

Keyword(s):

International Student ◽

Student Assessment ◽

International Student Assessment ◽

Pisa 2012

Resumo Este trabalho objetiva analisar o fenômeno da repetência escolar no Brasil e em Portugal, por meio dos dados do Programa Internacional de Avaliação de Estudantes [Programme for International Student Assessment] - Pisa 2012, e aplicar um modelo de regressão logística multinível tendo a repetência como variável dependente, no sentido de identificar características dos estudantes e das escolas que estejam associadas à probabilidade de repetência para estimar a variabilidade entre escolas. Dentre os principais resultados, a contribuição mais significativa deste estudo é explicitar uma clara associação entre repetência e indisciplina escolar. Pesquisas adicionais baseadas em dados longitudinais são necessárias para investigar aprofundadamente as características dos estudantes e das escolas que estejam associadas à mudança das condições de educação e que influenciam a probabilidade de repetência.

Download Full-text

A Note on Construct Validity of the Anchoring Method in PISA 2012

Journal of Psychoeducational Assessment ◽

10.1177/0734282917702270 ◽

2017 ◽

Vol 36 (7) ◽

pp. 709-724 ◽

Cited By ~ 6

Author(s):

Lazar Stankov ◽

Jihyun Lee ◽

Matthias von Davier

Keyword(s):

Academic Achievement ◽

Construct Validity ◽

International Student ◽

Student Assessment ◽

Achievement Scores ◽

Individual Level ◽

Anchoring Vignettes ◽

International Student Assessment ◽

Pisa 2012 ◽

Country Level

We examine construct validity of the anchoring method used with 12 noncognitive scales from the Programme for International Student Assessment (PISA) 2012 project. This method combines individuals’ responses to vignettes and self-rated scores based on Likert-type items. It has been reported that the use of anchoring vignettes can reverse country-level correlations between academic achievement scores and noncognitive measures from negative to positive, and therefore align them with the typically reported individual-level correlations. Using the PISA 2012 data, we show that construct validity of this approach may be open to question because the anchored scales produce a different set of latent dimensions in comparison with nonanchored scales, even though both scales were created from the same set of individual responses. We also demonstrate that only one of three vignettes may be responsible for the resolution of the “paradox” highlighting that the choice of vignettes may be more important than what was previously reported.

Download Full-text

A área de ciências nas avaliações internacionais de larga escala

Estudos em Avaliação Educacional ◽

10.18222/eae.v28i68.4582 ◽

2017 ◽

Vol 28 (68) ◽

pp. 512

Author(s):

Lenice Medeiros ◽

Alexandre Jaloto ◽

André Vitor Fernades dos Santos

Keyword(s):

Large Scale ◽

International Student ◽

Student Assessment ◽

Science Field ◽

National Education ◽

Large Scale Assessment ◽

International Student Assessment ◽

Palabras Clave ◽

Brazilian Students ◽

Conceptual Foundations

O artigo procura abordar os aspectos pedagógicos das avaliações internacionais que contam com a área de Ciências, focalizando especialmente a última edição do Programa Internacional de Avaliação de Estudantes (PISA) e o Terceiro Estudo Regional Comparativo e Explicativo (TERCE). São apresentados e discutidos os alicerces conceituais e procedimentais desses estudos e alguns resultados relativos ao desempenho dos estudantes brasileiros. Nesse sentido, problematizam-se os limites e as possibilidades de uso desses dados para a formulação de políticas educacionais que impactam o ensino de Ciências, tais como a Base Nacional Curricular Comum (BNCC) e as avaliações previstas no Plano Nacional da Educação (PNE).Palavras-chave: Avaliação em Larga Escala; Ensino de Ciências; Pisa; Terce. El área de ciencias en las evaluaciones internacionales de gran escalaEl artículo pretende abordar los aspectos pedagógicos de las evaluaciones internacionales que cuentan con el área de Ciencias, enfocando especialmente la última edición del Programa Internacional de Evaluación de Estudiantes (PISA) y el Tercer Estudio Regional Comparativo y Explicativo (TERCE). Se presentan y discuten las bases conceptuales y procedimentales de estos estudios y algunos resultados relativos al desempeño de los estudiantes brasileños. En este sentido se problematizan los límites y las posibilidades de uso de estos datos para la formulación de políticas educacionales que impactan la enseñanza de Ciencias, como la Base Nacional Curricular Común (BNCC) y las evaluaciones previstas en el Plan Nacional de la Educación (PNE).Palabras-clave: Evaluación en Gran Escala; Enseñanza de Ciencias; Pisa; Terce. The science field in international large-scale assessmentsThis article aims to address the pedagogical aspects of international assessments that include the Science field, focusing especially on the last edition of the Program for International Student Assessment (PISA) and the Third Regional Comparative and Explanatory Study (TERCE). The procedural and conceptual foundations of these studies and some results concerning the performance of Brazilian students are presented and discussed here. Therefore, the limits and the possibilities of using these data for the formulation of educational policies that impact the teaching of sciences, such as the Common National Curricular Base (BNCC) and the assessments provided for in the National Education Plan (PNE) are discussed.keywords: Large-Scale Assessment; Science Education; Pisa; Terce

Download Full-text

Acordes e dissonâncias do letramento científico proposto pelo PISA 2015

Estudos em Avaliação Educacional ◽

10.18222/eae.v28i68.4410 ◽

2017 ◽

Vol 28 (68) ◽

pp. 478

Author(s):

Andrea Mara Vieira

Keyword(s):

Scientific Literacy ◽

Large Scale ◽

International Student ◽

Assessment Tool ◽

Student Assessment ◽

Educational Standards ◽

Large Scale Assessment ◽

International Student Assessment ◽

Palabras Clave ◽

The One

A nossa proposta é investigar a existência ou não de sintonia entre o conceito acadêmico de letramento científico e aquele previsto nos documentos do Programme for International Student Assessment (PISA) e nas normas educacionais. A despeito de toda complexidade e polissemia conceitual existente em torno do conceito de alfabetização/letramento científico, desenvolvemos uma análise teórico-comparativa desse conceito na forma como é concebido pelos especialistas, em comparação com o conceito de letramento científico previsto na base avaliativa do PISA 2015, considerando também a previsão normatizada pelas políticas públicas educacionais. Ao final, identificamos menos acordes e, por variados motivos, mais dissonâncias, que podem servir como contributo para uma reflexão sobre a validade e relevância do PISA enquanto instrumento de avaliação, bem como sobre o tipo de aprendizagem a ser assegurada pelo nosso sistema educacional.Palavras-chave: Letramento Científico; Pisa; Políticas Públicas; Avaliação em Larga Escala. Acordes y disonancias del letramento científico propuesto por el PISA 2015Nuestra propuesta es investigar la existencia o no de sintonía entre el concepto académico de letramento científico y el previsto en los documentos del Programme for International Student Assessment (PISA) y en las normas educacionales. A pesar de toda la complejidad y polisemia conceptual existentes en torno al concepto de alfabetización/letramento científico, desarrollamos un análisis teórico-comparativo de dicho concepto en la forma como es concebido por los especialistas, en comparación con el concepto de letramento científico previsto en la base evaluativa del PISA 2015, considerando también la previsión normalizada por las políticas públicas educacionales. Al final, identificamos menos acordes y, por variados motivos, más disonancias, que pueden servir como contribución para una reflexión sobre la validad y relevancia del PISA como instrumento de evaluación, así como sobre el tipo de aprendizaje que nuestro sistema educacional debe asegurar.Palabras-clave: Letramento Científico; Pisa; Políticas Públicas; Evaluación en Gran Escala. Chords and dissonances of scientific literacy proposed by PISA 2015Our proposal is to investigate the harmony or lack of it between the academic concept of scientific literacy and the one stated in the documents of the Program for International Student Assessment (PISA) and in educational standards. Despite all complexity and conceptual polysemy around the concept of literacy/scientific literacy, we developed a theoretical comparative analysis of this concept as designed by experts, comparing it to the concept of scientific literacy laid down on the assessment basis of the PISA 2015, considering also the projection standardized by public educational policies. Finally, we identified less chords, and, for various reasons, more dissonance, that can serve as a contribution to discuss the validity and relevance of PISA as an assessment tool, as well as on the type of learning to be ensured by our educational system.Keywords: Scientific Literacy; Pisa; Public Policies; Large-Scale Assessment.

Download Full-text