O Departamento de Matemática da Universidade Federal de Viçosa tem realizado algumas medidas de prevenção à reprovação dos estudantes na disciplina de Cálculo, cujos índices têm assustado os professores. Uma dessas medidas está na elaboração de avaliações de matemática básica que objetivam identificar estudantes propensos à reprovação, a fim de proporcionar uma intervenção pedagógica capaz de reverter esta situação. Tendo em vista a importância desta avaliação como parte integrante dos processos de ensino e aprendizagem da disciplina, o presente artigo tem como objetivo oferecer uma análise estatística, pautada nas duas vertentes da Psicometria moderna: a Teoria Clássica dos Testes (TCT) e a Teoria de Resposta ao Item (TRI), e uma análise pedagógica dos descritores e distratores de alguns itens-chave que compõem uma dessas avaliações, escolhida para um estudo de caso. Os resultados apontaram para uma avaliação composta por itens com variados índices de dificuldade e, no geral, com bom poder discriminativo tanto pela análise via TCT, quanto pela TRI, cujos resultados foram obtidos através da estimação, pelo método da média a posteriori, de um modelo logístico de dois parâmetros. A consistência interna da avaliação como instrumento de mensuração de habilidades foi verificada pelo coeficiente alpha de Cronbach, assegurando a qualidade e confiabilidade dos resultados deste estudo. Espera-se que este trabalho sirva como um instrumento de difusão das teorias psicométricas na análise da estrutura de avaliações e aponte para a necessidade de uma maior discussão pedagógica acerca das possíveis lacunas existentes na aprendizagem de matemática básica dos estudantes do ensino superior.