Doing Qualitative Research in a Digital World

Trena M. Paulus and Jessica N. Lester (2021), Doing Qualitative Research in a Digital World, Thousand Oaks, CA: Sage. VitalSource. 376 pages. (ISBN: 9781544321585) Reviewed by Kenza Bennani

Cultivating Cultural Competence

Cultural competence is a complex and contested notion. Yet, cultural competence remains integral to working with difference in the context of evaluation practice. Given its status in evaluation practice, the field’s commitment to cultural competence prompts the need for further interrogation and reconsideration. Accordingly, this paper explores the establishment and conceptualization of cultural competence. Potential challenges to cultural competence are also examined. In consideration of these challenges, an alternative framework is offered based on the philosophy of Emanuel Levinas. This work aims to support the evaluation community’s ability to work with cultural diversity, a vital aspect of evaluation practice.

Evaluation Advisory Groups: Considerations for Design and Management

An evaluation advisory group can be a vital resource, particularly for evaluations of collaboration-driven initiatives, but only if we apply skills and knowledge to use them effectively. In this paper, we will discuss the basics of evaluation advisory groups on four themes: purposes, structures, processes, and pitfalls. We will discuss insights from a review and synthesis of the evaluation advisory group literature and illustrate with our own real-world experiences of developing and implementing evaluation advisory groups on a national and state-wide scale, in a university setting, and within a localized health setting.

Practice Notes from a Participatory Impact Evaluation of a Leadership Development Program for People Living with HIV

Interest in participatory evaluation and other collaborative inquiry approaches has risen substantially over the past few decades. However, there appears to be a lack of practical information about using and applying participatory evaluation approaches on-the-ground. This Practice Note uses a participatory impact evaluation of a leadership development program for people living with HIV and findings from a meta-evaluation of this work to describe: (i) the participatory evaluation approach adopted; (ii) challenges and lessons learned related to conducting a participatory evaluation; and (iii) some key factors and implications to consider maximizing success of future participatory evaluations.

Toward an Evidence-Based Approach to Building Evaluation Capacity

Organizations are required to evaluate their programs for both learning and accountability purposes, which has increased the need to build their internal evaluation capacity. A remaining challenge is access to tools that lead to valid evidence supporting internal capacity development. The authors share practical insights from the development and use of the Evaluation Capacity Needs Assessment tool and framework and implications for using its data to make concrete decisions within Canadian contexts. The article refers to validity evidence generated from factor analyses and structural equation modelling and describes how applying the framework can be used to identify individual and organizational evaluation capac­ity strengths and gaps, concluding with practice considerations and future directions for this work.

L’évaluation évolutive, de la théorie à la pratique : perspectives de praticiens québécois

Les innovations sociales suscitent un engouement auprès d’organisations, de communautés et de professionnels québécois et canadiens oeuvrant collectivement pour répondre aux enjeux sociaux complexes dans des contextes dynamiques. Évaluer ces innovations en s’appuyant sur des approches formatives et sommatives a révélé certaines limites. L’évaluation évolutive (ÉÉ) se positionne donc comme solution possible. Cet article met en relation les écrits scientifiques avec l’expérience de praticiens expérimentés au Québec. L’équilibre entre gestion de projet et évaluation, production de connaissances et transformation de pratiques, itération continue et établissement d’un échéancier est au coeur d’une démarche effi cace d’ÉÉ.

Étude exploratoire de la pratique évaluative dans le domaine de la santé au Burkina Faso

Cette étude fournit une analyse réflexive de la pratique évaluative dans le domaine de la santé au Burkina Faso. Pour ce faire, une analyse d’un échantillon de dix évaluations réalisées dans le secteur de la santé depuis 2011 a été conduite. Il ressort de cette analyse descriptive que les pratiques évaluatives actuelles sont très variables dans le pays. La majorité des rapports d’évaluation produits ne respectent pas les standards et normes internationaux en matière d’évaluation, notamment pour ce qui concerne la définition du mandat et des questions évaluatives, la précision des critères d’évaluation et la qualité de la méthodologie utilisée. Nous concluons que le développement d’une culture évaluative et un renforcement des capacités sont nécessaires pour une meilleure capitalisation des expériences et pour l’utilisation des données probantes dans la prise de décision.

L’apport du journal de bord en évaluation de programmes dans une perspective de pérennisation : le cas du programme HORS-PISTE

Plusieurs programmes de prévention de l’anxiété chez les adolescents ont été élaborés et implantés dans les écoles dans les dernières années. Ces programmes sont cependant rarement évalués de manière systématique et mis à l’échelle à l’ensemble des écoles. Plusieurs évaluations de ces programmes utilisent le journal de bord rempli par les personnes animatrices comme méthode de collecte de données. Toutefois, sa fonction méthodologique spécifi que dans une évaluation de programme impliquant plusieurs sources de données n’a pas été systématiquement analysée. Le présent article utilise l’exemple du programme HORS-PISTE pour illustrer les avantages, les limites et les défi s de cette méthode.