Chapitre 6: Evaluation des programmes d’éducation nutritionnelle: implications pour ceux qui planifient et ceux qui évaluent les programmes

Les experts ont examiné les points saillants du document de travail no. 5, préparé et présenté par M. A. Oshaug. Ils ont insisté sur le fait que l’éducation nutritionnelle n’est qu’un élément d’une stratégie élaborée pour résoudre des problèmes nutritionnels. Ce qui demande une intégration de l’évaluation dans le processus en notant qu’il faut évaluer les effets de tous les types d’interventions. Les gestionnaires de programmes et les planificateurs sont responsables devant les organismes qui les financent. Ces institutions doivent donc faire la différence entre des programmes utiles et des programmes inefficaces et sans effets, et planifier, élaborer et mettre en oeuvre de nouveaux efforts ayant l’impact espéré sur les groupes cibles. Pour ce faire il faut se poser toute une série de questions:

· Est-ce que la stratégie est basée sur des priorités déterminées par une analyse complète de la situation nutritionnelle?

· Est-ce que les interventions sont susceptibles d’améliorer la situation de manière significative?

· A-t-on choisi la population cible la plus appropriée?

· Est-ce que les différentes interventions vont se renforcer ou vont-elles entrer en conflit?

· l’intervention est-elle mise en oeuvre selon les prévisions?

· Est-elle efficace et combien coûte-t-elle?

· Comment ses effets peuvent-ils être isolés des effets d’autres interventions?

En général, on considère que l’évaluation a deux fonctions principales: améliorer et développer les activités en même temps qu’elles sont réalisées (évaluation formative et suivi) et mesurer les résultats d’une activité ou d’un ensemble d’activités (évaluation sommative). L’évaluation est aussi utilisée pour des raisons de justification par les commanditaires des programmes. Elle peut avoir une fonction administrative en donnant une rétroinformation au gestionnaire du programme sur le personnel et sur les activités.

Les bénéficiaires peuvent apprécier d’être impliqués dans l’évaluation du programme et ils peuvent être motivés par le fait qu’ils fournissent une rétroinformation. L’évaluation peut aussi être utilisée pour promouvoir les bénéfices des activités éducationnelles.

Pour la nutrition communautaire, l’évaluation a été définie comme “le recueil systématique, la désagrégation et l’utilisation de l’information pour apprécier l’efficacité de l’analyse de la situation, pour évaluer de manière critique les ressources et les stratégies choisies, pour fournir une rétroinformation sur le processus de mise en oeuvre et pour mesurer l’efficacité et l’impact d’un programme d’action “ (Oshaug, 1992).

Dans cette approche, l’évaluation est inscrite dans toutes les phases de la planification d’un programme, de sa mise en oeuvre et de sa gestion. Sept points principaux concernant l’élaboration systématique d’une évaluation ont été discutés.

La planification du programme

II faut se donner des buts et des objectifs mesurables (y compris les résultats) en les basant sur une évaluation complète de la situation nutritionnelle. Pour le programme lui-même, les buts et les objectifs indiquent la direction, les résultats escomptés et le calendrier. On peut ainsi définir les critères, de mesure pour l’évaluation. Les programmes dont les objectifs sont mal élaborés sont difficiles à évaluer.

L’évaluation du contexte

L’évaluation du contexte est centrée sur les décisions initiales du programme d’éducation nutritionnelle. Si l’information disponible est inadéquate et n’a pas été recueillie durant l’analyse de la situation, on peut s’aider de données supplémentaires fournies par un échantillon du programme (programme pilote) ou de données anecdotiques. L’évaluation du contexte est normalement effectuée pour préciser les objectifs et les activités et pour vérifier qu’ils sont en rapport avec les problèmes auxquels ils s’attaquent.

L’évaluation des intrants

L’évaluation des intrants considère de manière critique l’adéquation des ressources et si elles sont appropriées pour mener à bien le programme. Habituellement, un programme demande quatre types principaux d’intrants: un plan, des ressources matérielles, des ressources humaines et du temps.

L’évaluation du processus

L’évaluation du processus est un outil destiné à suivre les progrès réalisés. Ce type d’évaluation doit indiquer si la stratégie et les activités sont susceptibles d’aboutir aux résultats escomptés quand elles sont mises en oeuvre. Si les activités ne conduisent pas à ce que l’on en attendait, elles peuvent être modifiées ou même arrêtées. Certains aspects peuvent réclamer une évaluation quotidienne ou un recueil extemporané de données, alors que d’autres ne réclament qu’un contrôle occasionnel. Plusieurs facteurs doivent être pris en compte dans l’évaluation du processus, tels que les objectifs, les stratégies et les activités, le calendrier, les acteurs et les ressources. En planifiant l’évaluation du processus, il faudra décider du choix des indicateurs à utiliser.

Evaluation des résultats et de l’impact

En évaluant les résultats il faut faire une distinction entre les résultats globaux et les résultats nets. Les résultats globaux représentent toutes les modifications observées durant la période en question. Les résultats nets sont les effets produits par l’intervention. Les modifications diététiques et nutritionnelles constatées durant une période donnée peuvent être attribuées au moins à trois effets: les résultats de l’éducation (résultat net), les effets de variables extérieures et les effets de la conception du programme, qui sont des artefacts du processus d’évaluation lui-même.

Les effets liés à la conception comprennent les questions de validité et de fiabilité, particulièrement dans les mesures des ingesta alimentaires. Des biais peuvent apparaître dans la sélection des sujets et peuvent aussi surgir des différences systématiques dans la façon de recueillir les données pour classer les sujets. Ces types de biais peuvent compromettre la validité interne.

Qui doit évaluer?

L’évaluation doit être effectuée par des évaluateurs externes et internes, en utilisant des méthodes soit quantitatives soit qualitatives. Les méthodologies employées doivent être utilisées de manière complémentaire en fonction de la spécificité de la question. Les approches qualitatives sont déterminantes dans la définition et le suivi des programmes alors que les approches quantitatives sont plus adaptées aux estimations de l’impact et de l’efficacité. L’utilisation de plusieurs méthodes, souvent appelée technique de triangulation, peut améliorer la validité des résultats si ces résultats sont fournis par des méthodes différentes mais cohérentes.

On a beaucoup discuté la question de la mesure de l’efficacité. Dans un environnement ou la compétition pour trouver des financements est très vive, on peut voir des pressions s’exercer pour démontrer que tel ou tel programme donne les meilleurs résultats au moindre coût. Ceci est la base des analyses comparées coût/avantage et coût/efficacité.

Quelles sont les compétences nécessaires pour l’évaluation?

On ne doit pas attendre des éducateurs en nutrition qu’ils soient experts dans les procédures méthodologiques. C’est pourquoi il est important d’avoir la possibilité d’employer des évaluateurs externes pour compléter les compétences en évaluation qui existent déjà au sein du programme.

Discussion:

Les experts ont insisté sur la difficulté qu’il y a à estimer les coûts de l’évaluation des programmes et des projets, bien qu’ils aient noté que dans plusieurs programmes, jusqu’à 10% du budget ont pu être consacrés à l’évaluation. Il a été signalé que les coûts varient selon que l’on réalise une évaluation externe ou une évaluation interne.

Les problèmes liés à l’évaluation interne ont été abordés. Dans certains cas, les superviseurs étaient préoccupés par le fait qu’un échec pouvait mettre en danger ou compromettre les postes des personnels concernés. Un autre souci découlait de la notion que l’évaluation devait présenter des résultats positifs plutôt que d’être considérée comme un outil destiné à orienter le cours du programme, du projet ou de l’activité.

Les experts s’accordent sur le fait que l’évaluation participative est importante car elle apporte une expérience éducative à la communauté et l’y associe. De ce point de vue, on a souligné l’intérêt qu’il y avait justement, à présenter et discuter les résultats de l’évaluation avec les communautés concernées.

L’évaluation doit être prise en compte durant les étapes initiales de la planification des programmes et des projets et elle doit constituer un élément permanent du processus.

On a discuté plusieurs explications au manque d’évaluation. Parmi elles on peut inclure: l’absence de compétences et de connaissances dans le domaine de l’évaluation; la crainte des résultats; l’incapacité à exploiter et à analyser les résultats; et, l’épuisement du financement avant qu’une évaluation ne soit réalisée.