GENERALITES

L'évaluation mesure les effets du travail tel qu'il est planifié et mis en application au cours du processus de vulgarisation. L'évaluation permet aux vulgarisateurs et aux exploitants de répondre à des questions telles que :

Quelles activités planifiées avons-nous mené à bien ?

Quelles activités planifiées n'avons-nous pas mené à bien ?

Combien cela a-t-il coûté ?

Quel est le résultat de ce travail ?

Quels sont les bénéfices/effets contraires de ce travail ?

Qu'avons-nous appris ?

Sommes-nous plus près de notre but ?

L'évaluation, comme la planification et le travail, devra se faire avec les homologues de la communauté. En fait, l'évaluation est la partie la plus négligée du processus de vulgarisation. Un dialogue ne peut s'établir entre les scientifiques et les familles fermières que lorsqu'il y a évaluation du travail de vulgarisation dans les champs et au niveau de la communauté.

L'évaluation est le dernier maillon d'un dialogue efficace. Une évaluation honnête et ouverte du travail dans la communauté donne aux petites exploitations familiales l'occasion de réellement participer au processus de changement et de progrès.

En utilisant les outils de travail pour la planification illustrés dans ce chapitre sous forme de listes de contrôle, on peut mesurer les résultats quantitatifs et détaillés du travail de vulgarisation. Le progrès accompli vers l'accomplissement des buts matériels peut par conséquent être évalué. Il existe cependant des buts "plus élevé" que les buts matériels, qui sont plus difficiles à décrire et plus difficiles à mesurer en ce qui concerne le progrès accompli. Parmi ces autres buts, citons :

· une amélioration du dialogue

· rendre son travail inutile, c'est-à-dire augmenter la compétence indépendante des exploitants

· la conséquence positive du travail sur l'écologie

· le caractère approprié du travail au point de vue culturel

· des buts spirituels ou moraux

· une satisfaction personnelle ou le côté amusant du travail

· les rapports avec les collègues, les familles fermières, la communauté d'accueil

Tous ces buts ont un rapport avec l'objectif d'ensemble de la vulgarisation agricole tel qu'il est décrit dans ce manuel : aider les petites exploitations familiales à participer de façon créative au progrès et au changement.

On peut avoir besoin de l'avis d'experts pour évaluer le progrès accompli vers certains de ces buts "plus élevés", les effets sur l'écologie, par exemple. Très peu de vulgarisateurs au niveau du village possèdent les ressources en sociologie rurale ou en anthropologie culturelle pour pouvoir évaluer de façon formelle les effets culturels du travail, mais il faudra s'en préoccuper. Des questions d'ordre philosophique, spirituel et relationnel sont souvent soulevées lorsque des vulgarisateurs et les familles fermières sont engagés dans un processus de changement. En fait, le développement est plein de ces questions. On ne peut les évaluer de façon normale, mais elles devront rester à l'esprit de la vulgarisatrice qui devra prendre le temps de s'arrêter pour les considérer, y réfléchir et de s'ouvrir au changement au fur et à mesure qu'il se produit. L'aspect le plus intéressant et le plus revigorant du travail de vulgarisation consiste à se trouver au coeur du changement. En étant au coeur du changement, on ressent une responsabilité énorme envers les autres. L'évaluation à tous les niveaux, une considération attentive envers tout ce qui est fait se traduisent en responsabilité et soin au niveau de l'action.

Il existe plusieurs types d'évaluation pouvant être faite :

L'observation quotidienne dont le résultat est une impression subjective pouvant guider le travail de manière utile. De telles informations sont recueillies à partir de conversations, de visites dans les exploitations et les familles, de réunions et de discussions individuelles.

Les études non-formalisées impliquant la révision et l'analyse des informations obtenues à partir de registres, de rapports, de listes de contrôle, de questionnaires, de données de recensement, etc.. Accomplies de façon régulière, ces études devront constituer une base relativement objective permettant de juger le travail de vulgarisation. Elles peuvent également inclure une réflexion régulière sur les buts "plus élevés" mentionnés plus haut.

Les études formalisées sont plus structurées. Elles sont souvent planifiées et menées a bien suivant des règles scientifiques pour donner des informations plus objectives sur l'accomplissement des objectifs ou l'efficacité des méthodes utilisées. Ces études peuvent comprendre des entrevues officielles, des questionnaires, un recueillement et une analyse de données, etc.. Une analyse du rapport coût/bénéfice est un bon exemple de ce type d'études (voir l'Annexe), ainsi que les aspects de "L'étude agricole" (se reporter au Chapitre Deux).

Certains principes élémentaires sont à la base d'une évaluation efficace :

· L'évaluation du travail de vulgarisation devra être bien planifiée et clairement définie quant à ce qui fait l'objet de l'évaluation au sein du programme.

· Le personnel de vulgarisation ainsi que la communauté devront participer à l'évaluation. Une auto-évaluation vient en aide à ceux qui mettent un programme en application et peut être combinée de manière utile avec une évaluation faite par une personne de l'extérieur.

· L'évaluation quotidienne doit être continue et intégrée au processus de développement du programme depuis son stade de planification jusqu'à sa conclusion.

· Il faudra utiliser des moyens fiables et efficaces, et choisir un échantillon représentatif selon les moyens disponibles.

· L'évaluation devra se concentrer davantage sur l'avènement de changements du comportement que sur le nombre de participants, les réunions, les heures, les questions préparées, etc..

· Il faudra considérer une analyse et une interprétation soigneuses des données recueillies lorsque l'on planifie une étude d'évaluation.

Etant donné qu'il existe une très grande diversité d'aspects à toute activité de vulgarisation, il faudra décider lesquels sont les plus importants à évaluer.

Certains aspects de l'activité de vulgarisation sont les suivants :

situation avant/après
planification du programme
mise en application du programme
méthodes
résultats
objectifs plus élevés

En décidant ce qui va faire l'objet de l'évaluation, il sera peut-être plus facile de déterminer quelle méthode d'évaluation utiliser.

Il est très important, au cours d'une évaluation, de porter des jugements réservés et de tirer des conclusions prudentes. Quel que soit le niveau technique des moyens utilisés ou le niveau d'objectivité des critères utilisés pour mesurer les résultats, chaque évaluation faite par une vulgarisatrice n'est que le point de vue d'une personne (ou de plusieurs personnes). Il n'y a pas d'absolus dans le processus de changement, il n'y a que des probabilités. Il est essentiel d'être conscient et ouvert de façon critique aux divers points de vue pour pouvoir interpréter correctement l'évaluation des résultats.

Le plus important est de réaliser qu'il ne faut pas que les résultats de l'évaluation trompent les membres de la communauté et les exploitants. C'est souvent que l'échec d'un projet de vulgarisation est attribué à l'ignorance ou au manque de coopération de l'exploitant, ce qui est rarement vrai. Comme il s'agit là d'une tendance observée dans l'évaluation du travail de vulgarisation, on met les vulgarisateurs vivement en garde contre de telles conclusions. En réalité, c'est souvent une erreur de jugement ou une vue restreinte des choses que d'attribuer la cause de n'importe quel résultat à un seul facteur.

En mettant du temps et de l'énergie à mesurer les effets du travail de vulgarisation à divers niveaux, les vulgarisateurs mettent le dernier maillon à la chaîne du dialogue. Ils mettent les petites exploitations familiales en contact direct avec les scientifiques ou d'autres agents du changement. En tant que catalyseurs au coeur du processus du changement agricole, les vulgarisateurs détiennent une immense responsabilité envers les autres qu'ils peuvent traduire en action au moyen d'une évaluation sensible.

ILLUSTRATION

Mike avait aidé un groupe d'exploitants à développer un marécage situé dans une vallée à l'intérieur des terres pour la production de riz en saison sèche. Ils avaient défriché les terres, construit les digues, les berges et les rizières, planté le riz et mené à bien toutes les tâches relatives à la production. Il fallait maintenant évaluer les résultats de tout ce travail.

Mike ressentait de l'incertitude sur le chemin du village voisin de l'exploitation de riz. Cela faisait plusieurs mois qu'il était parti pour travailler ailleurs. Il était très impatient de voir ce qui s'était passé depuis sa dernière visite. A l'entrée du village, il vit un visage familier. C'était Mami, la femme de l'exploitant-chef. Elle le vit, mais rentra vite à l'intérieur. Qu'est-ce que cela signifiait ? Mike arrêta sa moto et la gara. Tout à coup, des gens sortaient de toutes les maisons en courant, souriants. La plupart des exploitants et de leurs familles vinrent l'entourer et l'accueillir joyeusement. Mike était ému et ne savait que penser. Un des exploitants dit : "Tu nous as tellement donné ! Nous te sommes tellement reconnaissants !" Ils allèrent tous à l'exploitation du village.

Mike se demandait s'il allait pouvoir se livrer à l'analyse approfondie d'échantillons du rendement sur la parcelle de chaque exploitant qu'il avait espéré faire avant la récolte. Il se demandait si c'était le bon moment pour procéder aux évaluations spécifiques dont il avait établi la liste et qu'il avait planifiées avant de venir... Tout le monde s'arrêta à la limite de l'exploitation avec Mike pour regarder. C'était une étendue de riz mûrissant remuée par le vent, entourée de potagers. Mike était très heureux.

Au bout d'un moment, la foule se dispersa. Les familles rentrèrent préparer le repas, les exploitants se remirent au travail sur leurs parcelles et Mike put discuter des détails avec l'exploitant-chef. Mike commença à lui poser une série de questions spécifiques sur la saison de culture. Il prit les réponses par écrit. Mike lui expliqua alors ce qu'était un échantillon de rendement, pourquoi il était important de le prélever et comment procéder. Avec l'exploitant-chef, il en prélevèrent un et se mirent d'accord pour le faire pour chaque exploitant au cours de sa prochaine visite. Puis Mike regarda le barrage, les digues, les canaux d'irrigation et les vannes. Il examina des échantillons de parcelles pour déterminer les problèmes d'insectes, de maladies, de toxicité du fer, d'écoulement ou d'irrigation, de croissance inégale, etc.. Il prit toutes ces notes par écrit dans son carnet.

Il demanda à tous les exploitants de se réunir brièvement sous le manguier où ils s'étaient si souvent reposés au cours du travail de préparation des terres et de production qu'ils avaient fait ensemble. Mike posa aux exploitants une série de questions qu'il avait préparées et qui étaient conçues pour aider les exploitants à passer en revue ce qu'ils avaient fait. Il dirigea surtout ses questions sur les résultats concrets de leur dur labeur, la façon dont chaque tâche de préparation des terres et de production avait résulté en quelque chose de spécifique qui avait permis au riz et aux jardins de pousser. Ils passèrent ainsi en revue les événements de la saison ; Mike fut informé des problèmes spécifiques qui s'étaient présentés au cours de la saison et les exploitants purent voir les relations de cause à effet.

Quand vint le soir et que le repas à base de riz fut prêt, Mike et les exploitants avaient parlé longuement de ce qui s'était passé. Mike partit, heureux de la production et des autres résultats physiques du projet de la communauté. Il les avait aidés à voir plus clairement leur aptitude à résoudre les problèmes agricoles.

Il sentait la chaleur des rapports mutuels qui avaient été les leurs. Il était cependant perturbé par le fait que les exploitants lui attribuaient leur succès. Il se posait également des questions les effets écologiques de leur système d'irrigation et des méthodes de culture combinée. Il vit que les exploitants avaient nettoyé le sentier menant à l'exploitation pour que les camions puissent venir chercher le riz. Malheureusement, cela avait rendu ce sentier trop dangereux pour permettre à la vieille femme et à l'aveugle qui vivaient près de l'exploitation de travailler comme ils le faisaient avant. Il leur avait fallu aller vivre ailleurs. La route avait également amené la visite au village du percepteur du district et de l'inspecteur des services sanitaires pour leurs devoirs respectifs. Le petit village de Bambaia était transformé maintenant. Mike se sentit tout petit sur le chemin de la maison.

OUTILS DE TRAVAIL (5)

1. Utiliser les outils du travail de planification donnés dans chaque sous-chapitre de ce manuel comme listes de contrôle pour évaluer le progrès du travail et l'accomplissement des tâches spécifiques.

2. Facteurs à considérer dans l'évaluation de la vulgarisation :

a. Personnes concernées :
- animateurs de projets ou de la communauté
- évaluateurs
- ressources des personnes de l'extérieur
- habitants de la communauté

Est-ce que chacun connaît son rôle, le but de l'évaluation, etc..? Est-ce que tout le monde peut faire ce qui est nécessaire ?

b. Temps :

- Est-il trop tôt pour pouvoir déterminer le succès d'un projet ou d'une activité ?

- Est-ce le meilleur moment pour procéder à une évaluation ?

c. Outils et méthodes d'évaluation :

- Sont-ils appropriés et applicables ?

d. Financement et autres coûts :

- Est-ce la manière la moins onéreuse de procéder à une évaluation efficace ?

3. Questions relatives à chaque aspect du travail à évaluer :

4. Planification et menée à bien d'une étude d'évaluation

Les étapes suivantes sont essentielles à la planification d'une étude d'évaluation : (1) sélectionner un problème requiérant investigation ; (2) formuler clairement ce qu'il y a à mesurer ; (3) déterminer le type d'information nécessaire ; (4) décider du mode de recueil des informations ; et (5) prévoir la manière dont elles vont être utilisées.

Les points suivants serviront de grandes lignes directrices lors de la planification et de la menée a bien de l'évaluation d'un programme de vulgarisation.

A. Déterminer le personnel et les ressources financières disponibles et nécessaires

- quelle coopération est requise des ressources extérieures pour le personnel et l'argent ?

- quelle est la durée nécessaire à l'étude ?

B. Sélectionner et définir la partie du programme qui va faire l'objet de l'étude

- quels objectifs ou contenu du programme de vulgarisation vont être évalués ?

- quelle phase du programme va être évaluée, c'est-à-dire mise en application du programme, méthodes d'enseignement, résultats, etc.. ?

- l'évaluation d'un certain programme ou aspect du programme sera-t-elle utile pour plus tard ?

- sera-t-il nécessaire de recueillir des données pour l'évaluation ou des informations sont-elle déjà disponibles auprès d'autres sources ?

C. Définir et clarifier les objectifs de l'étude

- De quoi a-t-on besoin pour déterminer que le programme éducatif atteint ses objectifs en termes de (a) nombre d'accomplissements, ou (b) changement du comportement chez les individus ? Quels sont les indices les plus importants d'un changement de comportement ?

D. Décider de la façon de recueillir les informations et des dispositifs nécessaires

- quels moyens vont être utilisés questionnaires, formulaires d'observation, etc..?

- si l'on utilise un questionnaire, quelles questions seront posées et comment les formuler ?

- établir des feuilles pour enregistrer les données et préparer les instructions les accompagnant

- tester ces moyens et les révisés si nécessaire.

E. Tabulation du plan

- type de méthodes de tabulation et de tableaux nécessaires pour mettre les rapports en évidence

- personnel et équipement nécessaires à la tabulation.

F. Détermination des échantillons

- Définir la population à échantillonner.

- Déterminer l'échantillon nécessaire et faisable.

- Préparer les instructions d'échantillonnage.

G. Se préparer au recueil d'informations

- Qui est disponible pour le recueil des informations ?

- Sélectionner les personnes qui vont procéder aux entrevues et au recueil des informations.

- Déterminer la formation requise pour mener les entrevues, enregistrer les informations, etc..

- Procéder à la formation.

H. Recueillir les informations sur le terrain

- Assurer la supervision nécessaire

I. Vérifier et tabuler les données recueillies.

J. Interpréter les faits et préparer un rapport

- Quels sont les faits majeurs mis en évidence ?

- Faut-il écrire plusieurs rapports, par exemple pour les gens de la profession et pour ceux de l'extérieur

K. Prévoir l'emploi de l'information mise en évidence

- quelles peuvent en être les implications futures ?

5. Autre format pour les questions que vous pouvez poser pour évaluer un projet:

(Manuel de vulgarisation agricole USAID-Kénya)

Evaluation du projet

Ne vous arrêtez pas encore - évaluez ! La planification ne s'arrête jamais ; alors, toutes les fois où un projet ou une étape du programme s'achève, les participants devront contempler ce qui a été accompli pour s'assurer que les choses se passent bien comme elles le devraient. C'est ce qu'on appelle évaluation et c'est un processus continu tout comme la planification. Il vous faut évaluer les efforts passés pour planifier les changements.

Mettez au point un moyen d'évaluation lorsque vous définissez le but et que vous mettez par écrit un Plan d'Action. N'oubliez-pas votre étude de la communauté, toutes les réponses provenant des questionnaires et les statistiques que vous avez pu recueillir comme sources possibles d'information pour l'évaluation.

En suivant chaque étape ou activité, posez des questions telles que :

· A-t-on bien travaillé ?

· Les plans ont-ils bien marché ?

· Pourquoi avons-nous réussi ? ou

· Pourquoi avons-nous échoué ?

· Que faudrait-il faire maintenant ?

· Qu'est-ce qu'on va faire ensuite ?

· Si nous avons fait des erreurs, pouvons-nous les éviter dans l'avenir ?

Encouragez les membres de la communauté à commencer à évaluer le projet tout de suite après qu'il ait commencé. Est-ce que les gens utilisent les latrines qui ont été installées ? Est-ce qu'ils continuent leurs cultures potagères et mangent le produit de leurs récoltes ? Est-ce que les enfants vont vraiment à l'école ? Le groupe à l'intention duquel vous aviez préparé vos activités est-il venu ?

Après la conclusion de chaque phase du projet, il faudra en suivre les résultats pour déterminer à quel degré elle a réussi. A la fin, reposez-vous toutes ces questions. Est-ce que le travail a été fait ? Que peut-on faire pour rendre vos efforts plus fructueux ?

On trouvera ci-dessous divers types possibles de mesure que vous pouvez utiliser pour évaluer votre projet, s'il a été planifié depuis le début :

1. Qualité ou quantité

a. Combien de personnes ont-elles été touchées ?

b. Combien d'affiches, de brochures, de visites dans les familles ont-elles été faites ?

2. Qualité - que pensent les gens ?

a. Les animateurs ?

b. Les participants, les villageois ?

c. Les autres travailleurs des services sanitaires ?

d. Les élèves ?

3. Changements au niveau des connaissances mis en évidence par :

a. Des discussions parmi les exploitants

b. Des réponses aux questions posées par le vulgarisateur

4. Changements d'attitude

a. Soutien du programme par la communauté

b. Demandes de coopération supplémentaire par des agences gouvernementales

c. Moins d'opposition par les groupes du village qui s'étaient opposés au projet dans un premier temps

d. Sondage d'opinion publique

5. Changements de comportement, tels que :

a. Davantage de visites à la station agricole ou chez le travailleur des services agricoles

b. Amélioration des habitudes et des conditions remarquée dans les exploitations

c. Augmentation de la production

d. Augmentation des ventes de lait, de viande, de légumes ou autres produits alimentaires

e. Besoin plus grand d'assistance après la récolte

f. Intérêt plus grand dans la mise sur le narché

6. Changements dans la vie de la communauté

a. Amélioration de la nutrition

b. Surplus en denrées alimentaires

c. Signes de prospérité économique

d. Amélioration dans la santé mise en évidence par des cas personnels

Dans le cas de l'évaluation du travail de vulgarisation, il vous semblera difficile d'en mesurer les résultats. Le nombre de leçons ou de démonstrations et l'aptitude des gens à les répéter n'en constituent certes pas la seule mesure. Le changement de comportement est le but, et pourtant ces changements ne sont pas tout de suite facilement évalués puisqu'ils peuvent se produire lentement sur une longue période de temps.

Comme toujours, tout au long de votre travail avec une communauté, il vous faudra enregistrer vos observations. C'est une forme de tenue de registre par écrit que vous avez déjà faite au cours de vos investigations dans la communauté. Il vous faudra discuter de l'importance de la tenue de registres avec vos homologues.

L'évaluation du progrès d'activités complexes (comme la vulgarisation) n'est jamais chose simple, mais on peut la faciliter en définissant dès le début et de façon claire les objectifs du projet et en mettant votre plan d'évaluation en rapport direct avec ces objectifs. Avec une planification soigneuse, les données d'évaluation permettront d'assurer une meilleure gestion du projet et la création d'un sentiment de confiance dans le progrès accompli chez ceux qui soutiennent le travail, et surtout chez les membres de la communauté.