Reliability testing of a portfolio assessment tool for postgraduate family medicine training in South Africa
African Journal of Primary Health Care & Family Medicine
| Field | Value | |
| Title | Reliability testing of a portfolio assessment tool for postgraduate family medicine training in South Africa Tests de fiabilité d’un outil d’évaluation de portefeuille pour la formation postdoctorale en médecine familiale en Afrique du Sud | |
| Creator | Jenkins, Louis Mash, Bob Derese, Anselme | |
| Description | Background: Competency-based education and the validity and reliability of workplace-based assessment of postgraduate trainees have received increasing attention worldwide.Family medicine was recognised as a speciality in South Africa six years ago and a satisfactory portfolio of learning is a prerequisite to sit the national exit exam. A massive scaling up of the number of family physicians is needed in order to meet the health needs of the country.Aim: The aim of this study was to develop a reliable, robust and feasible portfolio assessment tool (PAT) for South Africa.Methods: Six raters each rated nine portfolios from the Stellenbosch University programme, using the PAT, to test for inter-rater reliability. This rating was repeated three months later to determine test–retest reliability. Following initial analysis and feedback the PAT was modified and the inter-rater reliability again assessed on nine new portfolios. An acceptable intra-classcorrelation was considered to be 0.80.Results: The total score was found to be reliable, with a coefficient of 0.92. For test–retest reliability, the difference in mean total score was 1.7%, which was not statistically significant. Amongst the subsections, only assessment of the educational meetings and the logbook showed reliability coefficients 0.80.Conclusion: This was the first attempt to develop a reliable, robust and feasible national portfolio assessment tool to assess postgraduate family medicine training in the South African context. The tool was reliable for the total score, but the low reliability of several sections in the PAT helped us to develop 12 recommendations regarding the use of the portfolio, the design of the PAT and the training of raters. Contexte: L’éducation fondée sur la compétence ainsi que la validité et la fiabilité de l’évaluation sur le lieu de travail des étudiants en formation postdoctorale font l’objet d’une attention croissante dans le monde entier. La médecine familiale a été reconnue comme spécialité en Afrique du Sud il y a six ans et un portefeuille satisfaisant de compétences est requis pour passer l’examen national de sortie. Une augmentation massive du nombre de médecins de famille est nécessaire afin de répondre aux besoins de santé du pays.But: Le but de cette étude était de développer un outil d’évaluation de portefeuille (PAT) fiable, solide et faisable pour l’Afrique du Sud.Méthodes: Six évaluateurs ont chacun évalué neuf portefeuilles issus du programme de l’Université de Stellenbosch, en utilisant le PAT afin de tester la fiabilité inter-évaluateur. Cette évaluation a été répétée trois mois plus tard pour déterminer la fiabilité premier test/second test. À partir d’une première analyse et de commentaires, le PAT a été modifié et la fiabilité inter-évaluateur à nouveau évaluée sur neuf nouveaux portefeuilles. On a considéré qu’une corrélation 0,80 entre les classes était acceptable.Résultats: Le score total a été jugé fiable avec un coefficient de 0,92. En ce qui concerne la fiabilité premier test/deuxième test, la différence du score total moyen était de 1,7%, ce quin’était pas statistiquement significatif. Parmi les sous-sections, seule l’évaluation des réunions éducatives et du journal ont indiqué des coefficients de fiabilité 0,80.Conclusion: Il s’agissait de la première tentative de développement d’un outil national d’évaluation de portefeuille fiable, solide et faisable pour évaluer la formation postdoctorale en médecine familiale dans le contexte sud-africain. L’outil était fiable concernant le score total, maisla faible fiabilité de plusieurs sections du PAT nous a aidé à développer 12 recommandations concernant l’utilisation du portefeuille, la conception du PAT et la formation des évaluateurs. | |
| Publisher | AOSIS | |
| Date | 2013-11-14 | |
| Identifier | 10.4102/phcfm.v5i1.577 | |
| Source | African Journal of Primary Health Care & Family Medicine; Vol 5, No 1 (2013); 9 pages 2071-2936 2071-2928 | |
| Language | eng | |
| Relation |
The following web links (URLs) may trigger a file download or direct you to an alternative webpage to gain access to a publication file format of the published article:
https://phcfm.org/index.php/phcfm/article/view/577/779
https://phcfm.org/index.php/phcfm/article/view/577/780
https://phcfm.org/index.php/phcfm/article/view/577/778
https://phcfm.org/index.php/phcfm/article/view/577/781
|
|
ADVERTISEMENT
