Advanced search


Search results        Search results      Copy URL to E-Mail

The Osteopathic Clinical Practice Assessment – a pilot study to develop a new workplace-based assessment tool
Vaughan, B. [106]
Moore, K. [16]

Journal: International Journal of Osteopathic Medicine Date: 2015/12, 18(4):Pages: 287–296. doi: Subito , type of study: clinical trial

Full text    (http://www.sciencedirect.com/science/article/pii/S1746068915000486)

Keywords:

assessment [116]
competency [19]
capability [3]
evaluation [56]
Australia [176]
clinical trial [661]

Abstract:

Background: It is widely recognised that multiple forms of assessment are required in order to make decisions about learner competency and fitness-to-practice. One assessment tool that is gaining popularity in the Australian allied health professions is the global clinical competency assessment. These tools are designed to assess learner performance across a range of areas required for professional practice, with the assessment typically performed at the end of a ‘block’ clinical placement. There is no literature on their use in osteopathy longitudinal placements. Objective To explore the applicability of an adaptation of the Assessment of Physiotherapy Practice in an osteopathic context. The study presents pilot data and discussion about the adaptation of a workplace-based assessment tool – the Osteopathic Clinical Practice Assessment (OCPA). Design Evaluation of the OCPA using data from multiple administrations. Setting Osteopathic on-campus, student-led teaching clinic at one Australian university. Methods Clinical Educators completed the OCPA for learners during weeks 5 and 12 of a 12 week semester. Descriptive statistics were generated for the data. The Wilcoxon signed rank test was used to investigate differences between the week 5 and 12 ratings. Cronbach's alpha was used to assess the internal consistency and Spearman's coefficient used to assess the relationship between the total OCPA score and global rating. Participants The OCPA was completed by 12 Clinical Educators assessing 31 learners in year 4 of the program. Results Learners were rated, on average, at the ‘expected level’ at each of the two time points. This was consistent for both the OCPA items and the global rating contained on the OCPA. Cronbach's alpha was 0.822 and Spearman's coefficient was 0.59 suggesting a ‘large’ relationship between the total OCPA score and the global rating. Conclusions There is a clear need for the OCPA to be used in conjunction with other assessment tools in order to make learner progress and fitness-to-practice decisions. Data suggest if learners are assessed at two or more different time points (across a longitudinal placement) changes need to be considered in the rating scale used on the OCPA in order to more clearly demonstrate learner progression. The OCPA could be used as a formative assessment tool in osteopathy with an adjustment to the current rating scale. In its current format caution should be applied if it is to be used as a summative tool as we do not have data supporting its use for this purpose. At present we cannot make any further arguments about the ability of the OCPA results to be extrapolated and make reliable and defensible decisions as there are no data correlating it with other performance assessments nor data supporting its reliability. This will be the subject of future research.

Abstract German language:
(translated by Ostlib): Hintergrund: Es ist allgemein anerkannt, dass vielfältige Bewertungsformen erforderlich sind, um Entscheidungen über die Kompetenz und die Berufsfähigkeit von Lernenden zu treffen. Ein Bewertungsinstrument, das in den australischen Gesundheitsberufen zunehmend an Beliebtheit gewinnt, ist die globale Bewertung der klinischen Kompetenz. Diese Instrumente dienen dazu, die Leistung der Lernenden in einer Reihe von Bereichen zu bewerten, die für die berufliche Praxis erforderlich sind, wobei die Bewertung in der Regel am Ende eines „Block“-Praktikums durchgeführt wird. Es gibt keine Literatur zu ihrer Anwendung in osteopathischen Langzeitpraktika. Ziel: Untersuchung der Anwendbarkeit einer Adaption des „Assessment of Physiotherapy Practice“ im osteopathischen Kontext. Die Studie präsentiert Pilotdaten und eine Diskussion über die Adaption eines arbeitsplatzbasierten Bewertungsinstruments – des „Osteopathic Clinical Practice Assessment“ (OCPA). Design: Bewertung des OCPA anhand von Daten aus mehreren Durchführungen. Setting: Osteopathische, von Studierenden geleitete Lehrklinik auf dem Campus einer australischen Universität. Methoden: Klinische Ausbilder füllten das OCPA für die Lernenden in den Wochen 5 und 12 eines 12-wöchigen Semesters aus. Für die Daten wurden deskriptive Statistiken erstellt. Der Wilcoxon-Rangsummentest wurde verwendet, um Unterschiede zwischen den Bewertungen in Woche 5 und 12 zu untersuchen. Cronbachs Alpha wurde zur Beurteilung der internen Konsistenz und der Spearman-Koeffizient zur Beurteilung der Beziehung zwischen der OCPA-Gesamtpunktzahl und der Gesamtbewertung verwendet. Teilnehmer Der OCPA wurde von 12 klinischen Ausbildern ausgefüllt, die 31 Lernende im 4. Jahr des Studiengangs bewerteten. Ergebnisse Die Lernenden wurden an beiden Zeitpunkten im Durchschnitt auf dem „erwarteten Niveau“ bewertet. Dies galt sowohl für die einzelnen OCPA-Items als auch für die im OCPA enthaltene Gesamtbewertung. Cronbachs Alpha betrug 0,822 und der Spearman-Koeffizient 0,59, was auf einen „starken“ Zusammenhang zwischen der Gesamtpunktzahl des OCPA und der Gesamtbewertung hindeutet. Schlussfolgerungen Es besteht eindeutig die Notwendigkeit, den OCPA in Verbindung mit anderen Bewertungsinstrumenten zu verwenden, um Entscheidungen über den Lernfortschritt und die Praxistauglichkeit der Lernenden zu treffen. Die Daten deuten darauf hin, dass bei der Bewertung von Lernenden zu zwei oder mehr verschiedenen Zeitpunkten (im Rahmen eines Langzeitpraktikums) Anpassungen der im OCPA verwendeten Bewertungsskala in Betracht gezogen werden müssen, um den Lernfortschritt deutlicher darzustellen. Das OCPA könnte als formatives Bewertungsinstrument in der Osteopathie eingesetzt werden, sofern die derzeitige Bewertungsskala angepasst wird. In seiner derzeitigen Form ist bei der Verwendung als summatives Instrument Vorsicht geboten, da wir keine Daten haben, die seine Verwendung für diesen Zweck stützen. Derzeit können wir keine weiteren Aussagen darüber treffen, inwieweit die OCPA-Ergebnisse extrapoliert werden können und zuverlässige sowie vertretbare Entscheidungen ermöglichen, da es weder Daten gibt, die sie mit anderen Leistungsbewertungen korrelieren, noch Daten, die ihre Zuverlässigkeit belegen. Dies wird Gegenstand zukünftiger Forschung sein.

Search results      Copy URL to E-Mail

 
 
 






  • Impressum • Legal notice • Datenschutz •


ostlib.de/data_aepmusqjbzdrctfvnwgh



Supported by

OSTLIB recommends