مجله دانشگاه علوم پزشکی رفسنجان
دوره 14، اسفند 1394، 1014-1001
طراحی و روانسنجی ابزار ارزیابی وضعیت نظارت حمایتی از دیدگاه کارکنان و ناظران مراکز بهداشتی
عباس دانشکهن[1]، علی رمضانخانی[2]، احسان زارعی1، فریبا احمدی[3]، فائزه فروزانفر[4]
دریافت مقاله: 29/6/94 ارسال مقاله به نویسنده جهت اصلاح: 24/8/94 دریافت اصلاحیه از نویسنده: 26/10/94 پذیرش مقاله: 30/10/94
چکیده
زمینه و هدف: سازمان بهداشت جهانی بر نقش مهم نظارت حمایتی بر اثربخشی ارائه خدمات بهداشتی تأکید دارد. تاکنون ابزار یا مقیاس ویژهای برای بررسی وضعیت نظارت به طور کلی و نظارت حمایتی به طور خاص، در نظام ارائه مراقبتهای اولیه سلامت در ایران طراحی نشده است. هدف از انجام این پژوهش، طراحی و روانسنجی ابزار ارزیابی وضعیت نظارت حمایتی از دیدگاه کارکنان و ناظران مراکز بهداشتی میباشد.
مواد و روشها: پژوهش حاضر از نوع مقطعی است. پس از بررسی اسناد علمی معتبر بینالمللی در زمینه نظارت حمایتی و با توجه به شرایط نظام سلامت کشور، بانک سؤالات شامل 41 گویه برای ابزار کارکنان و 33 گویه برای ابزار ناظران فراهم شد. روایی ابزارها به روشهای صوری و محتوایی تعیین گردید. برای تعیین روایی صوری، پرسشنامهها از نظرسطح دشواری، میزان تناسب و ابهام توسط 10 نفر از افراد متخصص در این زمینه بررسی شدند. روایی کمی محتوا از طریق ضریب نسبی روایی محتوا و شاخص روایی محتوا تعیین شد. پایایی پرسشنامهها با استفاده از ضریب آلفای کرونباخ و روش آزمون- بازآزمون با استفاده از ضریب همبستگی پیرسون تعیین گردید.
یافتهها: پس از انجام دقیق مراحل روایی و پایایی، ابزار کارکنان و ناظران به ترتیب با 30 و 32 گویه طراحی شدند. آلفایکرونباخ برای پرسشنامه ناظران 89/0 و برای پرسشنامه کارکنان 94/0 بوده است. ضریب همبستگی پرسشنامه ناظران و کارکنان به ترتیب 95/0 و 78/0 و معنیدار بود (001/0=p).
نتیجهگیری: با عنایت به اعتبار و پایایی مناسب ابزار ارزیابی وضعیت نظارت حمایتی، پرسشنامههای مذکور میتوانند ابعاد مختلف نظارت حمایتی را در مراقبتهای بهداشتی اولیه مورد اندازهگیری قرار دهند.
واژههای کلیدی: نظارت حمایتی، بهبود، عملکرد
مقدمه
امروزه نظامهای سلامت با چالشهای پیچیده و متعددی از جمله فرآیندهای اصلاحات، تغییر نیازهای بهداشتی مردم، فقدان منابع کافی، لزوم توجه به منابع جدید تأمین مالی و افزایش سطح انتظارات عمومی مواجه هستند [1]. یکی از مهمترین عوامل مؤثر بر ظرفیت این نظامها برای پاسخ مؤثر به چالشهای مذکور و تحقق هدف پوشش همگانی سلامت (Universal Health Coverage) به عنوان هدف جامع سلامت برای توسعه جهان پس از سال 2015 [2]، منابع انسانی واجد شرایط و با انگیزه میباشد [3]. سازمان بهداشت جهانی از منابع انسانی به عنوان مهمترین درونداد [4] و راهبردیترین منابع نظامهای سلامت [5] و ستون فقرات این نظامها یاد میکند [6]. علیرغم این اهمیت حیاتی در اغلب موارد، منابع انسانی ضعیفترین حلقه نظام سلامت را تشکیل میدهند [6] و نظامهای مدیریت این منابع ارزشمند در کشورهای در حال توسعه با مشکلات جدی مواجه هستند [7].
از دیدگاه مرکز علوم مدیریتی سلامت (Management Sciences for Health)، یکی از اجزای حیاتی مدیریت منابع انسانی در نظام سلامت، نظارت بر کارکنان است [8،1] که هم بر عملکرد انفرادی آنها و هم عملکرد سازمان به عنوان یک مجموعه تأثیر میگذارد. نظارت در اعلام و اجرای اهداف سازمان، روشن کردن شرح مشاغل، حل مسائل، بهبود کیفیت، حمایت، راهنمایی و بازخورد به کارکنان و تأمین اهداف و استانداردهای عملکرد نقش اساسی ایفا مینماید [9]. مدیریت مؤثر منابع انسانی مستلزم این است که کارکنان بدانند دقیقاً چه وظایفی از آنها انتظار میرود، مهارتها و منابع لازم برای اجرای این وظایف را داشته باشند و بازخوردی دریافت کنند که به آنها در بهبود عملکردشان کمک کند. نظارت محور این امر مهم است و تصور میشود که یک نقش مهم در عملکرد و انگیزش کارکنان ایفا نماید. نظارت از سطوح بالاتر و سطوح پایینتر خدمات به طور وسیعی به عنوان مکانیزمی برای حمایت از کارکنان و بهبود کیفیت مراقبتها مطرح شده است [10]. نظارت به عنوان نقطه تماس انسانی بین کارکنان و نظام سلامت نقش ایفا میکند و از طریق آشنایی با ارزشهای سازمان، انگیزههای کارکنان را بهبود میبخشد [11]. از دیدگاه سازمان بهداشت جهانی ماهیت نظارت بسیار مهم است [12]. نظارت حمایتی (Supportive Supervision) به عنوان طیفی از اقدامات تعریف میشود، برای تضمین این که کارکنان فعالیتهایشان را به طور مؤثر انجام دهند، از طریق تماس مستقیم و شخصی بر یک مبنای منظم برای هدایت، حمایت و کمک جهت بیشتر شدن شایستگی آنها در کارشان [9].
پیشنهادات و توصیههای بینالمللی تأکید میکنند که نظارت تنها در صورتی میتواند به بهبود عملکرد منجر شود که رویکرد حمایتکننده داشته باشد [11]. فرآیند نظارت حمایتکننده به روش محترمانه و غیر تحکمآمیز با تمرکز بر استفاده از بازدیدهای نظارتی به عنوان فرصتی برای بهبود دانش و مهارتهای کارکنان بهداشتی انجام میشود. فرآیند مذکور به عنوان یک استراتژی در ارائه خدمات بهداشتی از طریق توسعه شایستگیهای کارکنان کیفیت را در تمام سطوح نظام سلامت بهبود میبخشد، روابط بین کارکنان را تقویت میکند، بر شناسایی و حل مشکلات با مشارکت آنها تأکید، اختصاص منابع را بهینه و کار تیمی و ارتباطات دو طرفه را تقویت میکند. بر پایش عملکرد نسبت به اهداف و استفاده از دادهها برای تصمیمگیری تمرکز دارد. به جای کنترل برای یافتن اشتباهات کمک میکند تا کارها به درستی و به طور مؤثر انجام شوند. در رویکرد غیر حمایتی ناظر مانند یک فرد پلیس عمل میکند، اما در نظارت حمایتی او نقش یک معلم، مربی و مرشد را دارد [14-13]. نظارت حمایتی، رضایتمندی کارکنان را بهبود میبخشد و میزان فرسودگی شغلی و استرس آنها را کاهش میدهد [15]. این رویکرد از نظارت، کارایی و عدالت در خدمات بهداشتی را افزایش و با هزینه منطقی بار بیماریها را به طور قابلتوجهی کاهش میدهد [16].
علیرغم نقش شناخته شده نظارت حمایتی در انگیزش و عملکرد کارکنان، مطالعات متعدد در طیف وسیعی از کشورها نشان دادند که نظارت اغلب ضعیف، بینظم، غیر حمایتی و تضعیفکننده انگیزهها است. نظارتکنندگان آموزش کافی دریافت نمیکنند و مکانیزمهای حل مسئله و بازخورد، برای ارائهدهندگان مراقبتها مورد استفاده قرار نمیگیرند [17].
در حال حاضر، در بسیاری از کشورهای در حال توسعه نیز نظارت ضعیف، ظرفیت نیروی کار را برای ارائه خدمات با کیفیت تضعیف میکند [19-18]. مطالعهای که در مورد موانع کیفیت بالای خدمات بهداشت باروری از دیدگاه کارکنان در مراکز بهداشتی دولتی در تبریز انجام شده است، نظارت و مدیریت غیر بهینه را به عنوان یکی از پنج دسته اصلی از موانع در این زمینه شناسایی کرده و نظارت حمایتی را به عنوان یکی از مداخلات ضروری برای بهبود بهرهوری کارکنان و کیفیت خدمات پیشنهاد کرد. اغلب شرکتکنندگان از روش انجام وظایف نظارتی و مدیریتی بسیار انتقاد کردند [20].
نظر به اهمیت و تأثیر نظارت حمایتی در بهبود عملکرد کارکنان و کارایی و اثربخشی مراقبتهای بهداشتی، و با توجه به اینکه تاکنون هیچگونه ابزار یکپارچه و جامعی برای ارزیابی وضعیت نظارت حمایتی در کشورمان طراحی و تدوین نشده است، تعیین ابعاد مختلف و بررسی وضعیت آن در جهت شناخت نقاط ضعف و قوت و اقدام در جهت اثربخش نمودن این فرآیند مهم مدیریتی بسیار ضروری است. بنابراین، هدف از انجام این پژوهش طراحی و روانسنجی ابزار بررسی وضعیت نظارت حمایتی در نظام ارائه مراقبتهای بهداشتی اولیه میباشد.
مواد و روشها
پژوهش حاضر از نوع مقطعی است. این مطالعه در سال 1394 در دانشگاه علوم پزشکی و خدمات بهداشتی و درمانی شهید بهشتی به منظور طراحی و سنجش روایی و پایایی ابزار گردآوری دادهها برای بررسی وضعیت نظارت حمایتی از دیدگاه کارکنان و ناظران بهداشتی انجام شده است. در مرحله اول، بررسی متون معتبر علمی موجود به صورت گسترده انجام گرفت. برای این کار همه کتب مرجع، مقالات و پایاننامههای موجود در پایگاههای اطلاعاتی معتبر همچون Pubmed، Proquest، Biomedcentral و غیره که در فاصله سالهای 2003 الی 2014 در زمینه نظارت، نحوه انجام نظارت در سازمانها و برنامههای بهداشتی و نظارت حمایتی منتشر شده بودند، مورد بررسی قرار گرفتند.
در این مطالعات بالغ بر 50 مقاله و 40 متن مرجع علمی مورد بررسی و بازنگری قرار گرفتند که همه آنها در سایر کشورها انجام شده بود و در زمینه نظارت تنها یک مقاله در کشور ایران وجود داشت [21].
پس از انجام این بررسی از آنجایی که پرسشنامه جامع و استاندارد مشخصی برای این موضوع یافت نشد، با بررسی مجدد متون، مرتبطترین و جامعترین آنها انتخاب گردید و گویههای پرسشنامه با استفاده از تلفیقی از مهمترین معیارهای مطرح شده در این منابع طراحی گردید. پرسشنامه ناظر، بر اساس منابع و انتشارات آژانس توسعه بینالمللی آمریکا USAID (United States Agency for International Development)، تحت عنوان "نظارت حمایتی: آموزش مربیان و نظارت کنندگان" [22] و طرح کشوری PAIMAN (Pakistan Initiative for Mothers And Newborns) که در کشور پاکستان انجام شده و توسط همین سازمان تأمین مالی و هدایت شده است، طراحی شد [23]. و پرسشنامه کارکنان (نظارت شوندگان) بر اساس منابع مرکز علوم مدیریتی سلامت از جمله "دستورالعملهای نظارتی" [9] و نیز "دستورالعملهای پیادهسازی نظارت حمایتی" که توسط سازمان بهداشت جهانی و برنامه فناوری مناسب برای سلامت (Program for Appropriate Technology in Health) منتشر شدهاند، تهیه گردید [24].
در اکثر منابعی که بررسی شدند، حیطههایی برای فعالیتهای نظارتی در نظر گرفته شده بود که در متون مختلف تفاوتهایی در آنها وجود داشت. در نهایت، پس از استخراج گویهها از منابع منتخب، با توجه به حیطهبندیهای موجود در این منابع و سایر متون مورد بررسی [25]، گویههای هر دو ابزار در چند حیطه جانمایی شدند که در دو ابزار ناظر و نظارت شونده به اقتضای گویهها متفاوت هستند. حیطههای کلی پرسشنامه کارکنان که هر کدام شامل چند گویه میباشد عبارت است از: ایجاد محیط پرورشی، الزامات و مستندات نظارت، کار با ارائهدهندگان خدمات بهداشتی برای حل مشکلات، تعیین انتظارات روشن، بازخورد به ارائهدهندگان خدمات بهداشتی، و ایفای نقش مربی برای بهبود مهارتهای ارائه دهندگان خدمات بهداشتی. حیطههای کلی پرسشنامه ناظران که هر کدام شامل چند گویه میباشد عبارت است از: انتظارات شغلی روشن، منابع اختصاص داده شده به بازدید نظارتی، قابلیتهای ناظران، ارائه بازخورد دقیق و ارتقاء انگیزش و مشوقها. پس از استخراج گویهها از این متون، به علت این که همه متون به زبان انگلیسی بودند، با استفاده از روش (translation - back translation) صحت ترجمه آنها تأیید گردید.
روش ترجمه-باز ترجمه به این صورت بود که در ابتدا پرسشنامهها توسط سه نفر از متخصصان رشته مدیریت خدمات بهداشتی و درمانی ترجمه شده و سپس ترجمه فارسی توسط سه متخصص آموزش زبان انگلیسی، به انگلیسی برگردان شد. در نهایت با مقایسه دو متن انگلیسی (متن اصلی و متن به دست آمده از ترجمه فارسی به انگلیسی)، اصلاحات لازم انجام و پرسشنامههای فارسی نهایی تهیه گردید.
برای تعیین روایی پرسشنامه، از دو روش سنجش روایی محتوایی و روایی صوری استفاده شده است. برای تعیین روایی صوری، پرسشنامهها به 10 نفر از افراد متخصص در این زمینه، از جمله اساتید دانشگاه علوم پزشکی شهید بهشتی و چند نفر از کارکنان با سابقه معاونت بهداشتی این دانشگاه، داده شد تا با بررسی موارد سطح دشواری، میزان تناسب و ابهام، نظرات خود را درباره پرسشنامه مطرح نمایند. در راستای افزایش کیفیت کار، از آن جایی که نظارت یکی از حیطههای مدیریت منابع انسانی است [12، 1] فقط کسانی را در مطالعه شرکت دادیم که هم تخصص مدیریت خدمات بهداشتی و درمانی داشتهاند و هم مطالعات و پژوهشها و مقالات و تألیفات آنها بیشتر در زمینه منابع انسانی بود و همین امر موجب محدود شدن تعداد متخصصین شد.
برای ارزیابی روایی محتوایی از دو روش کیفی و کمی استفاده شد. در بررسی کیفی محتوا، از 10 نفر افراد متخصص در این حیطه درخواست شد که پس از بررسی کیفی ابزار، بازخورد لازم را ارائه دهند و بر اساس آن اصلاحات انجام شد. برای بررسی روایی محتوایی به شکل کمی، از ضریب نسبی روایی محتوا CVR (Content Validity Ratio) Lawshe [26] و شاخص روایی محتوا CVI (Content Validity Index) Lean [27] استفاده شد. بدین منظور جهت اطمینان از این که مهمترین و صحیحترین محتوا (ضرورت گویه) انتخاب شده است، از CVR، و برای اطمینان از این که گویههای ابزار به بهترین نحو جهت اندازهگیری محتوا، طراحی شده، از شاخص CVI استفاده گردید. جهت تعیین این دو مورد، پرسشنامه با 10 نفر از افراد باتجربه و واجد صلاحیت، مطرح شد. از آنان درخواست شد که هر یک از گویههای ابزار را با توجه به سه طیف "ضروری است"، "مفید است اما ضروری نیست"، و "غیر ضروری" است پاسخ دهند. سپس با استفاده از فرمول زیر CVR محاسبه شد [28]:
تعداد متخصصینی که گزینه ضروری را انتخاب نمودند- تعداد کل متخصصین تقسیم بر 2 |
= |
CVR |
تعداد کل متخصصین تقسیم بر 2 |
پس از محاسبه این ضریب برای هر یک از گویهها، با توجه به این که تعداد متخصصینی که در خصوص پرسشنامه نظر دادهاند، 10 نفر است، با استفاده از جدول Lawshe، تنها سؤالاتی قابل قبولند که CVR آنها بزرگتر از 62/0 باشد[28].
پس از تعیین و محاسبه CVR، از متخصصان مجدداً تقاضا شد که برای محاسبه CVI، همه سؤالات پرسشنامهها را با توجه به سه حیطه "سادگی"، "مرتبط بودن" و "وضوح"، امتیازبندی کنند. هر کدام از این سه حیطه شامل طیفی چهار گزینهای لیکرتی میباشد، به عنوان مثال، برای حیطه سادگی، گزینهها عبارتند از: کاملاً ساده، ساده، تا حدودی پیچیده، پیچیده، که امتیازات این گزینهها به ترتیب 4 تا 1 میباشد. برای محاسبه CVI از فرمول زیر استفاده گردید [30-29]:
مجموع امتیاز موافق برای هر سوال یا رتبه 3 و 4 |
= |
CVI |
تعدا کل پاسخ |
تنها گویههایی کاملاًً قابل قبول هستند که CVI آنها بزرگتر از 79/0 باشد. سؤالاتی که CVI آنها بین 79/0 تا 70/0 باشد، بدان معنی است که به اصلاح و بازنگری نیاز دارند، و اگر سؤالی CVI زیر 7/0 داشته باشد، غیر قابل قبول است [30-29].
برای تعیین پایایی ابزارها، از روش تعیین همسانی درونی سؤالات پرسشنامه (استفاده از ضریب آلفای کرونباخ) و روش آزمون-بازآزمون (محاسبه ضریب همبستگی پیرسون) استفاده شد. در مرحله آزمون (Test)، پرسشنامه ناظران به 11 نفر از ناظران بهداشتی و پرسشنامه کارمندان بهداشتی به 15 نفر از کارکنان بهداشتی شبکه بهداشت و درمان کرمانشاه داده شد. در این زمینه ملاک انتخاب، کارکنانی بودند که بیش از ده سال سابقه کار فنی داشته و فرصت کافی برای مطالعه و پاسخگویی دقیق را داشتند. در زمان مراجعه به چند مرکز بهداشتی درمانی مورد مطالعه تنها امکان دسترسی به 10 نفر وجود داشت. در ارتباط با انتخاب ناظران، افرادی که بیش از ده سال سابقه کار در واحد ستادی یا پست سرپرستی واحد داشتند و در زمان مراجعه در حال مأموریتهای نظارتی نبودند، انتخاب شدند که امکان دسترسی به تعداد بیشتری از افراد با این شرایط وجود نداشت.
پس از گذشت 2 هفته از توزیع اولین سری پرسشنامهها، مرحله بازآزمون (Retest) انجام گرفت، بدین معنی که پرسشنامه مجدداً در میان همان کارکنان توزیع و پس از تکمیل شدن، جمعآوری گردید. دادهها با استفاده از نرمافزارSPSS نسخه 16 تحلیل شدند [31]. سطح معنیداری مورد پذیرش در آزمونهای انجام شده، 01/0 در نظر گرفته شد.
نتایج
در مرحله تعیین روایی صوری، با توجه به نظرات خبرگان، دو مورد از گویهها با توجه به شرایط بومی سیستم بهداشتی کشور ایران، حذف شدند و اکثر سؤالات برای افزایش قابلیت درک و رفع ابهام، اصلاح گردیدند. پس از محاسبه ضریب CVR، همه سؤالات به غیر از یک مورد از سؤالات پرسشنامه ناظران و 5 مورد از سؤالات پرسشنامه کارکنان، CVR بالای 62/0 داشتند، و این شش مورد زیر 62/0، از ابزار حذف شدند. هیچ یک از سؤالات پرسشنامه ناظران، CVI زیر 7/0 نداشتند(جداول 1و 2).
آلفای کرونباخ برای پرسشنامه کارکنان 94/0 و برای پرسشنامه ناظران 89/0 بوده و از آن جایی که تا حد زیادی به 1 نزدیک هستند، در نتیجه همسانی درونی سؤالات وضعیت مطلوبی دارد. همسانی درونی هر یک از حیطههای دو ابزار در جدول 3 نشان داده شده است. در مرحله بعد برای اطمینان از پایایی پرسشنامه، از روش آزمون-بازآزمون استفاده شد. با توجه به نرمال بودن توزیع دادهها، برای تعیین همبستگی بین سؤالات دو مرحله، از آزمون پیرسون استفاده گردید. مرحله آزمون و بازآزمون پرسشنامه ناظران با ضریب همبستگی 95/0 و 001/0=p همبستگی مثبت و معنیداری داشتند. همچنین، مراحل آزمون و بازآزمون پرسشنامه کارمندان با ضریب همبستگی 78/0 و 001/0=p همبستگی معنیداری را نشان دادند.
جدول 1- وضعیت ضریب نسبی روایی محتوا (CVR) و شاخص روایی محتوا (CVI) پرسشنامه کارکنان (قبل از حذف و ادغام سؤالات تأیید نشده)
ســـؤالات |
CVR |
CVI |
|
1 |
آیا ناظر با شما سلام و احوال پرسی میکند؟ |
8/0 |
1 |
2 |
آیا ناظر با شما رفتار و صحبتکردن ناظر با شما محترمانه است؟ |
8/0 |
1 |
3 |
آیا ناظر به صحبت های شما با دقت گوش میکند؟ |
8/0 |
8/0 |
4 |
آیا از انجام بازدید نظارتی احساس رضایت میکنید؟ |
0 |
9/0 |
5 |
آیا شرح شغل خود را به صورت مکتوب در اختیار دارید و به طور کامل برایتان قابل درک است؟ |
1 |
1 |
6 |
آیا بازدیدهای نظارتی به طور منظم انجام میشوند (مثلا ماهی یکبار، سه ماه یکبار و ...)؟ |
1 |
8/0 |
7 |
آیا هماهنگی قبلی برای برگزاری بازدید نظارتی با شما انجام می شود؟ |
6/0 |
7/0 |
8 |
آیا در پایان بازدید نظارتی، توافقات بین ناظر و شما (تعهدات آنها برای رفع مشکلاتی از قبیل کمبود مواد مصرفی و خراب بودن تجهیزات و پیگیری برای حل مشکلات شما و اصلاحات لازم در عملکرد شما) به طور کامل در دفتری مستند میشوند؟ |
1 |
1 |
9 |
آیا نظارت کننده کمکی به بهبود عملکردتان میکند؟ |
6/0 |
7/0 |
10 |
آیا ناظر وقت کافی را به گوش کردن به سؤالات و نگرانیهای شما و مشکلات کاریتان اختصاص میدهد؟ |
6/0 |
9/0 |
11 |
آیا ناظر برای رسیدن به راه حل مشکلات از نظرات شما استفاده میکند؟ |
8/0 |
6/0 |
12 |
آیا ناظر پیشنهاداتی برای بهبود انجام کارها و حل مشکلات ارائه میکند؟ |
8/0 |
1 |
13 |
آیا ناظر از شما میپرسد که سؤال یا مشکلی در مورد محل کارتان (کمبود مواد مصرفی، تعمیرات، وسایل گرمایشی و ...) دارید؟ |
8/0 |
9/0 |
14 |
آیا ناظر در مورد مشکلات و کمبودهای موجود از جمله ساختمان، تعمیرات و مواد مصرفی اقدامی انجام میدهد؟ |
0 |
7/0 |
15 |
آیا ناظر نتایج بازدید قبلی را بررسی میکند؟ |
8/0 |
1 |
16 |
آیا ناظر درباره بازدیدهای قبلی و توافقات جلسه قبل صحبت میکند؟ |
8/0 |
1 |
17 |
آیا ناظر به تعهدات قبلی خود عمل میکند؟ |
6/0 |
6/0 |
18 |
آیا ناظر پیگیری لازم را برای رفع کمبودهایی که با آنها مواجه هستید، انجام میدهد؟ |
9/0 |
6/0 |
19 |
آیا با وظایفتان به طور کامل آشنا هستید؟ |
9/0 |
8/0 |
20 |
آیا ناظر شرح شغل و برنامه کار شما را میداند؟ |
8/0 |
7/0 |
21 |
آیا ناظر از شما می پرسد که وظایف خود را به طور کامل میدانید یا نه؟ |
0 |
7/0 |
22 |
آیا ناظر اطلاعات جدید مورد نیاز را از ستاد مرکز بهداشت شهرستان در اختیار شما قرار میدهد؟ |
8/0 |
8/0 |
23 |
آیا از محتوای چک لیست نظارتی که توسط ناظر استفاده میشود اطلاع دارید؟ |
8/0 |
9/0 |
24 |
آیا ناظر محیط خوشایندی برای ارتباطات دو طرفه و بحث و گفتگو با شما ایجاد میکند؟ |
8/0 |
6/0 |
25 |
آیا ناظر شما را به خاطر مشکلات سرزنش و تحقیر میکند؟ |
8/0 |
8/0 |
26 |
آیا ناظر نقاط قوت عملکرد شما را میبیند و به صورت شفاهی از شما تقدیر میکند؟ |
8/0 |
1 |
27 |
آیا ناظر دقیقاً توضیح میدهد که چه کارهایی را خوب انجام میدهید؟ |
8/0 |
7/0 |
28 |
آیا ناظر موفقیتهای فردی و تلاشهای شما را به سطوح بالاتر منتقل میکند؟ |
6/0 |
7/0 |
29 |
آیا ناظر بهبود عملکرد شما نسبت به قبل را برای تشویق و تقدیر به مسئولین بالاتر اطلاعرسانی میکند؟ |
6/0 |
8/0 |
30 |
آیا ناظر اشتباهاتتان را به طور خصوصی و بدون حضور مراجعهکنندگان مطرح میکند؟ |
1 |
1 |
31 |
آیا ناظر برای برطرف کردن نقاط ضعف عملکردتان به طور دقیق میگوید که چه کاری را باید انجام دهید؟ |
1 |
1 |
32 |
به نظر شما آیا ناظران اطلاعات و مهارت کافی برای نظارت به مراکز و خانههای بهداشت را دارند؟ |
8/0 |
9/0 |
33 |
آیا ناظر زمان کافی را به بحث و گفت و گو در مورد مسائل اختصاص میدهد؟ |
0 |
8/0 |
34 |
آیا ناظر تجربه و تخصص کافی برای راهنمایی و پاسخگویی به سؤالات شما را دارد؟ |
8/0 |
8/0 |
35 |
آیا ناظر به طور دقیق توضیح میدهد که برای انجام بهتر وظایفتان چه کار کنید؟ |
4/0 |
9/0 |
36 |
آیا احساس میکنید که ناظر حمایت لازم را از شما به عمل میآورد؟ |
8/0 |
7/0 |
37 |
آیا ناظر منابع مطالعاتی به شما معرفی میکند؟ |
4/0 |
7/0 |
38 |
آیا ناظر برای کسب مهارتهایی که لازم دارید برنامهریزی و پیگیری لازم را انجام میدهد؟ |
8/0 |
8/0 |
39 |
آیا ناظر به جای حمایت و راهنمایی شما، عمدتاً جنبههای منفی کارتان را برجسته میکند؟ |
8/0 |
8/0 |
40 |
آیا ناظر به جای توجه به کیفیت کار شما، فقط به بررسی ثبت آمار و دفاتر میپردازد؟ |
8/0 |
8/0 |
41 |
آیا ناظر در حین انجام وظایفتان در نقش یک مربی شما را راهنمایی میکند؟ |
8/0 |
8/0 |
جدول 2 - وضعیت ضریب نسبی روایی محتوا (CVR) و شاخص روایی محتوا (CVI) پرسشنامه ناظران (از حذف و ادغام سؤالات تأیید نشده)
ســــؤالات |
CVR |
CVI |
|
1 |
آیا شرح شغل و وظایف خود را میدانید؟ |
1 |
1 |
2 |
آیا شرح شغل و وظایف کارکنان نظارت شونده را میدانید؟ |
1 |
9/0 |
3 |
آیا چک لیست و دستورالعملهای خاصی برای نظارت بر عملکرد کارکنان در اختیار دارید؟ |
1 |
1 |
4 |
آیا از دستورالعملها و راهنماییهای فنی ارائه مراقبتها کاملاً مطلع هستید؟ |
1 |
1 |
5 |
آیا انتظاراتی که مراجعین، بیماران و جامعه از مراکز بهداشتی دارند را میدانید؟ |
2/0 |
86/0 |
6 |
آیا از اهداف کلی و جزیی سیستم بهداشتی و وضعیت عملکرد مراکزی که آنها را نظارت میکنید، اطلاع دارید؟ |
1 |
9/0 |
7 |
آیا درباره دلیل و نحوه نظارت، با کارکنان نظارت شونده صحبت میکنید؟ |
8/0 |
1 |
8 |
آیا در بازدید نظارتی برای روشن کردن این که از کارکنان نظارت شونده دقیقاً چه کاری انتظار میرود و چگونه میتوانند آن را انجام دهند، وقت کافی را اختصاص میدهید؟ |
8/0 |
9/0 |
9 |
آیا مطمئن هستید کارکنان زمان کافی برای انجام وظایف تعریف شده شان و اجرای مهارتهای جدیدی که کسب میکنند را در اختیار دارند؟ |
1 |
9/0 |
10 |
آیا بازدیدهای نظارتی به طور منظم انجام میشوند؟ |
1 |
1 |
11 |
آیا منابع مالی مورد نیاز برای تداوم نظارت را در اختیار دارید؟ |
1 |
86/0 |
12 |
آیا وسایل نقلیه مورد نیاز برای انجام نظارت به طور منظم را در اختیار دارید؟ |
1 |
1 |
13 |
آیا مهارت و دانش کافی را برای برآورده کردن انتظارات شغلیتان (به عنوان یک ناظر) دارید؟ |
1 |
9/0 |
14 |
آیا در هنگام نیاز، به عنوان مربی به کارکنان نظارت شونده کمک میکنید؟ |
1 |
1 |
15 |
آیا پیگیری لازم را برای این که کارکنان نظارت شونده آموزشهای اولیه و ضمن خدمت لازم را دریافت کنند، انجام میدهید؟ |
1 |
1 |
16 |
آیا به طور منظم در جلساتی برای بحث و یادگیری و بهبود عملکردتان با سایر ناظران شرکت مینمایید؟ |
8/0 |
1 |
17 |
آیا شما به جای توجه به کیفیت ارائه مراقبتها توسط کارکنان، بیشتر وقت خود را به بررسی آمار و دفاتر اختصاص میدهید؟ |
1 |
1 |
18 |
آیا عملکرد نظارتی خود را به صورت مکتوب و در طول زمان پیگیری مینمایید؟ |
1 |
9/0 |
19 |
آیا هنگام نظارت، به طور عمیق به صحبتهای کارکنان گوش میدهید و با آنان به طور محترمانه و دو طرفه ارتباط برقرار میکنید؟ |
1 |
1 |
20 |
آیا به کارکنان نظارت شونده، بازخورد سازنده و دقیقی درباره نحوه بهتر کردن جزء مشخصی از کارشان، میدهید؟ |
1 |
1 |
21 |
آیا از چک لیستی استفاده میکنید که کارکنان نظارت شونده هم به آن دسترسی داشته باشند و از این طریق بتوانید بازخوردها و راهنماییهای سازندهتری ارائه دهید؟ |
8/0 |
1 |
22 |
آیا بلافاصله بعد از مشاهده کار کارکنان، بازخورد لازم را ارائه میدهید؟ |
1 |
1 |
23 |
آیا ایرادات و اشکالات کارمند را در مقابل سایر کارکنان یا مراجعین به وی گوشزد میکنید؟ |
1 |
1 |
24 |
آیا بازخورد را به شیوهای محترمانه ارائه میدهید؟ |
1 |
1 |
25 |
آیا فرصتهایی برای آموزش و پیشرفت حرفهای کارکنان ایجاد میکنید؟ |
1 |
9/0 |
26 |
آیا قبل از این که درباره مسائلی که نیاز به بهبود دارند با کارکنان صحبت کنید، نقاط قوت عملکردشان را بیان میکنید؟ |
1 |
1 |
27 |
آیا از روش توسعه حرفهای (توسعه توانمندیهای کارکنان از طریق برگزاری کلاسها و دورههای آموزشی) به عنوان عاملی برای انگیزش کارکنان استفاده میکنید؟ |
1 |
1 |
28 |
آیا به ایدهها و نظرات کارکنان گوش میدهید و برای آنها ارزش قائل هستید؟ |
1 |
1 |
29 |
آیا اگر کارکنان از روش خلاقانهای برای حل مسئله استفاده کرده باشند، آنها را تشویق میکنید؟ |
1 |
1 |
30 |
آیا گزارش "کارهای خوب" را به سطوح بالاتر سازمانی ارائه میکنید؟ |
1 |
86/0 |
31 |
آیا عملکرد خوب کارکنان را به صورت عمومی (در منظر سایر کارکنان)، تحسین میکنید؟ |
8/0 |
1 |
32 |
آیا معیار و فرآیندهای دریافت قدردانی و پاداش و سایر انواع مشوقها به طور شفاف برای کارکنان نظارت شونده توضیح داده شده است؟ |
8/0 |
1 |
33 |
آیا از لحاظ سازمانی اختیارات کافی برای تشویق کارکنان (پیشنهاد تقدیر کتبی، تشویقهای مالی و یا غیر مالی) را دارید؟ |
8/0 |
1 |
جدول 3 - همسانی درونی حیطههای ابزار کارکنان و ناظران
حیطههای پرسشنامه |
تعداد گویهها |
ضریب آلفای کرونباخ |
|
پرسشنامه کارکنان |
ایجاد محیط پرورشی |
3 |
71/0 |
الزامات و مستندات نظارت |
4 |
88/0 |
|
کار با ارائهدهندگان خدمات برای حل مشکلات |
6 |
78/0 |
|
تعیین انتظارات روشن |
4 |
70/0 |
|
بازخورد به ارائهدهندگان خدمات بهداشتی |
7 |
83/0 |
|
ایفای نقش مربی |
6 |
82/0 |
پرسشنامه ناظران |
انتظارات شغلی روشن |
8 |
71/0 |
منابع اختصاص داده شده به بازدید نظارتی |
3 |
82/0 |
|
قابلیتهای ناظران |
6 |
70/0 |
|
ارائه بازخورد دقیق |
8 |
78/0 |
|
ارتقاء انگیزش و مشوقها |
7 |
84/0 |
بحث
ارزیابی وضعیت نظارت حمایتی در متون و مقالات مختلف، از طریق سؤالات و حیطهبندیهای متنوعی انجام گرفته است [24، 22-21، 13، 9]؛ به همین منظور در پژوهش حاضر سعی شده تمامی سؤالاتی که در مطالعات پیشین مورد استفاده قرار گرفتهاند، در طراحی ابزار مورد استفاده قرار گیرند و بدین ترتیب ابزاری جامع و کامل طراحی گردد. این امر سبب شد تا در برخی از گویههای ابزار کارکنان، همپوشانی بین برخی از سؤالات ایجاد گردد. پس از محاسبه CVI و CVR، سؤالاتی که نیاز به بازبینی، اصلاح، ادغام با سؤالی دیگر و یا حذف داشتهاند، مشخص شدند.
در مطالعهای که در کشور مصر انجام گرفت، حیطههای پرسشنامه در مواردی همچون کار با ارائهدهندگان خدمات برای حل مشکلات و ارائه بازخورد تا حدودی مشابه پرسشنامه حاضر میباشد [25]. در تنها مطالعهای که در ایران در زمینه نظارت حمایتی انجام شده است، آموزش نظارت حمایتی به عنوان مداخلهای در نظر گرفته شده و وضعیت قبل و بعد از مداخله به وسیله چکلیستی محقق ساخته بررسی و مقایسه شده است. این چکلیست دارای 30 سؤال میباشد که حیطهبندی آن با توجه به منابع علمی سازمانیافته نمیباشد و روایی و پایایی آن تنها از طریق روایی کیفی محتوا و ضریب آلفای کرونباخ تعیین شده است و در این پژوهش نیز آلفای کرونباخ همه حیطهها بیش از 7/0 بوده است [21].
در مطالعه حاضر نیز همسانی درونی همه حیطههای دو پرسشنامه بیش از 70/0 میباشد. در پرسشنامه کارکنان، سؤالات 4 و 14 و 17 و 21 و 37 به دلیل CVR کمتر از 62/0 از پرسشنامه حذف شدند. از دیدگاه متخصصینی که پرسشنامه کارکنان را مورد بررسی قرار دادند، سؤالات شماره 3، 10 و 33 با یکدیگر همپوشانی داشتند، در نتیجه این سؤال با اعمال اصلاحات لازم به صورت "آیا کارشناس بازدیدکننده وقت و دقت کافی را به گوش دادن به صحبتها، سؤالات و نگرانیهای شما و مشکلات کاریتان اختصاص میدهد؟" مطرح گردید. همچنین سؤالهای 28 و 29 به دلیل CVR پایین و نزدیک به 62/0 با هم ادغام شده و به صورت "آیا کارشناس بازدید کننده بهتر شدن کارتان و تلاشهای شما را به مرکز بهداشت شهرستان گزارش میکند؟" تغییر یافتند. سؤالات 31 و 35 به دلیل همپوشانی با هم ادغام شدند و در نهایت به صورت "آیا کارشناس بازدیدکننده نقاط قوت کارتان را بیان میکند دقیقاً توضیح میدهد که چه کارهایی را خوب انجام میدهید؟" مطرح گردید. سؤالات 32 و 34 نیز با توجه به نظر متخصصین و وجود شباهت، در قالب یک سؤال به صورت "آیا کارشناس بازدیدکننده تجربه و تخصص کافی برای راهنمایی و پاسخگویی به سؤالات شما را دارد؟" تغییر یافتند. سؤال 18 به دلیل CVI کمتر از 70/0، با سؤال 16 ادغام شد و در قالب سؤالی به صورت "آیا کارشناس بازدیدکننده درباره بازدیدهای قبلی و توافقاتی که داشتهاید حرف میزند و آن را پیگیری میکند؟" مطرح گردید. سؤالات شماره 7 و 9 به دلیل CVR پایین و نزدیک به 62/0 و CVI قابل قبول، مورد بازبینی و اصلاح قرار گرفتند [28]. سؤالات 11 و 24 و 27 و 36 نیز به دلیل CVI پایین و CVR قابل قبول، با اعمال اصلاحاتی مورد قبول قرار گرفتند. در پرسشنامه ناظران، تنها سؤال شماره 5 به دلیل CVR غیر قابل قبول [25] حذف گردید و با توجه به نظر متخصصین، سایر
سؤالات قابل پذیرش بودند.
یکی از عمدهترین محدودیتهای این پژوهش، فقدان مطالعاتی در زمینه نظارت حمایتی در ایران و با توجه به شرایط بومی سیستم بهداشتی و درمانی کشورمان بوده است. همچنین، عدم وجود چهارچوبی استاندارد و یکسان برای مفاهیم و حیطههای نظارت حمایتی در مطالعات مختلف جهان دشواریهایی را برای طراحی اولیه پرسشنامه ایجاد نمود. پیادهسازی این ابزار در شبکههای بهداشتی مختلف کشور میتواند به بومیسازی هر چه بیشتر پرسشنامهها و در نتیجه افزایش دقت اطلاعات جمعآوری شده توسط آنها، کمک شایانی نماید.
نتیجهگیری
در نهایت پرسشنامه کارکنان با 30 سؤال و پرسشنامه ناظران با 32 سؤال روا و پایا طراحی گردید. با توجه به این که این پژوهش برای اولین بار در ایران صورت گرفته است، مدیران شبکههای بهداشتی مناطق مختلف کشور میتوانند از این پرسشنامهها به عنوان ابزارهای کمکی برای تصمیمگیری استفاده نمایند.
تشکر و قدردانی
بدینوسیله از معاونت محترم بهداشتی دانشگاه علوم پزشکی شهید بهشتی و همچنین، کارکنان و ناظران بهداشتی شبکه بهداشت و درمان کرمانشاه تشکر و قدردانی به عمل میآید.
References
[1] Management Sciences for Health. Health Systems in Action: An eHandbook for Leaders and Managers. Cambridge, MA: Management Sciences for Health 2010.
[2] World Health Organization. Universal health coverage and universal access. Bull World Health Organ 2013; 91(8): 545-6.
[3] World Health Organization. Every Body’s Business. Strengthening Health Systems to Improve Health Outcomes. WHO’s Framework for Action 2007.
[4] World Health Organization. Human resources for health: developing policy options for change. Discussion paper 2002; Genève.
[5] World Health Organization. Can human resource for health in the context of non-communicable disease control be a level for health system changes. Bull World Health Organ 2013; 91(11): 895-6.
[6] World Health Organization. Every Woman, Every Child; Global Strategy for Women’s and Children’s Health. Access for All to Skilled, Motivated and Supported Health Workers. Background paper for the global strategy for Woman’s and Children’s Health 2010.
[7] Adano U. Management Sciences for Health. Human Resources Management (HRM) in the Health Sector.” Capacity Project Knowledge Sharing Technical Brief 2006.
[8] Bruno M. Benavides. Supporting Health Worker Performance with Effective Supervision. Jhpiego, Capacity Project, Legacy Series 9. 2009.
[9] Management Sciences for Health. Supervision Guidelines. Developed by Management and Leadership Program 2003.
[10] Bradley S, Kamwendo F, Masanja H, De Pinho H, Waxman R, Boostrom C, et al. District health managers’ perceptions of supervision in Malawi and Tanzania. Human Resources for Health 2013; 11: 43.
[11] Hernández A, Hurtig A, Dahlblom K, Sebastian, M. More than a checklist: a realist evaluation of supervision of mid-level health workers in rural Guatemala. BMC Health Services Research. 2014; 14: 112.
[12] World Health Organization. Working together for health. The World Health Report 2006.
[13] World Health Organization. Training for mid-level managers (MLM), Module 4, Supportive supervision. World Health Organization’s Publications 2008.
[14] Som M, Panda B, Pati S, Mallala S, Anasuya A, Chauhan AS, et al. Effect of supportive supervision on routine immunization service delivery- A randomized post-test study in Odisha. Global J Health Science 2014; 6(6): 61-7.
[15] Chen SY, Scannapieco M. The influence of job satisfaction on child welfare worker's desire to stay: An examination of the interaction effect of self-efficacy and supportive supervision. Children Youth Services Review 2010; 32(4): 482-6.
[16] Djibuti M, Gotsadze G, Zoidze A, Mataradze G, Esmail L, Kohler J. The role of supportive Supervision on immunization program outcome- a randomized field trial from Georgia. BMC International Health and Human Rights 2009; 9(11): 1-12.
[17] Hill Z, Dumbaugh M, Benton L, Kallander K, Strachan D, Asbroek A, et al. Supervising community health workers in low-income countries – a review of impact and implementation issues. Glob Health Action 2014; 7: 24085.
[18] Sousa A, Scheffler R, Nyoni J, Boerma T. A comprehensive health labour market framework for universal health coverage. Bull World Health Organization 2013; 91(11): 892-4.
[19] Crigler L, Gergen J, Perry H. Maternal and Child Health Integrate Program “Supervision of Community Health Workers”. USAID’s publications. 2013. page 11-20. Available at: http://www.mchip.net/sites-/default/files/ mchi_ pfiles / 09_CHW_Supervision.pdf
[20] Mohammadalizade S, Wahlstrom R, Vahidi R, Nikniaz A, Marions L, Johansson A. Barriers to high-quality primary reproductive health services in an urban area of iran: views of public health providers. ELSEVIER Midwifery 2009; 25(6): 721-30.
[21] Karimi A, Maleki MR, Khorshidi A. The effects of learning supportive supervision on performance of health networks supervisory team in Ilam. Ilam Med Univ Sci J 2014; 22(1):165-70. [Farsi]
[22] Berdzuli N, Ippolito L, Haffey J. Supportive Supervision: Training of Trainers and External Supervisors. Facilitator’s Guide of USAID’s Publications. 2008.
[23] Nabeela A. Assessment of District Health Supervisory System. Pakistan Initiative for Mothers and Newborns (PAIMAN). USAID’s Publications 2006.
[24] World Health Organization. Guidelines for Implementing Supportive Supervision. A step-by-step guide with tools to support immunization. World Health Organization’s Publications 2003.
[25] Nagwa E, Soha M, Ashraf Z. Health care providers’ views in supervisory visits in family health centers and units in Alexandria, Egypt. Egypt Public Health Association 2010; 85(4): 189-204.
[26] Harris PM, Pepper CM, Maack DJ. The relationship between maladaptive perfectionism and depressive symptoms: The mediating role of rumination. Personality and Individual Differences 2008; 44(1): 150-60.
[27] Schinke RJ, Hanrahan SJ. Cultural sport psychology. Champaign, IL: Human Kinetics 2008.
[28] Hajizadeh E, Asghari M. Statistical methods and analyses in health and biosciences a research methodological approach. Tehran: Jahade Daneshgahi Publications 2011. [Farsi]
[29] Yaghmaie F. Content validity and its estimation. J Med Education 2003; 3(1): 25-7. [Farsi]
[30] Davis LL. Instrument review: Getting the most from a panel of experts. Appl Nursing Res 1992; 5(4): 194-7.
[31] Thomas J, Nelson JK, Silverman SJ. Research methods in physical activity.Champaign, IL: Human Kinetics Publishers. 6th ed,. 2011.
Development and Psychometric Evaluation of Tools for Assessing Supportive Supervision from the Perspective of Health Workers and Supervisors
A. Danesh Kohan[5], A. Ramezankhani[6], E. Zarei1, F. Ahmadi[7], F. Foruzanfar[8]
Received:20/09/2015 Sent for Revision: 15/11/2015 Received Revised Manuscript: 16/01/2016 Accepted: 20/01/2016
Background and Objectives: The World Health Organization emphasizes the important role of supportive supervision in improving effectiveness of health service delivery. There is no specific tool to assess the supervision status generally and supportive supervision specifically in primary health care system in Iran. This study aimed to develop and do the psychometric of a tool to assess supportive supervision status from the perspective of health workers and supervisors.
Materials and Methods: This is a cross- sectional study. After reviewing scientific international documents about supportive supervision, and regarding Iran’s health system context, a question bank was made including 41 questions for health workers tool, and 33 questions for supervisors. Face and content validity were determined for these tools. For face validity, the questionnaires were evaluated by 10 experts considering difficulty level, appropriateness and ambiguity of questions. Both quality and quantity methods were used to evaluate content validity of tools. The quantity method was conducted by Content Validity Ratio and Content Validity Index. Cornbrash’s Alpha coefficients and test-retest methods using Pearson’s Correlation Coefficient were used for assessing the reliability of the questionnaires.
Results: After completing validity and reliability tests, the health workers and supervisors tools had 30 and 32 questions, respectively. Cornbrash’s Alpha coefficients for these two questionnaires were 0.89 and 0.94. Pearson’s test was conducted to assess the correlation between test and retest. Pearson’s Correlation coefficient for health workers’ questionnaire was 0.78, and it was 0.95 for health supervisors (p=0.001).
Conclusion: According to the appropriate level of validity and reliability of these tools, we can use them to assess the various aspects of supportive supervision in primary health care.
Key words: Supportive supervision, Improvement, Performance
Funding: This research was funded by Health faculty, Shahid Beheshti University of Medical Sciences.
Conflict of interest: None declared.
Ethical approval: The Ethics Committee of Shahid Beheshti University of Medical Sciences approved the study.
How to cite this article:. Danesh Kohan A, Ramezankhani A, Zarei E, Ahmadi F, Foruzanfar F. Development and Psychometric Evaluation of Tools for Assessing Supportive Supervision from the Perspective of Health Workers and Supervisors. J Rafsanjan Univ Med Sci 2016; 14(12): 1001-14. [Farsi]
[1]- استادیار گروه آموزشی بهداشت عمومی، دانشکده بهداشت، دانشگاه علوم پزشکی شهید بهشتی، تهران، ایران
[2]- استاد گروه آموزشی بهداشت عمومی، دانشکده بهداشت، دانشگاه علوم پزشکی شهید بهشتی، تهران، ایران
[3]- کارشناس ارشد مدیریت خدمات بهداشتی و درمانی، دانشکده بهداشت، دانشگاه علوم پزشکی شهید بهشتی، تهران، ایران
[4]- (نویسنده مسئول) کارشناس ارشد مدیریت خدمات بهداشتی و درمانی، دانشکده بهداشت، دانشگاه علوم پزشکی شهید بهشتی، تهران، ایران
تلفن: 22432040-021، دورنگار: 22432037-021، پست الکترونیکی: fa_foruzanfar@yahoo.com
[5]- Assistant Prof., Dept. of Public Health, Faculty of Health, Shahid Beheshti University of Medical Sciences, Tehran, Iran
[6]- Prof., Dept. of Public Health, Faculty of Health, Shahid Beheshti University of Medical Sciences, Tehran, Iran
[7]- Master of Health Care Management, Faculty of Health, Shahid Beheshti University of Medical Sciences, Tehran, Iran
[8]- Master of Health Care Management, Faculty of Health, Shahid Beheshti University of Medical Sciences, Tehran, Iran
(Corresponding Author) Tel: (021) 22432040, Fax: (021)22432037, Email: Fa_foruzanfar@yahoo.com
بازنشر اطلاعات | |
![]() |
این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است. |