Bilgisayarlı görü ve makine öğrenmesi ile ergonomik risk değerlendirme uygulaması

Alper Kiraz; Anıl Özkan Geçici

doi:10.17341/gazimmfd.1301520

Research Article

Bilgisayarlı görü ve makine öğrenmesi ile ergonomik risk değerlendirme uygulaması

Year 2024, Volume: 39 Issue: 4, 2473 - 2484, 20.05.2024

Alper Kiraz Anıl Özkan Geçici

https://doi.org/10.17341/gazimmfd.1301520

Abstract

Kas-iskelet sistemi rahatsızlıkları (KİSR), endüstride işle ilgili ölümcül olmayan hastalıkların büyük bölümünü oluşturmaktadır. Literatürde, KİSR bağlantılı hastalıkları önlemek için basit kontrol listelerinden karmaşık değerlendirmelere kadar birçok ergonomik risk değerlendirme yöntemleri ve bunları uygulayan yazılımlar mevcuttur. Ancak bu uygulamalarda genellikle açılar otomatik hesaplanırken, kol tutuş başarısı, omuz ve kolun destek alması gibi göreceli soruları kullanıcıya bir arayüz ile yöneltmeleridir. Bu çalışmada, MediaPipe makine öğrenmesi kütüphanesi ile REBA, RULA ve OWAS metotları için aynı anda ergonomik risk değerlendirme (ERD) raporu sunabilen web tabanlı bir platform geliştirilmiştir. Platformda yer alan değerlendirme ve kıyaslama algoritması ile ERD metotları içerisindeki göreceli sorular da geliştirilen uygulama tarafından cevaplanarak tutarlılık ve kullanım kolaylığı sağlanacaktır. Çalışmanın bu yönüyle literatürdeki boşluğu doldurması hedeflenmiştir. Önerilen platformun validasyonu amacıyla, poz tahmini algoritmalarında kullanılan Anahtar Nokta Benzerliği (OKS) testi uygulanmıştır. Test, 32 vücut anahtar noktasının her birine uygulanmış ve genel ortalamada %92 doğruluk oranı elde edilmiştir. Diğer test sürecinde ise ERD metotlarında kullanılmak üzere ölçülen vücut eklem açılarının doğruluğu hesaplanmıştır. 13 vücut eklemi açısının her biri gerçek olarak baz alınan açılarla karşılaştırılmış ve ortalamada 7,7°’lik RMSE (kök ortalama karesel hata) değeri elde edilmiştir. Elde edilen RMSE değeri ve OKS sonucu güncel literatür ile kıyaslandığında değerlerin tutarlı olduğu belirlenmiştir.

Keywords

Kas iskelet sistemi rahatsızlıkları, Ergonomik risk değerlendirme, Makine öğrenmesi, REBA, RULA, OWAS

Supporting Institution

Tübitak

Project Number

1059B192200549

Thanks

Bu çalışma “Tübitak 2219 Yurt Dışı Doktora Sonrası Araştırma Burs Programı” kapsamında desteklenmiştir. Yazarlar TÜBİTAK’a ve çalışmaya destek olan Sakarya Üniversitesi ve Brock Üniversitesi’ne teşekkür eder.

References

1. Jamwal, A., Agrawal, R., Sharma, M., Giallanza, A., Industry 4.0 technologies for manufacturing sustainability: a systematic review and future research directions. Applied Sciences, 11 (12), 5725, 2021.
2. Feryal Can, G., Fığlalı, N., Image processing based rapid upper limb assessment method, Journal of the Faculty of Engineering and Architecture of Gazi University, 32 (3), 719-731, 2017.
3. Soe, K. T., Laosee, O., Limsatchapanich, S., Rattanapan, C., Prevalence and risk factors of musculoskeletal disorders among Myanmar migrant workers in Thai seafood industries. International Journal of Occupational Safety and Ergonomics, 21 (4), 539-546, 2015.
4. Kim, I., Kim, K. R., Lee, K. S., Chae, H. S., Kim, S., Ergonomic Interventions to Prevent Work-Related Musculoskeletal Disorders incurred by the Weight Lifting Tasks in Livestock Feed Manual Material Handling, 776-779, 2014.
5. Kılıç Delice, E., Can, G., Kahya, E., Improving the rapid office strain assessment method with an integrated multi-criteria decision making approach, Journal of the Faculty of Engineering and Architecture of Gazi University, 35 (3), 1297-1314, 2020.
6. U.S Department of Labor. https://www.bls.gov/news.release/pdf/osh.pdf. Yayın Tarihi: Kasım 9, 2022. Erişim Tarihi: Nisan 1, 2023.
7. Ou, Y. K., Liu, Y., Chang, Y. P., Lee, B. O., Relationship between musculoskeletal disorders and work performance of nursing staff: A comparison of hospital nursing departments. International Journal of Environmental Research and Public Health, 18 (13), 7085, 2021.
8. Afsharian, A., Dollard, M. F., Glozier, N., Morris, R. W., Bailey, T. S., Nguyen, H., & Crispin, C., Work-related psychosocial and physical paths to future musculoskeletal disorders (MSDs). Safety Science, 164, 106177, 2023.
9. Karthikeyan, G. R., Balaguhan, B., Mathanmohan, A., Deepak, V., Indrapriyadharshini, K., Devar, M. N., Insights into knowledge, attitude and perception about dental ergonomics and work-related musculo skeletal disorders (MSD) among dental professionals at Chengalpet District, Tamil Nadu, India: a cross-sectional study. International Journal of Occupational Safety and Health, 12 (1), 1-7, 2022.
10. Çalışma ve Sosyal Güvenlik Araştırma Merkezi. https://casgem.gov.tr/dosyalar/kitap/81/dosya-81-8942.docx. Yayını Tarihi: 2013, Erişim Tarihi: Nisan 1, 2023.
11. Oğuzöncül, A. F., Kurt, O., Halk sağlığı bakışıyla Türkiye’de kas iskelet hastalıkları. Halk Sağlığı Bakışıyla Türkiye’de Kronik Hastalıklar, 1, 52-4, 2020.
12. Elmas-Atay, S., & Yildirim, S. K., İş sağlığı ve güvenliği açısından sektörlerin risk düzeylerinin CRITIC tabanlı gri ilişkisel analiz yöntemiyle sıralanması. Selçuk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, (47), 181-193, 2022.
13. El-mir, Y., Ivarsson, J., Ergonomic posture correction through a camera live feed and its applicability in terms of usability, Independent thesis Basic level, 2020.
14. Santos S.M.L.V.P.D., Explaining the ergonomic assessment of human movement in industrial contexts (Doctoral dissertation), 2019.
15. MassirisFernández, M., Fernández, J. Á., Bajo, J. M., Delrieux, C. A., Ergonomic risk assessment based on computer vision and machine learning. Computers & Industrial Engineering, 149, 106816, 2020.
16. Wu, S., Chen, Z., Zhao, X., Yao, M., Wang, Z., Kuang, S., Design of an ergonomic App for entire rapid body assessment based on Mask RCNN. In Journal of Physics: Conference Series, 1633 (1), 012150, IOP Publishing, 2020.
17. Oyekan, J., Chen, Y., Turner, C., Tiwari, A., Applying a fusion of wearable sensors and a cognitive inspired architecture to real-time ergonomics analysis of manual assembly tasks. Journal of Manufacturing Systems, 61, 391-405, 2021.
18. Seo, J., Lee, S., Automated postural ergonomic risk assessment using vision-based posture classification. Automation in Construction, 128, 103725, 2021.
19. Yunus, M. N. H., Jaafar, M. H., Mohamed, A. S. A., Azraai, N. Z., Hossain, M. S., Implementation of kinetic and kinematic variables in ergonomic risk assessment using motion capture simulation: A review. International Journal of Environmental Research and Public Health, 18 (16), 8342, 2021.
20. Sancho, M. P., Morales, D. B., Baydal-Bertomeu, J. M., Zambrano, I., Soto, R., Ergonomic risk analysis inherent in neonate bathing activity performed by nurses using the REBA methodology through kinect depth sensors. Periodicals of Engineering and Natural Sciences, 9 (4), 864-876, 2021.
21. Vukicevic, A. M., Macuzic, I., Mijailovic, N., Peulic, A., Radovic, M., 2021. Assessment of the handcart pushing and pulling safety by using deep learning 3D pose estimation and IoT force sensors. Expert Systems with Applications, 183, 115371, 2021.
22. Lin, P. C., Chen, Y. J., Chen, W. S., Lee, Y. J., Automatic real-time occupational posture evaluation and select corresponding ergonomic assessments. Scientific Reports, 12 (1), 2139, 2022.
23. Kleppmann, M., Kreps, J., Kafka, samza and the unix philosophy of distributed data, 2015.
24. Garg, S., Saxena, A., Gupta, R., Yoga pose classification: a CNN and MediaPipe inspired deep learning approach for real-world application. Journal of Ambient Intelligence and Humanized Computing, 1-12, 2022.
25. Lugaresi, C., Tang, J., Nash, H., McClanahan, C., Uboweja, E., Hays, M., Grundmann, M., Mediapipe: A framework for building perception pipelines. arXiv preprint arXiv:1906.08172, 2019.
26. Kim, J. W., Choi, J. Y., Ha, E. J., Choi, J. H., Human pose estimation using mediapipe pose and optimization method based on a humanoid model. Applied Sciences, 13 (4), 2700, 2023.
27. Lin, T. Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Zitnick, C. L., Microsoft COCO: Common objects in context. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Springer International Publishing, Part V 13, 740-755, 2014.
28. Kwon, Y. J., Kim, D. H., Son, B. C., Choi, K. H., Kwak, S., Kim, T., A Work-Related Musculoskeletal Disorders (WMSDs) Risk-Assessment System Using a Single-View Pose Estimation Model. International Journal of Environmental Research and Public Health, 19 (16), 9803, 2022.
29. Yu, Z., Yoon, J. S., Lee, I. K., Venkatesh, P., Park, J., Yu, J., Park, H. S., Humbi: A large multiview dataset of human body expressions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2990-3000, 2020.
30. Maji, D., Nagori, S., Mathew, M., Poddar, D., Yolo-pose: Enhancing yolo for multi person pose estimation using object keypoint similarity loss. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2637-2646, 2022.
31. Cha, J. Y., Yoon, H. I., Yeo, I. S., Huh, K. H., Han, J. S., Peri-implant bone loss measurement using a region-based convolutional neural network on dental periapical radiographs. Journal of clinical medicine, 10 (5), 1009, 2021.
32. Xiao, B., Wu, H., Wei, Y., Simple baselines for human pose estimation and tracking. In Proceedings of the European conference on computer vision (ECCV), 466-481, 2018.
33. Volkmann, N., Zelenka, C., Devaraju, A. M., Brünger, J., Stracke, J., Spindler, B., Koch, R., Keypoint detection for injury identification during turkey husbandry using neural networks. Sensors, 22 (14), 5188, 2022.
34. Plantard, P., Shum, H. P., Le Pierres, A. S., Multon, F., Validation of an ergonomic assessment method using Kinect data in real workplace conditions. Applied ergonomics, 65, 562-569, 2017.
35. Humadi, A., Nazarahari, M., Ahmad, R., Rouhani, H., Instrumented ergonomic risk assessment using wearable inertial measurement units: Impact of joint angle convention. IEEE Access, 9, 7293-7305, 2020.
36. Humadi, A., Nazarahari, M., Ahmad, R., Rouhani, H., In-field instrumented ergonomic risk assessment: Inertial measurement units versus Kinect V2. International Journal of Industrial Ergonomics, 84, 103147, 2021
37. Cerqueira, S. M., Da Silva, A. F., Santos, C. P., Smart vest for real-time postural biofeedback and ergonomic risk assessment. IEEE Access, 8, 107583-107592, 2020.