人工智能算法偏见与健康不公平的成因与对策分析

doi:10.12114/j.issn.1007-9572.2023.0007

中国全科医学 ›› 2023, Vol. 26 ›› Issue (19): 2423-2427.DOI: 10.12114/j.issn.1007-9572.2023.0007

• 数智医疗与信息化研究 • 上一篇下一篇

人工智能算法偏见与健康不公平的成因与对策分析

陈龙¹, 曾凯², 李莎¹, 陶璐¹, 梁玮¹, 王皓岑³, 杨如美¹^,^*()

1．211166　江苏省南京市，南京医科大学护理学院
2．510515　广东省广州市，南方医科大学护理学院
3．School of Nursing，Purdue University，Indiana 47907，USA

收稿日期:2023-01-05 修回日期:2023-03-23 出版日期:2023-07-05 发布日期:2023-03-30
通讯作者: 杨如美
作者贡献：陈龙负责论文撰写和修改；曾凯、李莎、陶璐、梁玮、王皓岑参与修改论文；杨如美负责论文选题、修改和质量控制；全部作者阅读并同意最终稿件的提交。
基金资助:
国家自然科学基金资助项目(72004098，72204117); 江苏高校哲学社会科学研究一般项目(2020SJA0302); 南京医科大学高层次引进人才项目(NMUR2020006); 南京医科大学研究生优质教育资源建设项目(2021F005); 江苏高校优势学科建设工程项目"护理学"(苏政办发〔2018〕87号); "十四五"高等教育科学研究规划课题(苏高教会〔2021〕16号YB009); 南京医科大学内涵建设专项护理学优势学科资助

Causes and Countermeasures of Algorithmic Bias and Health Inequity

CHEN Long¹, ZENG Kai², LI Sha¹, TAO Lu¹, LIANG Wei¹, WANG Haocen³, YANG Rumei¹^,^*()

1. School of Nursing, Nanjing Medical University, Nanjing 211166, China
2. School of Nursing, Southern Medical University, Guangzhou 510515, China
3. School of Nursing, Purdue University, Indiana 47907, USA

Received:2023-01-05 Revised:2023-03-23 Published:2023-07-05 Online:2023-03-30
Contact: YANG Rumei

分享到

摘要/Abstract

摘要： 随着信息技术的发展，人工智能为疾病诊疗带来重要价值。然而，人工智能中存在算法偏见现象，可导致医疗卫生资源分配不均等问题，严重损害患者的健康公平。算法偏见是人为偏见的技术化体现，其形成与人工智能开发过程密切相关，主要源于数据收集、训练优化和输出应用3个方面。医护工作者作为患者健康的直接参与者，应采取相应措施以预防算法偏见，避免其引发健康公平问题。医护工作者需保障健康数据真实无偏见、优化人工智能的公平性和加强其输出应用的透明度，同时需思考如何处理临床实践中算法偏见引发的不公平现象，全面保障患者健康公平。本研究就健康领域中算法偏见的形成原因和应对策略展开综述，以期提高医护工作者识别和处理算法偏见的意识与能力，为保障信息化时代中的患者健康公平提供参考。

关键词: 人工智能, 算法偏见, 健康公平, 人为偏见, 信息化

Abstract:

With the development of information technology, artificial intelligence shows great potentials for clinical diagnosis and treatment. Nevertheless, bias in algorithms derived by artificial intelligence can lead to problems such as unequal distribution of healthcare resources, which significantly affect patients' health equity. Algorithmic bias is a technical manifestation of human bias, whose formation strongly correlates with the entire development process of artificial intelligence, starting from data collection, model training and optimization to output application. Healthcare providers, as the key direct participants in ensuring patients' health, should take corresponding measures to prevent algorithmic bias to avoid its related health equity issues. It is important for healthcare providers to ensure the authenticity and unbiasedness of health data, optimize the fairness of artificial intelligence, and enhance the transparency of its output application. In addition, healthcare providers need to consider how to tackle bias-related health inequity, so as to comprehensively ensure patients' health equity. In this study, we reviewed the causes and coping strategies related to algorithmic bias in healthcare, with the aim of improving healthcare providers' awareness and ability to identify and address algorithmic bias, and laying a foundation for ensuring patients' health equity in the information age.

Key words: Artificial intelligence, Algorithmic bias, Health equity, Human bias, Information

陈龙,曾凯,李莎,等. 人工智能算法偏见与健康不公平的成因与对策分析[J]. 中国全科医学, 2023, 26(19): 2423-2427. DOI: 10.12114/j.issn.1007-9572.2023.0007.
CHEN Long,ZENG Kai,LI Sha, et al. Causes and Countermeasures of Algorithmic Bias and Health Inequity[J]. Chinese General Practice, 2023, 26(19): 2423-2427. DOI: 10.12114/j.issn.1007-9572.2023.0007.

参考文献 33

[1]	CHEN J，KALLUS N，MAO X，et al. Fairness under unawareness：assessing disparity when protected class is unobserved[C]//2019 Proceedings of the Conference on Fairness，Accountability，and Transparency（FAT）. Atlanta，GA，USA：Association for Computing Machinery，2019：339-348.
[2]	KARKHAH S，JAVADI-PASHAKI N，FARHADI FAROUJI A，et al.Artificial intelligence：challenges & opportunities for the nursing profession[EB/OL]. （2022-07-21）[2022-12-19].
[3]	MHASAWADE V，ZHAO Y，CHUNARA R. Machine learning and algorithmic fairness in public and population health[J]. Nature Machine Intelligence，2021，3：659-666. DOI：10.1038/S42256-021-00373-4.
[4]	詹好. 大数据时代下数据挖掘中的算法歧视研究[D]. 长沙：湖南师范大学，2020.
[5]	BRAVEMAN P. Health disparities and health equity：concepts and measurement[J]. Annu Rev Public Health，2006，27：167-194. DOI：10.1146/annurev.publhealth.27.021405.102103.
[6]	OBERMEYER Z，POWERS B，VOGELI C，et al. Dissecting racial bias in an algorithm used to manage the health of populations[J]. Science，2019，366（6464）：447-453. DOI：10.1126/science.aax2342.
[7]	KEUROGHLIAN A S. Electronic health records as an equity tool for LGBTQIA+ people[J]. Nature Medicine，2021，27（12）：2071-2073. DOI：10.1038/s41591-021-01592-3.
[8]	KARNIK N S，AFSHAR M，CHURPEK M M，et al. Structural disparities in data science：a prolegomenon for the future of machine learning[J]. American Journal of Bioethics，2020，20（11）：35-37. DOI：10.1080/15265161.2020.1820102.
[9]	CHEN I Y，SZOLOVITS P，GHASSEMI M. Can I help reduce disparities in general medical and mental health care?[J]. AMA J Ethics，2019，21（2）：167-179. DOI：10.1001/amajethics.2019.167.
[10]	PARIKH R B，TEEPLE S，NAVATHE A S. Addressing bias in artificial intelligence in health care[J]. JAMA，2019，322（24）：2377-2378. DOI：10.1001/jama.2019.18058.
[11]	BORGESE M，JOYCE C，ANDERSON E E，et al. Bias assessment and correction in machine learning algorithms：a use-case in a natural language processing algorithm to identify hospitalized patients with unhealthy alcohol use[J]. AMIA Annu Symp Proc，2022，2021：247-254.
[12]	CHEN I Y，PIERSON E，ROSE S，et al. Ethical machine learning in healthcare[J]. Annu Rev Biomed Data Sci，2021，4：123-144. DOI：10.1146/annurev-biodatasci-092820-114757.
[13]	LEPRI B，OLIVER N，LETOUZÉ E，et al. Fair，transparent，and accountable algorithmic decision-making processes[J]. Philosophy & Technology，2018，31：611-627. DOI：10.1007/s13347-017-0279-x.
[14]	SALEIRO P，KUESTER B，STEVENS A，et al. Aequitas：a bias and fairness audit toolkit[EB/OL]. （2019-04-29）[2022-12-19].
[15]	KLEINBERG J M，MULLAINATHAN S，RAGHAVAN M. Inherent trade-offs in the fair determination of risk scores[C]//2017 8th Conference on Innovations in Theoretical Computer Science（ITCS）. Dagstuhl：Leibniz International Proceedings in Informatics（LIPIcs），2017：1-23.
[16]	ANDERSON A H，YANG W，HSU C Y，et al. Estimating GFR among participants in the Chronic Renal Insufficiency Cohort（CRIC） Study[J]. Am J Kidney Dis，2012，60（2）：250-261. DOI：10.1053/j.ajkd.2012.04.012.
[17]	LEVEY A S，HOCINE T，TITAN S M，et al. Estimation of glomerular filtration rate with vs without including patient race[J]. JAMA Internal Medicine，2020，180（5）：793-795. DOI：10.1001/jamainternmed.2020.0045.
[18]	MEHRABI N，MORSTATTER F，SAXENA N，et al. A survey on bias and fairness in machine learning[J]. ACM Computing Surveys，2021，54（6）：1-35. DOI：10.1145/3457607.
[19]	GIANFRANCESCO M A，SUZANNE T，JINOOS Y，et al. Potential biases in machine learning algorithms using electronic health record data[J]. JAMA Internal Medicine，2018，178（11）：1544-1547. DOI：10.1001/jamainternmed.2018.3763.
[20]	CARUANA R，LOU Y，GEHRKE J，et al. Intelligible models for healthcare：predicting pneumonia risk and hospital 30-day readmission[C]//2015 Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining（KDD）. Sydney：ACM，2015：1721-1730.
[21]	PARASURAMAN R，MANZEY D H. Complacency and bias in human use of automation：an attentional integration[J]. Hum Factors，2010，52（3）：381-410. DOI：10.1177/0018720810376055.
[22]	CHU C H，NYRUP R，LESLIE K，et al. Digital ageism：challenges and opportunities in artificial intelligence for older adults[J]. Gerontologist，2022，62（7）：947-955. DOI：10.1093/geront/gnab167.
[23]	MOSS K O，HAPP M B，BRODY A. Nurses' role in reducing inequities for the seriously ill[J]. J Gerontol Nurs，2022，48（8）：3-5. DOI：10.3928/00989134-20220629-01.
[24]	KAIROUZ P，LIAO J，HUANG C，et al. Generating fair universal representations using adversarial models[J]. IEEE Transactions on Information Forensics and Security，2022，17：1970-1985. DOI：10.48550/arXiv.1910.00411.
[25]	KOH P W，LIANG P. Understanding black-box predictions via influence functions[C]//2017 Proceedings of the 34th International Conference on Machine Learning（ICML）. Sydney：PLMR，2017：1885-1894.
[26]	The Lancet Digital Health. New resolutions for equity[J]. Lancet Digit Health，2022，4（1）：1. DOI：10.1016/S2589-7500(21)00280-6.
[27]	GAO Y，CUI Y. Deep transfer learning for reducing health care disparities arising from biomedical data inequality[J]. Nat Commun，2020，11（1）：5131. DOI：10.1038/s41467-020-18918-3.
[28]	ZHANG Y，BELLAMY R，VARSHNEY K R. Joint optimization of AI fairness and utility：a human-centered approach[C]//2020 AAAI/ACM Conference on AI，Ethics，and Society（AIES）. New York：Association for Computing Machinery，2020：400-406.
[29]	ZHOU Y，LI Z，LI Y. Interdisciplinary collaboration between nursing and engineering in health care：a scoping review[J]. Int J Nurs Stud，2021，117：103900. DOI：10.1016/j.ijnurstu.2021.103900.
[30]	ZHANG L，WU Y，WU X. A causal framework for discovering and removing direct and indirect discrimination[C]//2017 26th International Joint Conference on Artificial Intelligence. Melbourne：AAAI Press，2017：3929-3935.
[31]	PRYZANT R，YANG Z，XU Y，et al. Automatic rule induction for efficient semi-supervised learning[EB/OL]. （2022-10-14）[2022-12-19].
[32]	RICHARDSON S，LAWRENCE K，SCHOENTHALER A M，et al. A framework for digital health equity[J]. NPJ Digital Medicine，2022，5：1-6. DOI：10.1038/s41746-022-00663-0.
[33]	Nature Machine Intelligence. Striving for health equity with machine learning[J]. Nature Machine Intelligence，2021，3：653. DOI：10.1038/s42256-021-00385-0.

人工智能算法偏见与健康不公平的成因与对策分析

Causes and Countermeasures of Algorithmic Bias and Health Inequity

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献 33

相关文章 15

编辑推荐

Metrics

留言

[1]	乔慧, 谢永鑫, 肖文文, 高保锴, 陈可心. 新医改十年宁夏回族自治区农村居民健康状况与卫生服务利用公平性的进展与成效[J]. 中国全科医学, 2023, 26(22): 2726-2733.
[2]	寇儒欣, 梅康妮, 秘玉清, 陈彤, 邓神根, 邢家润, 王芊芊, 王梦雪, 李伟. 中国全科医生资源配置公平性现状研究[J]. 中国全科医学, 2023, 26(19): 2339-2345.
[3]	李培雯, 贺嘉慧, 马喜民, 乔慧. 基于EQ-5D-3L的宁夏回族自治区农村居民健康相关生命质量与卫生服务利用的关系研究[J]. 中国全科医学, 2023, 26(19): 2361-2368.
[4]	郭天赐, 陈继鑫, 余伟杰, 刘爱峰. 人工智能在骨关节炎诊疗中的应用进展[J]. 中国全科医学, 2023, 26(19): 2428-2433.
[5]	沈惠文, 林永忠, 陈淑良, 张立红, 马春野, 马得原, 张策. 基于人工智能算法的脑卒中溶栓药物精准治疗：真实世界研究[J]. 中国全科医学, 2023, 26(17): 2070-2077.
[6]	闵淑慧, 胡依, 成晓芬, 郭芮绮, 李贝. 我国流动老年人公共卫生服务利用及健康公平性研究[J]. 中国全科医学, 2023, 26(16): 1938-1945.
[7]	陈向阳, 李舍予. 非内分泌病房住院糖尿病患者的血糖管理[J]. 中国全科医学, 2023, 26(15): 1799-1803.
[8]	刘春, 蹇文渊, 段俊国. 人工智能应用于糖尿病视网膜病变的文献计量学分析[J]. 中国全科医学, 2023, 26(15): 1847-1856.
[9]	马喜民, 李培雯, 贺嘉慧, 杨甲飞, 乔慧. 宁夏回族自治区试点县中老年人健康公平性及其分解分析[J]. 中国全科医学, 2023, 26(07): 830-835.
[10]	涂嘉欣, 叶惠清, 张小强, 林雪婷, 杨善岚, 邓莉芳, 吴磊. 2000—2022年人工智能应用于食管癌领域全球研究的可视化分析[J]. 中国全科医学, 2023, 26(06): 760-768.
[11]	干颖滢, 王书平, 吴晓凡, 闫丽娜. 基于地理分级标准的偏远地区卫生人力资源优化：澳大利亚改良版蒙纳士模型及其对我国的启示[J]. 中国全科医学, 2022, 25(31): 3843-3850.
[12]	吴兢兰, 刘汝青, 胡汝为. 流动人口对基本医疗服务的体验研究[J]. 中国全科医学, 2022, 25(28): 3508-3514.
[13]	武爱媛, 热米拉·热扎克, 乔友林. 人工智能在宫颈病变诊断及治疗中的应用进展与挑战[J]. 中国全科医学, 2022, 25(18): 2215-2222.
[14]	吴久纯, 李甜, 李晓东, 卓越, 张玉娇, 刘敬禹. 基于人工智能随访预测肺结节增长的影响因素研究[J]. 中国全科医学, 2022, 25(17): 2115-2120.
[15]	邢春国, 夏迎秋, 吴丹云, 廖云霞, 赵宁. 江苏省基层医疗卫生机构信息化建设与使用情况研究[J]. 中国全科医学, 2022, 25(16): 2008-2013.