تعدادی از خوارج تصمیم به قتل علی، معاویه، و عمرو عاص به صورت همزمان گرفتند تا به عقیدهٔ خود اسلام را از دست این سه تن که مسئول جنگهای داخلی بودند، خلاص کنند[۲۱۳] که تنها موفق به کشتن علی شدند و معاویه و عمرو عاص جان سالم به در بردند.[۲۱۴]
در منابع روز ضربت خوردن علی ۱۷، ۱۹، و ۲۱ رمضان گزارش شدهاست. اما شیخ مفید روز ۱۹ را صحیحتر میداند و ابن ابی الحدید نیز مینویسد چون این سه تن کارشان را عبادت میدانستند بنابراین آن را در شب قدر ۱۹ رمضان قرار دادند تا ثواب بیشتری برده باشند. روز مرگ علی هم در منابع از ۱۱ تا ۲۱ رمضان گزارش شدهاست و مدت تحمل ضربت را دو یا سه روز دانستهاند.[۲۱۵]
علی هنگامی که مشغول خواندن نماز صبح در مسجد کوفه بود و به روایتی دیگر در کنار در مسجد[۲۱۶] توسط عبدالرحمن بن ملجم و با یک شمشیر زهرآگین از ناحیهٔ سر[۲۱۷] ضربت خورد. عبدالرحمن این عمل را به قصد انتقامگیری از وی در قبال کشتار نهروان انجام داد. دو روز بعد در ۱۹ یا ۲۱ رمضان ۴۰ هجری، علی در سن ۶۲ یا ۶۳ سالگی[۲۱۸] درگذشت.[۲۱۹]
علی از مدتها قبل میدانست که کشته میشود، حال یا محمد به وی گفته بود یا خودش این مطلب را حس کرده بود. روایات زیادی وجود دارد که در آن محمد یا علی خبر میدهند که ریش علی از خون فرق سرش رنگین میشود. عمدتاً در منابع شیعی بر روی این مطلب تأکید شدهاست که علی با وجود آگاهبودن از سرنوشتش، کس دیگری را به جای خود به امامت نماز جماعت نگذاشت و با وجود اینکه دیگران به وی در مورد احتمال کشتهشدنش هشدار داده بودند، با خواندن ابیاتی هراس از مرگ را نفی کرده بود. علی حتی پیشبینی کرده بود که ابن ملجم قاتلش خواهد بود. رابطهٔ بین علی و ابن ملجم تنشبرانگیز بود. با این همه، علی در مقام خلیفه هیچ اقدامی علیه ابن ملجم انجام نداد. به روایت ابن سعد، علی گفته بود «چگونه کسی را بکشم که هنوز مرا نکشتهاست»؟ حتی وقتی کسی از قبیلهٔ مراد یا کسی که از زبان خود ابن ملجم نقشهٔ قتل را شنیده بود، در این باره به علی هشدار داد، علی پاسخ داد که هر انسانی را دو فرشته که بر روی شانههایش قرار دارند، تا لحظهٔ مرگ حافظاند و آن لحظه را تقدیر معین میکند.[۲۲۰]
شب قبل از واقعه، ابن ملجم به همراه وَردان و شَبیب بن بَجَره شمشیرهایشان را به زهر آغشتند و کنار در مسجد منتظر ماندند تا علی به منظور اقامهٔ نماز صبح به مسجد وارد شود. به محض ظاهرشدن علی، شبیب به وی حمله برد اما شمشیرش به لغاز در اصابت کرد و خطا رفت. شبیب فرار کرد و در میان جمعیت گم شد. وردان نیز بیسروصدا گریخت، به خانه رفت و حریر از سینه باز کرد. چون پسرعمویش او را در این حالت دید، مشکوک شد و وی را کشت. تنها ابن ملجم باقیمانده بود. او در حالی که فریاد میکشید «ای علی، حکمیت خاص خداست، نه تو و یارانت» ضربتی به فرق سر علی وارد آورد و خواست بگریزد که ابو اَدماء همدانی وی را به زمین افکند. علی به خانهاش بازگشت و ابن ملجم را پیش وی آوردند. ابن مجلم به علی گفت که ۴۰ روز شمشیرش را تیز میکرده و از خدا خواستهاست که با آن شرورترین مردان را بکشد. علی در پاسخ گفت خود ابن ملجم با همین شمشیر کشته خواهد شد و وی را شرورترین مردان نامید.