חלפי נולד בעיר לודז' בפולין, בין 1903 ל-1904. בשנת 1914, עם פרוץ מלחמת העולם הראשונה, עברה משפחתו לרוסיה, תחילה למינסק ואחר כך לאומן. חלפי למד בגימנסיה רוסית ושיחק בלהקת חובבים. ב-1922 חזר עם משפחתו לפולין, לעיר ברסט ליטובסק. בשנת 1924 עלה לישראל באוניה קוריניליה. כשהגיע לארץ עבד בחקלאות ובבניין. בשנת 1925 הצטרף לתיאטרון האוהל ובשנת 1954 עבר לתיאטרון הקאמרי.
שיריו הראשונים פורסמו ב-1933 בכתב העת "כתובים", ובשנת 1939 יצא לאור קובץ שיריו ראשון שנקרא "מזווית אל זווית". חלפי נמנה עם חבורת המודרניסטים "קבוצת שלונסקי-אלתרמן". בשנות השלושים והארבעים נחשב למשורר מינורי, אך מאוחר יותר זכתה שירתו להערכה רבה. כמה משיריו הולחנו והפכו לפזמונים ידועים כמו: "עטור מצחך", "צער לך", בהלחנתו של יוני רכטר. כמו כן, לזמר אריק איינשטיין קשר מיוחד לחלפי, ששימש סנדקו בברית המילה ושהיה חבר לעבודה של אביו. ב-1988, הוציא איינשטיין אלבום משירי אברהם חלפי.
חלפי זכה בפרס אוסישקין בשנת 1970, בפרס ואלנרוד ב-1972 ובפרס הלוי בשנת 1973. הוא נפטר בתל אביב ב-8 ביוני 1980 ונקבר בבית העלמין קריית שאול.
