มะยมจัดเป็นไม้ยืนต้นขนาดเล็กถึงกลาง มีความสูงประมาณ 3-10 เมตร ลำต้นตั้งตรง แตกกิ่งก้านสาขามาก เปลือกต้นเป็นปุ่มปมอันเกิดจากแผลเป็นของก้านใบที่ร่วงหล่นไปแล้ว กิ่งก้านมักจะเปราะและหักง่าย 

ใบเรียงสลับกันอยู่บริเวณปลายกิ่ง ใบเป็นประเภทขนนก คือมีใบย่อยเรียงอยู่ 2 ด้านของก้านใบรวมขนาดใหญ่ ยาวประมาณ 30 เซนติเมตร ใบย่อย มี 20 – 30 คู่ เป็นรูปไข่เบี้ยว ปลายใบแหลม ก้นใบค่อนข้างกลม ด้านบนใบสีเขียวอ่อน ด้านล่างสีขาวนวลอมเขียว

ดอกมะยมออกเป็นช่อ แทงออกตามกิ่ง และลำต้น แต่ส่วนมากออกตามปลายกิ่งจนถึงยอด มักแทงงอกบริเวณด้านล่างของใบ เป็นดอกเพศผู้ และดอกเพศเมียในต้นเดียวกัน มีก้านดอกยาว 1-2 มม. กลีบดอกมีรูปร่างคล้ายไต มีสีเขียวหรือสีแดงเรื่อ กลีบดอกยาวประมาณ 1.5 มม. ดอกตัวผู้มีเกสรตัวผู้ 4 อัน ดอกตัวเมียมีรังไข่ 3-4 ห้อง บางครั้งอาจพบเกสรตัวผู้ 1-3 อัน บริเวณฐานรังไข่ 

ผลมะยมมีลักษณะค่อนข้างกลม ก้นแบน จุกด้านบนบริเวณก้านผลบุ๋มลงไปด้านข้าง เป็นพูเว้านูนรอบผล ประมาณ 6-8 พู (เหลี่ยมนูน) ผลกว้างประมาณ 1-3 ซม. มีขั้วผลสั้นประมาณ 0.5 ซม. ผลอ่อนมีสีเขียว ผลแก่มีสีเหลืองอมเขียวเล็กน้อย และแก่จัดจะเปลี่ยนเป็นสีเหลืองนวล เนื้อผลมีรสเปรี้ยวฉ่ำน้ำ ผล 1 ผล เมล็ดมี 1 เมล็ด มีลักษณะเป็นพูคล้ายพูผล เมล็ดมีสีนวลอมน้ำตาล เนื้อเมล็ดแข็งมาก