Nama Palembang dikenal sejak sebuah kronik Cina Chu-fan-chi, karya Con-ju-han (1255), menyebut Pa-lin-fong.
Selanjutnya kronik lain tulisan Wang Tu-huan yang berjudul Toa-I Chi lio (1349-1350) menyebutkan Po-lin-fong untuk Palembang.
Selanjutnya Ma Huan dalam catatan perjalanannya Ying-Ysi Shueng Lan tahun 1416 menuliskan tentang nama Po-lin-pang.
Selain dari sumber-sumber sejarah, nama Palembang, konon menurut penduduk setempat, berasal dari bahasa Jawa “Limbang” yang mempunyai arti membersihkan logam atau benda-benda lain.
Adapun “Pa” adalah kata depan yang juga berasal dari bahasa Jawa jika mereka hendak menyebut suatu tempat.
Contohnya, bila seseorang menyebut “pa-ka-pu-ran”, artinya adalah tempat pembakaran kapur.
Sumber lokal lainnya menyatakan nama Palembang diambil dari pengertian tempat mencuci emas dan biji timah di sekitar Muara Ogan, Kertapati.

Karena sebagian mata pencaharian penduduk awal “melimbang”, lama kelamaan muncullah kata “Palembang” sebagai nama tempat.
Sebetulnya ada juga yang menduga nama kota Palembang berasal dari kata “Lembeng” yang bermakna genangan air dan kemudian ditambah awalan “Pa” sebagai kata petunjuk tempat.
Sehingga nama Palem bang berarti kota yang selalu tergenang air atau terletak di Lembeng.
Hal ini tentunya dikaitkan dengan kenyataan Palembang memang berada di daerah rawa yang dipengaruhi oleh pasang-surut air Sungai Musi.