Pada mulanya, wilayah Kabupaten Bulungan (luas 64.000 km²) hanya memiliki satu Pengadilan Agama di Tanjung Selor. Luasnya wilayah dan sulitnya transportasi menyebabkan biaya tinggi bagi masyarakat pencari keadilan, sehingga asas peradilan sederhana, cepat, dan biaya ringan sulit terwujud.
Berdasarkan SK Menteri Agama RI No. 76 Tahun 1983, ditetapkan pembentukan PA Tarakan. Pada 14 Oktober 1985, Balai Sidang PA Tarakan diresmikan penggunaannya oleh Ketua PTA Samarinda. Saat itu masih berfungsi sebagai tempat sidang keliling PA Tanjung Selor.
Pada 8 Januari 1990, Ketua PA Tarakan pertama, Drs. Ahmad Effendi Sulaiman, dilantik. Sejak saat itu, PA Tarakan resmi beroperasi mandiri, melepaskan diri dari PA Tanjung Selor.