KONI lahir dari musyawarah organisasi cabang olahraga pada akhir 1966, setelah perjalanan panjang penataan organisasi olahraga di Indonesia.
Organisasi olahraga di Indonesia sudah ada sejak sebelum KONI berdiri. Setelah kemerdekaan, olahraga menjadi salah satu cara memperkenalkan bangsa yang baru lahir. Pekan Olahraga Nasional pertama digelar di Solo pada September 1948, dan tanggal pembukaannya, 9 September, kini diperingati sebagai Hari Olahraga Nasional.
Dari DORI ke KONI
Pada dekade 1960-an, organisasi olahraga nasional beberapa kali ditata ulang. Pemerintah sempat membentuk Dewan Olahraga Republik Indonesia (DORI), yang menyatukan berbagai organisasi olahraga.
Pada 1966, Presiden Soekarno menerbitkan keputusan untuk membentuk KONI sebagai pengganti DORI. Namun KONI versi ini tidak berjalan, karena belum didukung induk-induk cabang olahraga.
Musyawarah 31 Desember 1966
Titik pentingnya terjadi pada 31 Desember 1966. Organisasi induk cabang olahraga bermusyawarah di Jakarta dan membentuk KONI. Pembentukan oleh cabang olahraga inilah yang tetap menjadi ciri KONI hingga sekarang.
Presiden Soeharto kemudian mengukuhkannya melalui Keputusan Presiden Nomor 57 Tahun 1967. Pengaturannya diperbarui lewat Keputusan Presiden Nomor 43 Tahun 1984, lalu Keputusan Presiden Nomor 72 Tahun 2001.
Kini
Saat ini, dasar hukum utama keolahragaan nasional adalah Undang-Undang Nomor 11 Tahun 2022 tentang Keolahragaan, yang menggantikan undang-undang tahun 2005. Di dalamnya tetap tercantum prinsip yang sama: komite olahraga nasional dibentuk oleh induk organisasi cabang olahraga.