Dimulai kira-kira pada tahun 1612, saat Shogun Tokugawa berkuasa dan menyingkirkan shogun sebelumnya dan menjadikan 500.000 orang samurai yang sebelumnya disebut hatomo-yakko (pelayan shogun) menjadi kehilangan tuan, atau disebut sebagai kaum ronin. dan banyak yang menjadi preman dan penjahat.
Untuk mengalahkan serangan ronin jahat, banyak kota kecil membentuk satuan yang bernama machi-yoko yang terdiri dari pedagang, pegawai dan penjudi, walaupun kurang terlatih namun ternyata mereka berhasil menggulung ronin, sehingga pada abad 17 mereka dianggap pahlawan. namun masalah menjadi rumit ketika kaum machi-yoko berubah menjadi preman. terdapat dua kelas dalam machi-yokko yaitu Bokuto (penjudi) dan Tekiya (pedagang).
Tekiya
Para Tekiya tetap pada jalurnya menjadi pedagang, namun mereka sering sekali memeras dan menipu pedagang lainya (non-Yakuza)
Bokuto
Awalnya mereka disewa oleh Shogun untuk berjudi melawan para pegawai konstruksi dan irigasi. Tindakan ini dilakukan agar gaji para pegawai konstruksi dan irigasi habis di meja judi dan tenaga mereka bisa disewa dengan harga murah.Jenis judi yang biasa dilakukan adalah menggunakan kartu Hanafuda dengan sistem permainan mirip Black Jack. Tiga kartu dibagikan dan bila angka kartu dijumlahkan, maka angka terakhir menunjukkan siapa pemenang, diantara sekian banyak kartu sial kartu berjumlah 20 adalah yang paling sering disumpahi orang, karena berakhiran nol. Salah satu konfigurasi kartu ini adalah kartu dengan nilai (8-9-3) yang dalam bahasa Jepang menjadi Ya-Ku-Za yang kemudian menjadi nama asal Yakuza.
Dari kaum Bakuto ini juga muncul tradisi menandai diri dengan (tato) disekujur badan (disebut irezumi) dan yubitsume (potong jari) sebagai bentuk penyesalan.
Pada awal pendudukan jepang ke cina, yakuza dimanfaatkan untuk mengambil tanah, hak monopoli dll. namun setelah penyerangan pearl habour, militer mengambil alih banyak peran. sehingga yakuza tenggelam.
Setelah Jepang menyerah, para anggota Yakuza kembali ke masyarakat. Muncul satu orang yang berhasil mempersatukan seluruh organisasi Yakuza. Orang itu adalah Yoshio Kodame, seorang eks militer dengan pangkat terakhir Admiral Muda (yang dicapainya di usia 34 tahun). Yoshio Kodame berhasil mempersatukan dua fraksi besar Yakuza, yaitu Yamaguchi-gumi yang dipimpin Kazuo Taoka, dan Tosei-kai yang dipimpin Hisayuki Machii. Yakuza pun bertambah besar keanggotaannya terutama di periode 1958-1963 saat organisasi Yakuza diperkirakan memiliki anggota 184.000 orang atau lebih banyak daripada anggota tentara angkatan darat Jepang saat itu. Yoshio Kodame dinobatkan sebagai godfather-nya Yakuza.
Yoshio Kodame
Yamaguchi-gumi
Hisayuki Machii
Tosei-kai
Bisnis yang dijalankan yakuza berupa obat2an terlarang, perdagangan senjata, prostitusi, pornografi, pemerasan, hingga penyelundupan senjata dan pachinko yang merupakan tulang punggung bisnis mereka.
