

In 1938, op vijftienjarige leeftijd, reisde hij naar Japan om opgeleid te worden als piloot. Overleven op zichzelf op die leeftijd bleek lastiger te zijn dan gedacht, vooral als Koreaan in Japan, en zijn interesse in de pilotentraining zakte langzaam af. In zijn vrije tijd trainde hij in judo en boksen.
Nadien begon hij Shotokan karate te trainen bij Gigo Funakoshi, de zoon van beroemde karatemeester Gichin Funakoshi. Na het overlijden van Gigo Funakoshi trainde hij bij Gichin Funakoshi zelf, bij wie hij twee jaar trainde. Daarna verliet hij Shotokan karate, omdat Oyama vond, dat deze stijl te weinig effectief zou zijn.
Vervolgens ging hij Goju-ryu karate trainen bij de Koreaanse meester So Nei Chu, die ook in Japan woonde en een leerling was van Gogen Yamaguchi.

Nadat Japan de Tweede Wereldoorlog verloren had, heerste er chaos in het land en was er een schrijnend tekort aan levensmiddelen en banen. Ook Oyama kreeg hiermee te maken, wat hem bijna wanhopig maakte. Gelukkig kreeg hij hulp van zijn leraar So Nei Chu, die hem het advies gaf om zich in eenzaamheid terug te trekken en zijn lichaam en geest te trainen.
Aldus, trok Oyama naar de berg Minobu, gelegen in de prefectuur Chiba, en begon daar een geharde solotraining in karate. Zijn training bestond onder meer uit kihontraining, zenmeditatie, onder koude watervallen kata's beoefenen, rivierstenen met zijn blote handen breken, bomen te gebruiken als stootpaal en over snelgroeiende vlasplanten springen.



Oyama had het boek 'Musashi' meegebracht, dat gebaseerd is op het leven van samoerai Miyamoto Musashi, die hij als inspiratiebron gebruikte bij zijn trainingen.
Oyama werd bekend bij het grote publiek door de vele vechtdemonstraties, die hij met stieren hield, waarbij de horens van de stieren met zijn blote handen afhakte. Ook maakte hij een rondreis door Amerika, waar hij demonstraties gaf en hij met vele uitdagers vocht.
Oyama was er bekend om, dat hij uitdagingen niet uit de weg ging en hij daagde zelf ook vechtkunstenaars uit. Ze boden immers voor hem een mogelijkheid om zijn gevechtsvaardigheden in de praktijk uit te testen. Zo kon hij zijn eigen vaardigheden steeds verder aanpassen en verbeteren.

- Kyoku = het uiterste.
- Shin = waarheid.
- Kai = samenwerken.
- Kan = gebouw,
