山之口町は東経一三一度、北緯三一度、標高一六〇米、南九州の霊峰霧島連山を遥かに西に望む霧島盆地の北東部、鰐塚山系東岳(標高八三三米)の麓に東西九km、南北に十七kmと細長く広がりを見せています。

紀元前の当地域においては、大字山之口野上・六十田・大字花木川内周辺に縄文時代後期の物と思われる土器や石斧・石匙などが出土し、町内全域に弥生時代の土器片が散見されます。
古墳は原形を留めているものに県指定(昭和十一年)を受けている富吉地区「山之口古墳」一号、二号墳があります。
花木地区に王子山(現山之口小学校)、町総合運動公園を中心とし、鉄製刀子や勾玉を有する地下式横穴墓などが今までに発掘されています。
和銅三年(七一〇年)の創建と伝わる的野正八幡神社(旧圓野神社)では養老四年(七二〇年)の大和朝廷による隼人征討の故事から「放生会」が起り、後に「弥五郎どん祭り」といわれて今に伝えられています。(平成元年二月二十七日国の無形民俗文化財選択)
古代律令制下における当地域は諸県郡に属していました。
富吉地区では沢山あったとされる古墳跡に、囲まれる形で「新町原」と呼ばれる地名を残しています。
「延喜式」(延長五年完成の本)の日向駅路の中の「水俣駅」の跡ではとの説もあり、裏付けるような須恵器片などが出土しますが現在のところ比定はできていません。
中世においては三俣院(勝岡・山之口・高城・高木)に属しており「日向国図田帳写」(建久八年)によれば、島津荘一円荘の内、三俣院七〇〇町が見え、惟宗忠久(島津氏の祖)が地頭職として当地を支配しています。
南北朝期には、南朝方の将肝付八郎兼重が王子城・松尾城(山之口町)・月山日和城(高城町)等を拠点として北朝方の将畠山直顕・島津貞久等と戦っています。
この地を制した北朝方では福王寺領(山之口町六十田)を兵糧所として畠山氏の家臣土肥平三郎実重に与え、山之口城を修築させこの地の護としました。
土肥一族によりこの地は世襲されていましたが後は島津氏一族の統治下に置かれています。
明応の頃(一四九二年~)は島津氏は、都於郡(西都市)を拠点とし、西に勢力拡大をめざしていた伊東氏と領地争奪戦を繰り広げていましたが、講和条約により約四十年程伊東氏がこの地を支配しています。
天文元年(一五三二年)には旧領主であった北郷忠相(都城島津氏)により伊東氏は退けられ、以後は永く北郷氏の統治することが多くなりました。
文禄四年(一五九五年)には豊臣秀吉の命により都城領主北郷氏は、島津氏家臣伊集院忠棟(大隅鹿屋城主)と領地替となりこの地は伊集院氏の領するところとなりました。
豊臣秀吉が没(慶長三年八月)すると世相は一変し、翌年の慶長四年(一五九九年)には伊集院忠棟は京都伏見城内にて島津氏により殺されました。
このことが原因となり翌慶長五年には「庄内の乱」　(都城の乱)が起きました。霧島盆地内は騒然となり、当地においても山之口城を中心に激しい攻防戦が繰り広げられています。
不利な戦いを続けていた伊集院忠真(忠棟の子息)は徳川家康の勧告もあって都城領を明け渡すことになり、この地は再び北郷氏の領するところとなりました。

慶長十九年(一六一四年)には幕府より度重なる手伝普請にかり出された島津宗家(鹿児島)は経済的にひっぱくし、私領に対し「上知令」(領地の三分の一を献上)を出しました。
都城北郷氏は伊東氏との藩境である勝岡・山之口・高城の領地を上地したので以後本藩の直轄地となりました。
このことにより、当地は北郷氏の都城への引揚げと同時に鹿児島藩内各郷からの派遣郷士により統治されました。
元和元年(一六一五年)の山之口村への派遣郷士は七十五家であり、衆中特高は六四四石余であったと記録されています。
この年には徳川幕府二代秀忠の命による「一国一城令」が発せられ藩内の外城は鹿児島鶴丸城を一城のみ残し全て破却されました。
永い戦乱の中に堪えてきた山之口城も廃城となり、その後の政務は「地頭仮屋」にて執ることとなり、以後この府下郷士達が飫肥藩との藩境にあって代々要務を担ってきています。
この地には山之口村・花木村・富吉村の三ケ村があり三村を含め「山之口郷」と称していました。
寛永一四年(一六三七年)の島原の乱・明治十年(一八七七年)の西南戦争などにも山之口郷士は参戦しています。
明治四年(一八七一)の廃藩置県により鹿児島県に属し、同年に都城県・六年に宮崎県・九年には再び鹿児島県とめまぐるしく変わり、西南の役を経た同十六年の宮崎県再置により「宮崎県」が誕生し同県に属しました。
明治二十二年の町村制施行により、山之口・花木・富吉の三ケ村を合併して山之口村となりました。
昭和三十九年十一月三日の町制施行で「山之口町」が誕生し、
平成十八年一月一日に1市4町が合併し新都城市が誕生し現在に至っています。