日本现存最早的史书是成书于712年的《古事记》和720年的《日本书纪》（都是中国唐玄宗时期）。前者的风格更近于民间传说，可信度较低，而后者可算是日本第一部正史。据两书记载，日本的第一代天皇是神武天皇，他是天照大神后裔，降生于高天原，从九州东征大和，于公元前660年建立了统一的日本国家，此后天皇血脉代代相传至今。然而，此故事近乎神话，真实性无法确定。有人认为神武天皇即是秦始皇派遣东渡的徐福，也有人认为他是吴越后裔，但都缺乏证据。

据现代考古研究，大约3万年前就有智人到达日本，当时日本列岛与大陆相连。距今约1.4万年前，由于海面上升，日本列岛与大陆断开。此后长期与大陆缺乏交流，文明发展极慢，称为“绳文时代”（因制作的陶器上有绳状纹路而得名）。大约从距今3000年前（中国西周）开始，很可能有中国居民渡海来到日本，使日本开始大范围种植水稻，称为“弥生时代”。这时日本并未掌握铜矿冶炼技术，但已有中国产的青铜兵器出现，想必亦是由移民携带而来。——从分子人类学的Y染色体DNA分析来看，现代日本人中D型和O2、O3型的比重都相当高，可能是O型的弥生移民与D型的绳文原住民长期混血的结果。此后日本不断学习中国文化，在数百年里完成了从石器时代到铁器时代的飞跃，学会了炼铁、养蚕、织布、酿酒等技术。另外，不知何时开始，日本也发展出自己的宗教，是一种多神崇拜的原始信仰，后来被称为神道教。神道教与天皇祖先的传说结合起来，历经数千年沧桑，经过佛教和基督教的冲击，今天仍是日本民众的主流信仰。

大约从250年开始，日本出现了一些巨大的古坟，并且有很多保留至今。最大的大仙陵古坟占地46万平方米，大约是秦始皇陵的两倍。如此规模的陵墓意味着当时已经出现相当强大的统治力量，然而由于日本禁止发掘天皇陵墓，我们无法考古探寻其中的真相。在这一时期，日本也第一次出现在文明信史之中：据陈寿（233~297年）所编的《三国志·魏书》记载，从狗邪韩国（今韩国）渡海经过对马国（今对马岛）可到倭人所居的邪马台国（即“大和”，发音为Yamato），其统治者是一位女王卑弥呼。《魏书》对倭人生活风俗的描绘相当可靠，但唯有卑弥呼女王，在日本史书中没有任何记载，成为一个千古之谜。

大化改新

《三国志》之后又过了约三百年，日本的历史记载才进入相对可信时期。据《日本书纪》，倭国一度占据了朝鲜半岛南端的任那地区。541~562年间，倭国的钦明王与朝鲜半岛上的百济国联合攻击新罗国，却被新罗打败，丢失了任那。日本侵占朝鲜的首次尝试遭到失败。然而，这一联盟产生了另一个后果，佛教从百济传入倭国。

这时的倭国实行由世袭豪族联合执政的“三权分立”制度：大君（王族）是祭祀之主，地位最高，但并不掌握实权；大臣是行政最高长官，由苏我氏世袭；大连是军事长官，由物部氏世袭。佛教传入后，崇佛的苏我氏与反佛的物部氏发生冲突。587年，作为钦明王外戚的大臣苏我马子兴兵消灭物部氏，从此终结大连之位。苏我马子进而推举自己姐姐与钦明王所生之女继位，称为推古天皇（日本史上第一位女天皇，592~628年在位）。推古天皇并不实际执掌政事，委任其侄子（也是苏我马子的外甥）厩户王子摄政。厩户王子执掌国家近30年（593~622年，隋朝时期），学习中国制度，对国家体制进行了大量改革，定国名为“日本”，改“大君”称号为“天皇”，意图建立以天皇为核心的中央集权。他还大力弘扬佛法，兴建了大阪的四天王寺。厩户王子奠定了日本国家的基础，因而被后世称为“圣德太子”。

推古天皇和圣德太子先后去世后，苏我氏张扬跋扈，架空皇室。645年，皇室中大兄皇子（后成为天智天皇）联合贵族中臣镰足（后赐姓藤原）发动政变，刺杀了掌权的苏我入鹿，其父苏我虾夷被逼自杀。皇室重新掌握政权。646年，孝德天皇发布《改新之诏》，废除贵族世袭特权，将土地、军队一律收归国有，贵族拥有的部民成为国家公民。这使得日本真正成为中央集权的封建国家，史称“大化改新”。同时，天皇还发布了“薄葬令”，日本的修坟风俗从此终止。