Theo thần thoại Nhật Bản trong Cổ Sự Ký (Kojiki) viết vào đầu thế kỷ thứ 8, thuở ban sơ, vũ trụ chưa có hình thù. Có tới tám trăm vạn thần linh, sống ở trên Cánh Ðồng Trời, từ đó nhìn xuống chỉ thấy bóng tối, sương mù và nước. Hai vị thần trong tuổi thanh xuân là chàng Izanagi và nàng Izanami nhận nhiệm vụ làm cho mặt đất đi theo đời sống mà sinh sôi nẩy nở. Họ bước qua Thiên Phù Kiều là chiếc cầu nối trời và đất, quậy sóng cho kết đọng lại mà thành đảo Onogoro và xuống đó, đây là sáng tạo đầu tiên của họ. Họ bắt tay dựng trụ trời và xây nhà trên quê hương mới.
Rồi hai vị thần trẻ quên mình là thần linh, sống như con người, kết hôn với nhau sinh “con” đầy đàn là những đảo khác tạo thành quần đảo Nhật Bản ngày nay. Rồi Izanagi sinh ra thần Mặt Trời (Amaterasu) là nữ thần nhan sắc và ánh sáng (tượng trưng cho phụ nữ Nhật) từ mắt trái, thần Mặt Trăng (Tsukiyomi) từ mắt phải và thần Bão (Susanoo) từ mũi của mình.
Sau đó, nữ thần Mặt Trời phái cháu trai của mình là Ninigi giáng thế, chinh phục vùng Izumo. Ninigi gặp và lấy con gái xinh đẹp của thần Oyamatsumi sinh ra hai con trai là Hoderi và Hoori. Hoori sau lấy công chúa Thủy Cung Toyotama sinh được một con trai. Người con trai này lấy em gái của Toyotama sinh ra bốn hoàng tử, họ chinh phục xứ Yamato. Sau khi các anh chết, hoàng tử út lên ngôi xưng là Thiên Hoàng Jinmu, đó là vị vua đầu tiên trong 125 đời vua của dòng họ Nhật Hoàng trị vì cho tới ngày nay.
Hiện vẫn chưa có cơ sở khoa học chắc chắn về xuất xứ và thời gian xuất hiện những cư dân đầu tiên trên quần đảo Nhật Bản. Tuy nhiên, hầu hết các học giả đều cho rằng họ đã có mặt tại quần đảo từ xa xưa và định cư liên tục từ đó cho đến thời nay. Những phát hiện trong nghiên cứu cổ vật, xương… đã củng cố thêm sự nghi ngờ đối với thuyết trước kia cho rằng người Nhật là con cháu của những người xâm chiếm đến sau “thổ dân” Ainu và đã đẩy bộ tộc này ra khỏi quần đảo. Ngày nay, người ta tin rằng tổ tiên của người Nhật là những người đã làm nên đồ gốm mang tên Jomon. Những người này được biết là đã có mặt trên quần đảo ít nhất từ năm 5000 TCN, sau đó theo thời gian, pha trộn với các giống người khác, phát triển qua lịch sử thành dân tộc Nhật Bản ngày nay.
Ngôn ngữ và phong tục của người Nhật gồm những thành tố văn hoá của cả phương Bắc lẫn phương Nam. Dưới góc độ sử dụng và cú pháp, rõ ràng tiếng Nhật thuộc hệ thống ngôn ngữ Antai của các dân tộc phía Bắc lục địa châu Á, song trong từ vựng lại có nhiều từ gốc từ phía Nam. Trong các tập quán và tín ngưỡng, ta thấy các lễ nghi gắn với văn hoá trồng lúa nước vốn có nguồn gốc ở phía Nam; còn huyền thoại lập nước bởi vị thần – ông tổ của nòi giống – từ thiên đường xuống hạ giới thì có nguồn gốc ở phía Bắc. Vì vậy, người ta cho rằng dân cư ở đây có xuất xứ từ cả phương Bắc lẫn phương Nam đến quần đảo Nhật Bản từ thời tiền sử và qua một quá trình hoà trộn các chủng tộc dần dần tạo ra dân tộc Nhật Bản.
Những năm gần đây, các cuộc khai quật di tích khảo cổ ở nhiều khu vực khác nhau trên khắp đất nước cho thấy khả năng tồn tại của một nền văn hoá tiền đồ đất nung ở Nhật Bản trước văn hoá Jomon, có thể là thời đại đồ đá cũ.
Khảo sát các di chỉ thời kì đồ đá mới cho thấy văn hoá Jomon tồn tại từ khoảng năm 5000 TCN đến năm 200 TCN vốn là thời kì du mục săn bắt và hái lượm, sau đó là văn hoá Yayoi tồn tại từ khoảng năm 200 TCN đến năm 200, có thể đã được khởi đầu bằng một đợt di cư của cư dân từ lục địa đến và họ mang theo nền văn hoá định cư và trồng trọt. Vào khoảng cuối thế kỷ III đến cuối thế kỷ VI, nổi lên nền văn hoá được gọi là văn hoá Kofun (mộ cổ) do có đặc tính xây lăng bằng đất đồ sộ cho những người có vai vế trong các bộ lạc.
Từ cuối thời văn hoá Yayoi đến thời văn hoá Kofun là thời kì thực sự hình thành đất nước Nhật Bản. Văn bản ghi chép của Trung Quốc thời đó giúp ta có thêm thông tin về thời kì này, chẳng hạn, phần nói về nhà nước Yamatai và nữ hoàng Himiko có trong tư liệu “Về dân tộc Hoà” trong “Lịch sử thời nhà Vệ” của Trung Quốc.