یک فلسفه‌ی مهم در ایجاد زبان برنامه‌نویسی جاوا این بوده است که «یک بار کد بنویسید، همه جا اجرا کنید». به عبارت دیگر، هدف سازندگان این زبان آن بوده است که برنامه‌ای که می‌نویسید، در تمام سیستم‌ها به‌طور یکسان اجرا شود.
برای اینکه این هدف محقق شود، سازندگان جاوا اقدام به ایجاد ماشین مجازی جاوا کرده‌اند. ماشین مجازی جاوا به‌عنوان لایه‌ای جداگانه روی سیستم عامل واقع می‌شود و بستر یکنواختی برای اجرای بایت‌کد جاوا در تمام سیستم‌ها فراهم می‌آورد. به عبارت دیگر، ماشین مجازی جاوا رابط بین بایت‌کد جاوا و سیستم عامل است. از آنجا که جاوا روی سیستم‌های مختلفی از ویندوز و لینوکس گرفته تا موبایل و تلویزیون و دستگاه‌های دیگر اجرا می‌شود، طبیعی است که نیاز به ماشین مجازی داریم تا در تمام این سیستم‌ها بتواند بستر یکسانی را برای اجرای برنامه‌های جاوا فراهم سازد.
در ابتدای پیدایش زبان جاوا تا چند سال سرعت اجرای برنامه‌های جاوا نسبت به برنامه‌های بومی نسبتاً پایین بود که یک دلیل آن قرار گرفتن ماشین مجازی جاوا به‌عنوان یک لایه‌ی اضافی بین کد ماشین برنامه و سیستم عامل بود. اما امروزه با پیشرفت بیشتر ماشین مجازی جاوا و استفاده از روش‌های بهینه‌سازی در کمپایلر، سرعت برنامه‌های جاوا تقریباً در حد برنامه‌های بومی بالا رفته است.