Sí: aún recibirás notificaciones de correos nuevos incluso si la aplicación no se está ejecutando. Estas se llaman notificaciones push.
Si el push instantáneo está disponible para una cuenta dada depende de la propia cuenta: no se ofrece para cuentas POP3, algunos proveedores lo desactivan para sus propios servidores, y en Android solo se ofrece para cuentas en las que iniciaste sesión a través de la página de inicio de sesión del proveedor en lugar de con una contraseña. Donde el push instantáneo no está disponible todavía puedes usar Recuperación frecuente (Frequent Fetch), que comprueba el correo nuevo según un horario. Consulta métodos de notificación.
Para más información sobre Notificaciones toca Aquí