Make docs compile again

With newer versions oF packages such as texinfo and Perl, the
documentation no longer compiled. Fixed various issues, and
removed dvi and ps from default output formats, since software
to generate them is becoming less widely available.

Updates for new version of qemu

Use new isa-debug-exit device for shutdown, switch name to
qemu-system-i386.

Fsutil_ls must close the directory after reading it

Patches to make Bochs 2.6.2 work with Pintos

(patches provided by David Mazieres).

Fixes exec-bound-3 failures

The boundary position wasn't being properly chosen (must ensure that
the dst array in boundary.c is always in the last page of the .bss
segment).

Fixed typo in docs Section 3.1.4.1 (0x08084000 => 0x08048000)

Remove mention of CS 107 from  localsettings.texi

Switch docs to use Git instead of CVS by default

Also a few minor changes to localsettings.texi.

Added more userprog tests, mostly relating to boundary conditions
involving invalid pages (e.g., position system call opcode with first
bytes in a valid page and remaining bytes in a nonexistent page).

Minor documentation updates

Fixed typos and obsolete info, removed Stanford dependencies.

Fix userprog tests for clang

Recent clang version, detect attemps to dereference or call NULL, and
eliminate the code.

../../tests/userprog/bad-read.c:11:9: warning: indirection of
non-volatile null pointer will be deleted, not trap [-Wnull-dereference]
        *(int *) NULL);
        ^~~~~~~~~~~~~

This patchs adds the volatile modifier as necessary.
It allows to use clang to compile the tests.

Add ACPI shutdown sequence

On QEMU emulator version 1.7.0, the previous shutdown sequence (writing
`shutdown` to 0x8900), is not working properly.

This patch adds support for the ACPI shutdown code which works on qemu
1.7.0 and preserves the old sequence for compatibility.

utils/Makefile: Use LOADLIBES instead of LDFLAGS to link the math library.

Matthew Pirocchi <mrpirocchi@email.wm.edu>, via John Ousterhout
<ouster@cs.stanford.edu> reports that this fixes a problem on his system.

Fix gcc inline assembler operand constraints for syscall -- as pushl modifies %esp, variable operands must not reference the stack pointer.

Without this patch, gcc-4.6.1-9ubuntu3 miscompiles the read syscall to:
  000000b6 <read>:
    b6:   ff 74 24 0c             pushl  0xc(%esp)
    ba:   ff 74 24 08             pushl  0x8(%esp)  ; [!]
    be:   ff 74 24 04             pushl  0x4(%esp)  ; [!]
    ...

Fix boot under Bochs when Pintos is compiled with recent GCC.

When compiled according to the instructions, bochs fails to load
the project 1 kernel.  This seems to be due to the latest gcc using an
instruction that bochs is not compiled to support.  Adding the
'--enable-cpu-level=6' configure option to Bochs, as this commit does,
seems to work.

Fix Bochs build with recent GCC.

bochs-2.2.6 failed to compile with the latest version of gcc.  This commit
fixes the problem

bitmap: Fix mistakes in comments.

Reported by a student of Borja Sotomayor <borja@cs.uchicago.edu>.

Makefile: Use $(MAKE) instead of plain 'make'.

This allows make to pass the proper command line arguments to the sub-make.

thread: Do not disable interrupts unnecessarily while initializing stack.

Reported by Francis Russell <fpr02@doc.ic.ac.uk>.

thread: Properly protect 'all_list' around insertion.

Reported by Francis Russell <fpr02@doc.ic.ac.uk>.

squish-pty: Flush buffered data from pty to stdout when pty's slave closed

When the slave side of the pty is closed, the "read" system call returns
EIO.  In this situation, squish-pty failed to flush any output that it
already had in its buffer (up to 16 bytes) to stdout.  This could cause
the "Powering off..." message printed by Pintos just before exiting to
be missing from the output.

This usually didn't happen, because there are two other exit paths from
the relay() function that does most of squish-pty's work.  The most common
exit path was (evidently) the one which detected that the child process
had died, which did properly flush the buffer.  (The third path was wrong
too, and this patch fixes that one too.)

This patch fixes the problem by using a single exit path from relay() that
always reads any remaining input from the pty (if it is open) and flushes
it to stdout.

Reported by Borja Sotomayor <borja@cs.uchicago.edu>.

free-map: Replace U+00A0 "hard spaces" by ordinary ASCII spaces.

Reported by Borja Sotomayor <borja@cs.uchicago.edu>.

block: Avoid accessing past the end of the block_by_role array.

Make.config: Use a different method to detect --build-id support.

Some versions of ld accept /dev/null as a valid input file.  Others will
not.  The latter versions will give false negatives for --buil-id support,
which breaks linking of Pintos userspace programs.  So use a different
method, that I hope will be more reliable, to detect --build-id support.

Reported by Joseph Huang <jdhuang@stanford.edu>.

pintos: Make sure to print buffered data at end of input.

Here, $buf might have some data in it that has not yet been printed, but
we were discarding it (and trying to read more) without printing it.

(In Perl, "do" ensures that the inner block runs at least once; without
"do" the condition is evaluated first.)

doc: Fix references to power_off() to refer to correct function and file name.

Reported by Nathaniel Hardison <hardison@stanford.edu>.

Support newer versions of QEMU, which do not have the -no-kqemu option.

Thanks to David Mazieres for reporting the problem and the fix.

Fix typo in comment describing free_map_allocate().

Thanks to Godmar Back for reporting the problem and for the fix.

Use round-toward-0 instead of round-to-nearest in fixed-point example.

Rounding to nearest raises a host of issues that we don't want students
to worry about.

Suggested by Godmar Back.

Remove unnecessary optimization barrier.

The compiler can't optimize out the load of "ticks" here because
it can't look into intr_disable() and intr_set_level() and know that
they don't modify "ticks".

Thanks to Martin <mfleener@stanford.edu> for pointing this out.

Print a message instead of panicking upon an unexpected interrupt.

We cannot expect that we know in detail ever interrupt that can occur
on real hardware, so we must cope with exceptional cases a little
better.

Avoid long pauses on serial timeout on boot on physical hardware.

The Pintos loader writes status to the serial port as well as the
VGA console, but this doesn't work out so well on at least some
real hardware when nothing is connected to the serial port: each
character can take a second or so to display because the BIOS
waits for a serial timeout each time.  So, on the first serial
timeout, replace the "int $0x14" call by a pair of no-ops.

The rest of the changes are part of the struggle not to exceed
the maximum loader size.

Remove MIT copyright notice and license.

Pintos used to contain a loader and I/O functions derived from MIT
code, but this has now been entirely eliminated, so there is no
longer any reason to retain the MIT copyright notice or license.

Rewrite the I/O port code.

The contents of these functions was derived from code used in the
Massachusetts Institute of Technology's 6.828 advanced operating
systems course.

I deleted the contents of these functions and then rewrote them from
scratch without reference to the earlier code, working only from the
function comments (which I wrote earlier).

added section "Accessing User Memory", including explanation of why
pinning is necessary
added FAQ for why stack growth may cause page faults above stack pointer
minor edits to other sections

fixed backtrace to work with -O (now conforms to
http://gcc.gnu.org/onlinedocs/gcc/Return-Address.html )

added btthreadall to dump all threads
added loadusersymbols to load user symbols from file
updated documentation to reflect behavior of qemu's and bochs's gdbstubs

Implement a proper block layer with partition support.

This is in preparation for introducing new block devices, in
particular USB storage-based block devices so that Pintos can boot
from USB memory sticks on notebook and desktop PCs.

This block layer was inspired by one from Anthony Romano
<chz@vt.edu> but it has been extensively (perhaps entirely) rewritten.
Thus, bugs must certainly be blamed on the committer.

Make backtraces slightly more reliable.

We now ignore pointers that are not null but still clearly wild.

We could check that there's really a valid PDE and PTE (I think Linux
does this) but it would take more code and be ugly.

Add PC speaker driver and connect it to '\a' in the VGA console.

Based on code from Anthony Romano <chz@vt.edu> but with extensive changes.

Rename ram_pages to init_ram_pages.

This makes it conform to the Pintos convention that a global symbol name
begin with its module's name.

Get rid of power_off_when_done global variable.

This global variable was not named according to the convention that a
global variable name start with its module name.  Furthermore, its usage
was somewhat scattered across the source tree.

This commit introduces new functions shutdown() and shutdown_configure()
to improve the situation.

Remove prototypes for removed functions power_off(), reboot().

Ignore files produced by "makeinfo".

Mark shutdown_reboot() and shutdown_power_off() as NO_RETURN.

Also, make shutdown_reboot() actually behave that way, by trying to reboot
forever instead of giving up after some number of tries.

Allow Bochs users to reboot by clicking the "user" button.

The "user_shortcut" Bochs option allows specifying a key combination to
send to the VM when the user clicks on the "user" button in the Bochs
headerbar.

From Godmar, crossported from his usb-integration-aug08 branch.

Terminate the backtrace that debug_backtrace() would output.

From Godmar, crossported from his usb-integration-aug08 branch.

Use 9600 bps for Pintos serial, to match the speed used by the loader.

It is important that Pintos and its loader use the same serial speed, so
that a terminal program connected to a serial port can be set to a sane
speed.  The ideal choice would be 115200 bps, for maximum speed, but the
Pintos loader uses the BIOS to do serial output, and the BIOS supports a
maximum speed of 9600 bps.

From Godmar, crossported from his usb-integration-aug08 branch.

Move reboot() and power_off() to new file, and rename to fit convention.

added note regarding console lock

Correct comment describing list_remove() behavior.

Thanks to Godmar for pointing out the problem.

Add FAQ item to explain doubled test names in output.

Suggested by Godmar.

Eliminate user_page_limit global symbol.

The name "user_page_limit" did not follow the naming convention, which
stated that its name should start with palloc_ since it is defined in
palloc.c.  But it was only used in one function, so it was better off
as a function parameter anyhow.

Found by Godmar with his process-linker-map.pl.

Don't make interrupt stubs global symbols.

The stubs are only referenced within intr-stubs.S so there is no reason
for them to be exported.

Found with Godmar's process-linker-map.pl.

Rename base_page_dir to init_page_dir.

This makes its name fit the convention that the file name is used as
a prefix for global symbol names.

Found by Godmar with his process-linker-map.pl script.

Rename schedule_tail() to thread_schedule_tail().

This makes its name fit the convention that the file name is used as
a prefix for global symbol names.

Found by Godmar with his process-linker-map.pl script.

Make kernel_pool, user_pool static, since they are used only in palloc.c

Found by Godmar with his process-linker-map.pl.

Rename .cvsignore files to .gitignore.

removed trailing whitespace

clarified specification for wait() system call

added documentation for thread_foreach functions

Always make the scratch disk an even multiple of a cylinder in size.

The pintos script tried to do so before but "print" and "syswrite"
are buffered differently and interfere with one another.

Thanks to Karan Misra <kmisra@stanford.edu> for pointing out the
problem and confirming the solution.

- added thread_foreach
- added debug_backtrace_all
- updated P1 solution to take advantage of this new code

removed 'address' option for Bochs.
It makes Bochs > 2.2.6 fail with "[MEM0 ] ROM: System BIOS must end at 0xfffff"
and, according to http://www.nabble.com/Strange-error-message-when-bringing-up-a-CVS-build-td7532679.html
isn't even necessary for 2.2.6

cleaned up comments for reboot code and adopted GNU coding standards

Reboot when Ctrl+Alt+Del is pressed.

Suggested by Anthony Romano.
Implementation with assistance from and reviewed by Godmar Back.

Improve comments.

Suggested by Godmar Back.

New option -r to reboot the VM after actions are complete.

From Godmar Back, with minor tweaks.

Use standard POSIX "ustar" format for the scratch disk.

This should make it easier to work with scratch disks directly,
instead of through the "pintos" script.

With naming suggestion from Godmar Back.

RTC support.

Adapted from Anthony Romano's patch with the following changes:

        * Style adjusted to fit rest of Pintos.

        * Don't modify the RTC registers.  It shouldn't be necessary.
          We shouldn't need any initialization in fact.

        * Drop rtc_set_time stub.

        * Do handle time advancing while reading the RTC registers in
          rtc_get_time, using the strategy from Linux.

        * Fix leap year handling: adding (year / 4) * 24 * 60 * 60 is
          wrong for first 2 months of a leap year; the test (year & 4)
          should be (year % 4).

        * Simplify month code.

        * Drop enable_rtc_int, disable_rtc_int, rtc_updating that are
          not needed.

        * Update documentation.

Use macros for 8259A PIC registers, instead of writing them literally.

Based on patch from Anthony Romano <chz@vt.edu>, so update authorship
information given that Anthony is going to be contributing quite a
bit.

Use --build-id=none to avoid build-id sections on FC8.

These build-id sections cause the Pintos ELF loader to reject
binaries.  The preferred way to eliminate them would be to add
/DISCARD/ : { *(.note.gnu.build-id) }
to the linker script, but (as reported by Godmar Back) this causes a
segmentation fault in ld, as reported in a bug filed at:
http://sourceware.org/bugzilla/show_bug.cgi?id=5025

Fix asm constraints to avoid SI, DI for byte and word access.
Thanks to Ed Lyle Karrels <karrels@stanford.edu> for reporting the
problem.

Fix bug in --sim and --debug options reported by Bob Lantz.

Specify rounding for priority calculations.

Pointed out by Ed Karrels <karrels@stanford.edu>.

No longer recommend SourceForge.

Really it seems like a bad idea for students.

Make recent Texinfo accept devel.texi.

Wording improvements, from "Valentin I. Spitkovsky"
<vspitkovsky@yahoo.com>.

Reference to threads/exception.c should be to userprog/exception.c.

Thanks to Matt Jones <mkjones@stanford.edu> for reporting this bug.

Explain why a null pointer sentinel must be pushed on the stack.
From Valentin I. Spitkovsky <vspitkovsky@yahoo.com>.

Grammar fixes.
From Valentin I. Spitkovsky <vspitkovsky@yahoo.com>.

Use -fno-stack-protector with GCC versions that support it, to fix a
linker error on platform on which -fstack-protector is default, such
as recent versions of Ubuntu.

Fix typos.

Reported by Valentin I. Spitkovsky <vspitkovsky@yahoo.com>.

Fix reversal of "acquire" and "release" in Locks section.

Reported by Valentin I. Spitkovsky <vspitkovsky@yahoo.com>.

- moved all instructions that related to local CVS/group setup in localcvsinstructions.texi
- added variables recommendsourceforge, recommendvnc, and recommendcygwin to include/exclude
  recommendations to use sourceforge, VNC, and Cygwin, resp.

- add localsettings.texi which contains Stanford-local macros and variables
- threads.texi - removed comment about being welcome to implement priority donation for semaphores
- vm.texi - added FAQ about how to resume.  It truely is a FAQ, at least here at Tech.
- debug.texi - updated Bochs build instructions

added IGNORE_USER_FAULTS clause to match specification

fixed typo: "pass" should be "fail"

Clean some more files.

Fix warning.

Correctly initialize the esp0 pointer in the TSS for the initial
kernel thread.  Shouldn't actually matter in practice, because that
pointer is only used on a user->kernel transition, and the initial
kernel thread never runs a user process.

Reported by Godmar Back.

Ignore tags and cscope files.

Improve comment on thread_unblock().
Suggested by Godmar Back.

Fix bugs in -j and -r options reported by Godmar Back.

Fix bug in jitter reported by Godmar Back (BIOS wouldn't finish
initializing).

Fix specification of "write" system call to match the file system
implementation and the tests.

Describe cscope.

Delete question about pwd.c program, as agreed with Godmar earlier.

Improve wording.
From Godmar Back.

Explain the semantics of exec in more detail.
From Godmar Back.