Document threads tests that may fail under jitter

fsutil: Fix writing end-of-archive marker.

This code was supposed to write two sectors but instead it wrote the same
sector twice.

Thanks to Grant A Shurtz for reporting this bug.

Revert "Adjust p2.patch and p3.patch so that threads kernel still builds"

This reverts commit 8fc07451352c571d93373c4db8657fdcb86057aa.
The commit breaks tests in vm.

Adjust p2.patch and p3.patch so that threads kernel still builds
Signed-off-by: W. Michael Petullo <mike@flyn.org>

Fix link errors with GCC 10 and binutils 2.34 on Fedora
Fix the following compile errors:

ld: ... multiple definition of `fs_device'; ... first defined here

and

ld: ... multiple definition of `test_name'; ... first defined here.

These seem to result in a change in how GCC and the linker handle strong
and weak symbols.

Signed-off-by: W. Michael Petullo <mike@flyn.org>

Fix ld output with recent versions of GCC and binutils
Recent versions of GCC and binutils produce programs that make use of
"Secure COde Partitioning (SCOP)" as indicated by ld's separate-code flag.
SCOP adds an additional ELF segment that bears read, but not execute,
permissions, and Pintos is unable to load programs laid out in this way.
For instance, the version of ld on Fedora 31+ seems to break Pintos'
program loading by generating ELFs with the following layout:

$ readelf -l halt

Elf file type is EXEC (Executable file)
Entry point 0x80480cb
There are 4 program headers, starting at offset 52

Program Headers:
  Type           Offset   VirtAddr   PhysAddr   FileSiz MemSiz  Flg Align
  LOAD           0x000000 0x08048000 0x08047000 0x000b4 0x000b4 R   0x1000
  LOAD           0x0000c0 0x080480c0 0x080480c0 0x02699 0x02699 R E 0x1000
  LOAD           0x00275c 0x0804b75c 0x0804b75c 0x00018 0x00019 RW  0x1000
  GNU_STACK      0x000000 0x00000000 0x00000000 0x00000 0x00000 RW  0x10

 Section to Segment mapping:
  Segment Sections...
   00
   01     .text .rodata .rodata.str1.4 .rodata.str1.1
   02     .data .bss
   03

The failure follows from Pintos trying to load two segments (00 and
01) at the same address. The failure happens when process.c's load()
tries to load the second segment by calling load_segment(), which calls
install_page().

Passing noseparate-code to ld reverts to the following ELF layout,
and this fixes the problem.

Elf file type is EXEC (Executable file)
Entry point 0x80480ab
There are 3 program headers, starting at offset 52

Program Headers:
  Type           Offset   VirtAddr   PhysAddr   FileSiz MemSiz  Flg Align
  LOAD           0x000000 0x08048000 0x08048000 0x02739 0x02739 R E 0x1000
  LOAD           0x00273c 0x0804b73c 0x0804b73c 0x00018 0x00019 RW  0x1000
  GNU_STACK      0x000000 0x00000000 0x00000000 0x00000 0x00000 RW  0x10

 Section to Segment mapping:
  Segment Sections...
   00     .text .rodata .rodata.str1.4 .rodata.str1.1
   01     .data .bss
   02

Signed-off-by: W. Michael Petullo <mike@flyn.org>

timer: Fix timer calibration logic.

loops_per_tick calculation should get updated with loops_per_tick, not with
high_bit.

Fix problems compiling documentation
* Two warnings (deprecated regex syntax)
* One error (couldn't find pintos-t2h.init without "./" prefix)

doc: Fix typo.

Fixed a type in the Guide, Section E.5 , Subsection E.5.1 Using GDB,

On newer systems -ltinfo needs to be explicitly added to the link flags

Modify the linker script to match the generated binary

Newer versions of GCC (tested with GCC 7), emit more sections in the
binary. Fix the computation of the start of the BSS section to prevent
zeroing out parts of the data section

doc: Use texi2pdf instead of pdftex.

This automatically reruns pdftex if necessary, to make sure that references
are correct.

Reported by David Eck <eck@hws.edu>.

pintos: Avoid apparent name collision in definition of SIGALRM subroutine.

Without this patch, modern versions of Perl issue the following warnings:

    Prototype mismatch: sub main::SIGVTALRM () vs none at
    .../src/utils/pintos line 188.
    Constant subroutine SIGVTALRM redefined at
    .../src/utils/pintos line 180.

Changing the name of the function avoids the warning.

Thanks to Geoffrey Knopf for reporting this problem.

pintos: Avoid literal control character in Perl variable name.

Modern versions of Perl prefer a caret in variable names over literal
control characters and issue a warning if the control character is used.
This fixes the warning.

pintos: Fix undefined value warning from Perl on read error.

When sysread encounters an error, it returns undef, which yields a warning
when compared against 0.  This fixes the problem.

Clarified wording in design question A2 for vm

(Old wording could result in answers other than the desired one)

Make docs compile again

With newer versions oF packages such as texinfo and Perl, the
documentation no longer compiled. Fixed various issues, and
removed dvi and ps from default output formats, since software
to generate them is becoming less widely available.

Updates for new version of qemu

Use new isa-debug-exit device for shutdown, switch name to
qemu-system-i386.

Fsutil_ls must close the directory after reading it

Patches to make Bochs 2.6.2 work with Pintos

(patches provided by David Mazieres).

Fixes exec-bound-3 failures

The boundary position wasn't being properly chosen (must ensure that
the dst array in boundary.c is always in the last page of the .bss
segment).

Rubric updates from Winter 2013 CS 140 at Stanford

Fixed typo in docs Section 3.1.4.1 (0x08084000 => 0x08048000)

Updates to grading rubrics

(make grading a bit kinder and gentler)

Remove mention of CS 107 from  localsettings.texi

Switch docs to use Git instead of CVS by default

Also a few minor changes to localsettings.texi.

Updated sample solutions to correspond with current code.

Added more userprog tests, mostly relating to boundary conditions
involving invalid pages (e.g., position system call opcode with first
bytes in a valid page and remaining bytes in a nonexistent page).

Minor documentation updates

Fixed typos and obsolete info, removed Stanford dependencies.

Fix userprog tests for clang

Recent clang version, detect attemps to dereference or call NULL, and
eliminate the code.

../../tests/userprog/bad-read.c:11:9: warning: indirection of
non-volatile null pointer will be deleted, not trap [-Wnull-dereference]
        *(int *) NULL);
        ^~~~~~~~~~~~~

This patchs adds the volatile modifier as necessary.
It allows to use clang to compile the tests.

Add ACPI shutdown sequence

On QEMU emulator version 1.7.0, the previous shutdown sequence (writing
`shutdown` to 0x8900), is not working properly.

This patch adds support for the ACPI shutdown code which works on qemu
1.7.0 and preserves the old sequence for compatibility.

utils/Makefile: Use LOADLIBES instead of LDFLAGS to link the math library.

Matthew Pirocchi <mrpirocchi@email.wm.edu>, via John Ousterhout
<ouster@cs.stanford.edu> reports that this fixes a problem on his system.

Fix gcc inline assembler operand constraints for syscall -- as pushl modifies %esp, variable operands must not reference the stack pointer.

Without this patch, gcc-4.6.1-9ubuntu3 miscompiles the read syscall to:
  000000b6 <read>:
    b6:   ff 74 24 0c             pushl  0xc(%esp)
    ba:   ff 74 24 08             pushl  0x8(%esp)  ; [!]
    be:   ff 74 24 04             pushl  0x4(%esp)  ; [!]
    ...

Fix boot under Bochs when Pintos is compiled with recent GCC.

When compiled according to the instructions, bochs fails to load
the project 1 kernel.  This seems to be due to the latest gcc using an
instruction that bochs is not compiled to support.  Adding the
'--enable-cpu-level=6' configure option to Bochs, as this commit does,
seems to work.

Fix Bochs build with recent GCC.

bochs-2.2.6 failed to compile with the latest version of gcc.  This commit
fixes the problem

bitmap: Fix mistakes in comments.

Reported by a student of Borja Sotomayor <borja@cs.uchicago.edu>.

Makefile: Use $(MAKE) instead of plain 'make'.

This allows make to pass the proper command line arguments to the sub-make.

thread: Do not disable interrupts unnecessarily while initializing stack.

Reported by Francis Russell <fpr02@doc.ic.ac.uk>.

thread: Properly protect 'all_list' around insertion.

Reported by Francis Russell <fpr02@doc.ic.ac.uk>.

squish-pty: Flush buffered data from pty to stdout when pty's slave closed

When the slave side of the pty is closed, the "read" system call returns
EIO.  In this situation, squish-pty failed to flush any output that it
already had in its buffer (up to 16 bytes) to stdout.  This could cause
the "Powering off..." message printed by Pintos just before exiting to
be missing from the output.

This usually didn't happen, because there are two other exit paths from
the relay() function that does most of squish-pty's work.  The most common
exit path was (evidently) the one which detected that the child process
had died, which did properly flush the buffer.  (The third path was wrong
too, and this patch fixes that one too.)

This patch fixes the problem by using a single exit path from relay() that
always reads any remaining input from the pty (if it is open) and flushes
it to stdout.

Reported by Borja Sotomayor <borja@cs.uchicago.edu>.

solutions: Fix mangled p4.patch.

free-map: Replace U+00A0 "hard spaces" by ordinary ASCII spaces.

Reported by Borja Sotomayor <borja@cs.uchicago.edu>.

block: Avoid accessing past the end of the block_by_role array.

Make.config: Use a different method to detect --build-id support.

Some versions of ld accept /dev/null as a valid input file.  Others will
not.  The latter versions will give false negatives for --buil-id support,
which breaks linking of Pintos userspace programs.  So use a different
method, that I hope will be more reliable, to detect --build-id support.

Reported by Joseph Huang <jdhuang@stanford.edu>.

pintos: Make sure to print buffered data at end of input.

Here, $buf might have some data in it that has not yet been printed, but
we were discarding it (and trying to read more) without printing it.

(In Perl, "do" ensures that the inner block runs at least once; without
"do" the condition is evaluated first.)

doc: Fix references to power_off() to refer to correct function and file name.

Reported by Nathaniel Hardison <hardison@stanford.edu>.

Support newer versions of QEMU, which do not have the -no-kqemu option.

Thanks to David Mazieres for reporting the problem and the fix.

Fix typo in comment describing free_map_allocate().

Thanks to Godmar Back for reporting the problem and for the fix.

Use round-toward-0 instead of round-to-nearest in fixed-point example.

Rounding to nearest raises a host of issues that we don't want students
to worry about.

Suggested by Godmar Back.

Remove unnecessary optimization barrier.

The compiler can't optimize out the load of "ticks" here because
it can't look into intr_disable() and intr_set_level() and know that
they don't modify "ticks".

Thanks to Martin <mfleener@stanford.edu> for pointing this out.

Print a message instead of panicking upon an unexpected interrupt.

We cannot expect that we know in detail ever interrupt that can occur
on real hardware, so we must cope with exceptional cases a little
better.

Avoid long pauses on serial timeout on boot on physical hardware.

The Pintos loader writes status to the serial port as well as the
VGA console, but this doesn't work out so well on at least some
real hardware when nothing is connected to the serial port: each
character can take a second or so to display because the BIOS
waits for a serial timeout each time.  So, on the first serial
timeout, replace the "int $0x14" call by a pair of no-ops.

The rest of the changes are part of the struggle not to exceed
the maximum loader size.

Remove MIT copyright notice and license.

Pintos used to contain a loader and I/O functions derived from MIT
code, but this has now been entirely eliminated, so there is no
longer any reason to retain the MIT copyright notice or license.

Rewrite the I/O port code.

The contents of these functions was derived from code used in the
Massachusetts Institute of Technology's 6.828 advanced operating
systems course.

I deleted the contents of these functions and then rewrote them from
scratch without reference to the earlier code, working only from the
function comments (which I wrote earlier).

added section "Accessing User Memory", including explanation of why
pinning is necessary
added FAQ for why stack growth may cause page faults above stack pointer
minor edits to other sections

fixed backtrace to work with -O (now conforms to
http://gcc.gnu.org/onlinedocs/gcc/Return-Address.html )

added btthreadall to dump all threads
added loadusersymbols to load user symbols from file
updated documentation to reflect behavior of qemu's and bochs's gdbstubs

Implement a proper block layer with partition support.

This is in preparation for introducing new block devices, in
particular USB storage-based block devices so that Pintos can boot
from USB memory sticks on notebook and desktop PCs.

This block layer was inspired by one from Anthony Romano
<chz@vt.edu> but it has been extensively (perhaps entirely) rewritten.
Thus, bugs must certainly be blamed on the committer.

Make backtraces slightly more reliable.

We now ignore pointers that are not null but still clearly wild.

We could check that there's really a valid PDE and PTE (I think Linux
does this) but it would take more code and be ugly.

Add PC speaker driver and connect it to '\a' in the VGA console.

Based on code from Anthony Romano <chz@vt.edu> but with extensive changes.

Rename ram_pages to init_ram_pages.

This makes it conform to the Pintos convention that a global symbol name
begin with its module's name.

Get rid of power_off_when_done global variable.

This global variable was not named according to the convention that a
global variable name start with its module name.  Furthermore, its usage
was somewhat scattered across the source tree.

This commit introduces new functions shutdown() and shutdown_configure()
to improve the situation.

Remove prototypes for removed functions power_off(), reboot().

Ignore files produced by "makeinfo".

Mark shutdown_reboot() and shutdown_power_off() as NO_RETURN.

Also, make shutdown_reboot() actually behave that way, by trying to reboot
forever instead of giving up after some number of tries.

Allow Bochs users to reboot by clicking the "user" button.

The "user_shortcut" Bochs option allows specifying a key combination to
send to the VM when the user clicks on the "user" button in the Bochs
headerbar.

From Godmar, crossported from his usb-integration-aug08 branch.

Terminate the backtrace that debug_backtrace() would output.

From Godmar, crossported from his usb-integration-aug08 branch.

Use 9600 bps for Pintos serial, to match the speed used by the loader.

It is important that Pintos and its loader use the same serial speed, so
that a terminal program connected to a serial port can be set to a sane
speed.  The ideal choice would be 115200 bps, for maximum speed, but the
Pintos loader uses the BIOS to do serial output, and the BIOS supports a
maximum speed of 9600 bps.

From Godmar, crossported from his usb-integration-aug08 branch.

Move reboot() and power_off() to new file, and rename to fit convention.

added note regarding console lock

Correct comment describing list_remove() behavior.

Thanks to Godmar for pointing out the problem.

Add FAQ item to explain doubled test names in output.

Suggested by Godmar.

Eliminate user_page_limit global symbol.

The name "user_page_limit" did not follow the naming convention, which
stated that its name should start with palloc_ since it is defined in
palloc.c.  But it was only used in one function, so it was better off
as a function parameter anyhow.

Found by Godmar with his process-linker-map.pl.

Don't make interrupt stubs global symbols.

The stubs are only referenced within intr-stubs.S so there is no reason
for them to be exported.

Found with Godmar's process-linker-map.pl.

Rename base_page_dir to init_page_dir.

This makes its name fit the convention that the file name is used as
a prefix for global symbol names.

Found by Godmar with his process-linker-map.pl script.

Rename schedule_tail() to thread_schedule_tail().

This makes its name fit the convention that the file name is used as
a prefix for global symbol names.

Found by Godmar with his process-linker-map.pl script.

Make kernel_pool, user_pool static, since they are used only in palloc.c

Found by Godmar with his process-linker-map.pl.

Rename .cvsignore files to .gitignore.

removed trailing whitespace

clarified specification for wait() system call

added documentation for thread_foreach functions

Always make the scratch disk an even multiple of a cylinder in size.

The pintos script tried to do so before but "print" and "syswrite"
are buffered differently and interfere with one another.

Thanks to Karan Misra <kmisra@stanford.edu> for pointing out the
problem and confirming the solution.

update after thread_foreach

submitted!

various updates

under 5 pages!

rearranged figures, various fixes for style, grammar, and clarity

fixed formatting and added keywords/categories

more stuff

added test case table

more fixes

added point about documentation

added refs and fixed up intro

updates

update - made to pass again after thread_foreach

removed accidental checkin of Make.tests change

update for thread_foreach patch

- added thread_foreach
- added debug_backtrace_all
- updated P1 solution to take advantage of this new code

removed 'address' option for Bochs.
It makes Bochs > 2.2.6 fail with "[MEM0 ] ROM: System BIOS must end at 0xfffff"
and, according to http://www.nabble.com/Strange-error-message-when-bringing-up-a-CVS-build-td7532679.html
isn't even necessary for 2.2.6

cleaned up comments for reboot code and adopted GNU coding standards