pintos-os.org Git - pintos-anon/blob - grading/userprog/tests.txt

   1 CORRECTNESS [[total]]
   2 ---------------------
   3
   4 Argument passing
   5   -4 args-argc: argc is not set correctly
   6   -4 args-single: passing single argument fails
   7   -3 args-argv0: executable name not passed as argv[0]
   8   -3 args-argvn: argv[argc] is not a null pointer
   9   -3 args-multiple: passing multiple arguments fails
  10   -3 args-dbl-space: using multiple spaces between arguments fails
  11 Score: /20
  12
  13 System calls
  14   -4 sc-boundary: syscall with args across page boundary must work
  15   -3 sc-bad-sp: system call with a bad stack pointer must not crash OS
  16   -3 sc-bad-arg: syscall with argument off top of stack must not crash OS
  17 Score: /10
  18
  19 System calls: halt, exec
  20   -1 halt: halt system call fails
  21   -1 exit: exit system call malfunctions
  22 Score: /2
  23
  24 System calls: create
  25   -2 create-normal: create a file in the most normal way
  26   -1 create-empty: pass empty string to create system call
  27   -1 create-null: pass null pointer to create system call
  28   -1 create-bad-ptr: pass invalid pointer to create system call
  29   -1 create-long: pass long file name to create system call
  30   -1 create-exists: pass name of an existing file to create system call
  31   -1 create-bound: pass name of file crossing page boundary
  32 Score: /8
  33
  34 System calls: open
  35   -2 open-normal: open a file in the most normal way
  36   -2 open-missing: try to open a file that doesn't exist
  37   -2 open-boundary: pass name of file crossing page boundary
  38   -1 open-empty: pass empty string to open system call
  39   -1 open-null: pass null pointer to open system call
  40   -1 open-bad-ptr: pass invalid pointer to open system call
  41   -1 open-twice: open the same file twice
  42 Score: /10
  43
  44 System calls: close
  45   -2 close-normal: close an open file in the most normal way
  46   -2 close-twice: try to close an open file twice
  47   -1 close-stdin: try to close stdin
  48   -1 close-stdout: try to close stdout
  49   -1 close-bad-fd: try to close invalid file descriptor
  50 Score: /7
  51
  52 System calls: read
  53   -2 read-normal: read from open file in most normal way
  54   -2 read-bad-ptr: pass invalid pointer to read system call
  55   -2 read-boundary: pass buffer crossing page boundary
  56   -1 read-zero: try to read zero bytes
  57   -1 read-stdout: try to read from stdout
  58   -1 read-bad-fd: try to read from invalid file descriptor
  59 Score: /9
  60
  61 System calls: write
  62   -2 write-normal: write to open file in most normal way
  63   -2 write-bad-ptr: pass invalid pointer to write system call
  64   -2 write-boundary: pass buffer crossing page boundary
  65   -1 write-zero: try to write zero bytes
  66   -1 write-stdin: try to write to stdin
  67   -1 write-bad-fd: try to write to invalid file descriptor
  68 Score: /9
  69
  70 System calls: exec
  71   -2 exec-once: call exec/wait once
  72   -2 exec-arg: check command-line passing on exec
  73   -2 exec-multiple: call exec/wait multiple times
  74   -2 exec-missing: exec of nonexistent file must return -1
  75   -1 exec-bad-ptr: pass invalid pointer to exec system call
  76 Score: /9
  77
  78 System calls: wait
  79   -2 wait-once: A creates B, A waits for B
  80   -2 wait-twice: A creates B, A waits for B, A waits for B again
  81   -2 wait-quick: A creates B, A waits for B, with different details
  82   -2 wait-multiple: A creates B and C, A waits for B, A waits for C
  83   -2 wait-nested: A creates B, B creates C, ..., B waits for C, A waits for B
  84   -2 wait-dummy: A creates B, A waits for B, A waits for B
  85   -2 wait-invalid: Waiting for an invalid pid must return immediately
  86   -2 wait-other: Waiting for a child of another process must return immediately
  87   -2 wait-no: A creates B and never waits for it (must not crash or hang)
  88 Score: /14
  89
  90 Score: /7
  91
  92 Multiprogramming
  93   -3 multi-recurse: test recursively executing subprocesses
  94   -3 multi-oom: exhausting user memory must not crash OS
  95   -3 multi-child-fd: child must not be able to close parent's fds
  96 Score: /9