Imported test cases from pygments

tests/bibtex/test_basic_bst.txt

@@ -0,0 +1,54 @@
+---input---
+% BibTeX standard bibliography style `plain'
+
+INTEGERS { output.state before.all }
+
+FUNCTION {sort.format.title}
+{ 't :=
+"A " #2
+    "An " #3
+    "The " #4 t chop.word
+    chop.word
+chop.word
+sortify
+#1 global.max$ substring$
+}
+
+ITERATE {call.type$}
+
+---tokens---
+"% BibTeX standard bibliography style `plain'" Comment
+'\n\n'        Text.Whitespace
+
+'INTEGERS { output.state before.all }' Comment
+'\n\n'        Text.Whitespace
+
+'FUNCTION {sort.format.title}' Comment
+'\n'          Text.Whitespace
+
+"{ 't :="     Comment
+'\n'          Text.Whitespace
+
+'"A " #2'     Comment
+'\n    '      Text.Whitespace
+'"An " #3'    Comment
+'\n    '      Text.Whitespace
+'"The " #4 t chop.word' Comment
+'\n    '      Text.Whitespace
+'chop.word'   Comment
+'\n'          Text.Whitespace
+
+'chop.word'   Comment
+'\n'          Text.Whitespace
+
+'sortify'     Comment
+'\n'          Text.Whitespace
+
+'#1 global.max$ substring$' Comment
+'\n'          Text.Whitespace
+
+'}'           Comment
+'\n\n'        Text.Whitespace
+
+'ITERATE {call.type$}' Comment
+'\n'          Text.Whitespace