/[suikacvs]/markup/html/whatpm/Whatpm/HTML.pm.src
Suika

Diff of /markup/html/whatpm/Whatpm/HTML.pm.src

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 1.113 by wakaba, Sun Mar 16 07:07:59 2008 UTC revision 1.164 by wakaba, Sat Sep 13 06:33:39 2008 UTC
# Line 8  use Error qw(:try); Line 8  use Error qw(:try);
8  ## doc.write ('');  ## doc.write ('');
9  ## alert (doc.compatMode);  ## alert (doc.compatMode);
10    
11  ## TODO: Control charcters and noncharacters are not allowed (HTML5 revision 1263)  require IO::Handle;
12  ## TODO: 1252 parse error (revision 1264)  
13  ## TODO: 8859-11 = 874 (revision 1271)  my $HTML_NS = q<http://www.w3.org/1999/xhtml>;
14    my $MML_NS = q<http://www.w3.org/1998/Math/MathML>;
15  my $permitted_slash_tag_name = {  my $SVG_NS = q<http://www.w3.org/2000/svg>;
16    base => 1,  my $XLINK_NS = q<http://www.w3.org/1999/xlink>;
17    link => 1,  my $XML_NS = q<http://www.w3.org/XML/1998/namespace>;
18    meta => 1,  my $XMLNS_NS = q<http://www.w3.org/2000/xmlns/>;
19    hr => 1,  
20    br => 1,  sub A_EL () { 0b1 }
21    img => 1,  sub ADDRESS_EL () { 0b10 }
22    embed => 1,  sub BODY_EL () { 0b100 }
23    param => 1,  sub BUTTON_EL () { 0b1000 }
24    area => 1,  sub CAPTION_EL () { 0b10000 }
25    col => 1,  sub DD_EL () { 0b100000 }
26    input => 1,  sub DIV_EL () { 0b1000000 }
27    sub DT_EL () { 0b10000000 }
28    sub FORM_EL () { 0b100000000 }
29    sub FORMATTING_EL () { 0b1000000000 }
30    sub FRAMESET_EL () { 0b10000000000 }
31    sub HEADING_EL () { 0b100000000000 }
32    sub HTML_EL () { 0b1000000000000 }
33    sub LI_EL () { 0b10000000000000 }
34    sub NOBR_EL () { 0b100000000000000 }
35    sub OPTION_EL () { 0b1000000000000000 }
36    sub OPTGROUP_EL () { 0b10000000000000000 }
37    sub P_EL () { 0b100000000000000000 }
38    sub SELECT_EL () { 0b1000000000000000000 }
39    sub TABLE_EL () { 0b10000000000000000000 }
40    sub TABLE_CELL_EL () { 0b100000000000000000000 }
41    sub TABLE_ROW_EL () { 0b1000000000000000000000 }
42    sub TABLE_ROW_GROUP_EL () { 0b10000000000000000000000 }
43    sub MISC_SCOPING_EL () { 0b100000000000000000000000 }
44    sub MISC_SPECIAL_EL () { 0b1000000000000000000000000 }
45    sub FOREIGN_EL () { 0b10000000000000000000000000 }
46    sub FOREIGN_FLOW_CONTENT_EL () { 0b100000000000000000000000000 }
47    sub MML_AXML_EL () { 0b1000000000000000000000000000 }
48    sub RUBY_EL () { 0b10000000000000000000000000000 }
49    sub RUBY_COMPONENT_EL () { 0b100000000000000000000000000000 }
50    
51    sub TABLE_ROWS_EL () {
52      TABLE_EL |
53      TABLE_ROW_EL |
54      TABLE_ROW_GROUP_EL
55    }
56    
57    ## NOTE: Used in "generate implied end tags" algorithm.
58    ## NOTE: There is a code where a modified version of END_TAG_OPTIONAL_EL
59    ## is used in "generate implied end tags" implementation (search for the
60    ## function mae).
61    sub END_TAG_OPTIONAL_EL () {
62      DD_EL |
63      DT_EL |
64      LI_EL |
65      P_EL |
66      RUBY_COMPONENT_EL
67    }
68    
69    ## NOTE: Used in </body> and EOF algorithms.
70    sub ALL_END_TAG_OPTIONAL_EL () {
71      DD_EL |
72      DT_EL |
73      LI_EL |
74      P_EL |
75    
76      BODY_EL |
77      HTML_EL |
78      TABLE_CELL_EL |
79      TABLE_ROW_EL |
80      TABLE_ROW_GROUP_EL
81    }
82    
83    sub SCOPING_EL () {
84      BUTTON_EL |
85      CAPTION_EL |
86      HTML_EL |
87      TABLE_EL |
88      TABLE_CELL_EL |
89      MISC_SCOPING_EL
90    }
91    
92    sub TABLE_SCOPING_EL () {
93      HTML_EL |
94      TABLE_EL
95    }
96    
97    sub TABLE_ROWS_SCOPING_EL () {
98      HTML_EL |
99      TABLE_ROW_GROUP_EL
100    }
101    
102    sub TABLE_ROW_SCOPING_EL () {
103      HTML_EL |
104      TABLE_ROW_EL
105    }
106    
107    sub SPECIAL_EL () {
108      ADDRESS_EL |
109      BODY_EL |
110      DIV_EL |
111    
112      DD_EL |
113      DT_EL |
114      LI_EL |
115      P_EL |
116    
117      FORM_EL |
118      FRAMESET_EL |
119      HEADING_EL |
120      OPTION_EL |
121      OPTGROUP_EL |
122      SELECT_EL |
123      TABLE_ROW_EL |
124      TABLE_ROW_GROUP_EL |
125      MISC_SPECIAL_EL
126    }
127    
128    my $el_category = {
129      a => A_EL | FORMATTING_EL,
130      address => ADDRESS_EL,
131      applet => MISC_SCOPING_EL,
132      area => MISC_SPECIAL_EL,
133      b => FORMATTING_EL,
134      base => MISC_SPECIAL_EL,
135      basefont => MISC_SPECIAL_EL,
136      bgsound => MISC_SPECIAL_EL,
137      big => FORMATTING_EL,
138      blockquote => MISC_SPECIAL_EL,
139      body => BODY_EL,
140      br => MISC_SPECIAL_EL,
141      button => BUTTON_EL,
142      caption => CAPTION_EL,
143      center => MISC_SPECIAL_EL,
144      col => MISC_SPECIAL_EL,
145      colgroup => MISC_SPECIAL_EL,
146      dd => DD_EL,
147      dir => MISC_SPECIAL_EL,
148      div => DIV_EL,
149      dl => MISC_SPECIAL_EL,
150      dt => DT_EL,
151      em => FORMATTING_EL,
152      embed => MISC_SPECIAL_EL,
153      fieldset => MISC_SPECIAL_EL,
154      font => FORMATTING_EL,
155      form => FORM_EL,
156      frame => MISC_SPECIAL_EL,
157      frameset => FRAMESET_EL,
158      h1 => HEADING_EL,
159      h2 => HEADING_EL,
160      h3 => HEADING_EL,
161      h4 => HEADING_EL,
162      h5 => HEADING_EL,
163      h6 => HEADING_EL,
164      head => MISC_SPECIAL_EL,
165      hr => MISC_SPECIAL_EL,
166      html => HTML_EL,
167      i => FORMATTING_EL,
168      iframe => MISC_SPECIAL_EL,
169      img => MISC_SPECIAL_EL,
170      input => MISC_SPECIAL_EL,
171      isindex => MISC_SPECIAL_EL,
172      li => LI_EL,
173      link => MISC_SPECIAL_EL,
174      listing => MISC_SPECIAL_EL,
175      marquee => MISC_SCOPING_EL,
176      menu => MISC_SPECIAL_EL,
177      meta => MISC_SPECIAL_EL,
178      nobr => NOBR_EL | FORMATTING_EL,
179      noembed => MISC_SPECIAL_EL,
180      noframes => MISC_SPECIAL_EL,
181      noscript => MISC_SPECIAL_EL,
182      object => MISC_SCOPING_EL,
183      ol => MISC_SPECIAL_EL,
184      optgroup => OPTGROUP_EL,
185      option => OPTION_EL,
186      p => P_EL,
187      param => MISC_SPECIAL_EL,
188      plaintext => MISC_SPECIAL_EL,
189      pre => MISC_SPECIAL_EL,
190      rp => RUBY_COMPONENT_EL,
191      rt => RUBY_COMPONENT_EL,
192      ruby => RUBY_EL,
193      s => FORMATTING_EL,
194      script => MISC_SPECIAL_EL,
195      select => SELECT_EL,
196      small => FORMATTING_EL,
197      spacer => MISC_SPECIAL_EL,
198      strike => FORMATTING_EL,
199      strong => FORMATTING_EL,
200      style => MISC_SPECIAL_EL,
201      table => TABLE_EL,
202      tbody => TABLE_ROW_GROUP_EL,
203      td => TABLE_CELL_EL,
204      textarea => MISC_SPECIAL_EL,
205      tfoot => TABLE_ROW_GROUP_EL,
206      th => TABLE_CELL_EL,
207      thead => TABLE_ROW_GROUP_EL,
208      title => MISC_SPECIAL_EL,
209      tr => TABLE_ROW_EL,
210      tt => FORMATTING_EL,
211      u => FORMATTING_EL,
212      ul => MISC_SPECIAL_EL,
213      wbr => MISC_SPECIAL_EL,
214    };
215    
216    my $el_category_f = {
217      $MML_NS => {
218        'annotation-xml' => MML_AXML_EL,
219        mi => FOREIGN_FLOW_CONTENT_EL,
220        mo => FOREIGN_FLOW_CONTENT_EL,
221        mn => FOREIGN_FLOW_CONTENT_EL,
222        ms => FOREIGN_FLOW_CONTENT_EL,
223        mtext => FOREIGN_FLOW_CONTENT_EL,
224      },
225      $SVG_NS => {
226        foreignObject => FOREIGN_FLOW_CONTENT_EL,
227        desc => FOREIGN_FLOW_CONTENT_EL,
228        title => FOREIGN_FLOW_CONTENT_EL,
229      },
230      ## NOTE: In addition, FOREIGN_EL is set to non-HTML elements.
231    };
232    
233    my $svg_attr_name = {
234      attributename => 'attributeName',
235      attributetype => 'attributeType',
236      basefrequency => 'baseFrequency',
237      baseprofile => 'baseProfile',
238      calcmode => 'calcMode',
239      clippathunits => 'clipPathUnits',
240      contentscripttype => 'contentScriptType',
241      contentstyletype => 'contentStyleType',
242      diffuseconstant => 'diffuseConstant',
243      edgemode => 'edgeMode',
244      externalresourcesrequired => 'externalResourcesRequired',
245      filterres => 'filterRes',
246      filterunits => 'filterUnits',
247      glyphref => 'glyphRef',
248      gradienttransform => 'gradientTransform',
249      gradientunits => 'gradientUnits',
250      kernelmatrix => 'kernelMatrix',
251      kernelunitlength => 'kernelUnitLength',
252      keypoints => 'keyPoints',
253      keysplines => 'keySplines',
254      keytimes => 'keyTimes',
255      lengthadjust => 'lengthAdjust',
256      limitingconeangle => 'limitingConeAngle',
257      markerheight => 'markerHeight',
258      markerunits => 'markerUnits',
259      markerwidth => 'markerWidth',
260      maskcontentunits => 'maskContentUnits',
261      maskunits => 'maskUnits',
262      numoctaves => 'numOctaves',
263      pathlength => 'pathLength',
264      patterncontentunits => 'patternContentUnits',
265      patterntransform => 'patternTransform',
266      patternunits => 'patternUnits',
267      pointsatx => 'pointsAtX',
268      pointsaty => 'pointsAtY',
269      pointsatz => 'pointsAtZ',
270      preservealpha => 'preserveAlpha',
271      preserveaspectratio => 'preserveAspectRatio',
272      primitiveunits => 'primitiveUnits',
273      refx => 'refX',
274      refy => 'refY',
275      repeatcount => 'repeatCount',
276      repeatdur => 'repeatDur',
277      requiredextensions => 'requiredExtensions',
278      requiredfeatures => 'requiredFeatures',
279      specularconstant => 'specularConstant',
280      specularexponent => 'specularExponent',
281      spreadmethod => 'spreadMethod',
282      startoffset => 'startOffset',
283      stddeviation => 'stdDeviation',
284      stitchtiles => 'stitchTiles',
285      surfacescale => 'surfaceScale',
286      systemlanguage => 'systemLanguage',
287      tablevalues => 'tableValues',
288      targetx => 'targetX',
289      targety => 'targetY',
290      textlength => 'textLength',
291      viewbox => 'viewBox',
292      viewtarget => 'viewTarget',
293      xchannelselector => 'xChannelSelector',
294      ychannelselector => 'yChannelSelector',
295      zoomandpan => 'zoomAndPan',
296    };
297    
298    my $foreign_attr_xname = {
299      'xlink:actuate' => [$XLINK_NS, ['xlink', 'actuate']],
300      'xlink:arcrole' => [$XLINK_NS, ['xlink', 'arcrole']],
301      'xlink:href' => [$XLINK_NS, ['xlink', 'href']],
302      'xlink:role' => [$XLINK_NS, ['xlink', 'role']],
303      'xlink:show' => [$XLINK_NS, ['xlink', 'show']],
304      'xlink:title' => [$XLINK_NS, ['xlink', 'title']],
305      'xlink:type' => [$XLINK_NS, ['xlink', 'type']],
306      'xml:base' => [$XML_NS, ['xml', 'base']],
307      'xml:lang' => [$XML_NS, ['xml', 'lang']],
308      'xml:space' => [$XML_NS, ['xml', 'space']],
309      'xmlns' => [$XMLNS_NS, [undef, 'xmlns']],
310      'xmlns:xlink' => [$XMLNS_NS, ['xmlns', 'xlink']],
311  };  };
312    
313    ## ISSUE: xmlns:xlink="non-xlink-ns" is not an error.
314    
315  my $c1_entity_char = {  my $c1_entity_char = {
316    0x80 => 0x20AC,    0x80 => 0x20AC,
317    0x81 => 0xFFFD,    0x81 => 0xFFFD,
# Line 61  my $c1_entity_char = { Line 347  my $c1_entity_char = {
347    0x9F => 0x0178,    0x9F => 0x0178,
348  }; # $c1_entity_char  }; # $c1_entity_char
349    
 my $special_category = {  
   address => 1, area => 1, base => 1, basefont => 1, bgsound => 1,  
   blockquote => 1, body => 1, br => 1, center => 1, col => 1, colgroup => 1,  
   dd => 1, dir => 1, div => 1, dl => 1, dt => 1, embed => 1, fieldset => 1,  
   form => 1, frame => 1, frameset => 1, h1 => 1, h2 => 1, h3 => 1,  
   h4 => 1, h5 => 1, h6 => 1, head => 1, hr => 1, iframe => 1, image => 1,  
   img => 1, input => 1, isindex => 1, li => 1, link => 1, listing => 1,  
   menu => 1, meta => 1, noembed => 1, noframes => 1, noscript => 1,  
   ol => 1, optgroup => 1, option => 1, p => 1, param => 1, plaintext => 1,  
   pre => 1, script => 1, select => 1, spacer => 1, style => 1, tbody => 1,  
   textarea => 1, tfoot => 1, thead => 1, title => 1, tr => 1, ul => 1, wbr => 1,  
 };  
 my $scoping_category = {  
   applet => 1, button => 1, caption => 1, html => 1, marquee => 1, object => 1,  
   table => 1, td => 1, th => 1,  
 };  
 my $formatting_category = {  
   a => 1, b => 1, big => 1, em => 1, font => 1, i => 1, nobr => 1,  
   s => 1, small => 1, strile => 1, strong => 1, tt => 1, u => 1,  
 };  
 # $phrasing_category: all other elements  
   
350  sub parse_byte_string ($$$$;$) {  sub parse_byte_string ($$$$;$) {
351      my $self = shift;
352      my $charset_name = shift;
353      open my $input, '<', ref $_[0] ? $_[0] : \($_[0]);
354      return $self->parse_byte_stream ($charset_name, $input, @_[1..$#_]);
355    } # parse_byte_string
356    
357    sub parse_byte_stream ($$$$;$$) {
358      # my ($self, $charset_name, $byte_stream, $doc, $onerror, $get_wrapper) = @_;
359    my $self = ref $_[0] ? shift : shift->new;    my $self = ref $_[0] ? shift : shift->new;
360    my $charset = shift;    my $charset_name = shift;
361    my $bytes_s = ref $_[0] ? $_[0] : \($_[0]);    my $byte_stream = $_[0];
   my $s;  
     
   if (defined $charset) {  
     require Encode; ## TODO: decode(utf8) don't delete BOM  
     $s = \ (Encode::decode ($charset, $$bytes_s));  
     $self->{input_encoding} = lc $charset; ## TODO: normalize name  
     $self->{confident} = 1;  
   } else {  
     ## TODO: Implement HTML5 detection algorithm  
     require Whatpm::Charset::UniversalCharDet;  
     $charset = Whatpm::Charset::UniversalCharDet->detect_byte_string  
         (substr ($$bytes_s, 0, 1024));  
     $charset ||= 'windows-1252';  
     $s = \ (Encode::decode ($charset, $$bytes_s));  
     $self->{input_encoding} = $charset;  
     $self->{confident} = 0;  
   }  
362    
363    $self->{change_encoding} = sub {    my $onerror = $_[2] || sub {
364      my $self = shift;      my (%opt) = @_;
365      my $charset = lc shift;      warn "Parse error ($opt{type})\n";
366      ## TODO: if $charset is supported    };
367      ## TODO: normalize charset name    $self->{parse_error} = $onerror; # updated later by parse_char_string
368    
369      ## "Change the encoding" algorithm:    my $get_wrapper = $_[3] || sub ($) {
370        return $_[0]; # $_[0] = byte stream handle, returned = arg to char handle
371      ## Step 1        };
372      if ($charset eq 'utf-16') { ## ISSUE: UTF-16BE -> UTF-8? UTF-16LE -> UTF-8?  
373        $charset = 'utf-8';    ## HTML5 encoding sniffing algorithm
374      require Message::Charset::Info;
375      my $charset;
376      my $buffer;
377      my ($char_stream, $e_status);
378    
379      SNIFFING: {
380        ## NOTE: By setting |allow_fallback| option true when the
381        ## |get_decode_handle| method is invoked, we ignore what the HTML5
382        ## spec requires, i.e. unsupported encoding should be ignored.
383          ## TODO: We should not do this unless the parser is invoked
384          ## in the conformance checking mode, in which this behavior
385          ## would be useful.
386    
387        ## Step 1
388        if (defined $charset_name) {
389          $charset = Message::Charset::Info->get_by_html_name ($charset_name);
390              ## TODO: Is this ok?  Transfer protocol's parameter should be
391              ## interpreted in its semantics?
392    
393          ## ISSUE: Unsupported encoding is not ignored according to the spec.
394          ($char_stream, $e_status) = $charset->get_decode_handle
395              ($byte_stream, allow_error_reporting => 1,
396               allow_fallback => 1);
397          if ($char_stream) {
398            $self->{confident} = 1;
399            last SNIFFING;
400          } else {
401            ## TODO: unsupported error
402          }
403      }      }
404    
405      ## Step 2      ## Step 2
406      if (defined $self->{input_encoding} and      my $byte_buffer = '';
407          $self->{input_encoding} eq $charset) {      for (1..1024) {
408          my $char = $byte_stream->getc;
409          last unless defined $char;
410          $byte_buffer .= $char;
411        } ## TODO: timeout
412    
413        ## Step 3
414        if ($byte_buffer =~ /^\xFE\xFF/) {
415          $charset = Message::Charset::Info->get_by_html_name ('utf-16be');
416          ($char_stream, $e_status) = $charset->get_decode_handle
417              ($byte_stream, allow_error_reporting => 1,
418               allow_fallback => 1, byte_buffer => \$byte_buffer);
419        $self->{confident} = 1;        $self->{confident} = 1;
420        return;        last SNIFFING;
421        } elsif ($byte_buffer =~ /^\xFF\xFE/) {
422          $charset = Message::Charset::Info->get_by_html_name ('utf-16le');
423          ($char_stream, $e_status) = $charset->get_decode_handle
424              ($byte_stream, allow_error_reporting => 1,
425               allow_fallback => 1, byte_buffer => \$byte_buffer);
426          $self->{confident} = 1;
427          last SNIFFING;
428        } elsif ($byte_buffer =~ /^\xEF\xBB\xBF/) {
429          $charset = Message::Charset::Info->get_by_html_name ('utf-8');
430          ($char_stream, $e_status) = $charset->get_decode_handle
431              ($byte_stream, allow_error_reporting => 1,
432               allow_fallback => 1, byte_buffer => \$byte_buffer);
433          $self->{confident} = 1;
434          last SNIFFING;
435      }      }
436    
437      !!!parse-error (type => 'charset label detected:'.$self->{input_encoding}.      ## Step 4
438          ':'.$charset, level => 'w');      ## TODO: <meta charset>
439    
440      ## Step 3      ## Step 5
441      # if (can) {      ## TODO: from history
       ## change the encoding on the fly.  
       #$self->{confident} = 1;  
       #return;  
     # }  
442    
443      ## Step 4      ## Step 6
444      throw Whatpm::HTML::RestartParser (charset => $charset);      require Whatpm::Charset::UniversalCharDet;
445        $charset_name = Whatpm::Charset::UniversalCharDet->detect_byte_string
446            ($byte_buffer);
447        if (defined $charset_name) {
448          $charset = Message::Charset::Info->get_by_html_name ($charset_name);
449    
450          ## ISSUE: Unsupported encoding is not ignored according to the spec.
451          require Whatpm::Charset::DecodeHandle;
452          $buffer = Whatpm::Charset::DecodeHandle::ByteBuffer->new
453              ($byte_stream);
454          ($char_stream, $e_status) = $charset->get_decode_handle
455              ($buffer, allow_error_reporting => 1,
456               allow_fallback => 1, byte_buffer => \$byte_buffer);
457          if ($char_stream) {
458            $buffer->{buffer} = $byte_buffer;
459            !!!parse-error (type => 'sniffing:chardet',
460                            text => $charset_name,
461                            level => $self->{level}->{info},
462                            layer => 'encode',
463                            line => 1, column => 1);
464            $self->{confident} = 0;
465            last SNIFFING;
466          }
467        }
468    
469        ## Step 7: default
470        ## TODO: Make this configurable.
471        $charset = Message::Charset::Info->get_by_html_name ('windows-1252');
472            ## NOTE: We choose |windows-1252| here, since |utf-8| should be
473            ## detectable in the step 6.
474        require Whatpm::Charset::DecodeHandle;
475        $buffer = Whatpm::Charset::DecodeHandle::ByteBuffer->new
476            ($byte_stream);
477        ($char_stream, $e_status)
478            = $charset->get_decode_handle ($buffer,
479                                           allow_error_reporting => 1,
480                                           allow_fallback => 1,
481                                           byte_buffer => \$byte_buffer);
482        $buffer->{buffer} = $byte_buffer;
483        !!!parse-error (type => 'sniffing:default',
484                        text => 'windows-1252',
485                        level => $self->{level}->{info},
486                        line => 1, column => 1,
487                        layer => 'encode');
488        $self->{confident} = 0;
489      } # SNIFFING
490    
491      if ($e_status & Message::Charset::Info::FALLBACK_ENCODING_IMPL ()) {
492        $self->{input_encoding} = $charset->get_iana_name; ## TODO: Should we set actual charset decoder's encoding name?
493        !!!parse-error (type => 'chardecode:fallback',
494                        #text => $self->{input_encoding},
495                        level => $self->{level}->{uncertain},
496                        line => 1, column => 1,
497                        layer => 'encode');
498      } elsif (not ($e_status &
499                    Message::Charset::Info::ERROR_REPORTING_ENCODING_IMPL())) {
500        $self->{input_encoding} = $charset->get_iana_name;
501        !!!parse-error (type => 'chardecode:no error',
502                        text => $self->{input_encoding},
503                        level => $self->{level}->{uncertain},
504                        line => 1, column => 1,
505                        layer => 'encode');
506      } else {
507        $self->{input_encoding} = $charset->get_iana_name;
508      }
509    
510      $self->{change_encoding} = sub {
511        my $self = shift;
512        $charset_name = shift;
513        my $token = shift;
514    
515        $charset = Message::Charset::Info->get_by_html_name ($charset_name);
516        ($char_stream, $e_status) = $charset->get_decode_handle
517            ($byte_stream, allow_error_reporting => 1, allow_fallback => 1,
518             byte_buffer => \ $buffer->{buffer});
519        
520        if ($char_stream) { # if supported
521          ## "Change the encoding" algorithm:
522    
523          ## Step 1    
524          if ($charset->{category} &
525              Message::Charset::Info::CHARSET_CATEGORY_UTF16 ()) {
526            $charset = Message::Charset::Info->get_by_html_name ('utf-8');
527            ($char_stream, $e_status) = $charset->get_decode_handle
528                ($byte_stream,
529                 byte_buffer => \ $buffer->{buffer});
530          }
531          $charset_name = $charset->get_iana_name;
532          
533          ## Step 2
534          if (defined $self->{input_encoding} and
535              $self->{input_encoding} eq $charset_name) {
536            !!!parse-error (type => 'charset label:matching',
537                            text => $charset_name,
538                            level => $self->{level}->{info});
539            $self->{confident} = 1;
540            return;
541          }
542    
543          !!!parse-error (type => 'charset label detected',
544                          text => $self->{input_encoding},
545                          value => $charset_name,
546                          level => $self->{level}->{warn},
547                          token => $token);
548          
549          ## Step 3
550          # if (can) {
551            ## change the encoding on the fly.
552            #$self->{confident} = 1;
553            #return;
554          # }
555          
556          ## Step 4
557          throw Whatpm::HTML::RestartParser ();
558        }
559    }; # $self->{change_encoding}    }; # $self->{change_encoding}
560    
561      my $char_onerror = sub {
562        my (undef, $type, %opt) = @_;
563        !!!parse-error (layer => 'encode',
564                        %opt, type => $type,
565                        line => $self->{line}, column => $self->{column} + 1);
566        if ($opt{octets}) {
567          ${$opt{octets}} = "\x{FFFD}"; # relacement character
568        }
569      };
570    
571      my $wrapped_char_stream = $get_wrapper->($char_stream);
572      $wrapped_char_stream->onerror ($char_onerror);
573    
574    my @args = @_; shift @args; # $s    my @args = @_; shift @args; # $s
575    my $return;    my $return;
576    try {    try {
577      $return = $self->parse_char_string ($s, @args);        $return = $self->parse_char_stream ($wrapped_char_stream, @args);  
578    } catch Whatpm::HTML::RestartParser with {    } catch Whatpm::HTML::RestartParser with {
579      my $charset = shift->{charset};      ## NOTE: Invoked after {change_encoding}.
580      $s = \ (Encode::decode ($charset, $$bytes_s));      
581      $self->{input_encoding} = $charset; ## TODO: normalize      if ($e_status & Message::Charset::Info::FALLBACK_ENCODING_IMPL ()) {
582          $self->{input_encoding} = $charset->get_iana_name; ## TODO: Should we set actual charset decoder's encoding name?
583          !!!parse-error (type => 'chardecode:fallback',
584                          level => $self->{level}->{uncertain},
585                          #text => $self->{input_encoding},
586                          line => 1, column => 1,
587                          layer => 'encode');
588        } elsif (not ($e_status &
589                      Message::Charset::Info::ERROR_REPORTING_ENCODING_IMPL())) {
590          $self->{input_encoding} = $charset->get_iana_name;
591          !!!parse-error (type => 'chardecode:no error',
592                          text => $self->{input_encoding},
593                          level => $self->{level}->{uncertain},
594                          line => 1, column => 1,
595                          layer => 'encode');
596        } else {
597          $self->{input_encoding} = $charset->get_iana_name;
598        }
599      $self->{confident} = 1;      $self->{confident} = 1;
600      $return = $self->parse_char_string ($s, @args);  
601        $wrapped_char_stream = $get_wrapper->($char_stream);
602        $wrapped_char_stream->onerror ($char_onerror);
603    
604        $return = $self->parse_char_stream ($wrapped_char_stream, @args);
605    };    };
606    return $return;    return $return;
607  } # parse_byte_string  } # parse_byte_stream
608    
609  ## NOTE: HTML5 spec says that the encoding layer MUST NOT strip BOM  ## NOTE: HTML5 spec says that the encoding layer MUST NOT strip BOM
610  ## and the HTML layer MUST ignore it.  However, we does strip BOM in  ## and the HTML layer MUST ignore it.  However, we does strip BOM in
# Line 162  sub parse_byte_string ($$$$;$) { Line 615  sub parse_byte_string ($$$$;$) {
615  ## such as |parse_byte_string| in this module, must ensure that it does  ## such as |parse_byte_string| in this module, must ensure that it does
616  ## strip the BOM and never strip any ZWNBSP.  ## strip the BOM and never strip any ZWNBSP.
617    
618  *parse_char_string = \&parse_string;  sub parse_char_string ($$$;$$) {
619      #my ($self, $s, $doc, $onerror, $get_wrapper) = @_;
620      my $self = shift;
621      require utf8;
622      my $s = ref $_[0] ? $_[0] : \($_[0]);
623      open my $input, '<' . (utf8::is_utf8 ($$s) ? ':utf8' : ''), $s;
624      if ($_[3]) {
625        $input = $_[3]->($input);
626      }
627      return $self->parse_char_stream ($input, @_[1..$#_]);
628    } # parse_char_string
629    *parse_string = \&parse_char_string; ## NOTE: Alias for backward compatibility.
630    
631  sub parse_string ($$$;$) {  sub parse_char_stream ($$$;$) {
632    my $self = ref $_[0] ? shift : shift->new;    my $self = ref $_[0] ? shift : shift->new;
633    my $s = ref $_[0] ? $_[0] : \($_[0]);    my $input = $_[0];
634    $self->{document} = $_[1];    $self->{document} = $_[1];
635    @{$self->{document}->child_nodes} = ();    @{$self->{document}->child_nodes} = ();
636    
# Line 185  sub parse_string ($$$;$) { Line 649  sub parse_string ($$$;$) {
649      pop @{$self->{prev_char}};      pop @{$self->{prev_char}};
650      unshift @{$self->{prev_char}}, $self->{next_char};      unshift @{$self->{prev_char}}, $self->{next_char};
651    
652      $self->{next_char} = -1 and return if $i >= length $$s;      my $char;
653      $self->{next_char} = ord substr $$s, $i++, 1;      if (defined $self->{next_next_char}) {
654          $char = $self->{next_next_char};
655          delete $self->{next_next_char};
656        } else {
657          $char = $input->getc;
658        }
659        $self->{next_char} = -1 and return unless defined $char;
660        $self->{next_char} = ord $char;
661    
662      ($self->{line_prev}, $self->{column_prev})      ($self->{line_prev}, $self->{column_prev})
663          = ($self->{line}, $self->{column});          = ($self->{line}, $self->{column});
664      $self->{column}++;      $self->{column}++;
665            
666      if ($self->{next_char} == 0x000A) { # LF      if ($self->{next_char} == 0x000A) { # LF
667          !!!cp ('j1');
668        $self->{line}++;        $self->{line}++;
669        $self->{column} = 0;        $self->{column} = 0;
670      } elsif ($self->{next_char} == 0x000D) { # CR      } elsif ($self->{next_char} == 0x000D) { # CR
671        $i++ if substr ($$s, $i, 1) eq "\x0A";        !!!cp ('j2');
672          my $next = $input->getc;
673          if (defined $next and $next ne "\x0A") {
674            $self->{next_next_char} = $next;
675          }
676        $self->{next_char} = 0x000A; # LF # MUST        $self->{next_char} = 0x000A; # LF # MUST
677        $self->{line}++;        $self->{line}++;
678        $self->{column} = 0;        $self->{column} = 0;
679      } elsif ($self->{next_char} > 0x10FFFF) {      } elsif ($self->{next_char} > 0x10FFFF) {
680          !!!cp ('j3');
681        $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST        $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST
682      } elsif ($self->{next_char} == 0x0000) { # NULL      } elsif ($self->{next_char} == 0x0000) { # NULL
683          !!!cp ('j4');
684        !!!parse-error (type => 'NULL');        !!!parse-error (type => 'NULL');
685        $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST        $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST
686        } elsif ($self->{next_char} <= 0x0008 or
687                 (0x000E <= $self->{next_char} and $self->{next_char} <= 0x001F) or
688                 (0x007F <= $self->{next_char} and $self->{next_char} <= 0x009F) or
689                 (0xD800 <= $self->{next_char} and $self->{next_char} <= 0xDFFF) or
690                 (0xFDD0 <= $self->{next_char} and $self->{next_char} <= 0xFDDF) or
691                 {
692                  0xFFFE => 1, 0xFFFF => 1, 0x1FFFE => 1, 0x1FFFF => 1,
693                  0x2FFFE => 1, 0x2FFFF => 1, 0x3FFFE => 1, 0x3FFFF => 1,
694                  0x4FFFE => 1, 0x4FFFF => 1, 0x5FFFE => 1, 0x5FFFF => 1,
695                  0x6FFFE => 1, 0x6FFFF => 1, 0x7FFFE => 1, 0x7FFFF => 1,
696                  0x8FFFE => 1, 0x8FFFF => 1, 0x9FFFE => 1, 0x9FFFF => 1,
697                  0xAFFFE => 1, 0xAFFFF => 1, 0xBFFFE => 1, 0xBFFFF => 1,
698                  0xCFFFE => 1, 0xCFFFF => 1, 0xDFFFE => 1, 0xDFFFF => 1,
699                  0xEFFFE => 1, 0xEFFFF => 1, 0xFFFFE => 1, 0xFFFFF => 1,
700                  0x10FFFE => 1, 0x10FFFF => 1,
701                 }->{$self->{next_char}}) {
702          !!!cp ('j5');
703          if ($self->{next_char} < 0x10000) {
704            !!!parse-error (type => 'control char',
705                            text => (sprintf 'U+%04X', $self->{next_char}));
706          } else {
707            !!!parse-error (type => 'control char',
708                            text => (sprintf 'U-%08X', $self->{next_char}));
709          }
710      }      }
711    };    };
712    $self->{prev_char} = [-1, -1, -1];    $self->{prev_char} = [-1, -1, -1];
# Line 228  sub parse_string ($$$;$) { Line 730  sub parse_string ($$$;$) {
730    delete $self->{parse_error}; # remove loop    delete $self->{parse_error}; # remove loop
731    
732    return $self->{document};    return $self->{document};
733  } # parse_string  } # parse_char_stream
734    
735  sub new ($) {  sub new ($) {
736    my $class = shift;    my $class = shift;
737    my $self = bless {}, $class;    my $self = bless {
738        level => {must => 'm',
739                  should => 's',
740                  warn => 'w',
741                  info => 'i',
742                  uncertain => 'u'},
743      }, $class;
744    $self->{set_next_char} = sub {    $self->{set_next_char} = sub {
745      $self->{next_char} = -1;      $self->{next_char} = -1;
746    };    };
# Line 294  sub DOCTYPE_SYSTEM_IDENTIFIER_SINGLE_QUO Line 802  sub DOCTYPE_SYSTEM_IDENTIFIER_SINGLE_QUO
802  sub AFTER_DOCTYPE_SYSTEM_IDENTIFIER_STATE () { 31 }  sub AFTER_DOCTYPE_SYSTEM_IDENTIFIER_STATE () { 31 }
803  sub BOGUS_DOCTYPE_STATE () { 32 }  sub BOGUS_DOCTYPE_STATE () { 32 }
804  sub AFTER_ATTRIBUTE_VALUE_QUOTED_STATE () { 33 }  sub AFTER_ATTRIBUTE_VALUE_QUOTED_STATE () { 33 }
805    sub SELF_CLOSING_START_TAG_STATE () { 34 }
806    sub CDATA_BLOCK_STATE () { 35 }
807    sub MD_HYPHEN_STATE () { 36 } # "markup declaration open state" in the spec
808    sub MD_DOCTYPE_STATE () { 37 } # "markup declaration open state" in the spec
809    sub MD_CDATA_STATE () { 38 } # "markup declaration open state" in the spec
810    sub CDATA_PCDATA_CLOSE_TAG_STATE () { 39 } # "close tag open state" in the spec
811    
812  sub DOCTYPE_TOKEN () { 1 }  sub DOCTYPE_TOKEN () { 1 }
813  sub COMMENT_TOKEN () { 2 }  sub COMMENT_TOKEN () { 2 }
# Line 311  sub ROW_IMS ()        { 0b10000000 } Line 825  sub ROW_IMS ()        { 0b10000000 }
825  sub BODY_AFTER_IMS () { 0b100000000 }  sub BODY_AFTER_IMS () { 0b100000000 }
826  sub FRAME_IMS ()      { 0b1000000000 }  sub FRAME_IMS ()      { 0b1000000000 }
827  sub SELECT_IMS ()     { 0b10000000000 }  sub SELECT_IMS ()     { 0b10000000000 }
828    sub IN_FOREIGN_CONTENT_IM () { 0b100000000000 }
829        ## NOTE: "in foreign content" insertion mode is special; it is combined
830        ## with the secondary insertion mode.  In this parser, they are stored
831        ## together in the bit-or'ed form.
832    
833  ## NOTE: "initial" and "before html" insertion modes have no constants.  ## NOTE: "initial" and "before html" insertion modes have no constants.
834    
# Line 342  sub IN_COLUMN_GROUP_IM () { 0b10 } Line 860  sub IN_COLUMN_GROUP_IM () { 0b10 }
860  sub _initialize_tokenizer ($) {  sub _initialize_tokenizer ($) {
861    my $self = shift;    my $self = shift;
862    $self->{state} = DATA_STATE; # MUST    $self->{state} = DATA_STATE; # MUST
863      #$self->{state_keyword}; # initialized when used
864    $self->{content_model} = PCDATA_CONTENT_MODEL; # be    $self->{content_model} = PCDATA_CONTENT_MODEL; # be
865    undef $self->{current_token}; # start tag, end tag, comment, or DOCTYPE    undef $self->{current_token}; # start tag, end tag, comment, or DOCTYPE
866    undef $self->{current_attribute};    undef $self->{current_attribute};
867    undef $self->{last_emitted_start_tag_name};    undef $self->{last_emitted_start_tag_name};
868    undef $self->{last_attribute_value_state};    undef $self->{last_attribute_value_state};
869      delete $self->{self_closing};
870    $self->{char} = [];    $self->{char} = [];
871    # $self->{next_char}    # $self->{next_char}
872    !!!next-input-character;    !!!next-input-character;
# Line 367  sub _initialize_tokenizer ($) { Line 887  sub _initialize_tokenizer ($) {
887  ##        ->{value}  ##        ->{value}
888  ##        ->{has_reference} == 1 or 0  ##        ->{has_reference} == 1 or 0
889  ##   ->{data} (COMMENT_TOKEN, CHARACTER_TOKEN)  ##   ->{data} (COMMENT_TOKEN, CHARACTER_TOKEN)
890    ## NOTE: The "self-closing flag" is hold as |$self->{self_closing}|.
891    ##     |->{self_closing}| is used to save the value of |$self->{self_closing}|
892    ##     while the token is pushed back to the stack.
893    
894  ## Emitted token MUST immediately be handled by the tree construction state.  ## Emitted token MUST immediately be handled by the tree construction state.
895    
# Line 393  sub _initialize_tokenizer ($) { Line 916  sub _initialize_tokenizer ($) {
916    
917  sub _get_next_token ($) {  sub _get_next_token ($) {
918    my $self = shift;    my $self = shift;
919    
920      if ($self->{self_closing}) {
921        !!!parse-error (type => 'nestc', token => $self->{current_token});
922        ## NOTE: The |self_closing| flag is only set by start tag token.
923        ## In addition, when a start tag token is emitted, it is always set to
924        ## |current_token|.
925        delete $self->{self_closing};
926      }
927    
928    if (@{$self->{token}}) {    if (@{$self->{token}}) {
929        $self->{self_closing} = $self->{token}->[0]->{self_closing};
930      return shift @{$self->{token}};      return shift @{$self->{token}};
931    }    }
932    
# Line 465  sub _get_next_token ($) { Line 998  sub _get_next_token ($) {
998        # Anything else        # Anything else
999        my $token = {type => CHARACTER_TOKEN,        my $token = {type => CHARACTER_TOKEN,
1000                     data => chr $self->{next_char},                     data => chr $self->{next_char},
1001                     line => $self->{line}, column => $self->{column}};                     line => $self->{line}, column => $self->{column},
1002                      };
1003        ## Stay in the data state        ## Stay in the data state
1004        !!!next-input-character;        !!!next-input-character;
1005    
# Line 485  sub _get_next_token ($) { Line 1019  sub _get_next_token ($) {
1019        unless (defined $token) {        unless (defined $token) {
1020          !!!cp (13);          !!!cp (13);
1021          !!!emit ({type => CHARACTER_TOKEN, data => '&',          !!!emit ({type => CHARACTER_TOKEN, data => '&',
1022                    line => $l, column => $c});                    line => $l, column => $c,
1023                     });
1024        } else {        } else {
1025          !!!cp (14);          !!!cp (14);
1026          !!!emit ($token);          !!!emit ($token);
# Line 506  sub _get_next_token ($) { Line 1041  sub _get_next_token ($) {
1041    
1042            !!!emit ({type => CHARACTER_TOKEN, data => '<',            !!!emit ({type => CHARACTER_TOKEN, data => '<',
1043                      line => $self->{line_prev},                      line => $self->{line_prev},
1044                      column => $self->{column_prev}});                      column => $self->{column_prev},
1045                       });
1046    
1047            redo A;            redo A;
1048          }          }
# Line 544  sub _get_next_token ($) { Line 1080  sub _get_next_token ($) {
1080            redo A;            redo A;
1081          } elsif ($self->{next_char} == 0x003E) { # >          } elsif ($self->{next_char} == 0x003E) { # >
1082            !!!cp (21);            !!!cp (21);
1083            !!!parse-error (type => 'empty start tag');            !!!parse-error (type => 'empty start tag',
1084                              line => $self->{line_prev},
1085                              column => $self->{column_prev});
1086            $self->{state} = DATA_STATE;            $self->{state} = DATA_STATE;
1087            !!!next-input-character;            !!!next-input-character;
1088    
1089            !!!emit ({type => CHARACTER_TOKEN, data => '<>',            !!!emit ({type => CHARACTER_TOKEN, data => '<>',
1090                      line => $self->{line_prev},                      line => $self->{line_prev},
1091                      column => $self->{column_prev}});                      column => $self->{column_prev},
1092                       });
1093    
1094            redo A;            redo A;
1095          } elsif ($self->{next_char} == 0x003F) { # ?          } elsif ($self->{next_char} == 0x003F) { # ?
1096            !!!cp (22);            !!!cp (22);
1097            !!!parse-error (type => 'pio');            !!!parse-error (type => 'pio',
1098                              line => $self->{line_prev},
1099                              column => $self->{column_prev});
1100            $self->{state} = BOGUS_COMMENT_STATE;            $self->{state} = BOGUS_COMMENT_STATE;
1101            $self->{current_token} = {type => COMMENT_TOKEN, data => '',            $self->{current_token} = {type => COMMENT_TOKEN, data => '',
1102                                      line => $self->{line_prev},                                      line => $self->{line_prev},
1103                                      column => $self->{column_prev}};                                      column => $self->{column_prev},
1104                                       };
1105            ## $self->{next_char} is intentionally left as is            ## $self->{next_char} is intentionally left as is
1106            redo A;            redo A;
1107          } else {          } else {
1108            !!!cp (23);            !!!cp (23);
1109            !!!parse-error (type => 'bare stago');            !!!parse-error (type => 'bare stago',
1110                              line => $self->{line_prev},
1111                              column => $self->{column_prev});
1112            $self->{state} = DATA_STATE;            $self->{state} = DATA_STATE;
1113            ## reconsume            ## reconsume
1114    
1115            !!!emit ({type => CHARACTER_TOKEN, data => '<',            !!!emit ({type => CHARACTER_TOKEN, data => '<',
1116                      line => $self->{line_prev},                      line => $self->{line_prev},
1117                      column => $self->{column_prev}});                      column => $self->{column_prev},
1118                       });
1119    
1120            redo A;            redo A;
1121          }          }
# Line 578  sub _get_next_token ($) { Line 1123  sub _get_next_token ($) {
1123          die "$0: $self->{content_model} in tag open";          die "$0: $self->{content_model} in tag open";
1124        }        }
1125      } elsif ($self->{state} == CLOSE_TAG_OPEN_STATE) {      } elsif ($self->{state} == CLOSE_TAG_OPEN_STATE) {
1126          ## NOTE: The "close tag open state" in the spec is implemented as
1127          ## |CLOSE_TAG_OPEN_STATE| and |CDATA_PCDATA_CLOSE_TAG_STATE|.
1128    
1129        my ($l, $c) = ($self->{line_prev}, $self->{column_prev} - 1); # "<"of"</"        my ($l, $c) = ($self->{line_prev}, $self->{column_prev} - 1); # "<"of"</"
1130        if ($self->{content_model} & CM_LIMITED_MARKUP) { # RCDATA | CDATA        if ($self->{content_model} & CM_LIMITED_MARKUP) { # RCDATA | CDATA
1131          if (defined $self->{last_emitted_start_tag_name}) {          if (defined $self->{last_emitted_start_tag_name}) {
1132              $self->{state} = CDATA_PCDATA_CLOSE_TAG_STATE;
1133            ## NOTE: <http://krijnhoetmer.nl/irc-logs/whatwg/20070626#l-564>            $self->{state_keyword} = '';
1134            my @next_char;            ## Reconsume.
1135            TAGNAME: for (my $i = 0; $i < length $self->{last_emitted_start_tag_name}; $i++) {            redo A;
             push @next_char, $self->{next_char};  
             my $c = ord substr ($self->{last_emitted_start_tag_name}, $i, 1);  
             my $C = 0x0061 <= $c && $c <= 0x007A ? $c - 0x0020 : $c;  
             if ($self->{next_char} == $c or $self->{next_char} == $C) {  
               !!!cp (24);  
               !!!next-input-character;  
               next TAGNAME;  
             } else {  
               !!!cp (25);  
               $self->{next_char} = shift @next_char; # reconsume  
               !!!back-next-input-character (@next_char);  
               $self->{state} = DATA_STATE;  
   
               !!!emit ({type => CHARACTER_TOKEN, data => '</',  
                         line => $l, column => $c});  
     
               redo A;  
             }  
           }  
           push @next_char, $self->{next_char};  
         
           unless ($self->{next_char} == 0x0009 or # HT  
                   $self->{next_char} == 0x000A or # LF  
                   $self->{next_char} == 0x000B or # VT  
                   $self->{next_char} == 0x000C or # FF  
                   $self->{next_char} == 0x0020 or # SP  
                   $self->{next_char} == 0x003E or # >  
                   $self->{next_char} == 0x002F or # /  
                   $self->{next_char} == -1) {  
             !!!cp (26);  
             $self->{next_char} = shift @next_char; # reconsume  
             !!!back-next-input-character (@next_char);  
             $self->{state} = DATA_STATE;  
             !!!emit ({type => CHARACTER_TOKEN, data => '</',  
                       line => $l, column => $c});  
             redo A;  
           } else {  
             !!!cp (27);  
             $self->{next_char} = shift @next_char;  
             !!!back-next-input-character (@next_char);  
             # and consume...  
           }  
1136          } else {          } else {
1137            ## No start tag token has ever been emitted            ## No start tag token has ever been emitted
1138              ## NOTE: See <http://krijnhoetmer.nl/irc-logs/whatwg/20070626#l-564>.
1139            !!!cp (28);            !!!cp (28);
           # next-input-character is already done  
1140            $self->{state} = DATA_STATE;            $self->{state} = DATA_STATE;
1141              ## Reconsume.
1142            !!!emit ({type => CHARACTER_TOKEN, data => '</',            !!!emit ({type => CHARACTER_TOKEN, data => '</',
1143                      line => $l, column => $c});                      line => $l, column => $c,
1144                       });
1145            redo A;            redo A;
1146          }          }
1147        }        }
1148          
1149        if (0x0041 <= $self->{next_char} and        if (0x0041 <= $self->{next_char} and
1150            $self->{next_char} <= 0x005A) { # A..Z            $self->{next_char} <= 0x005A) { # A..Z
1151          !!!cp (29);          !!!cp (29);
# Line 659  sub _get_next_token ($) { Line 1167  sub _get_next_token ($) {
1167          redo A;          redo A;
1168        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1169          !!!cp (31);          !!!cp (31);
1170          !!!parse-error (type => 'empty end tag');          !!!parse-error (type => 'empty end tag',
1171                            line => $self->{line_prev}, ## "<" in "</>"
1172                            column => $self->{column_prev} - 1);
1173          $self->{state} = DATA_STATE;          $self->{state} = DATA_STATE;
1174          !!!next-input-character;          !!!next-input-character;
1175          redo A;          redo A;
# Line 670  sub _get_next_token ($) { Line 1180  sub _get_next_token ($) {
1180          # reconsume          # reconsume
1181    
1182          !!!emit ({type => CHARACTER_TOKEN, data => '</',          !!!emit ({type => CHARACTER_TOKEN, data => '</',
1183                    line => $l, column => $c});                    line => $l, column => $c,
1184                     });
1185    
1186          redo A;          redo A;
1187        } else {        } else {
# Line 679  sub _get_next_token ($) { Line 1190  sub _get_next_token ($) {
1190          $self->{state} = BOGUS_COMMENT_STATE;          $self->{state} = BOGUS_COMMENT_STATE;
1191          $self->{current_token} = {type => COMMENT_TOKEN, data => '',          $self->{current_token} = {type => COMMENT_TOKEN, data => '',
1192                                    line => $self->{line_prev}, # "<" of "</"                                    line => $self->{line_prev}, # "<" of "</"
1193                                    column => $self->{column_prev} - 1};                                    column => $self->{column_prev} - 1,
1194          ## $self->{next_char} is intentionally left as is                                   };
1195          redo A;          ## NOTE: $self->{next_char} is intentionally left as is.
1196            ## Although the "anything else" case of the spec not explicitly
1197            ## states that the next input character is to be reconsumed,
1198            ## it will be included to the |data| of the comment token
1199            ## generated from the bogus end tag, as defined in the
1200            ## "bogus comment state" entry.
1201            redo A;
1202          }
1203        } elsif ($self->{state} == CDATA_PCDATA_CLOSE_TAG_STATE) {
1204          my $ch = substr $self->{last_emitted_start_tag_name}, length $self->{state_keyword}, 1;
1205          if (length $ch) {
1206            my $CH = $ch;
1207            $ch =~ tr/a-z/A-Z/;
1208            my $nch = chr $self->{next_char};
1209            if ($nch eq $ch or $nch eq $CH) {
1210              !!!cp (24);
1211              ## Stay in the state.
1212              $self->{state_keyword} .= $nch;
1213              !!!next-input-character;
1214              redo A;
1215            } else {
1216              !!!cp (25);
1217              $self->{state} = DATA_STATE;
1218              ## Reconsume.
1219              !!!emit ({type => CHARACTER_TOKEN,
1220                        data => '</' . $self->{state_keyword},
1221                        line => $self->{line_prev},
1222                        column => $self->{column_prev} - 1 - length $self->{state_keyword},
1223                       });
1224              redo A;
1225            }
1226          } else { # after "<{tag-name}"
1227            unless ({
1228                     0x0009 => 1, # HT
1229                     0x000A => 1, # LF
1230                     0x000B => 1, # VT
1231                     0x000C => 1, # FF
1232                     0x0020 => 1, # SP
1233                     0x003E => 1, # >
1234                     0x002F => 1, # /
1235                     -1 => 1, # EOF
1236                    }->{$self->{next_char}}) {
1237              !!!cp (26);
1238              ## Reconsume.
1239              $self->{state} = DATA_STATE;
1240              !!!emit ({type => CHARACTER_TOKEN,
1241                        data => '</' . $self->{state_keyword},
1242                        line => $self->{line_prev},
1243                        column => $self->{column_prev} - 1 - length $self->{state_keyword},
1244                       });
1245              redo A;
1246            } else {
1247              !!!cp (27);
1248              $self->{current_token}
1249                  = {type => END_TAG_TOKEN,
1250                     tag_name => $self->{last_emitted_start_tag_name},
1251                     line => $self->{line_prev},
1252                     column => $self->{column_prev} - 1 - length $self->{state_keyword}};
1253              $self->{state} = TAG_NAME_STATE;
1254              ## Reconsume.
1255              redo A;
1256            }
1257        }        }
1258      } elsif ($self->{state} == TAG_NAME_STATE) {      } elsif ($self->{state} == TAG_NAME_STATE) {
1259        if ($self->{next_char} == 0x0009 or # HT        if ($self->{next_char} == 0x0009 or # HT
# Line 696  sub _get_next_token ($) { Line 1268  sub _get_next_token ($) {
1268        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1269          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1270            !!!cp (35);            !!!cp (35);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1271            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1272          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1273            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 729  sub _get_next_token ($) { Line 1299  sub _get_next_token ($) {
1299          !!!parse-error (type => 'unclosed tag');          !!!parse-error (type => 'unclosed tag');
1300          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1301            !!!cp (39);            !!!cp (39);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1302            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1303          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1304            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 751  sub _get_next_token ($) { Line 1319  sub _get_next_token ($) {
1319    
1320          redo A;          redo A;
1321        } elsif ($self->{next_char} == 0x002F) { # /        } elsif ($self->{next_char} == 0x002F) { # /
1322            !!!cp (42);
1323            $self->{state} = SELF_CLOSING_START_TAG_STATE;
1324          !!!next-input-character;          !!!next-input-character;
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (42);  
           #  
         } else {  
           !!!cp (43);  
           !!!parse-error (type => 'nestc');  
         }  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         # next-input-character is already done  
1325          redo A;          redo A;
1326        } else {        } else {
1327          !!!cp (44);          !!!cp (44);
# Line 786  sub _get_next_token ($) { Line 1344  sub _get_next_token ($) {
1344        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1345          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1346            !!!cp (46);            !!!cp (46);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1347            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1348          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1349            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 809  sub _get_next_token ($) { Line 1365  sub _get_next_token ($) {
1365        } elsif (0x0041 <= $self->{next_char} and        } elsif (0x0041 <= $self->{next_char} and
1366                 $self->{next_char} <= 0x005A) { # A..Z                 $self->{next_char} <= 0x005A) { # A..Z
1367          !!!cp (49);          !!!cp (49);
1368          $self->{current_attribute} = {name => chr ($self->{next_char} + 0x0020),          $self->{current_attribute}
1369                                value => ''};              = {name => chr ($self->{next_char} + 0x0020),
1370                   value => '',
1371                   line => $self->{line}, column => $self->{column}};
1372          $self->{state} = ATTRIBUTE_NAME_STATE;          $self->{state} = ATTRIBUTE_NAME_STATE;
1373          !!!next-input-character;          !!!next-input-character;
1374          redo A;          redo A;
1375        } elsif ($self->{next_char} == 0x002F) { # /        } elsif ($self->{next_char} == 0x002F) { # /
1376            !!!cp (50);
1377            $self->{state} = SELF_CLOSING_START_TAG_STATE;
1378          !!!next-input-character;          !!!next-input-character;
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (50);  
           #  
         } else {  
           !!!cp (51);  
           !!!parse-error (type => 'nestc');  
         }  
         ## Stay in the state  
         # next-input-character is already done  
1379          redo A;          redo A;
1380        } elsif ($self->{next_char} == -1) {        } elsif ($self->{next_char} == -1) {
1381          !!!parse-error (type => 'unclosed tag');          !!!parse-error (type => 'unclosed tag');
1382          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1383            !!!cp (52);            !!!cp (52);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1384            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1385          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1386            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 864  sub _get_next_token ($) { Line 1410  sub _get_next_token ($) {
1410          } else {          } else {
1411            !!!cp (56);            !!!cp (56);
1412          }          }
1413          $self->{current_attribute} = {name => chr ($self->{next_char}),          $self->{current_attribute}
1414                                value => ''};              = {name => chr ($self->{next_char}),
1415                   value => '',
1416                   line => $self->{line}, column => $self->{column}};
1417          $self->{state} = ATTRIBUTE_NAME_STATE;          $self->{state} = ATTRIBUTE_NAME_STATE;
1418          !!!next-input-character;          !!!next-input-character;
1419          redo A;          redo A;
# Line 875  sub _get_next_token ($) { Line 1423  sub _get_next_token ($) {
1423          if (exists $self->{current_token}->{attributes} # start tag or end tag          if (exists $self->{current_token}->{attributes} # start tag or end tag
1424              ->{$self->{current_attribute}->{name}}) { # MUST              ->{$self->{current_attribute}->{name}}) { # MUST
1425            !!!cp (57);            !!!cp (57);
1426            !!!parse-error (type => 'duplicate attribute:'.$self->{current_attribute}->{name});            !!!parse-error (type => 'duplicate attribute', text => $self->{current_attribute}->{name}, line => $self->{current_attribute}->{line}, column => $self->{current_attribute}->{column});
1427            ## Discard $self->{current_attribute} # MUST            ## Discard $self->{current_attribute} # MUST
1428          } else {          } else {
1429            !!!cp (58);            !!!cp (58);
# Line 904  sub _get_next_token ($) { Line 1452  sub _get_next_token ($) {
1452          $before_leave->();          $before_leave->();
1453          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1454            !!!cp (61);            !!!cp (61);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1455            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1456          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1457            !!!cp (62);            !!!cp (62);
# Line 930  sub _get_next_token ($) { Line 1476  sub _get_next_token ($) {
1476          !!!next-input-character;          !!!next-input-character;
1477          redo A;          redo A;
1478        } elsif ($self->{next_char} == 0x002F) { # /        } elsif ($self->{next_char} == 0x002F) { # /
1479            !!!cp (64);
1480          $before_leave->();          $before_leave->();
1481            $self->{state} = SELF_CLOSING_START_TAG_STATE;
1482          !!!next-input-character;          !!!next-input-character;
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (64);  
           #  
         } else {  
           !!!cp (65);  
           !!!parse-error (type => 'nestc');  
         }  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         # next-input-character is already done  
1483          redo A;          redo A;
1484        } elsif ($self->{next_char} == -1) {        } elsif ($self->{next_char} == -1) {
1485          !!!parse-error (type => 'unclosed tag');          !!!parse-error (type => 'unclosed tag');
1486          $before_leave->();          $before_leave->();
1487          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1488            !!!cp (66);            !!!cp (66);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1489            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1490          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1491            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1002  sub _get_next_token ($) { Line 1536  sub _get_next_token ($) {
1536        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1537          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1538            !!!cp (73);            !!!cp (73);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1539            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1540          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1541            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1026  sub _get_next_token ($) { Line 1558  sub _get_next_token ($) {
1558        } elsif (0x0041 <= $self->{next_char} and        } elsif (0x0041 <= $self->{next_char} and
1559                 $self->{next_char} <= 0x005A) { # A..Z                 $self->{next_char} <= 0x005A) { # A..Z
1560          !!!cp (76);          !!!cp (76);
1561          $self->{current_attribute} = {name => chr ($self->{next_char} + 0x0020),          $self->{current_attribute}
1562                                value => ''};              = {name => chr ($self->{next_char} + 0x0020),
1563                   value => '',
1564                   line => $self->{line}, column => $self->{column}};
1565          $self->{state} = ATTRIBUTE_NAME_STATE;          $self->{state} = ATTRIBUTE_NAME_STATE;
1566          !!!next-input-character;          !!!next-input-character;
1567          redo A;          redo A;
1568        } elsif ($self->{next_char} == 0x002F) { # /        } elsif ($self->{next_char} == 0x002F) { # /
1569            !!!cp (77);
1570            $self->{state} = SELF_CLOSING_START_TAG_STATE;
1571          !!!next-input-character;          !!!next-input-character;
         if ($self->{next_char} == 0x003E and # >  
             $self->{current_token}->{type} == START_TAG_TOKEN and  
             $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {  
           # permitted slash  
           !!!cp (77);  
           #  
         } else {  
           !!!cp (78);  
           !!!parse-error (type => 'nestc');  
           ## TODO: Different error type for <aa / bb> than <aa/>  
         }  
         $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;  
         # next-input-character is already done  
1572          redo A;          redo A;
1573        } elsif ($self->{next_char} == -1) {        } elsif ($self->{next_char} == -1) {
1574          !!!parse-error (type => 'unclosed tag');          !!!parse-error (type => 'unclosed tag');
1575          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1576            !!!cp (79);            !!!cp (79);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1577            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1578          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1579            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1073  sub _get_next_token ($) { Line 1594  sub _get_next_token ($) {
1594    
1595          redo A;          redo A;
1596        } else {        } else {
1597          !!!cp (82);          if ($self->{next_char} == 0x0022 or # "
1598          $self->{current_attribute} = {name => chr ($self->{next_char}),              $self->{next_char} == 0x0027) { # '
1599                                value => ''};            !!!cp (78);
1600              !!!parse-error (type => 'bad attribute name');
1601            } else {
1602              !!!cp (82);
1603            }
1604            $self->{current_attribute}
1605                = {name => chr ($self->{next_char}),
1606                   value => '',
1607                   line => $self->{line}, column => $self->{column}};
1608          $self->{state} = ATTRIBUTE_NAME_STATE;          $self->{state} = ATTRIBUTE_NAME_STATE;
1609          !!!next-input-character;          !!!next-input-character;
1610          redo A;                  redo A;        
# Line 1106  sub _get_next_token ($) { Line 1635  sub _get_next_token ($) {
1635          !!!next-input-character;          !!!next-input-character;
1636          redo A;          redo A;
1637        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1638            !!!parse-error (type => 'empty unquoted attribute value');
1639          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1640            !!!cp (87);            !!!cp (87);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1641            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1642          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1643            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1133  sub _get_next_token ($) { Line 1661  sub _get_next_token ($) {
1661          !!!parse-error (type => 'unclosed tag');          !!!parse-error (type => 'unclosed tag');
1662          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1663            !!!cp (90);            !!!cp (90);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1664            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1665          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1666            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1182  sub _get_next_token ($) { Line 1708  sub _get_next_token ($) {
1708          !!!parse-error (type => 'unclosed attribute value');          !!!parse-error (type => 'unclosed attribute value');
1709          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1710            !!!cp (97);            !!!cp (97);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1711            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1712          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1713            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1226  sub _get_next_token ($) { Line 1750  sub _get_next_token ($) {
1750          !!!parse-error (type => 'unclosed attribute value');          !!!parse-error (type => 'unclosed attribute value');
1751          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1752            !!!cp (103);            !!!cp (103);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1753            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1754          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1755            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1273  sub _get_next_token ($) { Line 1795  sub _get_next_token ($) {
1795        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1796          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1797            !!!cp (109);            !!!cp (109);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1798            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1799          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1800            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1298  sub _get_next_token ($) { Line 1818  sub _get_next_token ($) {
1818          !!!parse-error (type => 'unclosed tag');          !!!parse-error (type => 'unclosed tag');
1819          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1820            !!!cp (112);            !!!cp (112);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1821            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1822          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1823            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1370  sub _get_next_token ($) { Line 1888  sub _get_next_token ($) {
1888        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
1889          if ($self->{current_token}->{type} == START_TAG_TOKEN) {          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1890            !!!cp (119);            !!!cp (119);
           $self->{current_token}->{first_start_tag}  
               = not defined $self->{last_emitted_start_tag_name};  
1891            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1892          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {          } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1893            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST            $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
# Line 1392  sub _get_next_token ($) { Line 1908  sub _get_next_token ($) {
1908    
1909          redo A;          redo A;
1910        } elsif ($self->{next_char} == 0x002F) { # /        } elsif ($self->{next_char} == 0x002F) { # /
1911            !!!cp (122);
1912            $self->{state} = SELF_CLOSING_START_TAG_STATE;
1913          !!!next-input-character;          !!!next-input-character;
1914          if ($self->{next_char} == 0x003E and # >          redo A;
1915              $self->{current_token}->{type} == START_TAG_TOKEN and        } elsif ($self->{next_char} == -1) {
1916              $permitted_slash_tag_name->{$self->{current_token}->{tag_name}}) {          !!!parse-error (type => 'unclosed tag');
1917            # permitted slash          if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1918            !!!cp (122);            !!!cp (122.3);
1919            #            $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1920            } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1921              if ($self->{current_token}->{attributes}) {
1922                !!!cp (122.1);
1923                !!!parse-error (type => 'end tag attribute');
1924              } else {
1925                ## NOTE: This state should never be reached.
1926                !!!cp (122.2);
1927              }
1928          } else {          } else {
1929            !!!cp (123);            die "$0: $self->{current_token}->{type}: Unknown token type";
           !!!parse-error (type => 'nestc');  
1930          }          }
1931          $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;          $self->{state} = DATA_STATE;
1932          # next-input-character is already done          ## Reconsume.
1933            !!!emit ($self->{current_token}); # start tag or end tag
1934          redo A;          redo A;
1935        } else {        } else {
1936          !!!cp (124);          !!!cp ('124.1');
1937          !!!parse-error (type => 'no space between attributes');          !!!parse-error (type => 'no space between attributes');
1938          $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;          $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;
1939          ## reconsume          ## reconsume
1940          redo A;          redo A;
1941        }        }
1942        } elsif ($self->{state} == SELF_CLOSING_START_TAG_STATE) {
1943          if ($self->{next_char} == 0x003E) { # >
1944            if ($self->{current_token}->{type} == END_TAG_TOKEN) {
1945              !!!cp ('124.2');
1946              !!!parse-error (type => 'nestc', token => $self->{current_token});
1947              ## TODO: Different type than slash in start tag
1948              $self->{content_model} = PCDATA_CONTENT_MODEL; # MUST
1949              if ($self->{current_token}->{attributes}) {
1950                !!!cp ('124.4');
1951                !!!parse-error (type => 'end tag attribute');
1952              } else {
1953                !!!cp ('124.5');
1954              }
1955              ## TODO: Test |<title></title/>|
1956            } else {
1957              !!!cp ('124.3');
1958              $self->{self_closing} = 1;
1959            }
1960    
1961            $self->{state} = DATA_STATE;
1962            !!!next-input-character;
1963    
1964            !!!emit ($self->{current_token}); # start tag or end tag
1965    
1966            redo A;
1967          } elsif ($self->{next_char} == -1) {
1968            !!!parse-error (type => 'unclosed tag');
1969            if ($self->{current_token}->{type} == START_TAG_TOKEN) {
1970              !!!cp (124.7);
1971              $self->{last_emitted_start_tag_name} = $self->{current_token}->{tag_name};
1972            } elsif ($self->{current_token}->{type} == END_TAG_TOKEN) {
1973              if ($self->{current_token}->{attributes}) {
1974                !!!cp (124.5);
1975                !!!parse-error (type => 'end tag attribute');
1976              } else {
1977                ## NOTE: This state should never be reached.
1978                !!!cp (124.6);
1979              }
1980            } else {
1981              die "$0: $self->{current_token}->{type}: Unknown token type";
1982            }
1983            $self->{state} = DATA_STATE;
1984            ## Reconsume.
1985            !!!emit ($self->{current_token}); # start tag or end tag
1986            redo A;
1987          } else {
1988            !!!cp ('124.4');
1989            !!!parse-error (type => 'nestc');
1990            ## TODO: This error type is wrong.
1991            $self->{state} = BEFORE_ATTRIBUTE_NAME_STATE;
1992            ## Reconsume.
1993            redo A;
1994          }
1995      } elsif ($self->{state} == BOGUS_COMMENT_STATE) {      } elsif ($self->{state} == BOGUS_COMMENT_STATE) {
1996        ## (only happen if PCDATA state)        ## (only happen if PCDATA state)
1997                
# Line 1447  sub _get_next_token ($) { Line 2026  sub _get_next_token ($) {
2026        die "$0: _get_next_token: unexpected case [BC]";        die "$0: _get_next_token: unexpected case [BC]";
2027      } elsif ($self->{state} == MARKUP_DECLARATION_OPEN_STATE) {      } elsif ($self->{state} == MARKUP_DECLARATION_OPEN_STATE) {
2028        ## (only happen if PCDATA state)        ## (only happen if PCDATA state)
   
       my ($l, $c) = ($self->{line_prev}, $self->{column_prev} - 1);  
   
       my @next_char;  
       push @next_char, $self->{next_char};  
2029                
2030        if ($self->{next_char} == 0x002D) { # -        if ($self->{next_char} == 0x002D) { # -
2031            !!!cp (133);
2032            $self->{state} = MD_HYPHEN_STATE;
2033          !!!next-input-character;          !!!next-input-character;
2034          push @next_char, $self->{next_char};          redo A;
         if ($self->{next_char} == 0x002D) { # -  
           !!!cp (127);  
           $self->{current_token} = {type => COMMENT_TOKEN, data => '',  
                                     line => $l, column => $c};  
           $self->{state} = COMMENT_START_STATE;  
           !!!next-input-character;  
           redo A;  
         } else {  
           !!!cp (128);  
         }  
2035        } elsif ($self->{next_char} == 0x0044 or # D        } elsif ($self->{next_char} == 0x0044 or # D
2036                 $self->{next_char} == 0x0064) { # d                 $self->{next_char} == 0x0064) { # d
2037            ## ASCII case-insensitive.
2038            !!!cp (130);
2039            $self->{state} = MD_DOCTYPE_STATE;
2040            $self->{state_keyword} = chr $self->{next_char};
2041          !!!next-input-character;          !!!next-input-character;
2042          push @next_char, $self->{next_char};          redo A;
2043          if ($self->{next_char} == 0x004F or # O        } elsif ($self->{insertion_mode} & IN_FOREIGN_CONTENT_IM and
2044              $self->{next_char} == 0x006F) { # o                 $self->{open_elements}->[-1]->[1] & FOREIGN_EL and
2045            !!!next-input-character;                 $self->{next_char} == 0x005B) { # [
2046            push @next_char, $self->{next_char};          !!!cp (135.4);                
2047            if ($self->{next_char} == 0x0043 or # C          $self->{state} = MD_CDATA_STATE;
2048                $self->{next_char} == 0x0063) { # c          $self->{state_keyword} = '[';
2049              !!!next-input-character;          !!!next-input-character;
2050              push @next_char, $self->{next_char};          redo A;
             if ($self->{next_char} == 0x0054 or # T  
                 $self->{next_char} == 0x0074) { # t  
               !!!next-input-character;  
               push @next_char, $self->{next_char};  
               if ($self->{next_char} == 0x0059 or # Y  
                   $self->{next_char} == 0x0079) { # y  
                 !!!next-input-character;  
                 push @next_char, $self->{next_char};  
                 if ($self->{next_char} == 0x0050 or # P  
                     $self->{next_char} == 0x0070) { # p  
                   !!!next-input-character;  
                   push @next_char, $self->{next_char};  
                   if ($self->{next_char} == 0x0045 or # E  
                       $self->{next_char} == 0x0065) { # e  
                     !!!cp (129);  
                     ## TODO: What a stupid code this is!  
                     $self->{state} = DOCTYPE_STATE;  
                     $self->{current_token} = {type => DOCTYPE_TOKEN,  
                                               quirks => 1,  
                                               line => $l, column => $c};  
                     !!!next-input-character;  
                     redo A;  
                   } else {  
                     !!!cp (130);  
                   }  
                 } else {  
                   !!!cp (131);  
                 }  
               } else {  
                 !!!cp (132);  
               }  
             } else {  
               !!!cp (133);  
             }  
           } else {  
             !!!cp (134);  
           }  
         } else {  
           !!!cp (135);  
         }  
2051        } else {        } else {
2052          !!!cp (136);          !!!cp (136);
2053        }        }
2054    
2055        !!!parse-error (type => 'bogus comment');        !!!parse-error (type => 'bogus comment',
2056        $self->{next_char} = shift @next_char;                        line => $self->{line_prev},
2057        !!!back-next-input-character (@next_char);                        column => $self->{column_prev} - 1);
2058          ## Reconsume.
2059        $self->{state} = BOGUS_COMMENT_STATE;        $self->{state} = BOGUS_COMMENT_STATE;
2060        $self->{current_token} = {type => COMMENT_TOKEN, data => '',        $self->{current_token} = {type => COMMENT_TOKEN, data => '',
2061                                  line => $l, column => $c};                                  line => $self->{line_prev},
2062                                    column => $self->{column_prev} - 1,
2063                                   };
2064        redo A;        redo A;
2065              } elsif ($self->{state} == MD_HYPHEN_STATE) {
2066        ## ISSUE: typos in spec: chacacters, is is a parse error        if ($self->{next_char} == 0x002D) { # -
2067        ## ISSUE: spec is somewhat unclear on "is the first character that will be in the comment"; what is "that will be in the comment" is what the algorithm defines, isn't it?          !!!cp (127);
2068            $self->{current_token} = {type => COMMENT_TOKEN, data => '',
2069                                      line => $self->{line_prev},
2070                                      column => $self->{column_prev} - 2,
2071                                     };
2072            $self->{state} = COMMENT_START_STATE;
2073            !!!next-input-character;
2074            redo A;
2075          } else {
2076            !!!cp (128);
2077            !!!parse-error (type => 'bogus comment',
2078                            line => $self->{line_prev},
2079                            column => $self->{column_prev} - 2);
2080            $self->{state} = BOGUS_COMMENT_STATE;
2081            ## Reconsume.
2082            $self->{current_token} = {type => COMMENT_TOKEN,
2083                                      data => '-',
2084                                      line => $self->{line_prev},
2085                                      column => $self->{column_prev} - 2,
2086                                     };
2087            redo A;
2088          }
2089        } elsif ($self->{state} == MD_DOCTYPE_STATE) {
2090          ## ASCII case-insensitive.
2091          if ($self->{next_char} == [
2092                undef,
2093                0x004F, # O
2094                0x0043, # C
2095                0x0054, # T
2096                0x0059, # Y
2097                0x0050, # P
2098              ]->[length $self->{state_keyword}] or
2099              $self->{next_char} == [
2100                undef,
2101                0x006F, # o
2102                0x0063, # c
2103                0x0074, # t
2104                0x0079, # y
2105                0x0070, # p
2106              ]->[length $self->{state_keyword}]) {
2107            !!!cp (131);
2108            ## Stay in the state.
2109            $self->{state_keyword} .= chr $self->{next_char};
2110            !!!next-input-character;
2111            redo A;
2112          } elsif ((length $self->{state_keyword}) == 6 and
2113                   ($self->{next_char} == 0x0045 or # E
2114                    $self->{next_char} == 0x0065)) { # e
2115            !!!cp (129);
2116            $self->{state} = DOCTYPE_STATE;
2117            $self->{current_token} = {type => DOCTYPE_TOKEN,
2118                                      quirks => 1,
2119                                      line => $self->{line_prev},
2120                                      column => $self->{column_prev} - 7,
2121                                     };
2122            !!!next-input-character;
2123            redo A;
2124          } else {
2125            !!!cp (132);        
2126            !!!parse-error (type => 'bogus comment',
2127                            line => $self->{line_prev},
2128                            column => $self->{column_prev} - 1 - length $self->{state_keyword});
2129            $self->{state} = BOGUS_COMMENT_STATE;
2130            ## Reconsume.
2131            $self->{current_token} = {type => COMMENT_TOKEN,
2132                                      data => $self->{state_keyword},
2133                                      line => $self->{line_prev},
2134                                      column => $self->{column_prev} - 1 - length $self->{state_keyword},
2135                                     };
2136            redo A;
2137          }
2138        } elsif ($self->{state} == MD_CDATA_STATE) {
2139          if ($self->{next_char} == {
2140                '[' => 0x0043, # C
2141                '[C' => 0x0044, # D
2142                '[CD' => 0x0041, # A
2143                '[CDA' => 0x0054, # T
2144                '[CDAT' => 0x0041, # A
2145              }->{$self->{state_keyword}}) {
2146            !!!cp (135.1);
2147            ## Stay in the state.
2148            $self->{state_keyword} .= chr $self->{next_char};
2149            !!!next-input-character;
2150            redo A;
2151          } elsif ($self->{state_keyword} eq '[CDATA' and
2152                   $self->{next_char} == 0x005B) { # [
2153            !!!cp (135.2);
2154            $self->{state} = CDATA_BLOCK_STATE;
2155            !!!next-input-character;
2156            redo A;
2157          } else {
2158            !!!cp (135.3);
2159            !!!parse-error (type => 'bogus comment',
2160                            line => $self->{line_prev},
2161                            column => $self->{column_prev} - 1 - length $self->{state_keyword});
2162            $self->{state} = BOGUS_COMMENT_STATE;
2163            ## Reconsume.
2164            $self->{current_token} = {type => COMMENT_TOKEN,
2165                                      data => $self->{state_keyword},
2166                                      line => $self->{line_prev},
2167                                      column => $self->{column_prev} - 1 - length $self->{state_keyword},
2168                                     };
2169            redo A;
2170          }
2171      } elsif ($self->{state} == COMMENT_START_STATE) {      } elsif ($self->{state} == COMMENT_START_STATE) {
2172        if ($self->{next_char} == 0x002D) { # -        if ($self->{next_char} == 0x002D) { # -
2173          !!!cp (137);          !!!cp (137);
# Line 1651  sub _get_next_token ($) { Line 2287  sub _get_next_token ($) {
2287          redo A;          redo A;
2288        } elsif ($self->{next_char} == 0x002D) { # -        } elsif ($self->{next_char} == 0x002D) { # -
2289          !!!cp (152);          !!!cp (152);
2290          !!!parse-error (type => 'dash in comment');          !!!parse-error (type => 'dash in comment',
2291                            line => $self->{line_prev},
2292                            column => $self->{column_prev});
2293          $self->{current_token}->{data} .= '-'; # comment          $self->{current_token}->{data} .= '-'; # comment
2294          ## Stay in the state          ## Stay in the state
2295          !!!next-input-character;          !!!next-input-character;
# Line 1667  sub _get_next_token ($) { Line 2305  sub _get_next_token ($) {
2305          redo A;          redo A;
2306        } else {        } else {
2307          !!!cp (154);          !!!cp (154);
2308          !!!parse-error (type => 'dash in comment');          !!!parse-error (type => 'dash in comment',
2309                            line => $self->{line_prev},
2310                            column => $self->{column_prev});
2311          $self->{current_token}->{data} .= '--' . chr ($self->{next_char}); # comment          $self->{current_token}->{data} .= '--' . chr ($self->{next_char}); # comment
2312          $self->{state} = COMMENT_STATE;          $self->{state} = COMMENT_STATE;
2313          !!!next-input-character;          !!!next-input-character;
# Line 2112  sub _get_next_token ($) { Line 2752  sub _get_next_token ($) {
2752          redo A;          redo A;
2753        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
2754          !!!cp (208);          !!!cp (208);
2755          !!!parse-error (type => 'unclosed PUBLIC literal');          !!!parse-error (type => 'unclosed SYSTEM literal');
2756    
2757          $self->{state} = DATA_STATE;          $self->{state} = DATA_STATE;
2758          !!!next-input-character;          !!!next-input-character;
# Line 2148  sub _get_next_token ($) { Line 2788  sub _get_next_token ($) {
2788          redo A;          redo A;
2789        } elsif ($self->{next_char} == 0x003E) { # >        } elsif ($self->{next_char} == 0x003E) { # >
2790          !!!cp (212);          !!!cp (212);
2791          !!!parse-error (type => 'unclosed PUBLIC literal');          !!!parse-error (type => 'unclosed SYSTEM literal');
2792    
2793          $self->{state} = DATA_STATE;          $self->{state} = DATA_STATE;
2794          !!!next-input-character;          !!!next-input-character;
# Line 2196  sub _get_next_token ($) { Line 2836  sub _get_next_token ($) {
2836        } elsif ($self->{next_char} == -1) {        } elsif ($self->{next_char} == -1) {
2837          !!!cp (217);          !!!cp (217);
2838          !!!parse-error (type => 'unclosed DOCTYPE');          !!!parse-error (type => 'unclosed DOCTYPE');
   
2839          $self->{state} = DATA_STATE;          $self->{state} = DATA_STATE;
2840          ## reconsume          ## reconsume
2841    
# Line 2237  sub _get_next_token ($) { Line 2876  sub _get_next_token ($) {
2876          !!!next-input-character;          !!!next-input-character;
2877          redo A;          redo A;
2878        }        }
2879        } elsif ($self->{state} == CDATA_BLOCK_STATE) {
2880          my $s = '';
2881          
2882          my ($l, $c) = ($self->{line}, $self->{column});
2883    
2884          CS: while ($self->{next_char} != -1) {
2885            if ($self->{next_char} == 0x005D) { # ]
2886              !!!next-input-character;
2887              if ($self->{next_char} == 0x005D) { # ]
2888                !!!next-input-character;
2889                MDC: {
2890                  if ($self->{next_char} == 0x003E) { # >
2891                    !!!cp (221.1);
2892                    !!!next-input-character;
2893                    last CS;
2894                  } elsif ($self->{next_char} == 0x005D) { # ]
2895                    !!!cp (221.2);
2896                    $s .= ']';
2897                    !!!next-input-character;
2898                    redo MDC;
2899                  } else {
2900                    !!!cp (221.3);
2901                    $s .= ']]';
2902                    #
2903                  }
2904                } # MDC
2905              } else {
2906                !!!cp (221.4);
2907                $s .= ']';
2908                #
2909              }
2910            } else {
2911              !!!cp (221.5);
2912              #
2913            }
2914            $s .= chr $self->{next_char};
2915            !!!next-input-character;
2916          } # CS
2917    
2918          $self->{state} = DATA_STATE;
2919          ## next-input-character done or EOF, which is reconsumed.
2920    
2921          if (length $s) {
2922            !!!cp (221.6);
2923            !!!emit ({type => CHARACTER_TOKEN, data => $s,
2924                      line => $l, column => $c});
2925          } else {
2926            !!!cp (221.7);
2927          }
2928    
2929          redo A;
2930    
2931          ## ISSUE: "text tokens" in spec.
2932          ## TODO: Streaming support
2933      } else {      } else {
2934        die "$0: $self->{state}: Unknown state";        die "$0: $self->{state}: Unknown state";
2935      }      }
# Line 2304  sub _tokenize_attempt_to_consume_an_enti Line 2997  sub _tokenize_attempt_to_consume_an_enti
2997    
2998          if ($code == 0 or (0xD800 <= $code and $code <= 0xDFFF)) {          if ($code == 0 or (0xD800 <= $code and $code <= 0xDFFF)) {
2999            !!!cp (1008);            !!!cp (1008);
3000            !!!parse-error (type => (sprintf 'invalid character reference:U+%04X', $code), line => $l, column => $c);            !!!parse-error (type => 'invalid character reference',
3001                              text => (sprintf 'U+%04X', $code),
3002                              line => $l, column => $c);
3003            $code = 0xFFFD;            $code = 0xFFFD;
3004          } elsif ($code > 0x10FFFF) {          } elsif ($code > 0x10FFFF) {
3005            !!!cp (1009);            !!!cp (1009);
3006            !!!parse-error (type => (sprintf 'invalid character reference:U-%08X', $code), line => $l, column => $c);            !!!parse-error (type => 'invalid character reference',
3007                              text => (sprintf 'U-%08X', $code),
3008                              line => $l, column => $c);
3009            $code = 0xFFFD;            $code = 0xFFFD;
3010          } elsif ($code == 0x000D) {          } elsif ($code == 0x000D) {
3011            !!!cp (1010);            !!!cp (1010);
# Line 2316  sub _tokenize_attempt_to_consume_an_enti Line 3013  sub _tokenize_attempt_to_consume_an_enti
3013            $code = 0x000A;            $code = 0x000A;
3014          } elsif (0x80 <= $code and $code <= 0x9F) {          } elsif (0x80 <= $code and $code <= 0x9F) {
3015            !!!cp (1011);            !!!cp (1011);
3016            !!!parse-error (type => (sprintf 'C1 character reference:U+%04X', $code), line => $l, column => $c);            !!!parse-error (type => 'C1 character reference', text => (sprintf 'U+%04X', $code), line => $l, column => $c);
3017            $code = $c1_entity_char->{$code};            $code = $c1_entity_char->{$code};
3018          }          }
3019    
3020          return {type => CHARACTER_TOKEN, data => chr $code,          return {type => CHARACTER_TOKEN, data => chr $code,
3021                  has_reference => 1, line => $l, column => $c};                  has_reference => 1,
3022                    line => $l, column => $c,
3023                   };
3024        } # X        } # X
3025      } elsif (0x0030 <= $self->{next_char} and      } elsif (0x0030 <= $self->{next_char} and
3026               $self->{next_char} <= 0x0039) { # 0..9               $self->{next_char} <= 0x0039) { # 0..9
# Line 2347  sub _tokenize_attempt_to_consume_an_enti Line 3046  sub _tokenize_attempt_to_consume_an_enti
3046    
3047        if ($code == 0 or (0xD800 <= $code and $code <= 0xDFFF)) {        if ($code == 0 or (0xD800 <= $code and $code <= 0xDFFF)) {
3048          !!!cp (1015);          !!!cp (1015);
3049          !!!parse-error (type => (sprintf 'invalid character reference:U+%04X', $code), line => $l, column => $c);          !!!parse-error (type => 'invalid character reference',
3050                            text => (sprintf 'U+%04X', $code),
3051                            line => $l, column => $c);
3052          $code = 0xFFFD;          $code = 0xFFFD;
3053        } elsif ($code > 0x10FFFF) {        } elsif ($code > 0x10FFFF) {
3054          !!!cp (1016);          !!!cp (1016);
3055          !!!parse-error (type => (sprintf 'invalid character reference:U-%08X', $code), line => $l, column => $c);          !!!parse-error (type => 'invalid character reference',
3056                            text => (sprintf 'U-%08X', $code),
3057                            line => $l, column => $c);
3058          $code = 0xFFFD;          $code = 0xFFFD;
3059        } elsif ($code == 0x000D) {        } elsif ($code == 0x000D) {
3060          !!!cp (1017);          !!!cp (1017);
3061          !!!parse-error (type => 'CR character reference', line => $l, column => $c);          !!!parse-error (type => 'CR character reference',
3062                            line => $l, column => $c);
3063          $code = 0x000A;          $code = 0x000A;
3064        } elsif (0x80 <= $code and $code <= 0x9F) {        } elsif (0x80 <= $code and $code <= 0x9F) {
3065          !!!cp (1018);          !!!cp (1018);
3066          !!!parse-error (type => (sprintf 'C1 character reference:U+%04X', $code), line => $l, column => $c);          !!!parse-error (type => 'C1 character reference',
3067                            text => (sprintf 'U+%04X', $code),
3068                            line => $l, column => $c);
3069          $code = $c1_entity_char->{$code};          $code = $c1_entity_char->{$code};
3070        }        }
3071                
3072        return {type => CHARACTER_TOKEN, data => chr $code, has_reference => 1,        return {type => CHARACTER_TOKEN, data => chr $code, has_reference => 1,
3073                line => $l, column => $c};                line => $l, column => $c,
3074                 };
3075      } else {      } else {
3076        !!!cp (1019);        !!!cp (1019);
3077        !!!parse-error (type => 'bare nero', line => $l, column => $c);        !!!parse-error (type => 'bare nero', line => $l, column => $c);
# Line 2384  sub _tokenize_attempt_to_consume_an_enti Line 3091  sub _tokenize_attempt_to_consume_an_enti
3091      require Whatpm::_NamedEntityList;      require Whatpm::_NamedEntityList;
3092      our $EntityChar;      our $EntityChar;
3093    
3094      while (length $entity_name < 10 and      while (length $entity_name < 30 and
3095             ## NOTE: Some number greater than the maximum length of entity name             ## NOTE: Some number greater than the maximum length of entity name
3096             ((0x0041 <= $self->{next_char} and # a             ((0x0041 <= $self->{next_char} and # a
3097               $self->{next_char} <= 0x005A) or # x               $self->{next_char} <= 0x005A) or # x
# Line 2418  sub _tokenize_attempt_to_consume_an_enti Line 3125  sub _tokenize_attempt_to_consume_an_enti
3125      if ($match > 0) {      if ($match > 0) {
3126        !!!cp (1023);        !!!cp (1023);
3127        return {type => CHARACTER_TOKEN, data => $value, has_reference => 1,        return {type => CHARACTER_TOKEN, data => $value, has_reference => 1,
3128                line => $l, column => $c};                line => $l, column => $c,
3129                 };
3130      } elsif ($match < 0) {      } elsif ($match < 0) {
3131        !!!parse-error (type => 'no refc', line => $l, column => $c);        !!!parse-error (type => 'no refc', line => $l, column => $c);
3132        if ($in_attr and $match < -1) {        if ($in_attr and $match < -1) {
3133          !!!cp (1024);          !!!cp (1024);
3134          return {type => CHARACTER_TOKEN, data => '&'.$entity_name,          return {type => CHARACTER_TOKEN, data => '&'.$entity_name,
3135                  line => $l, column => $c};                  line => $l, column => $c,
3136                   };
3137        } else {        } else {
3138          !!!cp (1025);          !!!cp (1025);
3139          return {type => CHARACTER_TOKEN, data => $value, has_reference => 1,          return {type => CHARACTER_TOKEN, data => $value, has_reference => 1,
3140                  line => $l, column => $c};                  line => $l, column => $c,
3141                   };
3142        }        }
3143      } else {      } else {
3144        !!!cp (1026);        !!!cp (1026);
3145        !!!parse-error (type => 'bare ero', line => $l, column => $c);        !!!parse-error (type => 'bare ero', line => $l, column => $c);
3146        ## NOTE: "No characters are consumed" in the spec.        ## NOTE: "No characters are consumed" in the spec.
3147        return {type => CHARACTER_TOKEN, data => '&'.$value,        return {type => CHARACTER_TOKEN, data => '&'.$value,
3148                line => $l, column => $c};                line => $l, column => $c,
3149                 };
3150      }      }
3151    } else {    } else {
3152      !!!cp (1027);      !!!cp (1027);
# Line 2452  sub _initialize_tree_constructor ($) { Line 3163  sub _initialize_tree_constructor ($) {
3163    ## TODO: Turn mutation events off # MUST    ## TODO: Turn mutation events off # MUST
3164    ## TODO: Turn loose Document option (manakai extension) on    ## TODO: Turn loose Document option (manakai extension) on
3165    $self->{document}->manakai_is_html (1); # MUST    $self->{document}->manakai_is_html (1); # MUST
3166      $self->{document}->set_user_data (manakai_source_line => 1);
3167      $self->{document}->set_user_data (manakai_source_column => 1);
3168  } # _initialize_tree_constructor  } # _initialize_tree_constructor
3169    
3170  sub _terminate_tree_constructor ($) {  sub _terminate_tree_constructor ($) {
# Line 2506  sub _tree_construction_initial ($) { Line 3219  sub _tree_construction_initial ($) {
3219        ## language.        ## language.
3220        my $doctype_name = $token->{name};        my $doctype_name = $token->{name};
3221        $doctype_name = '' unless defined $doctype_name;        $doctype_name = '' unless defined $doctype_name;
3222        $doctype_name =~ tr/a-z/A-Z/;        $doctype_name =~ tr/a-z/A-Z/; # ASCII case-insensitive
3223        if (not defined $token->{name} or # <!DOCTYPE>        if (not defined $token->{name} or # <!DOCTYPE>
           defined $token->{public_identifier} or  
3224            defined $token->{system_identifier}) {            defined $token->{system_identifier}) {
3225          !!!cp ('t1');          !!!cp ('t1');
3226          !!!parse-error (type => 'not HTML5', token => $token);          !!!parse-error (type => 'not HTML5', token => $token);
3227        } elsif ($doctype_name ne 'HTML') {        } elsif ($doctype_name ne 'HTML') {
3228          !!!cp ('t2');          !!!cp ('t2');
         ## ISSUE: ASCII case-insensitive? (in fact it does not matter)  
3229          !!!parse-error (type => 'not HTML5', token => $token);          !!!parse-error (type => 'not HTML5', token => $token);
3230          } elsif (defined $token->{public_identifier}) {
3231            if ($token->{public_identifier} eq 'XSLT-compat') {
3232              !!!cp ('t1.2');
3233              !!!parse-error (type => 'XSLT-compat', token => $token,
3234                              level => $self->{level}->{should});
3235            } else {
3236              !!!parse-error (type => 'not HTML5', token => $token);
3237            }
3238        } else {        } else {
3239          !!!cp ('t3');          !!!cp ('t3');
3240            #
3241        }        }
3242                
3243        my $doctype = $self->{document}->create_document_type_definition        my $doctype = $self->{document}->create_document_type_definition
3244          ($token->{name}); ## ISSUE: If name is missing (e.g. <!DOCTYPE>)?          ($token->{name}); ## ISSUE: If name is missing (e.g. <!DOCTYPE>)?
3245          ## NOTE: Default value for both |public_id| and |system_id| attributes
3246          ## are empty strings, so that we don't set any value in missing cases.
3247        $doctype->public_id ($token->{public_identifier})        $doctype->public_id ($token->{public_identifier})
3248            if defined $token->{public_identifier};            if defined $token->{public_identifier};
3249        $doctype->system_id ($token->{system_identifier})        $doctype->system_id ($token->{system_identifier})
# Line 2536  sub _tree_construction_initial ($) { Line 3258  sub _tree_construction_initial ($) {
3258        } elsif (defined $token->{public_identifier}) {        } elsif (defined $token->{public_identifier}) {
3259          my $pubid = $token->{public_identifier};          my $pubid = $token->{public_identifier};
3260          $pubid =~ tr/a-z/A-z/;          $pubid =~ tr/a-z/A-z/;
3261          if ({          my $prefix = [
3262            "+//SILMARIL//DTD HTML PRO V0R11 19970101//EN" => 1,            "+//SILMARIL//DTD HTML PRO V0R11 19970101//",
3263            "-//ADVASOFT LTD//DTD HTML 3.0 ASWEDIT + EXTENSIONS//EN" => 1,            "-//ADVASOFT LTD//DTD HTML 3.0 ASWEDIT + EXTENSIONS//",
3264            "-//AS//DTD HTML 3.0 ASWEDIT + EXTENSIONS//EN" => 1,            "-//AS//DTD HTML 3.0 ASWEDIT + EXTENSIONS//",
3265            "-//IETF//DTD HTML 2.0 LEVEL 1//EN" => 1,            "-//IETF//DTD HTML 2.0 LEVEL 1//",
3266            "-//IETF//DTD HTML 2.0 LEVEL 2//EN" => 1,            "-//IETF//DTD HTML 2.0 LEVEL 2//",
3267            "-//IETF//DTD HTML 2.0 STRICT LEVEL 1//EN" => 1,            "-//IETF//DTD HTML 2.0 STRICT LEVEL 1//",
3268            "-//IETF//DTD HTML 2.0 STRICT LEVEL 2//EN" => 1,            "-//IETF//DTD HTML 2.0 STRICT LEVEL 2//",
3269            "-//IETF//DTD HTML 2.0 STRICT//EN" => 1,            "-//IETF//DTD HTML 2.0 STRICT//",
3270            "-//IETF//DTD HTML 2.0//EN" => 1,            "-//IETF//DTD HTML 2.0//",
3271            "-//IETF//DTD HTML 2.1E//EN" => 1,            "-//IETF//DTD HTML 2.1E//",
3272            "-//IETF//DTD HTML 3.0//EN" => 1,            "-//IETF//DTD HTML 3.0//",
3273            "-//IETF//DTD HTML 3.0//EN//" => 1,            "-//IETF//DTD HTML 3.2 FINAL//",
3274            "-//IETF//DTD HTML 3.2 FINAL//EN" => 1,            "-//IETF//DTD HTML 3.2//",
3275            "-//IETF//DTD HTML 3.2//EN" => 1,            "-//IETF//DTD HTML 3//",
3276            "-//IETF//DTD HTML 3//EN" => 1,            "-//IETF//DTD HTML LEVEL 0//",
3277            "-//IETF//DTD HTML LEVEL 0//EN" => 1,            "-//IETF//DTD HTML LEVEL 1//",
3278            "-//IETF//DTD HTML LEVEL 0//EN//2.0" => 1,            "-//IETF//DTD HTML LEVEL 2//",
3279            "-//IETF//DTD HTML LEVEL 1//EN" => 1,            "-//IETF//DTD HTML LEVEL 3//",
3280            "-//IETF//DTD HTML LEVEL 1//EN//2.0" => 1,            "-//IETF//DTD HTML STRICT LEVEL 0//",
3281            "-//IETF//DTD HTML LEVEL 2//EN" => 1,            "-//IETF//DTD HTML STRICT LEVEL 1//",
3282            "-//IETF//DTD HTML LEVEL 2//EN//2.0" => 1,            "-//IETF//DTD HTML STRICT LEVEL 2//",
3283            "-//IETF//DTD HTML LEVEL 3//EN" => 1,            "-//IETF//DTD HTML STRICT LEVEL 3//",
3284            "-//IETF//DTD HTML LEVEL 3//EN//3.0" => 1,            "-//IETF//DTD HTML STRICT//",
3285            "-//IETF//DTD HTML STRICT LEVEL 0//EN" => 1,            "-//IETF//DTD HTML//",
3286            "-//IETF//DTD HTML STRICT LEVEL 0//EN//2.0" => 1,            "-//METRIUS//DTD METRIUS PRESENTATIONAL//",
3287            "-//IETF//DTD HTML STRICT LEVEL 1//EN" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 HTML STRICT//",
3288            "-//IETF//DTD HTML STRICT LEVEL 1//EN//2.0" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 HTML//",
3289            "-//IETF//DTD HTML STRICT LEVEL 2//EN" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 TABLES//",
3290            "-//IETF//DTD HTML STRICT LEVEL 2//EN//2.0" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 HTML STRICT//",
3291            "-//IETF//DTD HTML STRICT LEVEL 3//EN" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 HTML//",
3292            "-//IETF//DTD HTML STRICT LEVEL 3//EN//3.0" => 1,            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 TABLES//",
3293            "-//IETF//DTD HTML STRICT//EN" => 1,            "-//NETSCAPE COMM. CORP.//DTD HTML//",
3294            "-//IETF//DTD HTML STRICT//EN//2.0" => 1,            "-//NETSCAPE COMM. CORP.//DTD STRICT HTML//",
3295            "-//IETF//DTD HTML STRICT//EN//3.0" => 1,            "-//O'REILLY AND ASSOCIATES//DTD HTML 2.0//",
3296            "-//IETF//DTD HTML//EN" => 1,            "-//O'REILLY AND ASSOCIATES//DTD HTML EXTENDED 1.0//",
3297            "-//IETF//DTD HTML//EN//2.0" => 1,            "-//O'REILLY AND ASSOCIATES//DTD HTML EXTENDED RELAXED 1.0//",
3298            "-//IETF//DTD HTML//EN//3.0" => 1,            "-//SOFTQUAD SOFTWARE//DTD HOTMETAL PRO 6.0::19990601::EXTENSIONS TO HTML 4.0//",
3299            "-//METRIUS//DTD METRIUS PRESENTATIONAL//EN" => 1,            "-//SOFTQUAD//DTD HOTMETAL PRO 4.0::19971010::EXTENSIONS TO HTML 4.0//",
3300            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 HTML STRICT//EN" => 1,            "-//SPYGLASS//DTD HTML 2.0 EXTENDED//",
3301            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 HTML//EN" => 1,            "-//SQ//DTD HTML 2.0 HOTMETAL + EXTENSIONS//",
3302            "-//MICROSOFT//DTD INTERNET EXPLORER 2.0 TABLES//EN" => 1,            "-//SUN MICROSYSTEMS CORP.//DTD HOTJAVA HTML//",
3303            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 HTML STRICT//EN" => 1,            "-//SUN MICROSYSTEMS CORP.//DTD HOTJAVA STRICT HTML//",
3304            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 HTML//EN" => 1,            "-//W3C//DTD HTML 3 1995-03-24//",
3305            "-//MICROSOFT//DTD INTERNET EXPLORER 3.0 TABLES//EN" => 1,            "-//W3C//DTD HTML 3.2 DRAFT//",
3306            "-//NETSCAPE COMM. CORP.//DTD HTML//EN" => 1,            "-//W3C//DTD HTML 3.2 FINAL//",
3307            "-//NETSCAPE COMM. CORP.//DTD STRICT HTML//EN" => 1,            "-//W3C//DTD HTML 3.2//",
3308            "-//O'REILLY AND ASSOCIATES//DTD HTML 2.0//EN" => 1,            "-//W3C//DTD HTML 3.2S DRAFT//",
3309            "-//O'REILLY AND ASSOCIATES//DTD HTML EXTENDED 1.0//EN" => 1,            "-//W3C//DTD HTML 4.0 FRAMESET//",
3310            "-//O'REILLY AND ASSOCIATES//DTD HTML EXTENDED RELAXED 1.0//EN" => 1,            "-//W3C//DTD HTML 4.0 TRANSITIONAL//",
3311            "-//SOFTQUAD SOFTWARE//DTD HOTMETAL PRO 6.0::19990601::EXTENSIONS TO HTML 4.0//EN" => 1,            "-//W3C//DTD HTML EXPERIMETNAL 19960712//",
3312            "-//SOFTQUAD//DTD HOTMETAL PRO 4.0::19971010::EXTENSIONS TO HTML 4.0//EN" => 1,            "-//W3C//DTD HTML EXPERIMENTAL 970421//",
3313            "-//SPYGLASS//DTD HTML 2.0 EXTENDED//EN" => 1,            "-//W3C//DTD W3 HTML//",
3314            "-//SQ//DTD HTML 2.0 HOTMETAL + EXTENSIONS//EN" => 1,            "-//W3O//DTD W3 HTML 3.0//",
3315            "-//SUN MICROSYSTEMS CORP.//DTD HOTJAVA HTML//EN" => 1,            "-//WEBTECHS//DTD MOZILLA HTML 2.0//",
3316            "-//SUN MICROSYSTEMS CORP.//DTD HOTJAVA STRICT HTML//EN" => 1,            "-//WEBTECHS//DTD MOZILLA HTML//",
3317            "-//W3C//DTD HTML 3 1995-03-24//EN" => 1,          ]; # $prefix
3318            "-//W3C//DTD HTML 3.2 DRAFT//EN" => 1,          my $match;
3319            "-//W3C//DTD HTML 3.2 FINAL//EN" => 1,          for (@$prefix) {
3320            "-//W3C//DTD HTML 3.2//EN" => 1,            if (substr ($prefix, 0, length $_) eq $_) {
3321            "-//W3C//DTD HTML 3.2S DRAFT//EN" => 1,              $match = 1;
3322            "-//W3C//DTD HTML 4.0 FRAMESET//EN" => 1,              last;
3323            "-//W3C//DTD HTML 4.0 TRANSITIONAL//EN" => 1,            }
3324            "-//W3C//DTD HTML EXPERIMETNAL 19960712//EN" => 1,          }
3325            "-//W3C//DTD HTML EXPERIMENTAL 970421//EN" => 1,          if ($match or
3326            "-//W3C//DTD W3 HTML//EN" => 1,              $pubid eq "-//W3O//DTD W3 HTML STRICT 3.0//EN//" or
3327            "-//W3O//DTD W3 HTML 3.0//EN" => 1,              $pubid eq "-/W3C/DTD HTML 4.0 TRANSITIONAL/EN" or
3328            "-//W3O//DTD W3 HTML 3.0//EN//" => 1,              $pubid eq "HTML") {
           "-//W3O//DTD W3 HTML STRICT 3.0//EN//" => 1,  
           "-//WEBTECHS//DTD MOZILLA HTML 2.0//EN" => 1,  
           "-//WEBTECHS//DTD MOZILLA HTML//EN" => 1,  
           "-/W3C/DTD HTML 4.0 TRANSITIONAL/EN" => 1,  
           "HTML" => 1,  
         }->{$pubid}) {  
3329            !!!cp ('t5');            !!!cp ('t5');
3330            $self->{document}->manakai_compat_mode ('quirks');            $self->{document}->manakai_compat_mode ('quirks');
3331          } elsif ($pubid eq "-//W3C//DTD HTML 4.01 FRAMESET//EN" or          } elsif ($pubid =~ m[^-//W3C//DTD HTML 4.01 FRAMESET//] or
3332                   $pubid eq "-//W3C//DTD HTML 4.01 TRANSITIONAL//EN") {                   $pubid =~ m[^-//W3C//DTD HTML 4.01 TRANSITIONAL//]) {
3333            if (defined $token->{system_identifier}) {            if (defined $token->{system_identifier}) {
3334              !!!cp ('t6');              !!!cp ('t6');
3335              $self->{document}->manakai_compat_mode ('quirks');              $self->{document}->manakai_compat_mode ('quirks');
# Line 2621  sub _tree_construction_initial ($) { Line 3337  sub _tree_construction_initial ($) {
3337              !!!cp ('t7');              !!!cp ('t7');
3338              $self->{document}->manakai_compat_mode ('limited quirks');              $self->{document}->manakai_compat_mode ('limited quirks');
3339            }            }
3340          } elsif ($pubid eq "-//W3C//DTD XHTML 1.0 FRAMESET//EN" or          } elsif ($pubid =~ m[^-//W3C//DTD XHTML 1.0 FRAMESET//] or
3341                   $pubid eq "-//W3C//DTD XHTML 1.0 TRANSITIONAL//EN") {                   $pubid =~ m[^-//W3C//DTD XHTML 1.0 TRANSITIONAL//]) {
3342            !!!cp ('t8');            !!!cp ('t8');
3343            $self->{document}->manakai_compat_mode ('limited quirks');            $self->{document}->manakai_compat_mode ('limited quirks');
3344          } else {          } else {
# Line 2635  sub _tree_construction_initial ($) { Line 3351  sub _tree_construction_initial ($) {
3351          my $sysid = $token->{system_identifier};          my $sysid = $token->{system_identifier};
3352          $sysid =~ tr/A-Z/a-z/;          $sysid =~ tr/A-Z/a-z/;
3353          if ($sysid eq "http://www.ibm.com/data/dtd/v11/ibmxhtml1-transitional.dtd") {          if ($sysid eq "http://www.ibm.com/data/dtd/v11/ibmxhtml1-transitional.dtd") {
3354            ## TODO: Check the spec: PUBLIC "(limited quirks)" "(quirks)"            ## NOTE: Ensure that |PUBLIC "(limited quirks)" "(quirks)"| is
3355              ## marked as quirks.
3356            $self->{document}->manakai_compat_mode ('quirks');            $self->{document}->manakai_compat_mode ('quirks');
3357            !!!cp ('t11');            !!!cp ('t11');
3358          } else {          } else {
# Line 2658  sub _tree_construction_initial ($) { Line 3375  sub _tree_construction_initial ($) {
3375        $self->{document}->manakai_compat_mode ('quirks');        $self->{document}->manakai_compat_mode ('quirks');
3376        ## Go to the "before html" insertion mode.        ## Go to the "before html" insertion mode.
3377        ## reprocess        ## reprocess
3378          !!!ack-later;
3379        return;        return;
3380      } elsif ($token->{type} == CHARACTER_TOKEN) {      } elsif ($token->{type} == CHARACTER_TOKEN) {
3381        if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) { # \x0D        if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) { # \x0D
# Line 2738  sub _tree_construction_root_element ($) Line 3456  sub _tree_construction_root_element ($)
3456        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
3457          if ($token->{tag_name} eq 'html') {          if ($token->{tag_name} eq 'html') {
3458            my $root_element;            my $root_element;
3459            !!!create-element ($root_element, $token->{tag_name}, $token->{attributes});            !!!create-element ($root_element, $HTML_NS, $token->{tag_name}, $token->{attributes}, $token);
3460            $self->{document}->append_child ($root_element);            $self->{document}->append_child ($root_element);
3461            push @{$self->{open_elements}}, [$root_element, 'html'];            push @{$self->{open_elements}},
3462                  [$root_element, $el_category->{html}];
3463    
3464            if ($token->{attributes}->{manifest}) {            if ($token->{attributes}->{manifest}) {
3465              !!!cp ('t24');              !!!cp ('t24');
3466              $self->{application_cache_selection}              $self->{application_cache_selection}
3467                  ->($token->{attributes}->{manifest}->{value});                  ->($token->{attributes}->{manifest}->{value});
3468              ## ISSUE: No relative reference resolution?              ## ISSUE: Spec is unclear on relative references.
3469                ## According to Hixie (#whatwg 2008-03-19), it should be
3470                ## resolved against the base URI of the document in HTML
3471                ## or xml:base of the element in XHTML.
3472            } else {            } else {
3473              !!!cp ('t25');              !!!cp ('t25');
3474              $self->{application_cache_selection}->(undef);              $self->{application_cache_selection}->(undef);
3475            }            }
3476    
3477              !!!nack ('t25c');
3478    
3479            !!!next-token;            !!!next-token;
3480            return; ## Go to the "before head" insertion mode.            return; ## Go to the "before head" insertion mode.
3481          } else {          } else {
# Line 2768  sub _tree_construction_root_element ($) Line 3492  sub _tree_construction_root_element ($)
3492          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
3493        }        }
3494    
3495      my $root_element; !!!create-element ($root_element, 'html');      my $root_element;
3496        !!!create-element ($root_element, $HTML_NS, 'html',, $token);
3497      $self->{document}->append_child ($root_element);      $self->{document}->append_child ($root_element);
3498      push @{$self->{open_elements}}, [$root_element, 'html'];      push @{$self->{open_elements}}, [$root_element, $el_category->{html}];
3499    
3500      $self->{application_cache_selection}->(undef);      $self->{application_cache_selection}->(undef);
3501    
3502      ## NOTE: Reprocess the token.      ## NOTE: Reprocess the token.
3503        !!!ack-later;
3504      return; ## Go to the "before head" insertion mode.      return; ## Go to the "before head" insertion mode.
3505    
3506      ## ISSUE: There is an issue in the spec      ## ISSUE: There is an issue in the spec
# Line 2798  sub _reset_insertion_mode ($) { Line 3524  sub _reset_insertion_mode ($) {
3524        if ($self->{open_elements}->[0]->[0] eq $node->[0]) {        if ($self->{open_elements}->[0]->[0] eq $node->[0]) {
3525          $last = 1;          $last = 1;
3526          if (defined $self->{inner_html_node}) {          if (defined $self->{inner_html_node}) {
3527            if ($self->{inner_html_node}->[1] eq 'td' or            !!!cp ('t28');
3528                $self->{inner_html_node}->[1] eq 'th') {            $node = $self->{inner_html_node};
3529              !!!cp ('t27');          } else {
3530              #            die "_reset_insertion_mode: t27";
           } else {  
             !!!cp ('t28');  
             $node = $self->{inner_html_node};  
           }  
3531          }          }
3532        }        }
3533              
3534        ## Step 4..13        ## Step 4..14
3535        my $new_mode = {        my $new_mode;
3536          if ($node->[1] & FOREIGN_EL) {
3537            !!!cp ('t28.1');
3538            ## NOTE: Strictly spaking, the line below only applies to MathML and
3539            ## SVG elements.  Currently the HTML syntax supports only MathML and
3540            ## SVG elements as foreigners.
3541            $new_mode = IN_BODY_IM | IN_FOREIGN_CONTENT_IM;
3542          } elsif ($node->[1] & TABLE_CELL_EL) {
3543            if ($last) {
3544              !!!cp ('t28.2');
3545              #
3546            } else {
3547              !!!cp ('t28.3');
3548              $new_mode = IN_CELL_IM;
3549            }
3550          } else {
3551            !!!cp ('t28.4');
3552            $new_mode = {
3553                        select => IN_SELECT_IM,                        select => IN_SELECT_IM,
3554                        ## NOTE: |option| and |optgroup| do not set                        ## NOTE: |option| and |optgroup| do not set
3555                        ## insertion mode to "in select" by themselves.                        ## insertion mode to "in select" by themselves.
                       td => IN_CELL_IM,  
                       th => IN_CELL_IM,  
3556                        tr => IN_ROW_IM,                        tr => IN_ROW_IM,
3557                        tbody => IN_TABLE_BODY_IM,                        tbody => IN_TABLE_BODY_IM,
3558                        thead => IN_TABLE_BODY_IM,                        thead => IN_TABLE_BODY_IM,
# Line 2826  sub _reset_insertion_mode ($) { Line 3563  sub _reset_insertion_mode ($) {
3563                        head => IN_BODY_IM, # not in head!                        head => IN_BODY_IM, # not in head!
3564                        body => IN_BODY_IM,                        body => IN_BODY_IM,
3565                        frameset => IN_FRAMESET_IM,                        frameset => IN_FRAMESET_IM,
3566                       }->{$node->[1]};                       }->{$node->[0]->manakai_local_name};
3567          }
3568        $self->{insertion_mode} = $new_mode and return if defined $new_mode;        $self->{insertion_mode} = $new_mode and return if defined $new_mode;
3569                
3570        ## Step 14        ## Step 15
3571        if ($node->[1] eq 'html') {        if ($node->[1] & HTML_EL) {
3572          unless (defined $self->{head_element}) {          unless (defined $self->{head_element}) {
3573            !!!cp ('t29');            !!!cp ('t29');
3574            $self->{insertion_mode} = BEFORE_HEAD_IM;            $self->{insertion_mode} = BEFORE_HEAD_IM;
# Line 2844  sub _reset_insertion_mode ($) { Line 3582  sub _reset_insertion_mode ($) {
3582          !!!cp ('t31');          !!!cp ('t31');
3583        }        }
3584                
3585        ## Step 15        ## Step 16
3586        $self->{insertion_mode} = IN_BODY_IM and return if $last;        $self->{insertion_mode} = IN_BODY_IM and return if $last;
3587                
3588        ## Step 16        ## Step 17
3589        $i--;        $i--;
3590        $node = $self->{open_elements}->[$i];        $node = $self->{open_elements}->[$i];
3591                
3592        ## Step 17        ## Step 18
3593        redo S3;        redo S3;
3594      } # S3      } # S3
3595    
# Line 2963  sub _tree_construction_main ($) { Line 3701  sub _tree_construction_main ($) {
3701      ## Step 1      ## Step 1
3702      my $start_tag_name = $token->{tag_name};      my $start_tag_name = $token->{tag_name};
3703      my $el;      my $el;
3704      !!!create-element ($el, $start_tag_name, $token->{attributes});      !!!create-element ($el, $HTML_NS, $start_tag_name, $token->{attributes}, $token);
3705    
3706      ## Step 2      ## Step 2
3707      $insert->($el);      $insert->($el);
# Line 2974  sub _tree_construction_main ($) { Line 3712  sub _tree_construction_main ($) {
3712    
3713      ## Step 4      ## Step 4
3714      my $text = '';      my $text = '';
3715        !!!nack ('t40.1');
3716      !!!next-token;      !!!next-token;
3717      while ($token->{type} == CHARACTER_TOKEN) { # or until stop tokenizing      while ($token->{type} == CHARACTER_TOKEN) { # or until stop tokenizing
3718        !!!cp ('t40');        !!!cp ('t40');
# Line 3000  sub _tree_construction_main ($) { Line 3739  sub _tree_construction_main ($) {
3739        ## NOTE: An end-of-file token.        ## NOTE: An end-of-file token.
3740        if ($content_model_flag == CDATA_CONTENT_MODEL) {        if ($content_model_flag == CDATA_CONTENT_MODEL) {
3741          !!!cp ('t43');          !!!cp ('t43');
3742          !!!parse-error (type => 'in CDATA:#'.$token->{type}, token => $token);          !!!parse-error (type => 'in CDATA:#eof', token => $token);
3743        } elsif ($content_model_flag == RCDATA_CONTENT_MODEL) {        } elsif ($content_model_flag == RCDATA_CONTENT_MODEL) {
3744          !!!cp ('t44');          !!!cp ('t44');
3745          !!!parse-error (type => 'in RCDATA:#'.$token->{type}, token => $token);          !!!parse-error (type => 'in RCDATA:#eof', token => $token);
3746        } else {        } else {
3747          die "$0: $content_model_flag in parse_rcdata";          die "$0: $content_model_flag in parse_rcdata";
3748        }        }
# Line 3013  sub _tree_construction_main ($) { Line 3752  sub _tree_construction_main ($) {
3752    
3753    my $script_start_tag = sub () {    my $script_start_tag = sub () {
3754      my $script_el;      my $script_el;
3755      !!!create-element ($script_el, 'script', $token->{attributes});      !!!create-element ($script_el, $HTML_NS, 'script', $token->{attributes}, $token);
3756      ## TODO: mark as "parser-inserted"      ## TODO: mark as "parser-inserted"
3757    
3758      $self->{content_model} = CDATA_CONTENT_MODEL;      $self->{content_model} = CDATA_CONTENT_MODEL;
3759      delete $self->{escape}; # MUST      delete $self->{escape}; # MUST
3760            
3761      my $text = '';      my $text = '';
3762        !!!nack ('t45.1');
3763      !!!next-token;      !!!next-token;
3764      while ($token->{type} == CHARACTER_TOKEN) {      while ($token->{type} == CHARACTER_TOKEN) {
3765        !!!cp ('t45');        !!!cp ('t45');
# Line 3039  sub _tree_construction_main ($) { Line 3779  sub _tree_construction_main ($) {
3779        ## Ignore the token        ## Ignore the token
3780      } else {      } else {
3781        !!!cp ('t48');        !!!cp ('t48');
3782        !!!parse-error (type => 'in CDATA:#'.$token->{type}, token => $token);        !!!parse-error (type => 'in CDATA:#eof', token => $token);
3783        ## ISSUE: And ignore?        ## ISSUE: And ignore?
3784        ## TODO: mark as "already executed"        ## TODO: mark as "already executed"
3785      }      }
# Line 3077  sub _tree_construction_main ($) { Line 3817  sub _tree_construction_main ($) {
3817        my $formatting_element;        my $formatting_element;
3818        my $formatting_element_i_in_active;        my $formatting_element_i_in_active;
3819        AFE: for (reverse 0..$#$active_formatting_elements) {        AFE: for (reverse 0..$#$active_formatting_elements) {
3820          if ($active_formatting_elements->[$_]->[1] eq $tag_name) {          if ($active_formatting_elements->[$_]->[0] eq '#marker') {
3821              !!!cp ('t52');
3822              last AFE;
3823            } elsif ($active_formatting_elements->[$_]->[0]->manakai_local_name
3824                         eq $tag_name) {
3825            !!!cp ('t51');            !!!cp ('t51');
3826            $formatting_element = $active_formatting_elements->[$_];            $formatting_element = $active_formatting_elements->[$_];
3827            $formatting_element_i_in_active = $_;            $formatting_element_i_in_active = $_;
3828            last AFE;            last AFE;
         } elsif ($active_formatting_elements->[$_]->[0] eq '#marker') {  
           !!!cp ('t52');  
           last AFE;  
3829          }          }
3830        } # AFE        } # AFE
3831        unless (defined $formatting_element) {        unless (defined $formatting_element) {
3832          !!!cp ('t53');          !!!cp ('t53');
3833          !!!parse-error (type => 'unmatched end tag:'.$tag_name, token => $end_tag_token);          !!!parse-error (type => 'unmatched end tag', text => $tag_name, token => $end_tag_token);
3834          ## Ignore the token          ## Ignore the token
3835          !!!next-token;          !!!next-token;
3836          return;          return;
# Line 3106  sub _tree_construction_main ($) { Line 3847  sub _tree_construction_main ($) {
3847              last INSCOPE;              last INSCOPE;
3848            } else { # in open elements but not in scope            } else { # in open elements but not in scope
3849              !!!cp ('t55');              !!!cp ('t55');
3850              !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name},              !!!parse-error (type => 'unmatched end tag',
3851                                text => $token->{tag_name},
3852                              token => $end_tag_token);                              token => $end_tag_token);
3853              ## Ignore the token              ## Ignore the token
3854              !!!next-token;              !!!next-token;
3855              return;              return;
3856            }            }
3857          } elsif ({          } elsif ($node->[1] & SCOPING_EL) {
                   applet => 1, table => 1, caption => 1, td => 1, th => 1,  
                   button => 1, marquee => 1, object => 1, html => 1,  
                  }->{$node->[1]}) {  
3858            !!!cp ('t56');            !!!cp ('t56');
3859            $in_scope = 0;            $in_scope = 0;
3860          }          }
3861        } # INSCOPE        } # INSCOPE
3862        unless (defined $formatting_element_i_in_open) {        unless (defined $formatting_element_i_in_open) {
3863          !!!cp ('t57');          !!!cp ('t57');
3864          !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name},          !!!parse-error (type => 'unmatched end tag',
3865                            text => $token->{tag_name},
3866                          token => $end_tag_token);                          token => $end_tag_token);
3867          pop @$active_formatting_elements; # $formatting_element          pop @$active_formatting_elements; # $formatting_element
3868          !!!next-token; ## TODO: ok?          !!!next-token; ## TODO: ok?
# Line 3130  sub _tree_construction_main ($) { Line 3870  sub _tree_construction_main ($) {
3870        }        }
3871        if (not $self->{open_elements}->[-1]->[0] eq $formatting_element->[0]) {        if (not $self->{open_elements}->[-1]->[0] eq $formatting_element->[0]) {
3872          !!!cp ('t58');          !!!cp ('t58');
3873          !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1],          !!!parse-error (type => 'not closed',
3874                            text => $self->{open_elements}->[-1]->[0]
3875                                ->manakai_local_name,
3876                          token => $end_tag_token);                          token => $end_tag_token);
3877        }        }
3878                
# Line 3139  sub _tree_construction_main ($) { Line 3881  sub _tree_construction_main ($) {
3881        my $furthest_block_i_in_open;        my $furthest_block_i_in_open;
3882        OE: for (reverse 0..$#{$self->{open_elements}}) {        OE: for (reverse 0..$#{$self->{open_elements}}) {
3883          my $node = $self->{open_elements}->[$_];          my $node = $self->{open_elements}->[$_];
3884          if (not $formatting_category->{$node->[1]} and          if (not ($node->[1] & FORMATTING_EL) and
3885              #not $phrasing_category->{$node->[1]} and              #not $phrasing_category->{$node->[1]} and
3886              ($special_category->{$node->[1]} or              ($node->[1] & SPECIAL_EL or
3887               $scoping_category->{$node->[1]})) { ## Scoping is redundant, maybe               $node->[1] & SCOPING_EL)) { ## Scoping is redundant, maybe
3888            !!!cp ('t59');            !!!cp ('t59');
3889            $furthest_block = $node;            $furthest_block = $node;
3890            $furthest_block_i_in_open = $_;            $furthest_block_i_in_open = $_;
# Line 3228  sub _tree_construction_main ($) { Line 3970  sub _tree_construction_main ($) {
3970        } # S7          } # S7  
3971                
3972        ## Step 8        ## Step 8
3973        if ({        if ($common_ancestor_node->[1] & TABLE_ROWS_EL) {
            table => 1, tbody => 1, tfoot => 1, thead => 1, tr => 1,  
           }->{$common_ancestor_node->[1]}) {  
3974          my $foster_parent_element;          my $foster_parent_element;
3975          my $next_sibling;          my $next_sibling;
3976                           OE: for (reverse 0..$#{$self->{open_elements}}) {          OE: for (reverse 0..$#{$self->{open_elements}}) {
3977                             if ($self->{open_elements}->[$_]->[1] eq 'table') {            if ($self->{open_elements}->[$_]->[1] & TABLE_EL) {
3978                               my $parent = $self->{open_elements}->[$_]->[0]->parent_node;                               my $parent = $self->{open_elements}->[$_]->[0]->parent_node;
3979                               if (defined $parent and $parent->node_type == 1) {                               if (defined $parent and $parent->node_type == 1) {
3980                                 !!!cp ('t65.1');                                 !!!cp ('t65.1');
# Line 3307  sub _tree_construction_main ($) { Line 4047  sub _tree_construction_main ($) {
4047    
4048    my $insert_to_foster = sub {    my $insert_to_foster = sub {
4049      my $child = shift;      my $child = shift;
4050      if ({      if ($self->{open_elements}->[-1]->[1] & TABLE_ROWS_EL) {
          table => 1, tbody => 1, tfoot => 1, thead => 1, tr => 1,  
         }->{$self->{open_elements}->[-1]->[1]}) {  
4051        # MUST        # MUST
4052        my $foster_parent_element;        my $foster_parent_element;
4053        my $next_sibling;        my $next_sibling;
4054                           OE: for (reverse 0..$#{$self->{open_elements}}) {        OE: for (reverse 0..$#{$self->{open_elements}}) {
4055                             if ($self->{open_elements}->[$_]->[1] eq 'table') {          if ($self->{open_elements}->[$_]->[1] & TABLE_EL) {
4056                               my $parent = $self->{open_elements}->[$_]->[0]->parent_node;                               my $parent = $self->{open_elements}->[$_]->[0]->parent_node;
4057                               if (defined $parent and $parent->node_type == 1) {                               if (defined $parent and $parent->node_type == 1) {
4058                                 !!!cp ('t70');                                 !!!cp ('t70');
# Line 3339  sub _tree_construction_main ($) { Line 4077  sub _tree_construction_main ($) {
4077      }      }
4078    }; # $insert_to_foster    }; # $insert_to_foster
4079    
4080    B: {    B: while (1) {
4081      if ($token->{type} == DOCTYPE_TOKEN) {      if ($token->{type} == DOCTYPE_TOKEN) {
4082        !!!cp ('t73');        !!!cp ('t73');
4083        !!!parse-error (type => 'DOCTYPE in the middle', token => $token);        !!!parse-error (type => 'in html:#DOCTYPE', token => $token);
4084        ## Ignore the token        ## Ignore the token
4085        ## Stay in the phase        ## Stay in the phase
4086        !!!next-token;        !!!next-token;
4087        redo B;        next B;
4088      } elsif ($token->{type} == START_TAG_TOKEN and      } elsif ($token->{type} == START_TAG_TOKEN and
4089               $token->{tag_name} eq 'html') {               $token->{tag_name} eq 'html') {
4090        if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {        if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {
4091          !!!cp ('t79');          !!!cp ('t79');
4092          !!!parse-error (type => 'after html:html', token => $token);          !!!parse-error (type => 'after html', text => 'html', token => $token);
4093          $self->{insertion_mode} = AFTER_BODY_IM;          $self->{insertion_mode} = AFTER_BODY_IM;
4094        } elsif ($self->{insertion_mode} == AFTER_HTML_FRAMESET_IM) {        } elsif ($self->{insertion_mode} == AFTER_HTML_FRAMESET_IM) {
4095          !!!cp ('t80');          !!!cp ('t80');
4096          !!!parse-error (type => 'after html:html', token => $token);          !!!parse-error (type => 'after html', text => 'html', token => $token);
4097          $self->{insertion_mode} = AFTER_FRAMESET_IM;          $self->{insertion_mode} = AFTER_FRAMESET_IM;
4098        } else {        } else {
4099          !!!cp ('t81');          !!!cp ('t81');
# Line 3372  sub _tree_construction_main ($) { Line 4110  sub _tree_construction_main ($) {
4110               $token->{attributes}->{$attr_name}->{value});               $token->{attributes}->{$attr_name}->{value});
4111          }          }
4112        }        }
4113          !!!nack ('t84.1');
4114        !!!next-token;        !!!next-token;
4115        redo B;        next B;
4116      } elsif ($token->{type} == COMMENT_TOKEN) {      } elsif ($token->{type} == COMMENT_TOKEN) {
4117        my $comment = $self->{document}->create_comment ($token->{data});        my $comment = $self->{document}->create_comment ($token->{data});
4118        if ($self->{insertion_mode} & AFTER_HTML_IMS) {        if ($self->{insertion_mode} & AFTER_HTML_IMS) {
# Line 3387  sub _tree_construction_main ($) { Line 4126  sub _tree_construction_main ($) {
4126          $self->{open_elements}->[-1]->[0]->append_child ($comment);          $self->{open_elements}->[-1]->[0]->append_child ($comment);
4127        }        }
4128        !!!next-token;        !!!next-token;
4129        redo B;        next B;
4130      } elsif ($self->{insertion_mode} & HEAD_IMS) {      } elsif ($self->{insertion_mode} & IN_FOREIGN_CONTENT_IM) {
4131          if ($token->{type} == CHARACTER_TOKEN) {
4132            !!!cp ('t87.1');
4133            $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});
4134            !!!next-token;
4135            next B;
4136          } elsif ($token->{type} == START_TAG_TOKEN) {
4137            if ((not {mglyph => 1, malignmark => 1}->{$token->{tag_name}} and
4138                 $self->{open_elements}->[-1]->[1] & FOREIGN_FLOW_CONTENT_EL) or
4139                not ($self->{open_elements}->[-1]->[1] & FOREIGN_EL) or
4140                ($token->{tag_name} eq 'svg' and
4141                 $self->{open_elements}->[-1]->[1] & MML_AXML_EL)) {
4142              ## NOTE: "using the rules for secondary insertion mode"then"continue"
4143              !!!cp ('t87.2');
4144              #
4145            } elsif ({
4146                      b => 1, big => 1, blockquote => 1, body => 1, br => 1,
4147                      center => 1, code => 1, dd => 1, div => 1, dl => 1, dt => 1,
4148                      em => 1, embed => 1, font => 1, h1 => 1, h2 => 1, h3 => 1,
4149                      h4 => 1, h5 => 1, h6 => 1, head => 1, hr => 1, i => 1,
4150                      img => 1, li => 1, listing => 1, menu => 1, meta => 1,
4151                      nobr => 1, ol => 1, p => 1, pre => 1, ruby => 1, s => 1,
4152                      small => 1, span => 1, strong => 1, strike => 1, sub => 1,
4153                      sup => 1, table => 1, tt => 1, u => 1, ul => 1, var => 1,
4154                     }->{$token->{tag_name}}) {
4155              !!!cp ('t87.2');
4156              !!!parse-error (type => 'not closed',
4157                              text => $self->{open_elements}->[-1]->[0]
4158                                  ->manakai_local_name,
4159                              token => $token);
4160    
4161              pop @{$self->{open_elements}}
4162                  while $self->{open_elements}->[-1]->[1] & FOREIGN_EL;
4163    
4164              $self->{insertion_mode} &= ~ IN_FOREIGN_CONTENT_IM;
4165              ## Reprocess.
4166              next B;
4167            } else {
4168              my $nsuri = $self->{open_elements}->[-1]->[0]->namespace_uri;
4169              my $tag_name = $token->{tag_name};
4170              if ($nsuri eq $SVG_NS) {
4171                $tag_name = {
4172                   altglyph => 'altGlyph',
4173                   altglyphdef => 'altGlyphDef',
4174                   altglyphitem => 'altGlyphItem',
4175                   animatecolor => 'animateColor',
4176                   animatemotion => 'animateMotion',
4177                   animatetransform => 'animateTransform',
4178                   clippath => 'clipPath',
4179                   feblend => 'feBlend',
4180                   fecolormatrix => 'feColorMatrix',
4181                   fecomponenttransfer => 'feComponentTransfer',
4182                   fecomposite => 'feComposite',
4183                   feconvolvematrix => 'feConvolveMatrix',
4184                   fediffuselighting => 'feDiffuseLighting',
4185                   fedisplacementmap => 'feDisplacementMap',
4186                   fedistantlight => 'feDistantLight',
4187                   feflood => 'feFlood',
4188                   fefunca => 'feFuncA',
4189                   fefuncb => 'feFuncB',
4190                   fefuncg => 'feFuncG',
4191                   fefuncr => 'feFuncR',
4192                   fegaussianblur => 'feGaussianBlur',
4193                   feimage => 'feImage',
4194                   femerge => 'feMerge',
4195                   femergenode => 'feMergeNode',
4196                   femorphology => 'feMorphology',
4197                   feoffset => 'feOffset',
4198                   fepointlight => 'fePointLight',
4199                   fespecularlighting => 'feSpecularLighting',
4200                   fespotlight => 'feSpotLight',
4201                   fetile => 'feTile',
4202                   feturbulence => 'feTurbulence',
4203                   foreignobject => 'foreignObject',
4204                   glyphref => 'glyphRef',
4205                   lineargradient => 'linearGradient',
4206                   radialgradient => 'radialGradient',
4207                   #solidcolor => 'solidColor', ## NOTE: Commented in spec (SVG1.2)
4208                   textpath => 'textPath',  
4209                }->{$tag_name} || $tag_name;
4210              }
4211    
4212              ## "adjust SVG attributes" (SVG only) - done in insert-element-f
4213    
4214              ## "adjust foreign attributes" - done in insert-element-f
4215    
4216              !!!insert-element-f ($nsuri, $tag_name, $token->{attributes}, $token);
4217    
4218              if ($self->{self_closing}) {
4219                pop @{$self->{open_elements}};
4220                !!!ack ('t87.3');
4221              } else {
4222                !!!cp ('t87.4');
4223              }
4224    
4225              !!!next-token;
4226              next B;
4227            }
4228          } elsif ($token->{type} == END_TAG_TOKEN) {
4229            ## NOTE: "using the rules for secondary insertion mode" then "continue"
4230            !!!cp ('t87.5');
4231            #
4232          } elsif ($token->{type} == END_OF_FILE_TOKEN) {
4233            !!!cp ('t87.6');
4234            !!!parse-error (type => 'not closed',
4235                            text => $self->{open_elements}->[-1]->[0]
4236                                ->manakai_local_name,
4237                            token => $token);
4238    
4239            pop @{$self->{open_elements}}
4240                while $self->{open_elements}->[-1]->[1] & FOREIGN_EL;
4241    
4242            $self->{insertion_mode} &= ~ IN_FOREIGN_CONTENT_IM;
4243            ## Reprocess.
4244            next B;
4245          } else {
4246            die "$0: $token->{type}: Unknown token type";        
4247          }
4248        }
4249    
4250        if ($self->{insertion_mode} & HEAD_IMS) {
4251        if ($token->{type} == CHARACTER_TOKEN) {        if ($token->{type} == CHARACTER_TOKEN) {
4252          if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) {          if ($token->{data} =~ s/^([\x09\x0A\x0B\x0C\x20]+)//) {
4253            unless ($self->{insertion_mode} == BEFORE_HEAD_IM) {            unless ($self->{insertion_mode} == BEFORE_HEAD_IM) {
# Line 3398  sub _tree_construction_main ($) { Line 4257  sub _tree_construction_main ($) {
4257              !!!cp ('t88.1');              !!!cp ('t88.1');
4258              ## Ignore the token.              ## Ignore the token.
4259              !!!next-token;              !!!next-token;
4260              redo B;              next B;
4261            }            }
4262            unless (length $token->{data}) {            unless (length $token->{data}) {
4263              !!!cp ('t88');              !!!cp ('t88');
4264              !!!next-token;              !!!next-token;
4265              redo B;              next B;
4266            }            }
4267          }          }
4268    
4269          if ($self->{insertion_mode} == BEFORE_HEAD_IM) {          if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4270            !!!cp ('t89');            !!!cp ('t89');
4271            ## As if <head>            ## As if <head>
4272            !!!create-element ($self->{head_element}, 'head');            !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
4273            $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});            $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});
4274            push @{$self->{open_elements}}, [$self->{head_element}, 'head'];            push @{$self->{open_elements}},
4275                  [$self->{head_element}, $el_category->{head}];
4276    
4277            ## Reprocess in the "in head" insertion mode...            ## Reprocess in the "in head" insertion mode...
4278            pop @{$self->{open_elements}};            pop @{$self->{open_elements}};
# Line 3422  sub _tree_construction_main ($) { Line 4282  sub _tree_construction_main ($) {
4282            !!!cp ('t90');            !!!cp ('t90');
4283            ## As if </noscript>            ## As if </noscript>
4284            pop @{$self->{open_elements}};            pop @{$self->{open_elements}};
4285            !!!parse-error (type => 'in noscript:#character', token => $token);            !!!parse-error (type => 'in noscript:#text', token => $token);
4286                        
4287            ## Reprocess in the "in head" insertion mode...            ## Reprocess in the "in head" insertion mode...
4288            ## As if </head>            ## As if </head>
# Line 3438  sub _tree_construction_main ($) { Line 4298  sub _tree_construction_main ($) {
4298            !!!cp ('t92');            !!!cp ('t92');
4299          }          }
4300    
4301              ## "after head" insertion mode          ## "after head" insertion mode
4302              ## As if <body>          ## As if <body>
4303              !!!insert-element ('body');          !!!insert-element ('body',, $token);
4304              $self->{insertion_mode} = IN_BODY_IM;          $self->{insertion_mode} = IN_BODY_IM;
4305              ## reprocess          ## reprocess
4306              redo B;          next B;
4307            } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
4308              if ($token->{tag_name} eq 'head') {          if ($token->{tag_name} eq 'head') {
4309                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {            if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4310                  !!!cp ('t93');              !!!cp ('t93');
4311                  !!!create-element ($self->{head_element}, $token->{tag_name}, $token->{attributes});              !!!create-element ($self->{head_element}, $HTML_NS, $token->{tag_name}, $token->{attributes}, $token);
4312                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});              $self->{open_elements}->[-1]->[0]->append_child
4313                  push @{$self->{open_elements}}, [$self->{head_element}, $token->{tag_name}];                  ($self->{head_element});
4314                  $self->{insertion_mode} = IN_HEAD_IM;              push @{$self->{open_elements}},
4315                  !!!next-token;                  [$self->{head_element}, $el_category->{head}];
4316                  redo B;              $self->{insertion_mode} = IN_HEAD_IM;
4317                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {              !!!nack ('t93.1');
4318                  !!!cp ('t94');              !!!next-token;
4319                  #              next B;
4320                } else {            } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
4321                  !!!cp ('t95');              !!!cp ('t93.2');
4322                  !!!parse-error (type => 'in head:head', token => $token); # or in head noscript              !!!parse-error (type => 'after head', text => 'head',
4323                  ## Ignore the token                              token => $token);
4324                  !!!next-token;              ## Ignore the token
4325                  redo B;              !!!nack ('t93.3');
4326                }              !!!next-token;
4327              } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {              next B;
4328                !!!cp ('t96');            } else {
4329                ## As if <head>              !!!cp ('t95');
4330                !!!create-element ($self->{head_element}, 'head');              !!!parse-error (type => 'in head:head',
4331                $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});                              token => $token); # or in head noscript
4332                push @{$self->{open_elements}}, [$self->{head_element}, 'head'];              ## Ignore the token
4333                !!!nack ('t95.1');
4334                !!!next-token;
4335                next B;
4336              }
4337            } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4338              !!!cp ('t96');
4339              ## As if <head>
4340              !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
4341              $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});
4342              push @{$self->{open_elements}},
4343                  [$self->{head_element}, $el_category->{head}];
4344    
4345                $self->{insertion_mode} = IN_HEAD_IM;            $self->{insertion_mode} = IN_HEAD_IM;
4346                ## Reprocess in the "in head" insertion mode...            ## Reprocess in the "in head" insertion mode...
4347              } else {          } else {
4348                !!!cp ('t97');            !!!cp ('t97');
4349              }          }
4350    
4351              if ($token->{tag_name} eq 'base') {              if ($token->{tag_name} eq 'base') {
4352                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4353                  !!!cp ('t98');                  !!!cp ('t98');
4354                  ## As if </noscript>                  ## As if </noscript>
4355                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4356                  !!!parse-error (type => 'in noscript:base', token => $token);                  !!!parse-error (type => 'in noscript', text => 'base',
4357                                    token => $token);
4358                                
4359                  $self->{insertion_mode} = IN_HEAD_IM;                  $self->{insertion_mode} = IN_HEAD_IM;
4360                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
# Line 3493  sub _tree_construction_main ($) { Line 4365  sub _tree_construction_main ($) {
4365                ## NOTE: There is a "as if in head" code clone.                ## NOTE: There is a "as if in head" code clone.
4366                if ($self->{insertion_mode} == AFTER_HEAD_IM) {                if ($self->{insertion_mode} == AFTER_HEAD_IM) {
4367                  !!!cp ('t100');                  !!!cp ('t100');
4368                  !!!parse-error (type => 'after head:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'after head',
4369                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                                  text => $token->{tag_name}, token => $token);
4370                    push @{$self->{open_elements}},
4371                        [$self->{head_element}, $el_category->{head}];
4372                } else {                } else {
4373                  !!!cp ('t101');                  !!!cp ('t101');
4374                }                }
4375                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
4376                pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.                pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.
4377                pop @{$self->{open_elements}} # <head>                pop @{$self->{open_elements}} # <head>
4378                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
4379                  !!!nack ('t101.1');
4380                !!!next-token;                !!!next-token;
4381                redo B;                next B;
4382              } elsif ($token->{tag_name} eq 'link') {              } elsif ($token->{tag_name} eq 'link') {
4383                ## NOTE: There is a "as if in head" code clone.                ## NOTE: There is a "as if in head" code clone.
4384                if ($self->{insertion_mode} == AFTER_HEAD_IM) {                if ($self->{insertion_mode} == AFTER_HEAD_IM) {
4385                  !!!cp ('t102');                  !!!cp ('t102');
4386                  !!!parse-error (type => 'after head:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'after head',
4387                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                                  text => $token->{tag_name}, token => $token);
4388                    push @{$self->{open_elements}},
4389                        [$self->{head_element}, $el_category->{head}];
4390                } else {                } else {
4391                  !!!cp ('t103');                  !!!cp ('t103');
4392                }                }
4393                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
4394                pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.                pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.
4395                pop @{$self->{open_elements}} # <head>                pop @{$self->{open_elements}} # <head>
4396                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
4397                  !!!ack ('t103.1');
4398                !!!next-token;                !!!next-token;
4399                redo B;                next B;
4400              } elsif ($token->{tag_name} eq 'meta') {              } elsif ($token->{tag_name} eq 'meta') {
4401                ## NOTE: There is a "as if in head" code clone.                ## NOTE: There is a "as if in head" code clone.
4402                if ($self->{insertion_mode} == AFTER_HEAD_IM) {                if ($self->{insertion_mode} == AFTER_HEAD_IM) {
4403                  !!!cp ('t104');                  !!!cp ('t104');
4404                  !!!parse-error (type => 'after head:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'after head',
4405                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                                  text => $token->{tag_name}, token => $token);
4406                    push @{$self->{open_elements}},
4407                        [$self->{head_element}, $el_category->{head}];
4408                } else {                } else {
4409                  !!!cp ('t105');                  !!!cp ('t105');
4410                }                }
4411                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
4412                my $meta_el = pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.                my $meta_el = pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.
4413    
4414                unless ($self->{confident}) {                unless ($self->{confident}) {
4415                  if ($token->{attributes}->{charset}) { ## TODO: And if supported                  if ($token->{attributes}->{charset}) {
4416                    !!!cp ('t106');                    !!!cp ('t106');
4417                      ## NOTE: Whether the encoding is supported or not is handled
4418                      ## in the {change_encoding} callback.
4419                    $self->{change_encoding}                    $self->{change_encoding}
4420                        ->($self, $token->{attributes}->{charset}->{value});                        ->($self, $token->{attributes}->{charset}->{value},
4421                             $token);
4422                                        
4423                    $meta_el->[0]->get_attribute_node_ns (undef, 'charset')                    $meta_el->[0]->get_attribute_node_ns (undef, 'charset')
4424                        ->set_user_data (manakai_has_reference =>                        ->set_user_data (manakai_has_reference =>
4425                                             $token->{attributes}->{charset}                                             $token->{attributes}->{charset}
4426                                                 ->{has_reference});                                                 ->{has_reference});
4427                  } elsif ($token->{attributes}->{content}) {                  } elsif ($token->{attributes}->{content}) {
                   ## ISSUE: Algorithm name in the spec was incorrect so that not linked to the definition.  
4428                    if ($token->{attributes}->{content}->{value}                    if ($token->{attributes}->{content}->{value}
4429                        =~ /\A[^;]*;[\x09-\x0D\x20]*[Cc][Hh][Aa][Rr][Ss][Ee][Tt]                        =~ /[Cc][Hh][Aa][Rr][Ss][Ee][Tt]
4430                            [\x09-\x0D\x20]*=                            [\x09-\x0D\x20]*=
4431                            [\x09-\x0D\x20]*(?>"([^"]*)"|'([^']*)'|                            [\x09-\x0D\x20]*(?>"([^"]*)"|'([^']*)'|
4432                            ([^"'\x09-\x0D\x20][^\x09-\x0D\x20]*))/x) {                            ([^"'\x09-\x0D\x20][^\x09-\x0D\x20\x3B]*))/x) {
4433                      !!!cp ('t107');                      !!!cp ('t107');
4434                        ## NOTE: Whether the encoding is supported or not is handled
4435                        ## in the {change_encoding} callback.
4436                      $self->{change_encoding}                      $self->{change_encoding}
4437                          ->($self, defined $1 ? $1 : defined $2 ? $2 : $3);                          ->($self, defined $1 ? $1 : defined $2 ? $2 : $3,
4438                               $token);
4439                      $meta_el->[0]->get_attribute_node_ns (undef, 'content')                      $meta_el->[0]->get_attribute_node_ns (undef, 'content')
4440                          ->set_user_data (manakai_has_reference =>                          ->set_user_data (manakai_has_reference =>
4441                                               $token->{attributes}->{content}                                               $token->{attributes}->{content}
# Line 3578  sub _tree_construction_main ($) { Line 4463  sub _tree_construction_main ($) {
4463    
4464                pop @{$self->{open_elements}} # <head>                pop @{$self->{open_elements}} # <head>
4465                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
4466                  !!!ack ('t110.1');
4467                !!!next-token;                !!!next-token;
4468                redo B;                next B;
4469              } elsif ($token->{tag_name} eq 'title') {              } elsif ($token->{tag_name} eq 'title') {
4470                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4471                  !!!cp ('t111');                  !!!cp ('t111');
4472                  ## As if </noscript>                  ## As if </noscript>
4473                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4474                  !!!parse-error (type => 'in noscript:title', token => $token);                  !!!parse-error (type => 'in noscript', text => 'title',
4475                                    token => $token);
4476                                
4477                  $self->{insertion_mode} = IN_HEAD_IM;                  $self->{insertion_mode} = IN_HEAD_IM;
4478                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
4479                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
4480                  !!!cp ('t112');                  !!!cp ('t112');
4481                  !!!parse-error (type => 'after head:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'after head',
4482                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                                  text => $token->{tag_name}, token => $token);
4483                    push @{$self->{open_elements}},
4484                        [$self->{head_element}, $el_category->{head}];
4485                } else {                } else {
4486                  !!!cp ('t113');                  !!!cp ('t113');
4487                }                }
# Line 3603  sub _tree_construction_main ($) { Line 4492  sub _tree_construction_main ($) {
4492                $parse_rcdata->(RCDATA_CONTENT_MODEL);                $parse_rcdata->(RCDATA_CONTENT_MODEL);
4493                pop @{$self->{open_elements}} # <head>                pop @{$self->{open_elements}} # <head>
4494                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
4495                redo B;                next B;
4496              } elsif ($token->{tag_name} eq 'style') {              } elsif ($token->{tag_name} eq 'style' or
4497                         $token->{tag_name} eq 'noframes') {
4498                ## NOTE: Or (scripting is enabled and tag_name eq 'noscript' and                ## NOTE: Or (scripting is enabled and tag_name eq 'noscript' and
4499                ## insertion mode IN_HEAD_IM)                ## insertion mode IN_HEAD_IM)
4500                ## NOTE: There is a "as if in head" code clone.                ## NOTE: There is a "as if in head" code clone.
4501                if ($self->{insertion_mode} == AFTER_HEAD_IM) {                if ($self->{insertion_mode} == AFTER_HEAD_IM) {
4502                  !!!cp ('t114');                  !!!cp ('t114');
4503                  !!!parse-error (type => 'after head:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'after head',
4504                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                                  text => $token->{tag_name}, token => $token);
4505                    push @{$self->{open_elements}},
4506                        [$self->{head_element}, $el_category->{head}];
4507                } else {                } else {
4508                  !!!cp ('t115');                  !!!cp ('t115');
4509                }                }
4510                $parse_rcdata->(CDATA_CONTENT_MODEL);                $parse_rcdata->(CDATA_CONTENT_MODEL);
4511                pop @{$self->{open_elements}} # <head>                pop @{$self->{open_elements}} # <head>
4512                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
4513                redo B;                next B;
4514              } elsif ($token->{tag_name} eq 'noscript') {              } elsif ($token->{tag_name} eq 'noscript') {
4515                if ($self->{insertion_mode} == IN_HEAD_IM) {                if ($self->{insertion_mode} == IN_HEAD_IM) {
4516                  !!!cp ('t116');                  !!!cp ('t116');
4517                  ## NOTE: and scripting is disalbed                  ## NOTE: and scripting is disalbed
4518                  !!!insert-element ($token->{tag_name}, $token->{attributes});                  !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
4519                  $self->{insertion_mode} = IN_HEAD_NOSCRIPT_IM;                  $self->{insertion_mode} = IN_HEAD_NOSCRIPT_IM;
4520                    !!!nack ('t116.1');
4521                  !!!next-token;                  !!!next-token;
4522                  redo B;                  next B;
4523                } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4524                  !!!cp ('t117');                  !!!cp ('t117');
4525                  !!!parse-error (type => 'in noscript:noscript', token => $token);                  !!!parse-error (type => 'in noscript', text => 'noscript',
4526                                    token => $token);
4527                  ## Ignore the token                  ## Ignore the token
4528                    !!!nack ('t117.1');
4529                  !!!next-token;                  !!!next-token;
4530                  redo B;                  next B;
4531                } else {                } else {
4532                  !!!cp ('t118');                  !!!cp ('t118');
4533                  #                  #
# Line 3642  sub _tree_construction_main ($) { Line 4537  sub _tree_construction_main ($) {
4537                  !!!cp ('t119');                  !!!cp ('t119');
4538                  ## As if </noscript>                  ## As if </noscript>
4539                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4540                  !!!parse-error (type => 'in noscript:script', token => $token);                  !!!parse-error (type => 'in noscript', text => 'script',
4541                                    token => $token);
4542                                
4543                  $self->{insertion_mode} = IN_HEAD_IM;                  $self->{insertion_mode} = IN_HEAD_IM;
4544                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
4545                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
4546                  !!!cp ('t120');                  !!!cp ('t120');
4547                  !!!parse-error (type => 'after head:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'after head',
4548                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                                  text => $token->{tag_name}, token => $token);
4549                    push @{$self->{open_elements}},
4550                        [$self->{head_element}, $el_category->{head}];
4551                } else {                } else {
4552                  !!!cp ('t121');                  !!!cp ('t121');
4553                }                }
# Line 3658  sub _tree_construction_main ($) { Line 4556  sub _tree_construction_main ($) {
4556                $script_start_tag->();                $script_start_tag->();
4557                pop @{$self->{open_elements}} # <head>                pop @{$self->{open_elements}} # <head>
4558                    if $self->{insertion_mode} == AFTER_HEAD_IM;                    if $self->{insertion_mode} == AFTER_HEAD_IM;
4559                redo B;                next B;
4560              } elsif ($token->{tag_name} eq 'body' or              } elsif ($token->{tag_name} eq 'body' or
4561                       $token->{tag_name} eq 'frameset') {                       $token->{tag_name} eq 'frameset') {
4562                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4563                  !!!cp ('t122');                  !!!cp ('t122');
4564                  ## As if </noscript>                  ## As if </noscript>
4565                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4566                  !!!parse-error (type => 'in noscript:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'in noscript',
4567                                    text => $token->{tag_name}, token => $token);
4568                                    
4569                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
4570                  ## As if </head>                  ## As if </head>
# Line 3682  sub _tree_construction_main ($) { Line 4581  sub _tree_construction_main ($) {
4581                }                }
4582    
4583                ## "after head" insertion mode                ## "after head" insertion mode
4584                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
4585                if ($token->{tag_name} eq 'body') {                if ($token->{tag_name} eq 'body') {
4586                  !!!cp ('t126');                  !!!cp ('t126');
4587                  $self->{insertion_mode} = IN_BODY_IM;                  $self->{insertion_mode} = IN_BODY_IM;
# Line 3692  sub _tree_construction_main ($) { Line 4591  sub _tree_construction_main ($) {
4591                } else {                } else {
4592                  die "$0: tag name: $self->{tag_name}";                  die "$0: tag name: $self->{tag_name}";
4593                }                }
4594                  !!!nack ('t127.1');
4595                !!!next-token;                !!!next-token;
4596                redo B;                next B;
4597              } else {              } else {
4598                !!!cp ('t128');                !!!cp ('t128');
4599                #                #
# Line 3703  sub _tree_construction_main ($) { Line 4603  sub _tree_construction_main ($) {
4603                !!!cp ('t129');                !!!cp ('t129');
4604                ## As if </noscript>                ## As if </noscript>
4605                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
4606                !!!parse-error (type => 'in noscript:/'.$token->{tag_name}, token => $token);                !!!parse-error (type => 'in noscript:/',
4607                                  text => $token->{tag_name}, token => $token);
4608                                
4609                ## Reprocess in the "in head" insertion mode...                ## Reprocess in the "in head" insertion mode...
4610                ## As if </head>                ## As if </head>
# Line 3722  sub _tree_construction_main ($) { Line 4623  sub _tree_construction_main ($) {
4623    
4624              ## "after head" insertion mode              ## "after head" insertion mode
4625              ## As if <body>              ## As if <body>
4626              !!!insert-element ('body');              !!!insert-element ('body',, $token);
4627              $self->{insertion_mode} = IN_BODY_IM;              $self->{insertion_mode} = IN_BODY_IM;
4628              ## reprocess              ## reprocess
4629              redo B;              !!!ack-later;
4630                next B;
4631            } elsif ($token->{type} == END_TAG_TOKEN) {            } elsif ($token->{type} == END_TAG_TOKEN) {
4632              if ($token->{tag_name} eq 'head') {              if ($token->{tag_name} eq 'head') {
4633                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4634                  !!!cp ('t132');                  !!!cp ('t132');
4635                  ## As if <head>                  ## As if <head>
4636                  !!!create-element ($self->{head_element}, 'head');                  !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
4637                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});
4638                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                  push @{$self->{open_elements}},
4639                        [$self->{head_element}, $el_category->{head}];
4640    
4641                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
4642                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4643                  $self->{insertion_mode} = AFTER_HEAD_IM;                  $self->{insertion_mode} = AFTER_HEAD_IM;
4644                  !!!next-token;                  !!!next-token;
4645                  redo B;                  next B;
4646                } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4647                  !!!cp ('t133');                  !!!cp ('t133');
4648                  ## As if </noscript>                  ## As if </noscript>
4649                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4650                  !!!parse-error (type => 'in noscript:/head', token => $token);                  !!!parse-error (type => 'in noscript:/',
4651                                    text => 'head', token => $token);
4652                                    
4653                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
4654                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4655                  $self->{insertion_mode} = AFTER_HEAD_IM;                  $self->{insertion_mode} = AFTER_HEAD_IM;
4656                  !!!next-token;                  !!!next-token;
4657                  redo B;                  next B;
4658                } elsif ($self->{insertion_mode} == IN_HEAD_IM) {                } elsif ($self->{insertion_mode} == IN_HEAD_IM) {
4659                  !!!cp ('t134');                  !!!cp ('t134');
4660                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4661                  $self->{insertion_mode} = AFTER_HEAD_IM;                  $self->{insertion_mode} = AFTER_HEAD_IM;
4662                  !!!next-token;                  !!!next-token;
4663                  redo B;                  next B;
4664                  } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
4665                    !!!cp ('t134.1');
4666                    !!!parse-error (type => 'unmatched end tag', text => 'head',
4667                                    token => $token);
4668                    ## Ignore the token
4669                    !!!next-token;
4670                    next B;
4671                } else {                } else {
4672                  !!!cp ('t135');                  die "$0: $self->{insertion_mode}: Unknown insertion mode";
                 #  
4673                }                }
4674              } elsif ($token->{tag_name} eq 'noscript') {              } elsif ($token->{tag_name} eq 'noscript') {
4675                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {                if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
# Line 3767  sub _tree_construction_main ($) { Line 4677  sub _tree_construction_main ($) {
4677                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
4678                  $self->{insertion_mode} = IN_HEAD_IM;                  $self->{insertion_mode} = IN_HEAD_IM;
4679                  !!!next-token;                  !!!next-token;
4680                  redo B;                  next B;
4681                } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {                } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM or
4682                           $self->{insertion_mode} == AFTER_HEAD_IM) {
4683                  !!!cp ('t137');                  !!!cp ('t137');
4684                  !!!parse-error (type => 'unmatched end tag:noscript', token => $token);                  !!!parse-error (type => 'unmatched end tag',
4685                                    text => 'noscript', token => $token);
4686                  ## Ignore the token ## ISSUE: An issue in the spec.                  ## Ignore the token ## ISSUE: An issue in the spec.
4687                  !!!next-token;                  !!!next-token;
4688                  redo B;                  next B;
4689                } else {                } else {
4690                  !!!cp ('t138');                  !!!cp ('t138');
4691                  #                  #
# Line 3781  sub _tree_construction_main ($) { Line 4693  sub _tree_construction_main ($) {
4693              } elsif ({              } elsif ({
4694                        body => 1, html => 1,                        body => 1, html => 1,
4695                       }->{$token->{tag_name}}) {                       }->{$token->{tag_name}}) {
4696                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {                if ($self->{insertion_mode} == BEFORE_HEAD_IM or
4697                  !!!cp ('t139');                    $self->{insertion_mode} == IN_HEAD_IM or
4698                  ## As if <head>                    $self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
                 !!!create-element ($self->{head_element}, 'head');  
                 $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});  
                 push @{$self->{open_elements}}, [$self->{head_element}, 'head'];  
   
                 $self->{insertion_mode} = IN_HEAD_IM;  
                 ## Reprocess in the "in head" insertion mode...  
               } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {  
4699                  !!!cp ('t140');                  !!!cp ('t140');
4700                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'unmatched end tag',
4701                                    text => $token->{tag_name}, token => $token);
4702                  ## Ignore the token                  ## Ignore the token
4703                  !!!next-token;                  !!!next-token;
4704                  redo B;                  next B;
4705                  } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
4706                    !!!cp ('t140.1');
4707                    !!!parse-error (type => 'unmatched end tag',
4708                                    text => $token->{tag_name}, token => $token);
4709                    ## Ignore the token
4710                    !!!next-token;
4711                    next B;
4712                } else {                } else {
4713                  !!!cp ('t141');                  die "$0: $self->{insertion_mode}: Unknown insertion mode";
4714                }                }
4715                              } elsif ($token->{tag_name} eq 'p') {
4716                #                !!!cp ('t142');
4717              } elsif ({                !!!parse-error (type => 'unmatched end tag',
4718                        p => 1, br => 1,                                text => $token->{tag_name}, token => $token);
4719                       }->{$token->{tag_name}}) {                ## Ignore the token
4720                  !!!next-token;
4721                  next B;
4722                } elsif ($token->{tag_name} eq 'br') {
4723                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {                if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4724                  !!!cp ('t142');                  !!!cp ('t142.2');
4725                  ## As if <head>                  ## (before head) as if <head>, (in head) as if </head>
4726                  !!!create-element ($self->{head_element}, 'head');                  !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
4727                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});                  $self->{open_elements}->[-1]->[0]->append_child ($self->{head_element});
4728                  push @{$self->{open_elements}}, [$self->{head_element}, 'head'];                  $self->{insertion_mode} = AFTER_HEAD_IM;
4729      
4730                    ## Reprocess in the "after head" insertion mode...
4731                  } elsif ($self->{insertion_mode} == IN_HEAD_IM) {
4732                    !!!cp ('t143.2');
4733                    ## As if </head>
4734                    pop @{$self->{open_elements}};
4735                    $self->{insertion_mode} = AFTER_HEAD_IM;
4736      
4737                    ## Reprocess in the "after head" insertion mode...
4738                  } elsif ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4739                    !!!cp ('t143.3');
4740                    ## ISSUE: Two parse errors for <head><noscript></br>
4741                    !!!parse-error (type => 'unmatched end tag',
4742                                    text => 'br', token => $token);
4743                    ## As if </noscript>
4744                    pop @{$self->{open_elements}};
4745                  $self->{insertion_mode} = IN_HEAD_IM;                  $self->{insertion_mode} = IN_HEAD_IM;
4746    
4747                  ## Reprocess in the "in head" insertion mode...                  ## Reprocess in the "in head" insertion mode...
4748                } else {                  ## As if </head>
4749                  !!!cp ('t143');                  pop @{$self->{open_elements}};
4750                }                  $self->{insertion_mode} = AFTER_HEAD_IM;
4751    
4752                #                  ## Reprocess in the "after head" insertion mode...
4753              } else {                } elsif ($self->{insertion_mode} == AFTER_HEAD_IM) {
4754                if ($self->{insertion_mode} == AFTER_HEAD_IM) {                  !!!cp ('t143.4');
                 !!!cp ('t144');  
4755                  #                  #
4756                } else {                } else {
4757                  !!!cp ('t145');                  die "$0: $self->{insertion_mode}: Unknown insertion mode";
                 !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);  
                 ## Ignore the token  
                 !!!next-token;  
                 redo B;  
4758                }                }
4759    
4760                  ## ISSUE: does not agree with IE7 - it doesn't ignore </br>.
4761                  !!!parse-error (type => 'unmatched end tag',
4762                                  text => 'br', token => $token);
4763                  ## Ignore the token
4764                  !!!next-token;
4765                  next B;
4766                } else {
4767                  !!!cp ('t145');
4768                  !!!parse-error (type => 'unmatched end tag',
4769                                  text => $token->{tag_name}, token => $token);
4770                  ## Ignore the token
4771                  !!!next-token;
4772                  next B;
4773              }              }
4774    
4775              if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {              if ($self->{insertion_mode} == IN_HEAD_NOSCRIPT_IM) {
4776                !!!cp ('t146');                !!!cp ('t146');
4777                ## As if </noscript>                ## As if </noscript>
4778                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
4779                !!!parse-error (type => 'in noscript:/'.$token->{tag_name}, token => $token);                !!!parse-error (type => 'in noscript:/',
4780                                  text => $token->{tag_name}, token => $token);
4781                                
4782                ## Reprocess in the "in head" insertion mode...                ## Reprocess in the "in head" insertion mode...
4783                ## As if </head>                ## As if </head>
# Line 3851  sub _tree_construction_main ($) { Line 4793  sub _tree_construction_main ($) {
4793              } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {              } elsif ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4794  ## ISSUE: This case cannot be reached?  ## ISSUE: This case cannot be reached?
4795                !!!cp ('t148');                !!!cp ('t148');
4796                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                !!!parse-error (type => 'unmatched end tag',
4797                                  text => $token->{tag_name}, token => $token);
4798                ## Ignore the token ## ISSUE: An issue in the spec.                ## Ignore the token ## ISSUE: An issue in the spec.
4799                !!!next-token;                !!!next-token;
4800                redo B;                next B;
4801              } else {              } else {
4802                !!!cp ('t149');                !!!cp ('t149');
4803              }              }
4804    
4805              ## "after head" insertion mode              ## "after head" insertion mode
4806              ## As if <body>              ## As if <body>
4807              !!!insert-element ('body');              !!!insert-element ('body',, $token);
4808              $self->{insertion_mode} = IN_BODY_IM;              $self->{insertion_mode} = IN_BODY_IM;
4809              ## reprocess              ## reprocess
4810              redo B;              next B;
4811        } elsif ($token->{type} == END_OF_FILE_TOKEN) {        } elsif ($token->{type} == END_OF_FILE_TOKEN) {
4812          if ($self->{insertion_mode} == BEFORE_HEAD_IM) {          if ($self->{insertion_mode} == BEFORE_HEAD_IM) {
4813            !!!cp ('t149.1');            !!!cp ('t149.1');
4814    
4815            ## NOTE: As if <head>            ## NOTE: As if <head>
4816            !!!create-element ($self->{head_element}, 'head');            !!!create-element ($self->{head_element}, $HTML_NS, 'head',, $token);
4817            $self->{open_elements}->[-1]->[0]->append_child            $self->{open_elements}->[-1]->[0]->append_child
4818                ($self->{head_element});                ($self->{head_element});
4819            #push @{$self->{open_elements}}, [$self->{head_element}, 'head'];            #push @{$self->{open_elements}},
4820              #    [$self->{head_element}, $el_category->{head}];
4821            #$self->{insertion_mode} = IN_HEAD_IM;            #$self->{insertion_mode} = IN_HEAD_IM;
4822            ## NOTE: Reprocess.            ## NOTE: Reprocess.
4823    
# Line 3914  sub _tree_construction_main ($) { Line 4858  sub _tree_construction_main ($) {
4858          }          }
4859    
4860          ## NOTE: As if <body>          ## NOTE: As if <body>
4861          !!!insert-element ('body');          !!!insert-element ('body',, $token);
4862          $self->{insertion_mode} = IN_BODY_IM;          $self->{insertion_mode} = IN_BODY_IM;
4863          ## NOTE: Reprocess.          ## NOTE: Reprocess.
4864          redo B;          next B;
4865        } else {        } else {
4866          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
4867        }        }
# Line 3932  sub _tree_construction_main ($) { Line 4876  sub _tree_construction_main ($) {
4876              $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});              $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});
4877    
4878              !!!next-token;              !!!next-token;
4879              redo B;              next B;
4880            } elsif ($token->{type} == START_TAG_TOKEN) {            } elsif ($token->{type} == START_TAG_TOKEN) {
4881              if ({              if ({
4882                   caption => 1, col => 1, colgroup => 1, tbody => 1,                   caption => 1, col => 1, colgroup => 1, tbody => 1,
# Line 3942  sub _tree_construction_main ($) { Line 4886  sub _tree_construction_main ($) {
4886                  ## have an element in table scope                  ## have an element in table scope
4887                  for (reverse 0..$#{$self->{open_elements}}) {                  for (reverse 0..$#{$self->{open_elements}}) {
4888                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
4889                    if ($node->[1] eq 'td' or $node->[1] eq 'th') {                    if ($node->[1] & TABLE_CELL_EL) {
4890                      !!!cp ('t151');                      !!!cp ('t151');
4891    
4892                      ## Close the cell                      ## Close the cell
4893                      !!!back-token; # <?>                      !!!back-token; # <x>
4894                      $token = {type => END_TAG_TOKEN, tag_name => $node->[1]};                      $token = {type => END_TAG_TOKEN,
4895                      redo B;                                tag_name => $node->[0]->manakai_local_name,
4896                    } elsif ({                                line => $token->{line},
4897                              table => 1, html => 1,                                column => $token->{column}};
4898                             }->{$node->[1]}) {                      next B;
4899                      } elsif ($node->[1] & TABLE_SCOPING_EL) {
4900                      !!!cp ('t152');                      !!!cp ('t152');
4901                      ## ISSUE: This case can never be reached, maybe.                      ## ISSUE: This case can never be reached, maybe.
4902                      last;                      last;
# Line 3960  sub _tree_construction_main ($) { Line 4905  sub _tree_construction_main ($) {
4905    
4906                  !!!cp ('t153');                  !!!cp ('t153');
4907                  !!!parse-error (type => 'start tag not allowed',                  !!!parse-error (type => 'start tag not allowed',
4908                      value => $token->{tag_name}, token => $token);                      text => $token->{tag_name}, token => $token);
4909                  ## Ignore the token                  ## Ignore the token
4910                    !!!nack ('t153.1');
4911                  !!!next-token;                  !!!next-token;
4912                  redo B;                  next B;
4913                } elsif ($self->{insertion_mode} == IN_CAPTION_IM) {                } elsif ($self->{insertion_mode} == IN_CAPTION_IM) {
4914                  !!!parse-error (type => 'not closed:caption', token => $token);                  !!!parse-error (type => 'not closed', text => 'caption',
4915                                    token => $token);
4916                                    
4917                  ## NOTE: As if </caption>.                  ## NOTE: As if </caption>.
4918                  ## have a table element in table scope                  ## have a table element in table scope
# Line 3973  sub _tree_construction_main ($) { Line 4920  sub _tree_construction_main ($) {
4920                  INSCOPE: {                  INSCOPE: {
4921                    for (reverse 0..$#{$self->{open_elements}}) {                    for (reverse 0..$#{$self->{open_elements}}) {
4922                      my $node = $self->{open_elements}->[$_];                      my $node = $self->{open_elements}->[$_];
4923                      if ($node->[1] eq 'caption') {                      if ($node->[1] & CAPTION_EL) {
4924                        !!!cp ('t155');                        !!!cp ('t155');
4925                        $i = $_;                        $i = $_;
4926                        last INSCOPE;                        last INSCOPE;
4927                      } elsif ({                      } elsif ($node->[1] & TABLE_SCOPING_EL) {
                               table => 1, html => 1,  
                              }->{$node->[1]}) {  
4928                        !!!cp ('t156');                        !!!cp ('t156');
4929                        last;                        last;
4930                      }                      }
# Line 3987  sub _tree_construction_main ($) { Line 4932  sub _tree_construction_main ($) {
4932    
4933                    !!!cp ('t157');                    !!!cp ('t157');
4934                    !!!parse-error (type => 'start tag not allowed',                    !!!parse-error (type => 'start tag not allowed',
4935                                    value => $token->{tag_name}, token => $token);                                    text => $token->{tag_name}, token => $token);
4936                    ## Ignore the token                    ## Ignore the token
4937                      !!!nack ('t157.1');
4938                    !!!next-token;                    !!!next-token;
4939                    redo B;                    next B;
4940                  } # INSCOPE                  } # INSCOPE
4941                                    
4942                  ## generate implied end tags                  ## generate implied end tags
4943                  while ({                  while ($self->{open_elements}->[-1]->[1]
4944                          dd => 1, dt => 1, li => 1, p => 1,                             & END_TAG_OPTIONAL_EL) {
                        }->{$self->{open_elements}->[-1]->[1]}) {  
4945                    !!!cp ('t158');                    !!!cp ('t158');
4946                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
4947                  }                  }
4948    
4949                  if ($self->{open_elements}->[-1]->[1] ne 'caption') {                  unless ($self->{open_elements}->[-1]->[1] & CAPTION_EL) {
4950                    !!!cp ('t159');                    !!!cp ('t159');
4951                    !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1], token => $token);                    !!!parse-error (type => 'not closed',
4952                                      text => $self->{open_elements}->[-1]->[0]
4953                                          ->manakai_local_name,
4954                                      token => $token);
4955                  } else {                  } else {
4956                    !!!cp ('t160');                    !!!cp ('t160');
4957                  }                  }
# Line 4015  sub _tree_construction_main ($) { Line 4963  sub _tree_construction_main ($) {
4963                  $self->{insertion_mode} = IN_TABLE_IM;                  $self->{insertion_mode} = IN_TABLE_IM;
4964                                    
4965                  ## reprocess                  ## reprocess
4966                  redo B;                  !!!ack-later;
4967                    next B;
4968                } else {                } else {
4969                  !!!cp ('t161');                  !!!cp ('t161');
4970                  #                  #
# Line 4031  sub _tree_construction_main ($) { Line 4980  sub _tree_construction_main ($) {
4980                  my $i;                  my $i;
4981                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
4982                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
4983                    if ($node->[1] eq $token->{tag_name}) {                    if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
4984                      !!!cp ('t163');                      !!!cp ('t163');
4985                      $i = $_;                      $i = $_;
4986                      last INSCOPE;                      last INSCOPE;
4987                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
4988                      !!!cp ('t164');                      !!!cp ('t164');
4989                      last INSCOPE;                      last INSCOPE;
4990                    }                    }
4991                  } # INSCOPE                  } # INSCOPE
4992                    unless (defined $i) {                    unless (defined $i) {
4993                      !!!cp ('t165');                      !!!cp ('t165');
4994                      !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                      !!!parse-error (type => 'unmatched end tag',
4995                                        text => $token->{tag_name},
4996                                        token => $token);
4997                      ## Ignore the token                      ## Ignore the token
4998                      !!!next-token;                      !!!next-token;
4999                      redo B;                      next B;
5000                    }                    }
5001                                    
5002                  ## generate implied end tags                  ## generate implied end tags
5003                  while ({                  while ($self->{open_elements}->[-1]->[1]
5004                          dd => 1, dt => 1, li => 1, p => 1,                             & END_TAG_OPTIONAL_EL) {
                        }->{$self->{open_elements}->[-1]->[1]}) {  
5005                    !!!cp ('t166');                    !!!cp ('t166');
5006                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5007                  }                  }
5008    
5009                  if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {                  if ($self->{open_elements}->[-1]->[0]->manakai_local_name
5010                            ne $token->{tag_name}) {
5011                    !!!cp ('t167');                    !!!cp ('t167');
5012                    !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1], token => $token);                    !!!parse-error (type => 'not closed',
5013                                      text => $self->{open_elements}->[-1]->[0]
5014                                          ->manakai_local_name,
5015                                      token => $token);
5016                  } else {                  } else {
5017                    !!!cp ('t168');                    !!!cp ('t168');
5018                  }                  }
# Line 4072  sub _tree_construction_main ($) { Line 5024  sub _tree_construction_main ($) {
5024                  $self->{insertion_mode} = IN_ROW_IM;                  $self->{insertion_mode} = IN_ROW_IM;
5025                                    
5026                  !!!next-token;                  !!!next-token;
5027                  redo B;                  next B;
5028                } elsif ($self->{insertion_mode} == IN_CAPTION_IM) {                } elsif ($self->{insertion_mode} == IN_CAPTION_IM) {
5029                  !!!cp ('t169');                  !!!cp ('t169');
5030                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'unmatched end tag',
5031                                    text => $token->{tag_name}, token => $token);
5032                  ## Ignore the token                  ## Ignore the token
5033                  !!!next-token;                  !!!next-token;
5034                  redo B;                  next B;
5035                } else {                } else {
5036                  !!!cp ('t170');                  !!!cp ('t170');
5037                  #                  #
# Line 4090  sub _tree_construction_main ($) { Line 5043  sub _tree_construction_main ($) {
5043                  INSCOPE: {                  INSCOPE: {
5044                    for (reverse 0..$#{$self->{open_elements}}) {                    for (reverse 0..$#{$self->{open_elements}}) {
5045                      my $node = $self->{open_elements}->[$_];                      my $node = $self->{open_elements}->[$_];
5046                      if ($node->[1] eq $token->{tag_name}) {                      if ($node->[1] & CAPTION_EL) {
5047                        !!!cp ('t171');                        !!!cp ('t171');
5048                        $i = $_;                        $i = $_;
5049                        last INSCOPE;                        last INSCOPE;
5050                      } elsif ({                      } elsif ($node->[1] & TABLE_SCOPING_EL) {
                               table => 1, html => 1,  
                              }->{$node->[1]}) {  
5051                        !!!cp ('t172');                        !!!cp ('t172');
5052                        last;                        last;
5053                      }                      }
# Line 4104  sub _tree_construction_main ($) { Line 5055  sub _tree_construction_main ($) {
5055    
5056                    !!!cp ('t173');                    !!!cp ('t173');
5057                    !!!parse-error (type => 'unmatched end tag',                    !!!parse-error (type => 'unmatched end tag',
5058                                    value => $token->{tag_name}, token => $token);                                    text => $token->{tag_name}, token => $token);
5059                    ## Ignore the token                    ## Ignore the token
5060                    !!!next-token;                    !!!next-token;
5061                    redo B;                    next B;
5062                  } # INSCOPE                  } # INSCOPE
5063                                    
5064                  ## generate implied end tags                  ## generate implied end tags
5065                  while ({                  while ($self->{open_elements}->[-1]->[1]
5066                          dd => 1, dt => 1, li => 1, p => 1,                             & END_TAG_OPTIONAL_EL) {
                        }->{$self->{open_elements}->[-1]->[1]}) {  
5067                    !!!cp ('t174');                    !!!cp ('t174');
5068                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5069                  }                  }
5070                                    
5071                  if ($self->{open_elements}->[-1]->[1] ne 'caption') {                  unless ($self->{open_elements}->[-1]->[1] & CAPTION_EL) {
5072                    !!!cp ('t175');                    !!!cp ('t175');
5073                    !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1], token => $token);                    !!!parse-error (type => 'not closed',
5074                                      text => $self->{open_elements}->[-1]->[0]
5075                                          ->manakai_local_name,
5076                                      token => $token);
5077                  } else {                  } else {
5078                    !!!cp ('t176');                    !!!cp ('t176');
5079                  }                  }
# Line 4132  sub _tree_construction_main ($) { Line 5085  sub _tree_construction_main ($) {
5085                  $self->{insertion_mode} = IN_TABLE_IM;                  $self->{insertion_mode} = IN_TABLE_IM;
5086                                    
5087                  !!!next-token;                  !!!next-token;
5088                  redo B;                  next B;
5089                } elsif ($self->{insertion_mode} == IN_CELL_IM) {                } elsif ($self->{insertion_mode} == IN_CELL_IM) {
5090                  !!!cp ('t177');                  !!!cp ('t177');
5091                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'unmatched end tag',
5092                                    text => $token->{tag_name}, token => $token);
5093                  ## Ignore the token                  ## Ignore the token
5094                  !!!next-token;                  !!!next-token;
5095                  redo B;                  next B;
5096                } else {                } else {
5097                  !!!cp ('t178');                  !!!cp ('t178');
5098                  #                  #
# Line 4154  sub _tree_construction_main ($) { Line 5108  sub _tree_construction_main ($) {
5108                INSCOPE: {                INSCOPE: {
5109                  for (reverse 0..$#{$self->{open_elements}}) {                  for (reverse 0..$#{$self->{open_elements}}) {
5110                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5111                    if ($node->[1] eq $token->{tag_name}) {                    if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
5112                      !!!cp ('t179');                      !!!cp ('t179');
5113                      $i = $_;                      $i = $_;
5114    
5115                      ## Close the cell                      ## Close the cell
5116                      !!!back-token; # </?>                      !!!back-token; # </x>
5117                      $token = {type => END_TAG_TOKEN, tag_name => $tn};                      $token = {type => END_TAG_TOKEN, tag_name => $tn,
5118                      redo B;                                line => $token->{line},
5119                    } elsif ($node->[1] eq 'td' or $node->[1] eq 'th') {                                column => $token->{column}};
5120                        next B;
5121                      } elsif ($node->[1] & TABLE_CELL_EL) {
5122                      !!!cp ('t180');                      !!!cp ('t180');
5123                      $tn = $node->[1];                      $tn = $node->[0]->manakai_local_name;
5124                      ## NOTE: There is exactly one |td| or |th| element                      ## NOTE: There is exactly one |td| or |th| element
5125                      ## in scope in the stack of open elements by definition.                      ## in scope in the stack of open elements by definition.
5126                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
5127                      ## ISSUE: Can this be reached?                      ## ISSUE: Can this be reached?
5128                      !!!cp ('t181');                      !!!cp ('t181');
5129                      last;                      last;
# Line 4178  sub _tree_construction_main ($) { Line 5132  sub _tree_construction_main ($) {
5132    
5133                  !!!cp ('t182');                  !!!cp ('t182');
5134                  !!!parse-error (type => 'unmatched end tag',                  !!!parse-error (type => 'unmatched end tag',
5135                      value => $token->{tag_name}, token => $token);                      text => $token->{tag_name}, token => $token);
5136                  ## Ignore the token                  ## Ignore the token
5137                  !!!next-token;                  !!!next-token;
5138                  redo B;                  next B;
5139                } # INSCOPE                } # INSCOPE
5140              } elsif ($token->{tag_name} eq 'table' and              } elsif ($token->{tag_name} eq 'table' and
5141                       $self->{insertion_mode} == IN_CAPTION_IM) {                       $self->{insertion_mode} == IN_CAPTION_IM) {
5142                !!!parse-error (type => 'not closed:caption', token => $token);                !!!parse-error (type => 'not closed', text => 'caption',
5143                                  token => $token);
5144    
5145                ## As if </caption>                ## As if </caption>
5146                ## have a table element in table scope                ## have a table element in table scope
5147                my $i;                my $i;
5148                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5149                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
5150                  if ($node->[1] eq 'caption') {                  if ($node->[1] & CAPTION_EL) {
5151                    !!!cp ('t184');                    !!!cp ('t184');
5152                    $i = $_;                    $i = $_;
5153                    last INSCOPE;                    last INSCOPE;
5154                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
5155                    !!!cp ('t185');                    !!!cp ('t185');
5156                    last INSCOPE;                    last INSCOPE;
5157                  }                  }
5158                } # INSCOPE                } # INSCOPE
5159                unless (defined $i) {                unless (defined $i) {
5160                  !!!cp ('t186');                  !!!cp ('t186');
5161                  !!!parse-error (type => 'unmatched end tag:caption', token => $token);                  !!!parse-error (type => 'unmatched end tag',
5162                                    text => 'caption', token => $token);
5163                  ## Ignore the token                  ## Ignore the token
5164                  !!!next-token;                  !!!next-token;
5165                  redo B;                  next B;
5166                }                }
5167                                
5168                ## generate implied end tags                ## generate implied end tags
5169                while ({                while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                       dd => 1, dt => 1, li => 1, p => 1,  
                      }->{$self->{open_elements}->[-1]->[1]}) {  
5170                  !!!cp ('t187');                  !!!cp ('t187');
5171                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
5172                }                }
5173    
5174                if ($self->{open_elements}->[-1]->[1] ne 'caption') {                unless ($self->{open_elements}->[-1]->[1] & CAPTION_EL) {
5175                  !!!cp ('t188');                  !!!cp ('t188');
5176                  !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1], token => $token);                  !!!parse-error (type => 'not closed',
5177                                    text => $self->{open_elements}->[-1]->[0]
5178                                        ->manakai_local_name,
5179                                    token => $token);
5180                } else {                } else {
5181                  !!!cp ('t189');                  !!!cp ('t189');
5182                }                }
# Line 4233  sub _tree_construction_main ($) { Line 5188  sub _tree_construction_main ($) {
5188                $self->{insertion_mode} = IN_TABLE_IM;                $self->{insertion_mode} = IN_TABLE_IM;
5189    
5190                ## reprocess                ## reprocess
5191                redo B;                next B;
5192              } elsif ({              } elsif ({
5193                        body => 1, col => 1, colgroup => 1, html => 1,                        body => 1, col => 1, colgroup => 1, html => 1,
5194                       }->{$token->{tag_name}}) {                       }->{$token->{tag_name}}) {
5195                if ($self->{insertion_mode} & BODY_TABLE_IMS) {                if ($self->{insertion_mode} & BODY_TABLE_IMS) {
5196                  !!!cp ('t190');                  !!!cp ('t190');
5197                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'unmatched end tag',
5198                                    text => $token->{tag_name}, token => $token);
5199                  ## Ignore the token                  ## Ignore the token
5200                  !!!next-token;                  !!!next-token;
5201                  redo B;                  next B;
5202                } else {                } else {
5203                  !!!cp ('t191');                  !!!cp ('t191');
5204                  #                  #
# Line 4253  sub _tree_construction_main ($) { Line 5209  sub _tree_construction_main ($) {
5209                       }->{$token->{tag_name}} and                       }->{$token->{tag_name}} and
5210                       $self->{insertion_mode} == IN_CAPTION_IM) {                       $self->{insertion_mode} == IN_CAPTION_IM) {
5211                !!!cp ('t192');                !!!cp ('t192');
5212                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                !!!parse-error (type => 'unmatched end tag',
5213                                  text => $token->{tag_name}, token => $token);
5214                ## Ignore the token                ## Ignore the token
5215                !!!next-token;                !!!next-token;
5216                redo B;                next B;
5217              } else {              } else {
5218                !!!cp ('t193');                !!!cp ('t193');
5219                #                #
5220              }              }
5221        } elsif ($token->{type} == END_OF_FILE_TOKEN) {        } elsif ($token->{type} == END_OF_FILE_TOKEN) {
5222          for my $entry (@{$self->{open_elements}}) {          for my $entry (@{$self->{open_elements}}) {
5223            if (not {            unless ($entry->[1] & ALL_END_TAG_OPTIONAL_EL) {
             dd => 1, dt => 1, li => 1, p => 1, tbody => 1, td => 1, tfoot => 1,  
             th => 1, thead => 1, tr => 1, body => 1, html => 1,  
           }->{$entry->[1]}) {  
5224              !!!cp ('t75');              !!!cp ('t75');
5225              !!!parse-error (type => 'in body:#eof', token => $token);              !!!parse-error (type => 'in body:#eof', token => $token);
5226              last;              last;
# Line 4290  sub _tree_construction_main ($) { Line 5244  sub _tree_construction_main ($) {
5244            unless (length $token->{data}) {            unless (length $token->{data}) {
5245              !!!cp ('t194');              !!!cp ('t194');
5246              !!!next-token;              !!!next-token;
5247              redo B;              next B;
5248            } else {            } else {
5249              !!!cp ('t195');              !!!cp ('t195');
5250            }            }
5251          }          }
5252    
5253              !!!parse-error (type => 'in table:#character', token => $token);          !!!parse-error (type => 'in table:#text', token => $token);
5254    
5255              ## As if in body, but insert into foster parent element              ## As if in body, but insert into foster parent element
5256              ## ISSUE: Spec says that "whenever a node would be inserted              ## ISSUE: Spec says that "whenever a node would be inserted
# Line 4304  sub _tree_construction_main ($) { Line 5258  sub _tree_construction_main ($) {
5258              ## result in a new Text node.              ## result in a new Text node.
5259              $reconstruct_active_formatting_elements->($insert_to_foster);              $reconstruct_active_formatting_elements->($insert_to_foster);
5260                            
5261              if ({              if ($self->{open_elements}->[-1]->[1] & TABLE_ROWS_EL) {
                  table => 1, tbody => 1, tfoot => 1,  
                  thead => 1, tr => 1,  
                 }->{$self->{open_elements}->[-1]->[1]}) {  
5262                # MUST                # MUST
5263                my $foster_parent_element;                my $foster_parent_element;
5264                my $next_sibling;                my $next_sibling;
5265                my $prev_sibling;                my $prev_sibling;
5266                OE: for (reverse 0..$#{$self->{open_elements}}) {                OE: for (reverse 0..$#{$self->{open_elements}}) {
5267                  if ($self->{open_elements}->[$_]->[1] eq 'table') {                  if ($self->{open_elements}->[$_]->[1] & TABLE_EL) {
5268                    my $parent = $self->{open_elements}->[$_]->[0]->parent_node;                    my $parent = $self->{open_elements}->[$_]->[0]->parent_node;
5269                    if (defined $parent and $parent->node_type == 1) {                    if (defined $parent and $parent->node_type == 1) {
5270                      !!!cp ('t196');                      !!!cp ('t196');
# Line 4348  sub _tree_construction_main ($) { Line 5299  sub _tree_construction_main ($) {
5299          }          }
5300                            
5301          !!!next-token;          !!!next-token;
5302          redo B;          next B;
5303        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
5304              if ({          if ({
5305                   tr => ($self->{insertion_mode} != IN_ROW_IM),               tr => ($self->{insertion_mode} != IN_ROW_IM),
5306                   th => 1, td => 1,               th => 1, td => 1,
5307                  }->{$token->{tag_name}}) {              }->{$token->{tag_name}}) {
5308                if ($self->{insertion_mode} == IN_TABLE_IM) {            if ($self->{insertion_mode} == IN_TABLE_IM) {
5309                  ## Clear back to table context              ## Clear back to table context
5310                  while ($self->{open_elements}->[-1]->[1] ne 'table' and              while (not ($self->{open_elements}->[-1]->[1]
5311                         $self->{open_elements}->[-1]->[1] ne 'html') {                              & TABLE_SCOPING_EL)) {
5312                    !!!cp ('t201');                !!!cp ('t201');
5313                    pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
5314                  }              }
5315                                
5316                  !!!insert-element ('tbody');              !!!insert-element ('tbody',, $token);
5317                  $self->{insertion_mode} = IN_TABLE_BODY_IM;              $self->{insertion_mode} = IN_TABLE_BODY_IM;
5318                  ## reprocess in the "in table body" insertion mode...              ## reprocess in the "in table body" insertion mode...
5319                }            }
5320              
5321                if ($self->{insertion_mode} == IN_TABLE_BODY_IM) {            if ($self->{insertion_mode} == IN_TABLE_BODY_IM) {
5322                  unless ($token->{tag_name} eq 'tr') {              unless ($token->{tag_name} eq 'tr') {
5323                    !!!cp ('t202');                !!!cp ('t202');
5324                    !!!parse-error (type => 'missing start tag:tr', token => $token);                !!!parse-error (type => 'missing start tag:tr', token => $token);
5325                  }              }
5326                                    
5327                  ## Clear back to table body context              ## Clear back to table body context
5328                  while (not {              while (not ($self->{open_elements}->[-1]->[1]
5329                    tbody => 1, tfoot => 1, thead => 1, html => 1,                              & TABLE_ROWS_SCOPING_EL)) {
5330                  }->{$self->{open_elements}->[-1]->[1]}) {                !!!cp ('t203');
5331                    !!!cp ('t203');                ## ISSUE: Can this case be reached?
5332                    ## ISSUE: Can this case be reached?                pop @{$self->{open_elements}};
5333                    pop @{$self->{open_elements}};              }
                 }  
5334                                    
5335                  $self->{insertion_mode} = IN_ROW_IM;                  $self->{insertion_mode} = IN_ROW_IM;
5336                  if ($token->{tag_name} eq 'tr') {                  if ($token->{tag_name} eq 'tr') {
5337                    !!!cp ('t204');                    !!!cp ('t204');
5338                    !!!insert-element ($token->{tag_name}, $token->{attributes});                    !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
5339                      !!!nack ('t204');
5340                    !!!next-token;                    !!!next-token;
5341                    redo B;                    next B;
5342                  } else {                  } else {
5343                    !!!cp ('t205');                    !!!cp ('t205');
5344                    !!!insert-element ('tr');                    !!!insert-element ('tr',, $token);
5345                    ## reprocess in the "in row" insertion mode                    ## reprocess in the "in row" insertion mode
5346                  }                  }
5347                } else {                } else {
# Line 4398  sub _tree_construction_main ($) { Line 5349  sub _tree_construction_main ($) {
5349                }                }
5350    
5351                ## Clear back to table row context                ## Clear back to table row context
5352                while (not {                while (not ($self->{open_elements}->[-1]->[1]
5353                  tr => 1, html => 1,                                & TABLE_ROW_SCOPING_EL)) {
               }->{$self->{open_elements}->[-1]->[1]}) {  
5354                  !!!cp ('t207');                  !!!cp ('t207');
5355                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
5356                }                }
5357                                
5358                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
5359                $self->{insertion_mode} = IN_CELL_IM;                $self->{insertion_mode} = IN_CELL_IM;
5360    
5361                push @$active_formatting_elements, ['#marker', ''];                push @$active_formatting_elements, ['#marker', ''];
5362                                
5363                  !!!nack ('t207.1');
5364                !!!next-token;                !!!next-token;
5365                redo B;                next B;
5366              } elsif ({              } elsif ({
5367                        caption => 1, col => 1, colgroup => 1,                        caption => 1, col => 1, colgroup => 1,
5368                        tbody => 1, tfoot => 1, thead => 1,                        tbody => 1, tfoot => 1, thead => 1,
# Line 4423  sub _tree_construction_main ($) { Line 5374  sub _tree_construction_main ($) {
5374                  my $i;                  my $i;
5375                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5376                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5377                    if ($node->[1] eq 'tr') {                    if ($node->[1] & TABLE_ROW_EL) {
5378                      !!!cp ('t208');                      !!!cp ('t208');
5379                      $i = $_;                      $i = $_;
5380                      last INSCOPE;                      last INSCOPE;
5381                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             html => 1,  
   
                             ## NOTE: This element does not appear here, maybe.  
                             table => 1,  
                            }->{$node->[1]}) {  
5382                      !!!cp ('t209');                      !!!cp ('t209');
5383                      last INSCOPE;                      last INSCOPE;
5384                    }                    }
5385                  } # INSCOPE                  } # INSCOPE
5386                  unless (defined $i) {                  unless (defined $i) {
5387                   !!!cp ('t210');                    !!!cp ('t210');
5388  ## TODO: This type is wrong.  ## TODO: This type is wrong.
5389                   !!!parse-error (type => 'unmacthed end tag:'.$token->{tag_name}, token => $token);                    !!!parse-error (type => 'unmacthed end tag',
5390                                      text => $token->{tag_name}, token => $token);
5391                    ## Ignore the token                    ## Ignore the token
5392                      !!!nack ('t210.1');
5393                    !!!next-token;                    !!!next-token;
5394                    redo B;                    next B;
5395                  }                  }
5396                                    
5397                  ## Clear back to table row context                  ## Clear back to table row context
5398                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
5399                    tr => 1, html => 1,                                  & TABLE_ROW_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
5400                    !!!cp ('t211');                    !!!cp ('t211');
5401                    ## ISSUE: Can this case be reached?                    ## ISSUE: Can this case be reached?
5402                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
# Line 4460  sub _tree_construction_main ($) { Line 5407  sub _tree_construction_main ($) {
5407                  if ($token->{tag_name} eq 'tr') {                  if ($token->{tag_name} eq 'tr') {
5408                    !!!cp ('t212');                    !!!cp ('t212');
5409                    ## reprocess                    ## reprocess
5410                    redo B;                    !!!ack-later;
5411                      next B;
5412                  } else {                  } else {
5413                    !!!cp ('t213');                    !!!cp ('t213');
5414                    ## reprocess in the "in table body" insertion mode...                    ## reprocess in the "in table body" insertion mode...
# Line 4472  sub _tree_construction_main ($) { Line 5420  sub _tree_construction_main ($) {
5420                  my $i;                  my $i;
5421                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5422                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5423                    if ({                    if ($node->[1] & TABLE_ROW_GROUP_EL) {
                        tbody => 1, thead => 1, tfoot => 1,  
                       }->{$node->[1]}) {  
5424                      !!!cp ('t214');                      !!!cp ('t214');
5425                      $i = $_;                      $i = $_;
5426                      last INSCOPE;                      last INSCOPE;
5427                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
5428                      !!!cp ('t215');                      !!!cp ('t215');
5429                      last INSCOPE;                      last INSCOPE;
5430                    }                    }
5431                  } # INSCOPE                  } # INSCOPE
5432                  unless (defined $i) {                  unless (defined $i) {
5433                    !!!cp ('t216');                    !!!cp ('t216');
5434  ## TODO: This erorr type ios wrong.  ## TODO: This erorr type is wrong.
5435                    !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                    !!!parse-error (type => 'unmatched end tag',
5436                                      text => $token->{tag_name}, token => $token);
5437                    ## Ignore the token                    ## Ignore the token
5438                      !!!nack ('t216.1');
5439                    !!!next-token;                    !!!next-token;
5440                    redo B;                    next B;
5441                  }                  }
5442    
5443                  ## Clear back to table body context                  ## Clear back to table body context
5444                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
5445                    tbody => 1, tfoot => 1, thead => 1, html => 1,                                  & TABLE_ROWS_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
5446                    !!!cp ('t217');                    !!!cp ('t217');
5447                    ## ISSUE: Can this state be reached?                    ## ISSUE: Can this state be reached?
5448                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
# Line 4519  sub _tree_construction_main ($) { Line 5464  sub _tree_construction_main ($) {
5464    
5465                if ($token->{tag_name} eq 'col') {                if ($token->{tag_name} eq 'col') {
5466                  ## Clear back to table context                  ## Clear back to table context
5467                  while ($self->{open_elements}->[-1]->[1] ne 'table' and                  while (not ($self->{open_elements}->[-1]->[1]
5468                         $self->{open_elements}->[-1]->[1] ne 'html') {                                  & TABLE_SCOPING_EL)) {
5469                    !!!cp ('t219');                    !!!cp ('t219');
5470                    ## ISSUE: Can this state be reached?                    ## ISSUE: Can this state be reached?
5471                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5472                  }                  }
5473                                    
5474                  !!!insert-element ('colgroup');                  !!!insert-element ('colgroup',, $token);
5475                  $self->{insertion_mode} = IN_COLUMN_GROUP_IM;                  $self->{insertion_mode} = IN_COLUMN_GROUP_IM;
5476                  ## reprocess                  ## reprocess
5477                  redo B;                  !!!ack-later;
5478                    next B;
5479                } elsif ({                } elsif ({
5480                          caption => 1,                          caption => 1,
5481                          colgroup => 1,                          colgroup => 1,
5482                          tbody => 1, tfoot => 1, thead => 1,                          tbody => 1, tfoot => 1, thead => 1,
5483                         }->{$token->{tag_name}}) {                         }->{$token->{tag_name}}) {
5484                  ## Clear back to table context                  ## Clear back to table context
5485                  while ($self->{open_elements}->[-1]->[1] ne 'table' and                  while (not ($self->{open_elements}->[-1]->[1]
5486                         $self->{open_elements}->[-1]->[1] ne 'html') {                                  & TABLE_SCOPING_EL)) {
5487                    !!!cp ('t220');                    !!!cp ('t220');
5488                    ## ISSUE: Can this state be reached?                    ## ISSUE: Can this state be reached?
5489                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
# Line 4546  sub _tree_construction_main ($) { Line 5492  sub _tree_construction_main ($) {
5492                  push @$active_formatting_elements, ['#marker', '']                  push @$active_formatting_elements, ['#marker', '']
5493                      if $token->{tag_name} eq 'caption';                      if $token->{tag_name} eq 'caption';
5494                                    
5495                  !!!insert-element ($token->{tag_name}, $token->{attributes});                  !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
5496                  $self->{insertion_mode} = {                  $self->{insertion_mode} = {
5497                                             caption => IN_CAPTION_IM,                                             caption => IN_CAPTION_IM,
5498                                             colgroup => IN_COLUMN_GROUP_IM,                                             colgroup => IN_COLUMN_GROUP_IM,
# Line 4555  sub _tree_construction_main ($) { Line 5501  sub _tree_construction_main ($) {
5501                                             thead => IN_TABLE_BODY_IM,                                             thead => IN_TABLE_BODY_IM,
5502                                            }->{$token->{tag_name}};                                            }->{$token->{tag_name}};
5503                  !!!next-token;                  !!!next-token;
5504                  redo B;                  !!!nack ('t220.1');
5505                    next B;
5506                } else {                } else {
5507                  die "$0: in table: <>: $token->{tag_name}";                  die "$0: in table: <>: $token->{tag_name}";
5508                }                }
5509              } elsif ($token->{tag_name} eq 'table') {              } elsif ($token->{tag_name} eq 'table') {
5510                !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1], token => $token);                !!!parse-error (type => 'not closed',
5511                                  text => $self->{open_elements}->[-1]->[0]
5512                                      ->manakai_local_name,
5513                                  token => $token);
5514    
5515                ## As if </table>                ## As if </table>
5516                ## have a table element in table scope                ## have a table element in table scope
5517                my $i;                my $i;
5518                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5519                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
5520                  if ($node->[1] eq 'table') {                  if ($node->[1] & TABLE_EL) {
5521                    !!!cp ('t221');                    !!!cp ('t221');
5522                    $i = $_;                    $i = $_;
5523                    last INSCOPE;                    last INSCOPE;
5524                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           #table => 1,  
                           html => 1,  
                          }->{$node->[1]}) {  
5525                    !!!cp ('t222');                    !!!cp ('t222');
5526                    last INSCOPE;                    last INSCOPE;
5527                  }                  }
# Line 4582  sub _tree_construction_main ($) { Line 5529  sub _tree_construction_main ($) {
5529                unless (defined $i) {                unless (defined $i) {
5530                  !!!cp ('t223');                  !!!cp ('t223');
5531  ## TODO: The following is wrong, maybe.  ## TODO: The following is wrong, maybe.
5532                  !!!parse-error (type => 'unmatched end tag:table', token => $token);                  !!!parse-error (type => 'unmatched end tag', text => 'table',
5533                                    token => $token);
5534                  ## Ignore tokens </table><table>                  ## Ignore tokens </table><table>
5535                    !!!nack ('t223.1');
5536                  !!!next-token;                  !!!next-token;
5537                  redo B;                  next B;
5538                }                }
5539                                
5540  ## TODO: Followings are removed from the latest spec.  ## TODO: Followings are removed from the latest spec.
5541                ## generate implied end tags                ## generate implied end tags
5542                while ({                while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                       dd => 1, dt => 1, li => 1, p => 1,  
                      }->{$self->{open_elements}->[-1]->[1]}) {  
5543                  !!!cp ('t224');                  !!!cp ('t224');
5544                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
5545                }                }
5546    
5547                if ($self->{open_elements}->[-1]->[1] ne 'table') {                unless ($self->{open_elements}->[-1]->[1] & TABLE_EL) {
5548                  !!!cp ('t225');                  !!!cp ('t225');
5549  ## ISSUE: Can this case be reached?                  ## NOTE: |<table><tr><table>|
5550                  !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1], token => $token);                  !!!parse-error (type => 'not closed',
5551                                    text => $self->{open_elements}->[-1]->[0]
5552                                        ->manakai_local_name,
5553                                    token => $token);
5554                } else {                } else {
5555                  !!!cp ('t226');                  !!!cp ('t226');
5556                }                }
# Line 4610  sub _tree_construction_main ($) { Line 5560  sub _tree_construction_main ($) {
5560    
5561                $self->_reset_insertion_mode;                $self->_reset_insertion_mode;
5562    
5563                ## reprocess            ## reprocess
5564                redo B;            !!!ack-later;
5565              next B;
5566          } elsif ($token->{tag_name} eq 'style') {          } elsif ($token->{tag_name} eq 'style') {
5567            if (not $open_tables->[-1]->[1]) { # tainted            if (not $open_tables->[-1]->[1]) { # tainted
5568              !!!cp ('t227.8');              !!!cp ('t227.8');
5569              ## NOTE: This is a "as if in head" code clone.              ## NOTE: This is a "as if in head" code clone.
5570              $parse_rcdata->(CDATA_CONTENT_MODEL);              $parse_rcdata->(CDATA_CONTENT_MODEL);
5571              redo B;              next B;
5572            } else {            } else {
5573              !!!cp ('t227.7');              !!!cp ('t227.7');
5574              #              #
# Line 4627  sub _tree_construction_main ($) { Line 5578  sub _tree_construction_main ($) {
5578              !!!cp ('t227.6');              !!!cp ('t227.6');
5579              ## NOTE: This is a "as if in head" code clone.              ## NOTE: This is a "as if in head" code clone.
5580              $script_start_tag->();              $script_start_tag->();
5581              redo B;              next B;
5582            } else {            } else {
5583              !!!cp ('t227.5');              !!!cp ('t227.5');
5584              #              #
# Line 4638  sub _tree_construction_main ($) { Line 5589  sub _tree_construction_main ($) {
5589                my $type = lc $token->{attributes}->{type}->{value};                my $type = lc $token->{attributes}->{type}->{value};
5590                if ($type eq 'hidden') {                if ($type eq 'hidden') {
5591                  !!!cp ('t227.3');                  !!!cp ('t227.3');
5592                  !!!parse-error (type => 'in table:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'in table',
5593                                    text => $token->{tag_name}, token => $token);
5594    
5595                  !!!insert-element ($token->{tag_name}, $token->{attributes});                  !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
5596    
5597                  ## TODO: form element pointer                  ## TODO: form element pointer
5598    
5599                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
5600    
5601                  !!!next-token;                  !!!next-token;
5602                  redo B;                  !!!ack ('t227.2.1');
5603                    next B;
5604                } else {                } else {
5605                  !!!cp ('t227.2');                  !!!cp ('t227.2');
5606                  #                  #
# Line 4665  sub _tree_construction_main ($) { Line 5618  sub _tree_construction_main ($) {
5618            #            #
5619          }          }
5620    
5621          !!!parse-error (type => 'in table:'.$token->{tag_name}, token => $token);          !!!parse-error (type => 'in table', text => $token->{tag_name},
5622                            token => $token);
5623    
5624          $insert = $insert_to_foster;          $insert = $insert_to_foster;
5625          #          #
# Line 4676  sub _tree_construction_main ($) { Line 5630  sub _tree_construction_main ($) {
5630                my $i;                my $i;
5631                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5632                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
5633                  if ($node->[1] eq $token->{tag_name}) {                  if ($node->[1] & TABLE_ROW_EL) {
5634                    !!!cp ('t228');                    !!!cp ('t228');
5635                    $i = $_;                    $i = $_;
5636                    last INSCOPE;                    last INSCOPE;
5637                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
5638                    !!!cp ('t229');                    !!!cp ('t229');
5639                    last INSCOPE;                    last INSCOPE;
5640                  }                  }
5641                } # INSCOPE                } # INSCOPE
5642                unless (defined $i) {                unless (defined $i) {
5643                  !!!cp ('t230');                  !!!cp ('t230');
5644                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'unmatched end tag',
5645                                    text => $token->{tag_name}, token => $token);
5646                  ## Ignore the token                  ## Ignore the token
5647                    !!!nack ('t230.1');
5648                  !!!next-token;                  !!!next-token;
5649                  redo B;                  next B;
5650                } else {                } else {
5651                  !!!cp ('t232');                  !!!cp ('t232');
5652                }                }
5653    
5654                ## Clear back to table row context                ## Clear back to table row context
5655                while (not {                while (not ($self->{open_elements}->[-1]->[1]
5656                  tr => 1, html => 1,                                & TABLE_ROW_SCOPING_EL)) {
               }->{$self->{open_elements}->[-1]->[1]}) {  
5657                  !!!cp ('t231');                  !!!cp ('t231');
5658  ## ISSUE: Can this state be reached?  ## ISSUE: Can this state be reached?
5659                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
# Line 4709  sub _tree_construction_main ($) { Line 5662  sub _tree_construction_main ($) {
5662                pop @{$self->{open_elements}}; # tr                pop @{$self->{open_elements}}; # tr
5663                $self->{insertion_mode} = IN_TABLE_BODY_IM;                $self->{insertion_mode} = IN_TABLE_BODY_IM;
5664                !!!next-token;                !!!next-token;
5665                redo B;                !!!nack ('t231.1');
5666                  next B;
5667              } elsif ($token->{tag_name} eq 'table') {              } elsif ($token->{tag_name} eq 'table') {
5668                if ($self->{insertion_mode} == IN_ROW_IM) {                if ($self->{insertion_mode} == IN_ROW_IM) {
5669                  ## As if </tr>                  ## As if </tr>
# Line 4717  sub _tree_construction_main ($) { Line 5671  sub _tree_construction_main ($) {
5671                  my $i;                  my $i;
5672                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5673                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5674                    if ($node->[1] eq 'tr') {                    if ($node->[1] & TABLE_ROW_EL) {
5675                      !!!cp ('t233');                      !!!cp ('t233');
5676                      $i = $_;                      $i = $_;
5677                      last INSCOPE;                      last INSCOPE;
5678                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
5679                      !!!cp ('t234');                      !!!cp ('t234');
5680                      last INSCOPE;                      last INSCOPE;
5681                    }                    }
# Line 4731  sub _tree_construction_main ($) { Line 5683  sub _tree_construction_main ($) {
5683                  unless (defined $i) {                  unless (defined $i) {
5684                    !!!cp ('t235');                    !!!cp ('t235');
5685  ## TODO: The following is wrong.  ## TODO: The following is wrong.
5686                    !!!parse-error (type => 'unmatched end tag:'.$token->{type}, token => $token);                    !!!parse-error (type => 'unmatched end tag',
5687                                      text => $token->{type}, token => $token);
5688                    ## Ignore the token                    ## Ignore the token
5689                      !!!nack ('t236.1');
5690                    !!!next-token;                    !!!next-token;
5691                    redo B;                    next B;
5692                  }                  }
5693                                    
5694                  ## Clear back to table row context                  ## Clear back to table row context
5695                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
5696                    tr => 1, html => 1,                                  & TABLE_ROW_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
5697                    !!!cp ('t236');                    !!!cp ('t236');
5698  ## ISSUE: Can this state be reached?  ## ISSUE: Can this state be reached?
5699                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
# Line 4756  sub _tree_construction_main ($) { Line 5709  sub _tree_construction_main ($) {
5709                  my $i;                  my $i;
5710                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5711                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5712                    if ({                    if ($node->[1] & TABLE_ROW_GROUP_EL) {
                        tbody => 1, thead => 1, tfoot => 1,  
                       }->{$node->[1]}) {  
5713                      !!!cp ('t237');                      !!!cp ('t237');
5714                      $i = $_;                      $i = $_;
5715                      last INSCOPE;                      last INSCOPE;
5716                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
5717                      !!!cp ('t238');                      !!!cp ('t238');
5718                      last INSCOPE;                      last INSCOPE;
5719                    }                    }
5720                  } # INSCOPE                  } # INSCOPE
5721                  unless (defined $i) {                  unless (defined $i) {
5722                    !!!cp ('t239');                    !!!cp ('t239');
5723                    !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                    !!!parse-error (type => 'unmatched end tag',
5724                                      text => $token->{tag_name}, token => $token);
5725                    ## Ignore the token                    ## Ignore the token
5726                      !!!nack ('t239.1');
5727                    !!!next-token;                    !!!next-token;
5728                    redo B;                    next B;
5729                  }                  }
5730                                    
5731                  ## Clear back to table body context                  ## Clear back to table body context
5732                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
5733                    tbody => 1, tfoot => 1, thead => 1, html => 1,                                  & TABLE_ROWS_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
5734                    !!!cp ('t240');                    !!!cp ('t240');
5735                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
5736                  }                  }
# Line 4806  sub _tree_construction_main ($) { Line 5756  sub _tree_construction_main ($) {
5756                my $i;                my $i;
5757                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5758                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
5759                  if ($node->[1] eq $token->{tag_name}) {                  if ($node->[1] & TABLE_EL) {
5760                    !!!cp ('t241');                    !!!cp ('t241');
5761                    $i = $_;                    $i = $_;
5762                    last INSCOPE;                    last INSCOPE;
5763                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
5764                    !!!cp ('t242');                    !!!cp ('t242');
5765                    last INSCOPE;                    last INSCOPE;
5766                  }                  }
5767                } # INSCOPE                } # INSCOPE
5768                unless (defined $i) {                unless (defined $i) {
5769                  !!!cp ('t243');                  !!!cp ('t243');
5770                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'unmatched end tag',
5771                                    text => $token->{tag_name}, token => $token);
5772                  ## Ignore the token                  ## Ignore the token
5773                    !!!nack ('t243.1');
5774                  !!!next-token;                  !!!next-token;
5775                  redo B;                  next B;
5776                }                }
5777                                    
5778                splice @{$self->{open_elements}}, $i;                splice @{$self->{open_elements}}, $i;
# Line 4831  sub _tree_construction_main ($) { Line 5781  sub _tree_construction_main ($) {
5781                $self->_reset_insertion_mode;                $self->_reset_insertion_mode;
5782                                
5783                !!!next-token;                !!!next-token;
5784                redo B;                next B;
5785              } elsif ({              } elsif ({
5786                        tbody => 1, tfoot => 1, thead => 1,                        tbody => 1, tfoot => 1, thead => 1,
5787                       }->{$token->{tag_name}} and                       }->{$token->{tag_name}} and
# Line 4841  sub _tree_construction_main ($) { Line 5791  sub _tree_construction_main ($) {
5791                  my $i;                  my $i;
5792                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5793                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5794                    if ($node->[1] eq $token->{tag_name}) {                    if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
5795                      !!!cp ('t247');                      !!!cp ('t247');
5796                      $i = $_;                      $i = $_;
5797                      last INSCOPE;                      last INSCOPE;
5798                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
5799                      !!!cp ('t248');                      !!!cp ('t248');
5800                      last INSCOPE;                      last INSCOPE;
5801                    }                    }
5802                  } # INSCOPE                  } # INSCOPE
5803                    unless (defined $i) {                    unless (defined $i) {
5804                      !!!cp ('t249');                      !!!cp ('t249');
5805                      !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                      !!!parse-error (type => 'unmatched end tag',
5806                                        text => $token->{tag_name}, token => $token);
5807                      ## Ignore the token                      ## Ignore the token
5808                        !!!nack ('t249.1');
5809                      !!!next-token;                      !!!next-token;
5810                      redo B;                      next B;
5811                    }                    }
5812                                    
5813                  ## As if </tr>                  ## As if </tr>
# Line 4865  sub _tree_construction_main ($) { Line 5815  sub _tree_construction_main ($) {
5815                  my $i;                  my $i;
5816                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                  INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5817                    my $node = $self->{open_elements}->[$_];                    my $node = $self->{open_elements}->[$_];
5818                    if ($node->[1] eq 'tr') {                    if ($node->[1] & TABLE_ROW_EL) {
5819                      !!!cp ('t250');                      !!!cp ('t250');
5820                      $i = $_;                      $i = $_;
5821                      last INSCOPE;                      last INSCOPE;
5822                    } elsif ({                    } elsif ($node->[1] & TABLE_SCOPING_EL) {
                             table => 1, html => 1,  
                            }->{$node->[1]}) {  
5823                      !!!cp ('t251');                      !!!cp ('t251');
5824                      last INSCOPE;                      last INSCOPE;
5825                    }                    }
5826                  } # INSCOPE                  } # INSCOPE
5827                    unless (defined $i) {                    unless (defined $i) {
5828                      !!!cp ('t252');                      !!!cp ('t252');
5829                      !!!parse-error (type => 'unmatched end tag:tr', token => $token);                      !!!parse-error (type => 'unmatched end tag',
5830                                        text => 'tr', token => $token);
5831                      ## Ignore the token                      ## Ignore the token
5832                        !!!nack ('t252.1');
5833                      !!!next-token;                      !!!next-token;
5834                      redo B;                      next B;
5835                    }                    }
5836                                    
5837                  ## Clear back to table row context                  ## Clear back to table row context
5838                  while (not {                  while (not ($self->{open_elements}->[-1]->[1]
5839                    tr => 1, html => 1,                                  & TABLE_ROW_SCOPING_EL)) {
                 }->{$self->{open_elements}->[-1]->[1]}) {  
5840                    !!!cp ('t253');                    !!!cp ('t253');
5841  ## ISSUE: Can this case be reached?  ## ISSUE: Can this case be reached?
5842                    pop @{$self->{open_elements}};                    pop @{$self->{open_elements}};
# Line 4902  sub _tree_construction_main ($) { Line 5851  sub _tree_construction_main ($) {
5851                my $i;                my $i;
5852                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
5853                  my $node = $self->{open_elements}->[$_];                  my $node = $self->{open_elements}->[$_];
5854                  if ($node->[1] eq $token->{tag_name}) {                  if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
5855                    !!!cp ('t254');                    !!!cp ('t254');
5856                    $i = $_;                    $i = $_;
5857                    last INSCOPE;                    last INSCOPE;
5858                  } elsif ({                  } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
5859                    !!!cp ('t255');                    !!!cp ('t255');
5860                    last INSCOPE;                    last INSCOPE;
5861                  }                  }
5862                } # INSCOPE                } # INSCOPE
5863                unless (defined $i) {                unless (defined $i) {
5864                  !!!cp ('t256');                  !!!cp ('t256');
5865                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                  !!!parse-error (type => 'unmatched end tag',
5866                                    text => $token->{tag_name}, token => $token);
5867                  ## Ignore the token                  ## Ignore the token
5868                    !!!nack ('t256.1');
5869                  !!!next-token;                  !!!next-token;
5870                  redo B;                  next B;
5871                }                }
5872    
5873                ## Clear back to table body context                ## Clear back to table body context
5874                while (not {                while (not ($self->{open_elements}->[-1]->[1]
5875                  tbody => 1, tfoot => 1, thead => 1, html => 1,                                & TABLE_ROWS_SCOPING_EL)) {
               }->{$self->{open_elements}->[-1]->[1]}) {  
5876                  !!!cp ('t257');                  !!!cp ('t257');
5877  ## ISSUE: Can this case be reached?  ## ISSUE: Can this case be reached?
5878                  pop @{$self->{open_elements}};                  pop @{$self->{open_elements}};
# Line 4932  sub _tree_construction_main ($) { Line 5880  sub _tree_construction_main ($) {
5880    
5881                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
5882                $self->{insertion_mode} = IN_TABLE_IM;                $self->{insertion_mode} = IN_TABLE_IM;
5883                  !!!nack ('t257.1');
5884                !!!next-token;                !!!next-token;
5885                redo B;                next B;
5886              } elsif ({              } elsif ({
5887                        body => 1, caption => 1, col => 1, colgroup => 1,                        body => 1, caption => 1, col => 1, colgroup => 1,
5888                        html => 1, td => 1, th => 1,                        html => 1, td => 1, th => 1,
5889                        tr => 1, # $self->{insertion_mode} == IN_ROW_IM                        tr => 1, # $self->{insertion_mode} == IN_ROW_IM
5890                        tbody => 1, tfoot => 1, thead => 1, # $self->{insertion_mode} == IN_TABLE_IM                        tbody => 1, tfoot => 1, thead => 1, # $self->{insertion_mode} == IN_TABLE_IM
5891                       }->{$token->{tag_name}}) {                       }->{$token->{tag_name}}) {
5892                !!!cp ('t258');            !!!cp ('t258');
5893                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'unmatched end tag',
5894                ## Ignore the token                            text => $token->{tag_name}, token => $token);
5895                !!!next-token;            ## Ignore the token
5896                redo B;            !!!nack ('t258.1');
5897               !!!next-token;
5898              next B;
5899          } else {          } else {
5900            !!!cp ('t259');            !!!cp ('t259');
5901            !!!parse-error (type => 'in table:/'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'in table:/',
5902                              text => $token->{tag_name}, token => $token);
5903    
5904            $insert = $insert_to_foster;            $insert = $insert_to_foster;
5905            #            #
5906          }          }
5907        } elsif ($token->{type} == END_OF_FILE_TOKEN) {        } elsif ($token->{type} == END_OF_FILE_TOKEN) {
5908          unless ($self->{open_elements}->[-1]->[1] eq 'html' and          unless ($self->{open_elements}->[-1]->[1] & HTML_EL and
5909                  @{$self->{open_elements}} == 1) { # redundant, maybe                  @{$self->{open_elements}} == 1) { # redundant, maybe
5910            !!!parse-error (type => 'in body:#eof', token => $token);            !!!parse-error (type => 'in body:#eof', token => $token);
5911            !!!cp ('t259.1');            !!!cp ('t259.1');
# Line 4975  sub _tree_construction_main ($) { Line 5927  sub _tree_construction_main ($) {
5927                unless (length $token->{data}) {                unless (length $token->{data}) {
5928                  !!!cp ('t260');                  !!!cp ('t260');
5929                  !!!next-token;                  !!!next-token;
5930                  redo B;                  next B;
5931                }                }
5932              }              }
5933                            
# Line 4984  sub _tree_construction_main ($) { Line 5936  sub _tree_construction_main ($) {
5936            } elsif ($token->{type} == START_TAG_TOKEN) {            } elsif ($token->{type} == START_TAG_TOKEN) {
5937              if ($token->{tag_name} eq 'col') {              if ($token->{tag_name} eq 'col') {
5938                !!!cp ('t262');                !!!cp ('t262');
5939                !!!insert-element ($token->{tag_name}, $token->{attributes});                !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
5940                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
5941                  !!!ack ('t262.1');
5942                !!!next-token;                !!!next-token;
5943                redo B;                next B;
5944              } else {              } else {
5945                !!!cp ('t263');                !!!cp ('t263');
5946                #                #
5947              }              }
5948            } elsif ($token->{type} == END_TAG_TOKEN) {            } elsif ($token->{type} == END_TAG_TOKEN) {
5949              if ($token->{tag_name} eq 'colgroup') {              if ($token->{tag_name} eq 'colgroup') {
5950                if ($self->{open_elements}->[-1]->[1] eq 'html') {                if ($self->{open_elements}->[-1]->[1] & HTML_EL) {
5951                  !!!cp ('t264');                  !!!cp ('t264');
5952                  !!!parse-error (type => 'unmatched end tag:colgroup', token => $token);                  !!!parse-error (type => 'unmatched end tag',
5953                                    text => 'colgroup', token => $token);
5954                  ## Ignore the token                  ## Ignore the token
5955                  !!!next-token;                  !!!next-token;
5956                  redo B;                  next B;
5957                } else {                } else {
5958                  !!!cp ('t265');                  !!!cp ('t265');
5959                  pop @{$self->{open_elements}}; # colgroup                  pop @{$self->{open_elements}}; # colgroup
5960                  $self->{insertion_mode} = IN_TABLE_IM;                  $self->{insertion_mode} = IN_TABLE_IM;
5961                  !!!next-token;                  !!!next-token;
5962                  redo B;                              next B;            
5963                }                }
5964              } elsif ($token->{tag_name} eq 'col') {              } elsif ($token->{tag_name} eq 'col') {
5965                !!!cp ('t266');                !!!cp ('t266');
5966                !!!parse-error (type => 'unmatched end tag:col', token => $token);                !!!parse-error (type => 'unmatched end tag',
5967                                  text => 'col', token => $token);
5968                ## Ignore the token                ## Ignore the token
5969                !!!next-token;                !!!next-token;
5970                redo B;                next B;
5971              } else {              } else {
5972                !!!cp ('t267');                !!!cp ('t267');
5973                #                #
5974              }              }
5975        } elsif ($token->{type} == END_OF_FILE_TOKEN) {        } elsif ($token->{type} == END_OF_FILE_TOKEN) {
5976          if ($self->{open_elements}->[-1]->[1] eq 'html' or          if ($self->{open_elements}->[-1]->[1] & HTML_EL and
5977              @{$self->{open_elements}} == 1) { # redundant, maybe              @{$self->{open_elements}} == 1) { # redundant, maybe
5978            !!!cp ('t270.2');            !!!cp ('t270.2');
5979            ## Stop parsing.            ## Stop parsing.
# Line 5029  sub _tree_construction_main ($) { Line 5984  sub _tree_construction_main ($) {
5984            pop @{$self->{open_elements}}; # colgroup            pop @{$self->{open_elements}}; # colgroup
5985            $self->{insertion_mode} = IN_TABLE_IM;            $self->{insertion_mode} = IN_TABLE_IM;
5986            ## Reprocess.            ## Reprocess.
5987            redo B;            next B;
5988          }          }
5989        } else {        } else {
5990          die "$0: $token->{type}: Unknown token type";          die "$0: $token->{type}: Unknown token type";
5991        }        }
5992    
5993            ## As if </colgroup>            ## As if </colgroup>
5994            if ($self->{open_elements}->[-1]->[1] eq 'html') {            if ($self->{open_elements}->[-1]->[1] & HTML_EL) {
5995              !!!cp ('t269');              !!!cp ('t269');
5996  ## TODO: Wrong error type?  ## TODO: Wrong error type?
5997              !!!parse-error (type => 'unmatched end tag:colgroup', token => $token);              !!!parse-error (type => 'unmatched end tag',
5998                                text => 'colgroup', token => $token);
5999              ## Ignore the token              ## Ignore the token
6000                !!!nack ('t269.1');
6001              !!!next-token;              !!!next-token;
6002              redo B;              next B;
6003            } else {            } else {
6004              !!!cp ('t270');              !!!cp ('t270');
6005              pop @{$self->{open_elements}}; # colgroup              pop @{$self->{open_elements}}; # colgroup
6006              $self->{insertion_mode} = IN_TABLE_IM;              $self->{insertion_mode} = IN_TABLE_IM;
6007                !!!ack-later;
6008              ## reprocess              ## reprocess
6009              redo B;              next B;
6010            }            }
6011      } elsif ($self->{insertion_mode} & SELECT_IMS) {      } elsif ($self->{insertion_mode} & SELECT_IMS) {
6012        if ($token->{type} == CHARACTER_TOKEN) {        if ($token->{type} == CHARACTER_TOKEN) {
6013          !!!cp ('t271');          !!!cp ('t271');
6014          $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});          $self->{open_elements}->[-1]->[0]->manakai_append_text ($token->{data});
6015          !!!next-token;          !!!next-token;
6016          redo B;          next B;
6017        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
6018              if ($token->{tag_name} eq 'option') {          if ($token->{tag_name} eq 'option') {
6019                if ($self->{open_elements}->[-1]->[1] eq 'option') {            if ($self->{open_elements}->[-1]->[1] & OPTION_EL) {
6020                  !!!cp ('t272');              !!!cp ('t272');
6021                  ## As if </option>              ## As if </option>
6022                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
6023                } else {            } else {
6024                  !!!cp ('t273');              !!!cp ('t273');
6025                }            }
6026    
6027                !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
6028                !!!next-token;            !!!nack ('t273.1');
6029                redo B;            !!!next-token;
6030              } elsif ($token->{tag_name} eq 'optgroup') {            next B;
6031                if ($self->{open_elements}->[-1]->[1] eq 'option') {          } elsif ($token->{tag_name} eq 'optgroup') {
6032                  !!!cp ('t274');            if ($self->{open_elements}->[-1]->[1] & OPTION_EL) {
6033                  ## As if </option>              !!!cp ('t274');
6034                  pop @{$self->{open_elements}};              ## As if </option>
6035                } else {              pop @{$self->{open_elements}};
6036                  !!!cp ('t275');            } else {
6037                }              !!!cp ('t275');
6038              }
6039    
6040                if ($self->{open_elements}->[-1]->[1] eq 'optgroup') {            if ($self->{open_elements}->[-1]->[1] & OPTGROUP_EL) {
6041                  !!!cp ('t276');              !!!cp ('t276');
6042                  ## As if </optgroup>              ## As if </optgroup>
6043                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
6044                } else {            } else {
6045                  !!!cp ('t277');              !!!cp ('t277');
6046                }            }
6047    
6048                !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
6049                !!!next-token;            !!!nack ('t277.1');
6050                redo B;            !!!next-token;
6051          } elsif ($token->{tag_name} eq 'select' or            next B;
6052                   $token->{tag_name} eq 'input' or          } elsif ({
6053                       select => 1, input => 1, textarea => 1,
6054                     }->{$token->{tag_name}} or
6055                   ($self->{insertion_mode} == IN_SELECT_IN_TABLE_IM and                   ($self->{insertion_mode} == IN_SELECT_IN_TABLE_IM and
6056                    {                    {
6057                     caption => 1, table => 1,                     caption => 1, table => 1,
# Line 5098  sub _tree_construction_main ($) { Line 6059  sub _tree_construction_main ($) {
6059                     tr => 1, td => 1, th => 1,                     tr => 1, td => 1, th => 1,
6060                    }->{$token->{tag_name}})) {                    }->{$token->{tag_name}})) {
6061            ## TODO: The type below is not good - <select> is replaced by </select>            ## TODO: The type below is not good - <select> is replaced by </select>
6062            !!!parse-error (type => 'not closed:select', token => $token);            !!!parse-error (type => 'not closed', text => 'select',
6063                              token => $token);
6064            ## NOTE: As if the token were </select> (<select> case) or            ## NOTE: As if the token were </select> (<select> case) or
6065            ## as if there were </select> (otherwise).            ## as if there were </select> (otherwise).
6066                ## have an element in table scope            ## have an element in table scope
6067                my $i;            my $i;
6068                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6069                  my $node = $self->{open_elements}->[$_];              my $node = $self->{open_elements}->[$_];
6070                  if ($node->[1] eq 'select') {              if ($node->[1] & SELECT_EL) {
6071                    !!!cp ('t278');                !!!cp ('t278');
6072                    $i = $_;                $i = $_;
6073                    last INSCOPE;                last INSCOPE;
6074                  } elsif ({              } elsif ($node->[1] & TABLE_SCOPING_EL) {
6075                            table => 1, html => 1,                !!!cp ('t279');
6076                           }->{$node->[1]}) {                last INSCOPE;
6077                    !!!cp ('t279');              }
6078                    last INSCOPE;            } # INSCOPE
6079                  }            unless (defined $i) {
6080                } # INSCOPE              !!!cp ('t280');
6081                unless (defined $i) {              !!!parse-error (type => 'unmatched end tag',
6082                  !!!cp ('t280');                              text => 'select', token => $token);
6083                  !!!parse-error (type => 'unmatched end tag:select', token => $token);              ## Ignore the token
6084                  ## Ignore the token              !!!nack ('t280.1');
6085                  !!!next-token;              !!!next-token;
6086                  redo B;              next B;
6087                }            }
6088                                
6089                !!!cp ('t281');            !!!cp ('t281');
6090                splice @{$self->{open_elements}}, $i;            splice @{$self->{open_elements}}, $i;
6091    
6092                $self->_reset_insertion_mode;            $self->_reset_insertion_mode;
6093    
6094            if ($token->{tag_name} eq 'select') {            if ($token->{tag_name} eq 'select') {
6095              !!!cp ('t281.2');              !!!nack ('t281.2');
6096              !!!next-token;              !!!next-token;
6097              redo B;              next B;
6098            } else {            } else {
6099              !!!cp ('t281.1');              !!!cp ('t281.1');
6100                !!!ack-later;
6101              ## Reprocess the token.              ## Reprocess the token.
6102              redo B;              next B;
6103            }            }
6104          } else {          } else {
6105            !!!cp ('t282');            !!!cp ('t282');
6106            !!!parse-error (type => 'in select:'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'in select',
6107                              text => $token->{tag_name}, token => $token);
6108            ## Ignore the token            ## Ignore the token
6109              !!!nack ('t282.1');
6110            !!!next-token;            !!!next-token;
6111            redo B;            next B;
6112          }          }
6113        } elsif ($token->{type} == END_TAG_TOKEN) {        } elsif ($token->{type} == END_TAG_TOKEN) {
6114              if ($token->{tag_name} eq 'optgroup') {          if ($token->{tag_name} eq 'optgroup') {
6115                if ($self->{open_elements}->[-1]->[1] eq 'option' and            if ($self->{open_elements}->[-1]->[1] & OPTION_EL and
6116                    $self->{open_elements}->[-2]->[1] eq 'optgroup') {                $self->{open_elements}->[-2]->[1] & OPTGROUP_EL) {
6117                  !!!cp ('t283');              !!!cp ('t283');
6118                  ## As if </option>              ## As if </option>
6119                  splice @{$self->{open_elements}}, -2;              splice @{$self->{open_elements}}, -2;
6120                } elsif ($self->{open_elements}->[-1]->[1] eq 'optgroup') {            } elsif ($self->{open_elements}->[-1]->[1] & OPTGROUP_EL) {
6121                  !!!cp ('t284');              !!!cp ('t284');
6122                  pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
6123                } else {            } else {
6124                  !!!cp ('t285');              !!!cp ('t285');
6125                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);              !!!parse-error (type => 'unmatched end tag',
6126                  ## Ignore the token                              text => $token->{tag_name}, token => $token);
6127                }              ## Ignore the token
6128                !!!next-token;            }
6129                redo B;            !!!nack ('t285.1');
6130              } elsif ($token->{tag_name} eq 'option') {            !!!next-token;
6131                if ($self->{open_elements}->[-1]->[1] eq 'option') {            next B;
6132                  !!!cp ('t286');          } elsif ($token->{tag_name} eq 'option') {
6133                  pop @{$self->{open_elements}};            if ($self->{open_elements}->[-1]->[1] & OPTION_EL) {
6134                } else {              !!!cp ('t286');
6135                  !!!cp ('t287');              pop @{$self->{open_elements}};
6136                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);            } else {
6137                  ## Ignore the token              !!!cp ('t287');
6138                }              !!!parse-error (type => 'unmatched end tag',
6139                !!!next-token;                              text => $token->{tag_name}, token => $token);
6140                redo B;              ## Ignore the token
6141              } elsif ($token->{tag_name} eq 'select') {            }
6142                ## have an element in table scope            !!!nack ('t287.1');
6143                my $i;            !!!next-token;
6144                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {            next B;
6145                  my $node = $self->{open_elements}->[$_];          } elsif ($token->{tag_name} eq 'select') {
6146                  if ($node->[1] eq $token->{tag_name}) {            ## have an element in table scope
6147                    !!!cp ('t288');            my $i;
6148                    $i = $_;            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6149                    last INSCOPE;              my $node = $self->{open_elements}->[$_];
6150                  } elsif ({              if ($node->[1] & SELECT_EL) {
6151                            table => 1, html => 1,                !!!cp ('t288');
6152                           }->{$node->[1]}) {                $i = $_;
6153                    !!!cp ('t289');                last INSCOPE;
6154                    last INSCOPE;              } elsif ($node->[1] & TABLE_SCOPING_EL) {
6155                  }                !!!cp ('t289');
6156                } # INSCOPE                last INSCOPE;
6157                unless (defined $i) {              }
6158                  !!!cp ('t290');            } # INSCOPE
6159                  !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);            unless (defined $i) {
6160                  ## Ignore the token              !!!cp ('t290');
6161                  !!!next-token;              !!!parse-error (type => 'unmatched end tag',
6162                  redo B;                              text => $token->{tag_name}, token => $token);
6163                }              ## Ignore the token
6164                !!!nack ('t290.1');
6165                !!!next-token;
6166                next B;
6167              }
6168                                
6169                !!!cp ('t291');            !!!cp ('t291');
6170                splice @{$self->{open_elements}}, $i;            splice @{$self->{open_elements}}, $i;
6171    
6172                $self->_reset_insertion_mode;            $self->_reset_insertion_mode;
6173    
6174                !!!next-token;            !!!nack ('t291.1');
6175                redo B;            !!!next-token;
6176              next B;
6177          } elsif ($self->{insertion_mode} == IN_SELECT_IN_TABLE_IM and          } elsif ($self->{insertion_mode} == IN_SELECT_IN_TABLE_IM and
6178                   {                   {
6179                    caption => 1, table => 1, tbody => 1,                    caption => 1, table => 1, tbody => 1,
6180                    tfoot => 1, thead => 1, tr => 1, td => 1, th => 1,                    tfoot => 1, thead => 1, tr => 1, td => 1, th => 1,
6181                   }->{$token->{tag_name}}) {                   }->{$token->{tag_name}}) {
6182  ## TODO: The following is wrong?  ## TODO: The following is wrong?
6183                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'unmatched end tag',
6184                              text => $token->{tag_name}, token => $token);
6185                                
6186                ## have an element in table scope            ## have an element in table scope
6187                my $i;            my $i;
6188                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6189                  my $node = $self->{open_elements}->[$_];              my $node = $self->{open_elements}->[$_];
6190                  if ($node->[1] eq $token->{tag_name}) {              if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
6191                    !!!cp ('t292');                !!!cp ('t292');
6192                    $i = $_;                $i = $_;
6193                    last INSCOPE;                last INSCOPE;
6194                  } elsif ({              } elsif ($node->[1] & TABLE_SCOPING_EL) {
6195                            table => 1, html => 1,                !!!cp ('t293');
6196                           }->{$node->[1]}) {                last INSCOPE;
6197                    !!!cp ('t293');              }
6198                    last INSCOPE;            } # INSCOPE
6199                  }            unless (defined $i) {
6200                } # INSCOPE              !!!cp ('t294');
6201                unless (defined $i) {              ## Ignore the token
6202                  !!!cp ('t294');              !!!nack ('t294.1');
6203                  ## Ignore the token              !!!next-token;
6204                  !!!next-token;              next B;
6205                  redo B;            }
               }  
6206                                
6207                ## As if </select>            ## As if </select>
6208                ## have an element in table scope            ## have an element in table scope
6209                undef $i;            undef $i;
6210                INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6211                  my $node = $self->{open_elements}->[$_];              my $node = $self->{open_elements}->[$_];
6212                  if ($node->[1] eq 'select') {              if ($node->[1] & SELECT_EL) {
6213                    !!!cp ('t295');                !!!cp ('t295');
6214                    $i = $_;                $i = $_;
6215                    last INSCOPE;                last INSCOPE;
6216                  } elsif ({              } elsif ($node->[1] & TABLE_SCOPING_EL) {
                           table => 1, html => 1,  
                          }->{$node->[1]}) {  
6217  ## ISSUE: Can this state be reached?  ## ISSUE: Can this state be reached?
6218                    !!!cp ('t296');                !!!cp ('t296');
6219                    last INSCOPE;                last INSCOPE;
6220                  }              }
6221                } # INSCOPE            } # INSCOPE
6222                unless (defined $i) {            unless (defined $i) {
6223                  !!!cp ('t297');              !!!cp ('t297');
6224  ## TODO: The following error type is correct?  ## TODO: The following error type is correct?
6225                  !!!parse-error (type => 'unmatched end tag:select', token => $token);              !!!parse-error (type => 'unmatched end tag',
6226                  ## Ignore the </select> token                              text => 'select', token => $token);
6227                  !!!next-token; ## TODO: ok?              ## Ignore the </select> token
6228                  redo B;              !!!nack ('t297.1');
6229                }              !!!next-token; ## TODO: ok?
6230                next B;
6231              }
6232                                
6233                !!!cp ('t298');            !!!cp ('t298');
6234                splice @{$self->{open_elements}}, $i;            splice @{$self->{open_elements}}, $i;
6235    
6236                $self->_reset_insertion_mode;            $self->_reset_insertion_mode;
6237    
6238                ## reprocess            !!!ack-later;
6239                redo B;            ## reprocess
6240              next B;
6241          } else {          } else {
6242            !!!cp ('t299');            !!!cp ('t299');
6243            !!!parse-error (type => 'in select:/'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'in select:/',
6244                              text => $token->{tag_name}, token => $token);
6245            ## Ignore the token            ## Ignore the token
6246              !!!nack ('t299.3');
6247            !!!next-token;            !!!next-token;
6248            redo B;            next B;
6249          }          }
6250        } elsif ($token->{type} == END_OF_FILE_TOKEN) {        } elsif ($token->{type} == END_OF_FILE_TOKEN) {
6251          unless ($self->{open_elements}->[-1]->[1] eq 'html' and          unless ($self->{open_elements}->[-1]->[1] & HTML_EL and
6252                  @{$self->{open_elements}} == 1) { # redundant, maybe                  @{$self->{open_elements}} == 1) { # redundant, maybe
6253            !!!cp ('t299.1');            !!!cp ('t299.1');
6254            !!!parse-error (type => 'in body:#eof', token => $token);            !!!parse-error (type => 'in body:#eof', token => $token);
# Line 5300  sub _tree_construction_main ($) { Line 6273  sub _tree_construction_main ($) {
6273            unless (length $token->{data}) {            unless (length $token->{data}) {
6274              !!!cp ('t300');              !!!cp ('t300');
6275              !!!next-token;              !!!next-token;
6276              redo B;              next B;
6277            }            }
6278          }          }
6279                    
6280          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {
6281            !!!cp ('t301');            !!!cp ('t301');
6282            !!!parse-error (type => 'after html:#character', token => $token);            !!!parse-error (type => 'after html:#text', token => $token);
6283    
6284            ## Reprocess in the "after body" insertion mode.            ## Reprocess in the "after body" insertion mode.
6285          } else {          } else {
# Line 5314  sub _tree_construction_main ($) { Line 6287  sub _tree_construction_main ($) {
6287          }          }
6288                    
6289          ## "after body" insertion mode          ## "after body" insertion mode
6290          !!!parse-error (type => 'after body:#character', token => $token);          !!!parse-error (type => 'after body:#text', token => $token);
6291    
6292          $self->{insertion_mode} = IN_BODY_IM;          $self->{insertion_mode} = IN_BODY_IM;
6293          ## reprocess          ## reprocess
6294          redo B;          next B;
6295        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
6296          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {
6297            !!!cp ('t303');            !!!cp ('t303');
6298            !!!parse-error (type => 'after html:'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'after html',
6299                              text => $token->{tag_name}, token => $token);
6300                        
6301            ## Reprocess in the "after body" insertion mode.            ## Reprocess in the "after body" insertion mode.
6302          } else {          } else {
# Line 5330  sub _tree_construction_main ($) { Line 6304  sub _tree_construction_main ($) {
6304          }          }
6305    
6306          ## "after body" insertion mode          ## "after body" insertion mode
6307          !!!parse-error (type => 'after body:'.$token->{tag_name}, token => $token);          !!!parse-error (type => 'after body',
6308                            text => $token->{tag_name}, token => $token);
6309    
6310          $self->{insertion_mode} = IN_BODY_IM;          $self->{insertion_mode} = IN_BODY_IM;
6311            !!!ack-later;
6312          ## reprocess          ## reprocess
6313          redo B;          next B;
6314        } elsif ($token->{type} == END_TAG_TOKEN) {        } elsif ($token->{type} == END_TAG_TOKEN) {
6315          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {          if ($self->{insertion_mode} == AFTER_HTML_BODY_IM) {
6316            !!!cp ('t305');            !!!cp ('t305');
6317            !!!parse-error (type => 'after html:/'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'after html:/',
6318                              text => $token->{tag_name}, token => $token);
6319                        
6320            $self->{insertion_mode} = AFTER_BODY_IM;            $self->{insertion_mode} = AFTER_BODY_IM;
6321            ## Reprocess in the "after body" insertion mode.            ## Reprocess in the "after body" insertion mode.
# Line 5350  sub _tree_construction_main ($) { Line 6327  sub _tree_construction_main ($) {
6327          if ($token->{tag_name} eq 'html') {          if ($token->{tag_name} eq 'html') {
6328            if (defined $self->{inner_html_node}) {            if (defined $self->{inner_html_node}) {
6329              !!!cp ('t307');              !!!cp ('t307');
6330              !!!parse-error (type => 'unmatched end tag:html', token => $token);              !!!parse-error (type => 'unmatched end tag',
6331                                text => 'html', token => $token);
6332              ## Ignore the token              ## Ignore the token
6333              !!!next-token;              !!!next-token;
6334              redo B;              next B;
6335            } else {            } else {
6336              !!!cp ('t308');              !!!cp ('t308');
6337              $self->{insertion_mode} = AFTER_HTML_BODY_IM;              $self->{insertion_mode} = AFTER_HTML_BODY_IM;
6338              !!!next-token;              !!!next-token;
6339              redo B;              next B;
6340            }            }
6341          } else {          } else {
6342            !!!cp ('t309');            !!!cp ('t309');
6343            !!!parse-error (type => 'after body:/'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'after body:/',
6344                              text => $token->{tag_name}, token => $token);
6345    
6346            $self->{insertion_mode} = IN_BODY_IM;            $self->{insertion_mode} = IN_BODY_IM;
6347            ## reprocess            ## reprocess
6348            redo B;            next B;
6349          }          }
6350        } elsif ($token->{type} == END_OF_FILE_TOKEN) {        } elsif ($token->{type} == END_OF_FILE_TOKEN) {
6351          !!!cp ('t309.2');          !!!cp ('t309.2');
# Line 5383  sub _tree_construction_main ($) { Line 6362  sub _tree_construction_main ($) {
6362            unless (length $token->{data}) {            unless (length $token->{data}) {
6363              !!!cp ('t310');              !!!cp ('t310');
6364              !!!next-token;              !!!next-token;
6365              redo B;              next B;
6366            }            }
6367          }          }
6368                    
6369          if ($token->{data} =~ s/^[^\x09\x0A\x0B\x0C\x20]+//) {          if ($token->{data} =~ s/^[^\x09\x0A\x0B\x0C\x20]+//) {
6370            if ($self->{insertion_mode} == IN_FRAMESET_IM) {            if ($self->{insertion_mode} == IN_FRAMESET_IM) {
6371              !!!cp ('t311');              !!!cp ('t311');
6372              !!!parse-error (type => 'in frameset:#character', token => $token);              !!!parse-error (type => 'in frameset:#text', token => $token);
6373            } elsif ($self->{insertion_mode} == AFTER_FRAMESET_IM) {            } elsif ($self->{insertion_mode} == AFTER_FRAMESET_IM) {
6374              !!!cp ('t312');              !!!cp ('t312');
6375              !!!parse-error (type => 'after frameset:#character', token => $token);              !!!parse-error (type => 'after frameset:#text', token => $token);
6376            } else { # "after html frameset"            } else { # "after after frameset"
6377              !!!cp ('t313');              !!!cp ('t313');
6378              !!!parse-error (type => 'after html:#character', token => $token);              !!!parse-error (type => 'after html:#text', token => $token);
   
             $self->{insertion_mode} = AFTER_FRAMESET_IM;  
             ## Reprocess in the "after frameset" insertion mode.  
             !!!parse-error (type => 'after frameset:#character', token => $token);  
6379            }            }
6380                        
6381            ## Ignore the token.            ## Ignore the token.
# Line 5411  sub _tree_construction_main ($) { Line 6386  sub _tree_construction_main ($) {
6386              !!!cp ('t315');              !!!cp ('t315');
6387              !!!next-token;              !!!next-token;
6388            }            }
6389            redo B;            next B;
6390          }          }
6391                    
6392          die qq[$0: Character "$token->{data}"];          die qq[$0: Character "$token->{data}"];
6393        } elsif ($token->{type} == START_TAG_TOKEN) {        } elsif ($token->{type} == START_TAG_TOKEN) {
         if ($self->{insertion_mode} == AFTER_HTML_FRAMESET_IM) {  
           !!!cp ('t316');  
           !!!parse-error (type => 'after html:'.$token->{tag_name}, token => $token);  
   
           $self->{insertion_mode} = AFTER_FRAMESET_IM;  
           ## Process in the "after frameset" insertion mode.  
         } else {  
           !!!cp ('t317');  
         }  
   
6394          if ($token->{tag_name} eq 'frameset' and          if ($token->{tag_name} eq 'frameset' and
6395              $self->{insertion_mode} == IN_FRAMESET_IM) {              $self->{insertion_mode} == IN_FRAMESET_IM) {
6396            !!!cp ('t318');            !!!cp ('t318');
6397            !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
6398              !!!nack ('t318.1');
6399            !!!next-token;            !!!next-token;
6400            redo B;            next B;
6401          } elsif ($token->{tag_name} eq 'frame' and          } elsif ($token->{tag_name} eq 'frame' and
6402                   $self->{insertion_mode} == IN_FRAMESET_IM) {                   $self->{insertion_mode} == IN_FRAMESET_IM) {
6403            !!!cp ('t319');            !!!cp ('t319');
6404            !!!insert-element ($token->{tag_name}, $token->{attributes});            !!!insert-element ($token->{tag_name}, $token->{attributes}, $token);
6405            pop @{$self->{open_elements}};            pop @{$self->{open_elements}};
6406              !!!ack ('t319.1');
6407            !!!next-token;            !!!next-token;
6408            redo B;            next B;
6409          } elsif ($token->{tag_name} eq 'noframes') {          } elsif ($token->{tag_name} eq 'noframes') {
6410            !!!cp ('t320');            !!!cp ('t320');
6411            ## NOTE: As if in body.            ## NOTE: As if in head.
6412            $parse_rcdata->(CDATA_CONTENT_MODEL);            $parse_rcdata->(CDATA_CONTENT_MODEL);
6413            redo B;            next B;
6414    
6415              ## NOTE: |<!DOCTYPE HTML><frameset></frameset></html><noframes></noframes>|
6416              ## has no parse error.
6417          } else {          } else {
6418            if ($self->{insertion_mode} == IN_FRAMESET_IM) {            if ($self->{insertion_mode} == IN_FRAMESET_IM) {
6419              !!!cp ('t321');              !!!cp ('t321');
6420              !!!parse-error (type => 'in frameset:'.$token->{tag_name}, token => $token);              !!!parse-error (type => 'in frameset',
6421            } else {                              text => $token->{tag_name}, token => $token);
6422              } elsif ($self->{insertion_mode} == AFTER_FRAMESET_IM) {
6423              !!!cp ('t322');              !!!cp ('t322');
6424              !!!parse-error (type => 'after frameset:'.$token->{tag_name}, token => $token);              !!!parse-error (type => 'after frameset',
6425                                text => $token->{tag_name}, token => $token);
6426              } else { # "after after frameset"
6427                !!!cp ('t322.2');
6428                !!!parse-error (type => 'after after frameset',
6429                                text => $token->{tag_name}, token => $token);
6430            }            }
6431            ## Ignore the token            ## Ignore the token
6432              !!!nack ('t322.1');
6433            !!!next-token;            !!!next-token;
6434            redo B;            next B;
6435          }          }
6436        } elsif ($token->{type} == END_TAG_TOKEN) {        } elsif ($token->{type} == END_TAG_TOKEN) {
         if ($self->{insertion_mode} == AFTER_HTML_FRAMESET_IM) {  
           !!!cp ('t323');  
           !!!parse-error (type => 'after html:/'.$token->{tag_name}, token => $token);  
   
           $self->{insertion_mode} = AFTER_FRAMESET_IM;  
           ## Process in the "after frameset" insertion mode.  
         } else {  
           !!!cp ('t324');  
         }  
   
6437          if ($token->{tag_name} eq 'frameset' and          if ($token->{tag_name} eq 'frameset' and
6438              $self->{insertion_mode} == IN_FRAMESET_IM) {              $self->{insertion_mode} == IN_FRAMESET_IM) {
6439            if ($self->{open_elements}->[-1]->[1] eq 'html' and            if ($self->{open_elements}->[-1]->[1] & HTML_EL and
6440                @{$self->{open_elements}} == 1) {                @{$self->{open_elements}} == 1) {
6441              !!!cp ('t325');              !!!cp ('t325');
6442              !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);              !!!parse-error (type => 'unmatched end tag',
6443                                text => $token->{tag_name}, token => $token);
6444              ## Ignore the token              ## Ignore the token
6445              !!!next-token;              !!!next-token;
6446            } else {            } else {
# Line 5482  sub _tree_construction_main ($) { Line 6450  sub _tree_construction_main ($) {
6450            }            }
6451    
6452            if (not defined $self->{inner_html_node} and            if (not defined $self->{inner_html_node} and
6453                $self->{open_elements}->[-1]->[1] ne 'frameset') {                not ($self->{open_elements}->[-1]->[1] & FRAMESET_EL)) {
6454              !!!cp ('t327');              !!!cp ('t327');
6455              $self->{insertion_mode} = AFTER_FRAMESET_IM;              $self->{insertion_mode} = AFTER_FRAMESET_IM;
6456            } else {            } else {
6457              !!!cp ('t328');              !!!cp ('t328');
6458            }            }
6459            redo B;            next B;
6460          } elsif ($token->{tag_name} eq 'html' and          } elsif ($token->{tag_name} eq 'html' and
6461                   $self->{insertion_mode} == AFTER_FRAMESET_IM) {                   $self->{insertion_mode} == AFTER_FRAMESET_IM) {
6462            !!!cp ('t329');            !!!cp ('t329');
6463            $self->{insertion_mode} = AFTER_HTML_FRAMESET_IM;            $self->{insertion_mode} = AFTER_HTML_FRAMESET_IM;
6464            !!!next-token;            !!!next-token;
6465            redo B;            next B;
6466          } else {          } else {
6467            if ($self->{insertion_mode} == IN_FRAMESET_IM) {            if ($self->{insertion_mode} == IN_FRAMESET_IM) {
6468              !!!cp ('t330');              !!!cp ('t330');
6469              !!!parse-error (type => 'in frameset:/'.$token->{tag_name}, token => $token);              !!!parse-error (type => 'in frameset:/',
6470            } else {                              text => $token->{tag_name}, token => $token);
6471              } elsif ($self->{insertion_mode} == AFTER_FRAMESET_IM) {
6472                !!!cp ('t330.1');
6473                !!!parse-error (type => 'after frameset:/',
6474                                text => $token->{tag_name}, token => $token);
6475              } else { # "after after html"
6476              !!!cp ('t331');              !!!cp ('t331');
6477              !!!parse-error (type => 'after frameset:/'.$token->{tag_name}, token => $token);              !!!parse-error (type => 'after after frameset:/',
6478                                text => $token->{tag_name}, token => $token);
6479            }            }
6480            ## Ignore the token            ## Ignore the token
6481            !!!next-token;            !!!next-token;
6482            redo B;            next B;
6483          }          }
6484        } elsif ($token->{type} == END_OF_FILE_TOKEN) {        } elsif ($token->{type} == END_OF_FILE_TOKEN) {
6485          unless ($self->{open_elements}->[-1]->[1] eq 'html' and          unless ($self->{open_elements}->[-1]->[1] & HTML_EL and
6486                  @{$self->{open_elements}} == 1) { # redundant, maybe                  @{$self->{open_elements}} == 1) { # redundant, maybe
6487            !!!cp ('t331.1');            !!!cp ('t331.1');
6488            !!!parse-error (type => 'in body:#eof', token => $token);            !!!parse-error (type => 'in body:#eof', token => $token);
# Line 5533  sub _tree_construction_main ($) { Line 6507  sub _tree_construction_main ($) {
6507          !!!cp ('t332');          !!!cp ('t332');
6508          ## NOTE: This is an "as if in head" code clone          ## NOTE: This is an "as if in head" code clone
6509          $script_start_tag->();          $script_start_tag->();
6510          redo B;          next B;
6511        } elsif ($token->{tag_name} eq 'style') {        } elsif ($token->{tag_name} eq 'style') {
6512          !!!cp ('t333');          !!!cp ('t333');
6513          ## NOTE: This is an "as if in head" code clone          ## NOTE: This is an "as if in head" code clone
6514          $parse_rcdata->(CDATA_CONTENT_MODEL);          $parse_rcdata->(CDATA_CONTENT_MODEL);
6515          redo B;          next B;
6516        } elsif ({        } elsif ({
6517                  base => 1, link => 1,                  base => 1, link => 1,
6518                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
6519          !!!cp ('t334');          !!!cp ('t334');
6520          ## NOTE: This is an "as if in head" code clone, only "-t" differs          ## NOTE: This is an "as if in head" code clone, only "-t" differs
6521          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6522          pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.          pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.
6523            !!!ack ('t334.1');
6524          !!!next-token;          !!!next-token;
6525          redo B;          next B;
6526        } elsif ($token->{tag_name} eq 'meta') {        } elsif ($token->{tag_name} eq 'meta') {
6527          ## NOTE: This is an "as if in head" code clone, only "-t" differs          ## NOTE: This is an "as if in head" code clone, only "-t" differs
6528          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6529          my $meta_el = pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.          my $meta_el = pop @{$self->{open_elements}}; ## ISSUE: This step is missing in the spec.
6530    
6531          unless ($self->{confident}) {          unless ($self->{confident}) {
6532            if ($token->{attributes}->{charset}) { ## TODO: And if supported            if ($token->{attributes}->{charset}) {
6533              !!!cp ('t335');              !!!cp ('t335');
6534                ## NOTE: Whether the encoding is supported or not is handled
6535                ## in the {change_encoding} callback.
6536              $self->{change_encoding}              $self->{change_encoding}
6537                  ->($self, $token->{attributes}->{charset}->{value});                  ->($self, $token->{attributes}->{charset}->{value}, $token);
6538                            
6539              $meta_el->[0]->get_attribute_node_ns (undef, 'charset')              $meta_el->[0]->get_attribute_node_ns (undef, 'charset')
6540                  ->set_user_data (manakai_has_reference =>                  ->set_user_data (manakai_has_reference =>
6541                                       $token->{attributes}->{charset}                                       $token->{attributes}->{charset}
6542                                           ->{has_reference});                                           ->{has_reference});
6543            } elsif ($token->{attributes}->{content}) {            } elsif ($token->{attributes}->{content}) {
             ## ISSUE: Algorithm name in the spec was incorrect so that not linked to the definition.  
6544              if ($token->{attributes}->{content}->{value}              if ($token->{attributes}->{content}->{value}
6545                  =~ /\A[^;]*;[\x09-\x0D\x20]*[Cc][Hh][Aa][Rr][Ss][Ee][Tt]                  =~ /[Cc][Hh][Aa][Rr][Ss][Ee][Tt]
6546                      [\x09-\x0D\x20]*=                      [\x09-\x0D\x20]*=
6547                      [\x09-\x0D\x20]*(?>"([^"]*)"|'([^']*)'|                      [\x09-\x0D\x20]*(?>"([^"]*)"|'([^']*)'|
6548                      ([^"'\x09-\x0D\x20][^\x09-\x0D\x20]*))/x) {                      ([^"'\x09-\x0D\x20][^\x09-\x0D\x20\x3B]*))/x) {
6549                !!!cp ('t336');                !!!cp ('t336');
6550                  ## NOTE: Whether the encoding is supported or not is handled
6551                  ## in the {change_encoding} callback.
6552                $self->{change_encoding}                $self->{change_encoding}
6553                    ->($self, defined $1 ? $1 : defined $2 ? $2 : $3);                    ->($self, defined $1 ? $1 : defined $2 ? $2 : $3, $token);
6554                $meta_el->[0]->get_attribute_node_ns (undef, 'content')                $meta_el->[0]->get_attribute_node_ns (undef, 'content')
6555                    ->set_user_data (manakai_has_reference =>                    ->set_user_data (manakai_has_reference =>
6556                                         $token->{attributes}->{content}                                         $token->{attributes}->{content}
# Line 5596  sub _tree_construction_main ($) { Line 6574  sub _tree_construction_main ($) {
6574            }            }
6575          }          }
6576    
6577            !!!ack ('t338.1');
6578          !!!next-token;          !!!next-token;
6579          redo B;          next B;
6580        } elsif ($token->{tag_name} eq 'title') {        } elsif ($token->{tag_name} eq 'title') {
6581          !!!cp ('t341');          !!!cp ('t341');
6582          ## NOTE: This is an "as if in head" code clone          ## NOTE: This is an "as if in head" code clone
6583          $parse_rcdata->(RCDATA_CONTENT_MODEL);          $parse_rcdata->(RCDATA_CONTENT_MODEL);
6584          redo B;          next B;
6585        } elsif ($token->{tag_name} eq 'body') {        } elsif ($token->{tag_name} eq 'body') {
6586          !!!parse-error (type => 'in body:body', token => $token);          !!!parse-error (type => 'in body', text => 'body', token => $token);
6587                                
6588          if (@{$self->{open_elements}} == 1 or          if (@{$self->{open_elements}} == 1 or
6589              $self->{open_elements}->[1]->[1] ne 'body') {              not ($self->{open_elements}->[1]->[1] & BODY_EL)) {
6590            !!!cp ('t342');            !!!cp ('t342');
6591            ## Ignore the token            ## Ignore the token
6592          } else {          } else {
# Line 5621  sub _tree_construction_main ($) { Line 6600  sub _tree_construction_main ($) {
6600              }              }
6601            }            }
6602          }          }
6603            !!!nack ('t343.1');
6604          !!!next-token;          !!!next-token;
6605          redo B;          next B;
6606        } elsif ({        } elsif ({
6607                  address => 1, blockquote => 1, center => 1, dir => 1,                  address => 1, blockquote => 1, center => 1, dir => 1,
6608                  div => 1, dl => 1, fieldset => 1,                  div => 1, dl => 1, fieldset => 1,
# Line 5637  sub _tree_construction_main ($) { Line 6617  sub _tree_construction_main ($) {
6617            !!!cp ('t350');            !!!cp ('t350');
6618            !!!parse-error (type => 'in form:form', token => $token);            !!!parse-error (type => 'in form:form', token => $token);
6619            ## Ignore the token            ## Ignore the token
6620              !!!nack ('t350.1');
6621            !!!next-token;            !!!next-token;
6622            redo B;            next B;
6623          }          }
6624    
6625          ## has a p element in scope          ## has a p element in scope
6626          INSCOPE: for (reverse @{$self->{open_elements}}) {          INSCOPE: for (reverse @{$self->{open_elements}}) {
6627            if ($_->[1] eq 'p') {            if ($_->[1] & P_EL) {
6628              !!!cp ('t344');              !!!cp ('t344');
6629              !!!back-token;              !!!back-token; # <form>
6630              $token = {type => END_TAG_TOKEN, tag_name => 'p'};              $token = {type => END_TAG_TOKEN, tag_name => 'p',
6631              redo B;                        line => $token->{line}, column => $token->{column}};
6632            } elsif ({              next B;
6633                      applet => 1, table => 1, caption => 1, td => 1, th => 1,            } elsif ($_->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$_->[1]}) {  
6634              !!!cp ('t345');              !!!cp ('t345');
6635              last INSCOPE;              last INSCOPE;
6636            }            }
6637          } # INSCOPE          } # INSCOPE
6638                        
6639          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6640          if ($token->{tag_name} eq 'pre' or $token->{tag_name} eq 'listing') {          if ($token->{tag_name} eq 'pre' or $token->{tag_name} eq 'listing') {
6641              !!!nack ('t346.1');
6642            !!!next-token;            !!!next-token;
6643            if ($token->{type} == CHARACTER_TOKEN) {            if ($token->{type} == CHARACTER_TOKEN) {
6644              $token->{data} =~ s/^\x0A//;              $token->{data} =~ s/^\x0A//;
# Line 5675  sub _tree_construction_main ($) { Line 6655  sub _tree_construction_main ($) {
6655            !!!cp ('t347.1');            !!!cp ('t347.1');
6656            $self->{form_element} = $self->{open_elements}->[-1]->[0];            $self->{form_element} = $self->{open_elements}->[-1]->[0];
6657    
6658              !!!nack ('t347.2');
6659            !!!next-token;            !!!next-token;
6660          } elsif ($token->{tag_name} eq 'table') {          } elsif ($token->{tag_name} eq 'table') {
6661            !!!cp ('t382');            !!!cp ('t382');
# Line 5682  sub _tree_construction_main ($) { Line 6663  sub _tree_construction_main ($) {
6663                        
6664            $self->{insertion_mode} = IN_TABLE_IM;            $self->{insertion_mode} = IN_TABLE_IM;
6665    
6666              !!!nack ('t382.1');
6667            !!!next-token;            !!!next-token;
6668          } elsif ($token->{tag_name} eq 'hr') {          } elsif ($token->{tag_name} eq 'hr') {
6669            !!!cp ('t386');            !!!cp ('t386');
6670            pop @{$self->{open_elements}};            pop @{$self->{open_elements}};
6671                    
6672              !!!nack ('t386.1');
6673            !!!next-token;            !!!next-token;
6674          } else {          } else {
6675            !!!cp ('t347');            !!!nack ('t347.1');
6676            !!!next-token;            !!!next-token;
6677          }          }
6678          redo B;          next B;
6679        } elsif ({li => 1, dt => 1, dd => 1}->{$token->{tag_name}}) {        } elsif ({li => 1, dt => 1, dd => 1}->{$token->{tag_name}}) {
6680          ## has a p element in scope          ## has a p element in scope
6681          INSCOPE: for (reverse @{$self->{open_elements}}) {          INSCOPE: for (reverse @{$self->{open_elements}}) {
6682            if ($_->[1] eq 'p') {            if ($_->[1] & P_EL) {
6683              !!!cp ('t353');              !!!cp ('t353');
6684              !!!back-token;              !!!back-token; # <x>
6685              $token = {type => END_TAG_TOKEN, tag_name => 'p'};              $token = {type => END_TAG_TOKEN, tag_name => 'p',
6686              redo B;                        line => $token->{line}, column => $token->{column}};
6687            } elsif ({              next B;
6688                      applet => 1, table => 1, caption => 1, td => 1, th => 1,            } elsif ($_->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$_->[1]}) {  
6689              !!!cp ('t354');              !!!cp ('t354');
6690              last INSCOPE;              last INSCOPE;
6691            }            }
# Line 5718  sub _tree_construction_main ($) { Line 6699  sub _tree_construction_main ($) {
6699                            dd => {dt => 1, dd => 1}}->{$token->{tag_name}};                            dd => {dt => 1, dd => 1}}->{$token->{tag_name}};
6700          LI: {          LI: {
6701            ## Step 2            ## Step 2
6702            if ($li_or_dtdd->{$node->[1]}) {            if ($li_or_dtdd->{$node->[0]->manakai_local_name}) {
6703              if ($i != -1) {              if ($i != -1) {
6704                !!!cp ('t355');                !!!cp ('t355');
6705                !!!parse-error (type => 'end tag missing:'.                !!!parse-error (type => 'not closed',
6706                                $self->{open_elements}->[-1]->[1], token => $token);                                text => $self->{open_elements}->[-1]->[0]
6707                                      ->manakai_local_name,
6708                                  token => $token);
6709              } else {              } else {
6710                !!!cp ('t356');                !!!cp ('t356');
6711              }              }
# Line 5733  sub _tree_construction_main ($) { Line 6716  sub _tree_construction_main ($) {
6716            }            }
6717                        
6718            ## Step 3            ## Step 3
6719            if (not $formatting_category->{$node->[1]} and            if (not ($node->[1] & FORMATTING_EL) and
6720                #not $phrasing_category->{$node->[1]} and                #not $phrasing_category->{$node->[1]} and
6721                ($special_category->{$node->[1]} or                ($node->[1] & SPECIAL_EL or
6722                 $scoping_category->{$node->[1]}) and                 $node->[1] & SCOPING_EL) and
6723                $node->[1] ne 'address' and $node->[1] ne 'div') {                not ($node->[1] & ADDRESS_EL) and
6724                  not ($node->[1] & DIV_EL)) {
6725              !!!cp ('t358');              !!!cp ('t358');
6726              last LI;              last LI;
6727            }            }
# Line 5749  sub _tree_construction_main ($) { Line 6733  sub _tree_construction_main ($) {
6733            redo LI;            redo LI;
6734          } # LI          } # LI
6735                        
6736          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6737            !!!nack ('t359.1');
6738          !!!next-token;          !!!next-token;
6739          redo B;          next B;
6740        } elsif ($token->{tag_name} eq 'plaintext') {        } elsif ($token->{tag_name} eq 'plaintext') {
6741          ## has a p element in scope          ## has a p element in scope
6742          INSCOPE: for (reverse @{$self->{open_elements}}) {          INSCOPE: for (reverse @{$self->{open_elements}}) {
6743            if ($_->[1] eq 'p') {            if ($_->[1] & P_EL) {
6744              !!!cp ('t367');              !!!cp ('t367');
6745              !!!back-token;              !!!back-token; # <plaintext>
6746              $token = {type => END_TAG_TOKEN, tag_name => 'p'};              $token = {type => END_TAG_TOKEN, tag_name => 'p',
6747              redo B;                        line => $token->{line}, column => $token->{column}};
6748            } elsif ({              next B;
6749                      applet => 1, table => 1, caption => 1, td => 1, th => 1,            } elsif ($_->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$_->[1]}) {  
6750              !!!cp ('t368');              !!!cp ('t368');
6751              last INSCOPE;              last INSCOPE;
6752            }            }
6753          } # INSCOPE          } # INSCOPE
6754                        
6755          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6756                        
6757          $self->{content_model} = PLAINTEXT_CONTENT_MODEL;          $self->{content_model} = PLAINTEXT_CONTENT_MODEL;
6758                        
6759            !!!nack ('t368.1');
6760          !!!next-token;          !!!next-token;
6761          redo B;          next B;
6762        } elsif ($token->{tag_name} eq 'a') {        } elsif ($token->{tag_name} eq 'a') {
6763          AFE: for my $i (reverse 0..$#$active_formatting_elements) {          AFE: for my $i (reverse 0..$#$active_formatting_elements) {
6764            my $node = $active_formatting_elements->[$i];            my $node = $active_formatting_elements->[$i];
6765            if ($node->[1] eq 'a') {            if ($node->[1] & A_EL) {
6766              !!!cp ('t371');              !!!cp ('t371');
6767              !!!parse-error (type => 'in a:a', token => $token);              !!!parse-error (type => 'in a:a', token => $token);
6768                            
6769              !!!back-token;              !!!back-token; # <a>
6770              $token = {type => END_TAG_TOKEN, tag_name => 'a'};              $token = {type => END_TAG_TOKEN, tag_name => 'a',
6771                          line => $token->{line}, column => $token->{column}};
6772              $formatting_end_tag->($token);              $formatting_end_tag->($token);
6773                            
6774              AFE2: for (reverse 0..$#$active_formatting_elements) {              AFE2: for (reverse 0..$#$active_formatting_elements) {
# Line 5809  sub _tree_construction_main ($) { Line 6794  sub _tree_construction_main ($) {
6794                        
6795          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
6796    
6797          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6798          push @$active_formatting_elements, $self->{open_elements}->[-1];          push @$active_formatting_elements, $self->{open_elements}->[-1];
6799    
6800            !!!nack ('t374.1');
6801          !!!next-token;          !!!next-token;
6802          redo B;          next B;
6803        } elsif ($token->{tag_name} eq 'nobr') {        } elsif ($token->{tag_name} eq 'nobr') {
6804          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
6805    
6806          ## has a |nobr| element in scope          ## has a |nobr| element in scope
6807          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6808            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
6809            if ($node->[1] eq 'nobr') {            if ($node->[1] & NOBR_EL) {
6810              !!!cp ('t376');              !!!cp ('t376');
6811              !!!parse-error (type => 'in nobr:nobr', token => $token);              !!!parse-error (type => 'in nobr:nobr', token => $token);
6812              !!!back-token;              !!!back-token; # <nobr>
6813              $token = {type => END_TAG_TOKEN, tag_name => 'nobr'};              $token = {type => END_TAG_TOKEN, tag_name => 'nobr',
6814              redo B;                        line => $token->{line}, column => $token->{column}};
6815            } elsif ({              next B;
6816                      applet => 1, table => 1, caption => 1, td => 1, th => 1,            } elsif ($node->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
6817              !!!cp ('t377');              !!!cp ('t377');
6818              last INSCOPE;              last INSCOPE;
6819            }            }
6820          } # INSCOPE          } # INSCOPE
6821                    
6822          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6823          push @$active_formatting_elements, $self->{open_elements}->[-1];          push @$active_formatting_elements, $self->{open_elements}->[-1];
6824                    
6825            !!!nack ('t377.1');
6826          !!!next-token;          !!!next-token;
6827          redo B;          next B;
6828        } elsif ($token->{tag_name} eq 'button') {        } elsif ($token->{tag_name} eq 'button') {
6829          ## has a button element in scope          ## has a button element in scope
6830          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6831            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
6832            if ($node->[1] eq 'button') {            if ($node->[1] & BUTTON_EL) {
6833              !!!cp ('t378');              !!!cp ('t378');
6834              !!!parse-error (type => 'in button:button', token => $token);              !!!parse-error (type => 'in button:button', token => $token);
6835              !!!back-token;              !!!back-token; # <button>
6836              $token = {type => END_TAG_TOKEN, tag_name => 'button'};              $token = {type => END_TAG_TOKEN, tag_name => 'button',
6837              redo B;                        line => $token->{line}, column => $token->{column}};
6838            } elsif ({              next B;
6839                      applet => 1, table => 1, caption => 1, td => 1, th => 1,            } elsif ($node->[1] & SCOPING_EL) {
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
6840              !!!cp ('t379');              !!!cp ('t379');
6841              last INSCOPE;              last INSCOPE;
6842            }            }
# Line 5861  sub _tree_construction_main ($) { Line 6844  sub _tree_construction_main ($) {
6844                        
6845          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
6846                        
6847          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
6848    
6849          ## TODO: associate with $self->{form_element} if defined          ## TODO: associate with $self->{form_element} if defined
6850    
6851          push @$active_formatting_elements, ['#marker', ''];          push @$active_formatting_elements, ['#marker', ''];
6852    
6853            !!!nack ('t379.1');
6854          !!!next-token;          !!!next-token;
6855          redo B;          next B;
6856        } elsif ({        } elsif ({
6857                  xmp => 1,                  xmp => 1,
6858                  iframe => 1,                  iframe => 1,
6859                  noembed => 1,                  noembed => 1,
6860                  noframes => 1,                  noframes => 1, ## NOTE: This is an "as if in head" code clone.
6861                  noscript => 0, ## TODO: 1 if scripting is enabled                  noscript => 0, ## TODO: 1 if scripting is enabled
6862                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
6863          if ($token->{tag_name} eq 'xmp') {          if ($token->{tag_name} eq 'xmp') {
# Line 5884  sub _tree_construction_main ($) { Line 6868  sub _tree_construction_main ($) {
6868          }          }
6869          ## NOTE: There is an "as if in body" code clone.          ## NOTE: There is an "as if in body" code clone.
6870          $parse_rcdata->(CDATA_CONTENT_MODEL);          $parse_rcdata->(CDATA_CONTENT_MODEL);
6871          redo B;          next B;
6872        } elsif ($token->{tag_name} eq 'isindex') {        } elsif ($token->{tag_name} eq 'isindex') {
6873          !!!parse-error (type => 'isindex', token => $token);          !!!parse-error (type => 'isindex', token => $token);
6874                    
6875          if (defined $self->{form_element}) {          if (defined $self->{form_element}) {
6876            !!!cp ('t389');            !!!cp ('t389');
6877            ## Ignore the token            ## Ignore the token
6878              !!!nack ('t389'); ## NOTE: Not acknowledged.
6879            !!!next-token;            !!!next-token;
6880            redo B;            next B;
6881          } else {          } else {
6882              !!!ack ('t391.1');
6883    
6884            my $at = $token->{attributes};            my $at = $token->{attributes};
6885            my $form_attrs;            my $form_attrs;
6886            $form_attrs->{action} = $at->{action} if $at->{action};            $form_attrs->{action} = $at->{action} if $at->{action};
# Line 5903  sub _tree_construction_main ($) { Line 6890  sub _tree_construction_main ($) {
6890            delete $at->{prompt};            delete $at->{prompt};
6891            my @tokens = (            my @tokens = (
6892                          {type => START_TAG_TOKEN, tag_name => 'form',                          {type => START_TAG_TOKEN, tag_name => 'form',
6893                           attributes => $form_attrs},                           attributes => $form_attrs,
6894                          {type => START_TAG_TOKEN, tag_name => 'hr'},                           line => $token->{line}, column => $token->{column}},
6895                          {type => START_TAG_TOKEN, tag_name => 'p'},                          {type => START_TAG_TOKEN, tag_name => 'hr',
6896                          {type => START_TAG_TOKEN, tag_name => 'label'},                           line => $token->{line}, column => $token->{column}},
6897                            {type => START_TAG_TOKEN, tag_name => 'p',
6898                             line => $token->{line}, column => $token->{column}},
6899                            {type => START_TAG_TOKEN, tag_name => 'label',
6900                             line => $token->{line}, column => $token->{column}},
6901                         );                         );
6902            if ($prompt_attr) {            if ($prompt_attr) {
6903              !!!cp ('t390');              !!!cp ('t390');
6904              push @tokens, {type => CHARACTER_TOKEN, data => $prompt_attr->{value}};              push @tokens, {type => CHARACTER_TOKEN, data => $prompt_attr->{value},
6905                               #line => $token->{line}, column => $token->{column},
6906                              };
6907            } else {            } else {
6908              !!!cp ('t391');              !!!cp ('t391');
6909              push @tokens, {type => CHARACTER_TOKEN,              push @tokens, {type => CHARACTER_TOKEN,
6910                             data => 'This is a searchable index. Insert your search keywords here: '}; # SHOULD                             data => 'This is a searchable index. Insert your search keywords here: ',
6911                               #line => $token->{line}, column => $token->{column},
6912                              }; # SHOULD
6913              ## TODO: make this configurable              ## TODO: make this configurable
6914            }            }
6915            push @tokens,            push @tokens,
6916                          {type => START_TAG_TOKEN, tag_name => 'input', attributes => $at},                          {type => START_TAG_TOKEN, tag_name => 'input', attributes => $at,
6917                             line => $token->{line}, column => $token->{column}},
6918                          #{type => CHARACTER_TOKEN, data => ''}, # SHOULD                          #{type => CHARACTER_TOKEN, data => ''}, # SHOULD
6919                          {type => END_TAG_TOKEN, tag_name => 'label'},                          {type => END_TAG_TOKEN, tag_name => 'label',
6920                          {type => END_TAG_TOKEN, tag_name => 'p'},                           line => $token->{line}, column => $token->{column}},
6921                          {type => START_TAG_TOKEN, tag_name => 'hr'},                          {type => END_TAG_TOKEN, tag_name => 'p',
6922                          {type => END_TAG_TOKEN, tag_name => 'form'};                           line => $token->{line}, column => $token->{column}},
6923            $token = shift @tokens;                          {type => START_TAG_TOKEN, tag_name => 'hr',
6924                             line => $token->{line}, column => $token->{column}},
6925                            {type => END_TAG_TOKEN, tag_name => 'form',
6926                             line => $token->{line}, column => $token->{column}};
6927            !!!back-token (@tokens);            !!!back-token (@tokens);
6928            redo B;            !!!next-token;
6929              next B;
6930          }          }
6931        } elsif ($token->{tag_name} eq 'textarea') {        } elsif ($token->{tag_name} eq 'textarea') {
6932          my $tag_name = $token->{tag_name};          my $tag_name = $token->{tag_name};
6933          my $el;          my $el;
6934          !!!create-element ($el, $token->{tag_name}, $token->{attributes});          !!!create-element ($el, $HTML_NS, $token->{tag_name}, $token->{attributes}, $token);
6935                    
6936          ## TODO: $self->{form_element} if defined          ## TODO: $self->{form_element} if defined
6937          $self->{content_model} = RCDATA_CONTENT_MODEL;          $self->{content_model} = RCDATA_CONTENT_MODEL;
# Line 5940  sub _tree_construction_main ($) { Line 6940  sub _tree_construction_main ($) {
6940          $insert->($el);          $insert->($el);
6941                    
6942          my $text = '';          my $text = '';
6943            !!!nack ('t392.1');
6944          !!!next-token;          !!!next-token;
6945          if ($token->{type} == CHARACTER_TOKEN) {          if ($token->{type} == CHARACTER_TOKEN) {
6946            $token->{data} =~ s/^\x0A//;            $token->{data} =~ s/^\x0A//;
# Line 5970  sub _tree_construction_main ($) { Line 6971  sub _tree_construction_main ($) {
6971            ## Ignore the token            ## Ignore the token
6972          } else {          } else {
6973            !!!cp ('t398');            !!!cp ('t398');
6974            !!!parse-error (type => 'in RCDATA:#'.$token->{type}, token => $token);            !!!parse-error (type => 'in RCDATA:#eof', token => $token);
6975          }          }
6976          !!!next-token;          !!!next-token;
6977            next B;
6978          } elsif ($token->{tag_name} eq 'rt' or
6979                   $token->{tag_name} eq 'rp') {
6980            ## has a |ruby| element in scope
6981            INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
6982              my $node = $self->{open_elements}->[$_];
6983              if ($node->[1] & RUBY_EL) {
6984                !!!cp ('t398.1');
6985                ## generate implied end tags
6986                while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
6987                  !!!cp ('t398.2');
6988                  pop @{$self->{open_elements}};
6989                }
6990                unless ($self->{open_elements}->[-1]->[1] & RUBY_EL) {
6991                  !!!cp ('t398.3');
6992                  !!!parse-error (type => 'not closed',
6993                                  text => $self->{open_elements}->[-1]->[0]
6994                                      ->manakai_local_name,
6995                                  token => $token);
6996                  pop @{$self->{open_elements}}
6997                      while not $self->{open_elements}->[-1]->[1] & RUBY_EL;
6998                }
6999                last INSCOPE;
7000              } elsif ($node->[1] & SCOPING_EL) {
7001                !!!cp ('t398.4');
7002                last INSCOPE;
7003              }
7004            } # INSCOPE
7005    
7006            !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
7007    
7008            !!!nack ('t398.5');
7009            !!!next-token;
7010          redo B;          redo B;
7011          } elsif ($token->{tag_name} eq 'math' or
7012                   $token->{tag_name} eq 'svg') {
7013            $reconstruct_active_formatting_elements->($insert_to_current);
7014    
7015            ## "Adjust MathML attributes" ('math' only) - done in insert-element-f
7016    
7017            ## "adjust SVG attributes" ('svg' only) - done in insert-element-f
7018    
7019            ## "adjust foreign attributes" - done in insert-element-f
7020            
7021            !!!insert-element-f ($token->{tag_name} eq 'math' ? $MML_NS : $SVG_NS, $token->{tag_name}, $token->{attributes}, $token);
7022            
7023            if ($self->{self_closing}) {
7024              pop @{$self->{open_elements}};
7025              !!!ack ('t398.1');
7026            } else {
7027              !!!cp ('t398.2');
7028              $self->{insertion_mode} |= IN_FOREIGN_CONTENT_IM;
7029              ## NOTE: |<body><math><mi><svg>| -> "in foreign content" insertion
7030              ## mode, "in body" (not "in foreign content") secondary insertion
7031              ## mode, maybe.
7032            }
7033    
7034            !!!next-token;
7035            next B;
7036        } elsif ({        } elsif ({
7037                  caption => 1, col => 1, colgroup => 1, frame => 1,                  caption => 1, col => 1, colgroup => 1, frame => 1,
7038                  frameset => 1, head => 1, option => 1, optgroup => 1,                  frameset => 1, head => 1, option => 1, optgroup => 1,
# Line 5981  sub _tree_construction_main ($) { Line 7040  sub _tree_construction_main ($) {
7040                  thead => 1, tr => 1,                  thead => 1, tr => 1,
7041                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
7042          !!!cp ('t401');          !!!cp ('t401');
7043          !!!parse-error (type => 'in body:'.$token->{tag_name}, token => $token);          !!!parse-error (type => 'in body',
7044                            text => $token->{tag_name}, token => $token);
7045          ## Ignore the token          ## Ignore the token
7046            !!!nack ('t401.1'); ## NOTE: |<col/>| or |<frame/>| here is an error.
7047          !!!next-token;          !!!next-token;
7048          redo B;          next B;
7049                    
7050          ## ISSUE: An issue on HTML5 new elements in the spec.          ## ISSUE: An issue on HTML5 new elements in the spec.
7051        } else {        } else {
# Line 5999  sub _tree_construction_main ($) { Line 7060  sub _tree_construction_main ($) {
7060          ## NOTE: There is an "as if <br>" code clone.          ## NOTE: There is an "as if <br>" code clone.
7061          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
7062                    
7063          !!!insert-element-t ($token->{tag_name}, $token->{attributes});          !!!insert-element-t ($token->{tag_name}, $token->{attributes}, $token);
7064    
7065          if ({          if ({
7066               applet => 1, marquee => 1, object => 1,               applet => 1, marquee => 1, object => 1,
7067              }->{$token->{tag_name}}) {              }->{$token->{tag_name}}) {
7068            !!!cp ('t380');            !!!cp ('t380');
7069            push @$active_formatting_elements, ['#marker', ''];            push @$active_formatting_elements, ['#marker', ''];
7070              !!!nack ('t380.1');
7071          } elsif ({          } elsif ({
7072                    b => 1, big => 1, em => 1, font => 1, i => 1,                    b => 1, big => 1, em => 1, font => 1, i => 1,
7073                    s => 1, small => 1, strile => 1,                    s => 1, small => 1, strile => 1,
# Line 6013  sub _tree_construction_main ($) { Line 7075  sub _tree_construction_main ($) {
7075                   }->{$token->{tag_name}}) {                   }->{$token->{tag_name}}) {
7076            !!!cp ('t375');            !!!cp ('t375');
7077            push @$active_formatting_elements, $self->{open_elements}->[-1];            push @$active_formatting_elements, $self->{open_elements}->[-1];
7078              !!!nack ('t375.1');
7079          } elsif ($token->{tag_name} eq 'input') {          } elsif ($token->{tag_name} eq 'input') {
7080            !!!cp ('t388');            !!!cp ('t388');
7081            ## TODO: associate with $self->{form_element} if defined            ## TODO: associate with $self->{form_element} if defined
7082            pop @{$self->{open_elements}};            pop @{$self->{open_elements}};
7083              !!!ack ('t388.2');
7084          } elsif ({          } elsif ({
7085                    area => 1, basefont => 1, bgsound => 1, br => 1,                    area => 1, basefont => 1, bgsound => 1, br => 1,
7086                    embed => 1, img => 1, param => 1, spacer => 1, wbr => 1,                    embed => 1, img => 1, param => 1, spacer => 1, wbr => 1,
# Line 6024  sub _tree_construction_main ($) { Line 7088  sub _tree_construction_main ($) {
7088                   }->{$token->{tag_name}}) {                   }->{$token->{tag_name}}) {
7089            !!!cp ('t388.1');            !!!cp ('t388.1');
7090            pop @{$self->{open_elements}};            pop @{$self->{open_elements}};
7091              !!!ack ('t388.3');
7092          } elsif ($token->{tag_name} eq 'select') {          } elsif ($token->{tag_name} eq 'select') {
7093            ## TODO: associate with $self->{form_element} if defined            ## TODO: associate with $self->{form_element} if defined
7094                    
# Line 6036  sub _tree_construction_main ($) { Line 7101  sub _tree_construction_main ($) {
7101              !!!cp ('t400.2');              !!!cp ('t400.2');
7102              $self->{insertion_mode} = IN_SELECT_IM;              $self->{insertion_mode} = IN_SELECT_IM;
7103            }            }
7104              !!!nack ('t400.3');
7105          } else {          } else {
7106            !!!cp ('t402');            !!!nack ('t402');
7107          }          }
7108                    
7109          !!!next-token;          !!!next-token;
7110          redo B;          next B;
7111        }        }
7112      } elsif ($token->{type} == END_TAG_TOKEN) {      } elsif ($token->{type} == END_TAG_TOKEN) {
7113        if ($token->{tag_name} eq 'body') {        if ($token->{tag_name} eq 'body') {
# Line 6049  sub _tree_construction_main ($) { Line 7115  sub _tree_construction_main ($) {
7115          my $i;          my $i;
7116          INSCOPE: {          INSCOPE: {
7117            for (reverse @{$self->{open_elements}}) {            for (reverse @{$self->{open_elements}}) {
7118              if ($_->[1] eq 'body') {              if ($_->[1] & BODY_EL) {
7119                !!!cp ('t405');                !!!cp ('t405');
7120                $i = $_;                $i = $_;
7121                last INSCOPE;                last INSCOPE;
7122              } elsif ({              } elsif ($_->[1] & SCOPING_EL) {
                       applet => 1, table => 1, caption => 1, td => 1, th => 1,  
                       button => 1, marquee => 1, object => 1, html => 1,  
                      }->{$_->[1]}) {  
7123                !!!cp ('t405.1');                !!!cp ('t405.1');
7124                last;                last;
7125              }              }
7126            }            }
7127    
7128            !!!parse-error (type => 'start tag not allowed',            !!!parse-error (type => 'start tag not allowed',
7129                            value => $token->{tag_name}, token => $token);                            text => $token->{tag_name}, token => $token);
7130            ## NOTE: Ignore the token.            ## NOTE: Ignore the token.
7131            !!!next-token;            !!!next-token;
7132            redo B;            next B;
7133          } # INSCOPE          } # INSCOPE
7134    
7135          for (@{$self->{open_elements}}) {          for (@{$self->{open_elements}}) {
7136            unless ({            unless ($_->[1] & ALL_END_TAG_OPTIONAL_EL) {
                    dd => 1, dt => 1, li => 1, p => 1, td => 1,  
                    th => 1, tr => 1, body => 1, html => 1,  
                    tbody => 1, tfoot => 1, thead => 1,  
                   }->{$_->[1]}) {  
7137              !!!cp ('t403');              !!!cp ('t403');
7138              !!!parse-error (type => 'not closed:'.$_->[1], token => $token);              !!!parse-error (type => 'not closed',
7139                                text => $_->[0]->manakai_local_name,
7140                                token => $token);
7141              last;              last;
7142            } else {            } else {
7143              !!!cp ('t404');              !!!cp ('t404');
# Line 6085  sub _tree_construction_main ($) { Line 7146  sub _tree_construction_main ($) {
7146    
7147          $self->{insertion_mode} = AFTER_BODY_IM;          $self->{insertion_mode} = AFTER_BODY_IM;
7148          !!!next-token;          !!!next-token;
7149          redo B;          next B;
7150        } elsif ($token->{tag_name} eq 'html') {        } elsif ($token->{tag_name} eq 'html') {
7151          if (@{$self->{open_elements}} > 1 and $self->{open_elements}->[1]->[1] eq 'body') {          ## TODO: Update this code.  It seems that the code below is not
7152            ## up-to-date, though it has same effect as speced.
7153            if (@{$self->{open_elements}} > 1 and
7154                $self->{open_elements}->[1]->[1] & BODY_EL) {
7155            ## ISSUE: There is an issue in the spec.            ## ISSUE: There is an issue in the spec.
7156            if ($self->{open_elements}->[-1]->[1] ne 'body') {            unless ($self->{open_elements}->[-1]->[1] & BODY_EL) {
7157              !!!cp ('t406');              !!!cp ('t406');
7158              !!!parse-error (type => 'not closed:'.$self->{open_elements}->[1]->[1], token => $token);              !!!parse-error (type => 'not closed',
7159                                text => $self->{open_elements}->[1]->[0]
7160                                    ->manakai_local_name,
7161                                token => $token);
7162            } else {            } else {
7163              !!!cp ('t407');              !!!cp ('t407');
7164            }            }
7165            $self->{insertion_mode} = AFTER_BODY_IM;            $self->{insertion_mode} = AFTER_BODY_IM;
7166            ## reprocess            ## reprocess
7167            redo B;            next B;
7168          } else {          } else {
7169            !!!cp ('t408');            !!!cp ('t408');
7170            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'unmatched end tag',
7171                              text => $token->{tag_name}, token => $token);
7172            ## Ignore the token            ## Ignore the token
7173            !!!next-token;            !!!next-token;
7174            redo B;            next B;
7175          }          }
7176        } elsif ({        } elsif ({
7177                  address => 1, blockquote => 1, center => 1, dir => 1,                  address => 1, blockquote => 1, center => 1, dir => 1,
# Line 6116  sub _tree_construction_main ($) { Line 7184  sub _tree_construction_main ($) {
7184          my $i;          my $i;
7185          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
7186            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
7187            if ($node->[1] eq $token->{tag_name}) {            if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
7188              !!!cp ('t410');              !!!cp ('t410');
7189              $i = $_;              $i = $_;
7190              last INSCOPE;              last INSCOPE;
7191            } elsif ({            } elsif ($node->[1] & SCOPING_EL) {
                     applet => 1, table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
7192              !!!cp ('t411');              !!!cp ('t411');
7193              last INSCOPE;              last INSCOPE;
7194            }            }
# Line 6131  sub _tree_construction_main ($) { Line 7196  sub _tree_construction_main ($) {
7196    
7197          unless (defined $i) { # has an element in scope          unless (defined $i) { # has an element in scope
7198            !!!cp ('t413');            !!!cp ('t413');
7199            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'unmatched end tag',
7200                              text => $token->{tag_name}, token => $token);
7201              ## NOTE: Ignore the token.
7202          } else {          } else {
7203            ## Step 1. generate implied end tags            ## Step 1. generate implied end tags
7204            while ({            while ({
7205                      ## END_TAG_OPTIONAL_EL
7206                    dd => ($token->{tag_name} ne 'dd'),                    dd => ($token->{tag_name} ne 'dd'),
7207                    dt => ($token->{tag_name} ne 'dt'),                    dt => ($token->{tag_name} ne 'dt'),
7208                    li => ($token->{tag_name} ne 'li'),                    li => ($token->{tag_name} ne 'li'),
7209                    p => 1,                    p => 1,
7210                   }->{$self->{open_elements}->[-1]->[1]}) {                    rt => 1,
7211                      rp => 1,
7212                     }->{$self->{open_elements}->[-1]->[0]->manakai_local_name}) {
7213              !!!cp ('t409');              !!!cp ('t409');
7214              pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
7215            }            }
7216    
7217            ## Step 2.            ## Step 2.
7218            if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {            if ($self->{open_elements}->[-1]->[0]->manakai_local_name
7219                      ne $token->{tag_name}) {
7220              !!!cp ('t412');              !!!cp ('t412');
7221              !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1], token => $token);              !!!parse-error (type => 'not closed',
7222                                text => $self->{open_elements}->[-1]->[0]
7223                                    ->manakai_local_name,
7224                                token => $token);
7225            } else {            } else {
7226              !!!cp ('t414');              !!!cp ('t414');
7227            }            }
# Line 6162  sub _tree_construction_main ($) { Line 7236  sub _tree_construction_main ($) {
7236                }->{$token->{tag_name}};                }->{$token->{tag_name}};
7237          }          }
7238          !!!next-token;          !!!next-token;
7239          redo B;          next B;
7240        } elsif ($token->{tag_name} eq 'form') {        } elsif ($token->{tag_name} eq 'form') {
7241          undef $self->{form_element};          undef $self->{form_element};
7242    
# Line 6170  sub _tree_construction_main ($) { Line 7244  sub _tree_construction_main ($) {
7244          my $i;          my $i;
7245          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
7246            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
7247            if ($node->[1] eq $token->{tag_name}) {            if ($node->[1] & FORM_EL) {
7248              !!!cp ('t418');              !!!cp ('t418');
7249              $i = $_;              $i = $_;
7250              last INSCOPE;              last INSCOPE;
7251            } elsif ({            } elsif ($node->[1] & SCOPING_EL) {
                     applet => 1, table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
7252              !!!cp ('t419');              !!!cp ('t419');
7253              last INSCOPE;              last INSCOPE;
7254            }            }
# Line 6185  sub _tree_construction_main ($) { Line 7256  sub _tree_construction_main ($) {
7256    
7257          unless (defined $i) { # has an element in scope          unless (defined $i) { # has an element in scope
7258            !!!cp ('t421');            !!!cp ('t421');
7259            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'unmatched end tag',
7260                              text => $token->{tag_name}, token => $token);
7261              ## NOTE: Ignore the token.
7262          } else {          } else {
7263            ## Step 1. generate implied end tags            ## Step 1. generate implied end tags
7264            while ({            while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                   dd => 1, dt => 1, li => 1, p => 1,  
                  }->{$self->{open_elements}->[-1]->[1]}) {  
7265              !!!cp ('t417');              !!!cp ('t417');
7266              pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
7267            }            }
7268                        
7269            ## Step 2.            ## Step 2.
7270            if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {            if ($self->{open_elements}->[-1]->[0]->manakai_local_name
7271                      ne $token->{tag_name}) {
7272              !!!cp ('t417.1');              !!!cp ('t417.1');
7273              !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1], token => $token);              !!!parse-error (type => 'not closed',
7274                                text => $self->{open_elements}->[-1]->[0]
7275                                    ->manakai_local_name,
7276                                token => $token);
7277            } else {            } else {
7278              !!!cp ('t420');              !!!cp ('t420');
7279            }              }  
# Line 6208  sub _tree_construction_main ($) { Line 7283  sub _tree_construction_main ($) {
7283          }          }
7284    
7285          !!!next-token;          !!!next-token;
7286          redo B;          next B;
7287        } elsif ({        } elsif ({
7288                  h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1, h6 => 1,                  h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1, h6 => 1,
7289                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
# Line 6216  sub _tree_construction_main ($) { Line 7291  sub _tree_construction_main ($) {
7291          my $i;          my $i;
7292          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
7293            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
7294            if ({            if ($node->[1] & HEADING_EL) {
                h1 => 1, h2 => 1, h3 => 1, h4 => 1, h5 => 1, h6 => 1,  
               }->{$node->[1]}) {  
7295              !!!cp ('t423');              !!!cp ('t423');
7296              $i = $_;              $i = $_;
7297              last INSCOPE;              last INSCOPE;
7298            } elsif ({            } elsif ($node->[1] & SCOPING_EL) {
                     applet => 1, table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
7299              !!!cp ('t424');              !!!cp ('t424');
7300              last INSCOPE;              last INSCOPE;
7301            }            }
# Line 6233  sub _tree_construction_main ($) { Line 7303  sub _tree_construction_main ($) {
7303    
7304          unless (defined $i) { # has an element in scope          unless (defined $i) { # has an element in scope
7305            !!!cp ('t425.1');            !!!cp ('t425.1');
7306            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'unmatched end tag',
7307                              text => $token->{tag_name}, token => $token);
7308              ## NOTE: Ignore the token.
7309          } else {          } else {
7310            ## Step 1. generate implied end tags            ## Step 1. generate implied end tags
7311            while ({            while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                   dd => 1, dt => 1, li => 1, p => 1,  
                  }->{$self->{open_elements}->[-1]->[1]}) {  
7312              !!!cp ('t422');              !!!cp ('t422');
7313              pop @{$self->{open_elements}};              pop @{$self->{open_elements}};
7314            }            }
7315                        
7316            ## Step 2.            ## Step 2.
7317            if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {            if ($self->{open_elements}->[-1]->[0]->manakai_local_name
7318                      ne $token->{tag_name}) {
7319              !!!cp ('t425');              !!!cp ('t425');
7320              !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);              !!!parse-error (type => 'unmatched end tag',
7321                                text => $token->{tag_name}, token => $token);
7322            } else {            } else {
7323              !!!cp ('t426');              !!!cp ('t426');
7324            }            }
# Line 6256  sub _tree_construction_main ($) { Line 7328  sub _tree_construction_main ($) {
7328          }          }
7329                    
7330          !!!next-token;          !!!next-token;
7331          redo B;          next B;
7332        } elsif ($token->{tag_name} eq 'p') {        } elsif ($token->{tag_name} eq 'p') {
7333          ## has an element in scope          ## has an element in scope
7334          my $i;          my $i;
7335          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {          INSCOPE: for (reverse 0..$#{$self->{open_elements}}) {
7336            my $node = $self->{open_elements}->[$_];            my $node = $self->{open_elements}->[$_];
7337            if ($node->[1] eq $token->{tag_name}) {            if ($node->[1] & P_EL) {
7338              !!!cp ('t410.1');              !!!cp ('t410.1');
7339              $i = $_;              $i = $_;
7340              last INSCOPE;              last INSCOPE;
7341            } elsif ({            } elsif ($node->[1] & SCOPING_EL) {
                     applet => 1, table => 1, caption => 1, td => 1, th => 1,  
                     button => 1, marquee => 1, object => 1, html => 1,  
                    }->{$node->[1]}) {  
7342              !!!cp ('t411.1');              !!!cp ('t411.1');
7343              last INSCOPE;              last INSCOPE;
7344            }            }
7345          } # INSCOPE          } # INSCOPE
7346    
7347          if (defined $i) {          if (defined $i) {
7348            if ($self->{open_elements}->[-1]->[1] ne $token->{tag_name}) {            if ($self->{open_elements}->[-1]->[0]->manakai_local_name
7349                      ne $token->{tag_name}) {
7350              !!!cp ('t412.1');              !!!cp ('t412.1');
7351              !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1], token => $token);              !!!parse-error (type => 'not closed',
7352                                text => $self->{open_elements}->[-1]->[0]
7353                                    ->manakai_local_name,
7354                                token => $token);
7355            } else {            } else {
7356              !!!cp ('t414.1');              !!!cp ('t414.1');
7357            }            }
# Line 6286  sub _tree_construction_main ($) { Line 7359  sub _tree_construction_main ($) {
7359            splice @{$self->{open_elements}}, $i;            splice @{$self->{open_elements}}, $i;
7360          } else {          } else {
7361            !!!cp ('t413.1');            !!!cp ('t413.1');
7362            !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);            !!!parse-error (type => 'unmatched end tag',
7363                              text => $token->{tag_name}, token => $token);
7364    
7365            !!!cp ('t415.1');            !!!cp ('t415.1');
7366            ## As if <p>, then reprocess the current token            ## As if <p>, then reprocess the current token
7367            my $el;            my $el;
7368            !!!create-element ($el, 'p');            !!!create-element ($el, $HTML_NS, 'p',, $token);
7369            $insert->($el);            $insert->($el);
7370            ## NOTE: Not inserted into |$self->{open_elements}|.            ## NOTE: Not inserted into |$self->{open_elements}|.
7371          }          }
7372    
7373          !!!next-token;          !!!next-token;
7374          redo B;          next B;
7375        } elsif ({        } elsif ({
7376                  a => 1,                  a => 1,
7377                  b => 1, big => 1, em => 1, font => 1, i => 1,                  b => 1, big => 1, em => 1, font => 1, i => 1,
# Line 6306  sub _tree_construction_main ($) { Line 7380  sub _tree_construction_main ($) {
7380                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
7381          !!!cp ('t427');          !!!cp ('t427');
7382          $formatting_end_tag->($token);          $formatting_end_tag->($token);
7383          redo B;          next B;
7384        } elsif ($token->{tag_name} eq 'br') {        } elsif ($token->{tag_name} eq 'br') {
7385          !!!cp ('t428');          !!!cp ('t428');
7386          !!!parse-error (type => 'unmatched end tag:br', token => $token);          !!!parse-error (type => 'unmatched end tag',
7387                            text => 'br', token => $token);
7388    
7389          ## As if <br>          ## As if <br>
7390          $reconstruct_active_formatting_elements->($insert_to_current);          $reconstruct_active_formatting_elements->($insert_to_current);
7391                    
7392          my $el;          my $el;
7393          !!!create-element ($el, 'br');          !!!create-element ($el, $HTML_NS, 'br',, $token);
7394          $insert->($el);          $insert->($el);
7395                    
7396          ## Ignore the token.          ## Ignore the token.
7397          !!!next-token;          !!!next-token;
7398          redo B;          next B;
7399        } elsif ({        } elsif ({
7400                  caption => 1, col => 1, colgroup => 1, frame => 1,                  caption => 1, col => 1, colgroup => 1, frame => 1,
7401                  frameset => 1, head => 1, option => 1, optgroup => 1,                  frameset => 1, head => 1, option => 1, optgroup => 1,
# Line 6334  sub _tree_construction_main ($) { Line 7409  sub _tree_construction_main ($) {
7409                  noscript => 0, ## TODO: if scripting is enabled                  noscript => 0, ## TODO: if scripting is enabled
7410                 }->{$token->{tag_name}}) {                 }->{$token->{tag_name}}) {
7411          !!!cp ('t429');          !!!cp ('t429');
7412          !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);          !!!parse-error (type => 'unmatched end tag',
7413                            text => $token->{tag_name}, token => $token);
7414          ## Ignore the token          ## Ignore the token
7415          !!!next-token;          !!!next-token;
7416          redo B;          next B;
7417                    
7418          ## ISSUE: Issue on HTML5 new elements in spec          ## ISSUE: Issue on HTML5 new elements in spec
7419                    
# Line 6348  sub _tree_construction_main ($) { Line 7424  sub _tree_construction_main ($) {
7424    
7425          ## Step 2          ## Step 2
7426          S2: {          S2: {
7427            if ($node->[1] eq $token->{tag_name}) {            if ($node->[0]->manakai_local_name eq $token->{tag_name}) {
7428              ## Step 1              ## Step 1
7429              ## generate implied end tags              ## generate implied end tags
7430              while ({              while ($self->{open_elements}->[-1]->[1] & END_TAG_OPTIONAL_EL) {
                     dd => 1, dt => 1, li => 1, p => 1,  
                    }->{$self->{open_elements}->[-1]->[1]}) {  
7431                !!!cp ('t430');                !!!cp ('t430');
7432                ## ISSUE: Can this case be reached?                ## NOTE: |<ruby><rt></ruby>|.
7433                  ## ISSUE: <ruby><rt></rt> will also take this code path,
7434                  ## which seems wrong.
7435                pop @{$self->{open_elements}};                pop @{$self->{open_elements}};
7436                  $node_i++;
7437              }              }
7438                    
7439              ## Step 2              ## Step 2
7440              if ($token->{tag_name} ne $self->{open_elements}->[-1]->[1]) {              if ($self->{open_elements}->[-1]->[0]->manakai_local_name
7441                        ne $token->{tag_name}) {
7442                !!!cp ('t431');                !!!cp ('t431');
7443                ## NOTE: <x><y></x>                ## NOTE: <x><y></x>
7444                !!!parse-error (type => 'not closed:'.$self->{open_elements}->[-1]->[1], token => $token);                !!!parse-error (type => 'not closed',
7445                                  text => $self->{open_elements}->[-1]->[0]
7446                                      ->manakai_local_name,
7447                                  token => $token);
7448              } else {              } else {
7449                !!!cp ('t432');                !!!cp ('t432');
7450              }              }
7451                            
7452              ## Step 3              ## Step 3
7453              splice @{$self->{open_elements}}, $node_i;              splice @{$self->{open_elements}}, $node_i if $node_i < 0;
7454    
7455              !!!next-token;              !!!next-token;
7456              last S2;              last S2;
7457            } else {            } else {
7458              ## Step 3              ## Step 3
7459              if (not $formatting_category->{$node->[1]} and              if (not ($node->[1] & FORMATTING_EL) and
7460                  #not $phrasing_category->{$node->[1]} and                  #not $phrasing_category->{$node->[1]} and
7461                  ($special_category->{$node->[1]} or                  ($node->[1] & SPECIAL_EL or
7462                   $scoping_category->{$node->[1]})) {                   $node->[1] & SCOPING_EL)) {
7463                !!!cp ('t433');                !!!cp ('t433');
7464                !!!parse-error (type => 'unmatched end tag:'.$token->{tag_name}, token => $token);                !!!parse-error (type => 'unmatched end tag',
7465                                  text => $token->{tag_name}, token => $token);
7466                ## Ignore the token                ## Ignore the token
7467                !!!next-token;                !!!next-token;
7468                last S2;                last S2;
# Line 6396  sub _tree_construction_main ($) { Line 7478  sub _tree_construction_main ($) {
7478            ## Step 5;            ## Step 5;
7479            redo S2;            redo S2;
7480          } # S2          } # S2
7481          redo B;          next B;
7482        }        }
7483      }      }
7484      redo B;      next B;
7485      } continue { # B
7486        if ($self->{insertion_mode} & IN_FOREIGN_CONTENT_IM) {
7487          ## NOTE: The code below is executed in cases where it does not have
7488          ## to be, but it it is harmless even in those cases.
7489          ## has an element in scope
7490          INSCOPE: {
7491            for (reverse 0..$#{$self->{open_elements}}) {
7492              my $node = $self->{open_elements}->[$_];
7493              if ($node->[1] & FOREIGN_EL) {
7494                last INSCOPE;
7495              } elsif ($node->[1] & SCOPING_EL) {
7496                last;
7497              }
7498            }
7499            
7500            ## NOTE: No foreign element in scope.
7501            $self->{insertion_mode} &= ~ IN_FOREIGN_CONTENT_IM;
7502          } # INSCOPE
7503        }
7504    } # B    } # B
7505    
7506    ## Stop parsing # MUST    ## Stop parsing # MUST
# Line 6407  sub _tree_construction_main ($) { Line 7508  sub _tree_construction_main ($) {
7508    ## TODO: script stuffs    ## TODO: script stuffs
7509  } # _tree_construct_main  } # _tree_construct_main
7510    
7511  sub set_inner_html ($$$) {  sub set_inner_html ($$$;$) {
7512    my $class = shift;    my $class = shift;
7513    my $node = shift;    my $node = shift;
7514    my $s = \$_[0];    my $s = \$_[0];
7515    my $onerror = $_[1];    my $onerror = $_[1];
7516      my $get_wrapper = $_[2] || sub ($) { return $_[0] };
7517    
7518    ## ISSUE: Should {confident} be true?    ## ISSUE: Should {confident} be true?
7519    
# Line 6430  sub set_inner_html ($$$) { Line 7532  sub set_inner_html ($$$) {
7532      }      }
7533    
7534      ## Step 3, 4, 5 # MUST      ## Step 3, 4, 5 # MUST
7535      $class->parse_string ($$s => $node, $onerror);      $class->parse_char_string ($$s => $node, $onerror, $get_wrapper);
7536    } elsif ($nt == 1) {    } elsif ($nt == 1) {
7537      ## TODO: If non-html element      ## TODO: If non-html element
7538    
7539      ## NOTE: Most of this code is copied from |parse_string|      ## NOTE: Most of this code is copied from |parse_string|
7540    
7541    ## TODO: Support for $get_wrapper
7542    
7543      ## Step 1 # MUST      ## Step 1 # MUST
7544      my $this_doc = $node->owner_document;      my $this_doc = $node->owner_document;
7545      my $doc = $this_doc->implementation->create_document;      my $doc = $this_doc->implementation->create_document;
# Line 6445  sub set_inner_html ($$$) { Line 7549  sub set_inner_html ($$$) {
7549    
7550      ## Step 8 # MUST      ## Step 8 # MUST
7551      my $i = 0;      my $i = 0;
7552      my $line = 1;      $p->{line_prev} = $p->{line} = 1;
7553      my $column = 0;      $p->{column_prev} = $p->{column} = 0;
7554      $p->{set_next_char} = sub {      $p->{set_next_char} = sub {
7555        my $self = shift;        my $self = shift;
7556    
# Line 6455  sub set_inner_html ($$$) { Line 7559  sub set_inner_html ($$$) {
7559    
7560        $self->{next_char} = -1 and return if $i >= length $$s;        $self->{next_char} = -1 and return if $i >= length $$s;
7561        $self->{next_char} = ord substr $$s, $i++, 1;        $self->{next_char} = ord substr $$s, $i++, 1;
7562        $column++;  
7563          ($p->{line_prev}, $p->{column_prev}) = ($p->{line}, $p->{column});
7564          $p->{column}++;
7565    
7566        if ($self->{next_char} == 0x000A) { # LF        if ($self->{next_char} == 0x000A) { # LF
7567          $line++;          $p->{line}++;
7568          $column = 0;          $p->{column} = 0;
7569          !!!cp ('i1');          !!!cp ('i1');
7570        } elsif ($self->{next_char} == 0x000D) { # CR        } elsif ($self->{next_char} == 0x000D) { # CR
7571          $i++ if substr ($$s, $i, 1) eq "\x0A";          $i++ if substr ($$s, $i, 1) eq "\x0A";
7572          $self->{next_char} = 0x000A; # LF # MUST          $self->{next_char} = 0x000A; # LF # MUST
7573          $line++;          $p->{line}++;
7574          $column = 0;          $p->{column} = 0;
7575          !!!cp ('i2');          !!!cp ('i2');
7576        } elsif ($self->{next_char} > 0x10FFFF) {        } elsif ($self->{next_char} > 0x10FFFF) {
7577          $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST          $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST
# Line 6474  sub set_inner_html ($$$) { Line 7580  sub set_inner_html ($$$) {
7580          !!!cp ('i4');          !!!cp ('i4');
7581          !!!parse-error (type => 'NULL');          !!!parse-error (type => 'NULL');
7582          $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST          $self->{next_char} = 0xFFFD; # REPLACEMENT CHARACTER # MUST
7583          } elsif ($self->{next_char} <= 0x0008 or
7584                   (0x000E <= $self->{next_char} and
7585                    $self->{next_char} <= 0x001F) or
7586                   (0x007F <= $self->{next_char} and
7587                    $self->{next_char} <= 0x009F) or
7588                   (0xD800 <= $self->{next_char} and
7589                    $self->{next_char} <= 0xDFFF) or
7590                   (0xFDD0 <= $self->{next_char} and
7591                    $self->{next_char} <= 0xFDDF) or
7592                   {
7593                    0xFFFE => 1, 0xFFFF => 1, 0x1FFFE => 1, 0x1FFFF => 1,
7594                    0x2FFFE => 1, 0x2FFFF => 1, 0x3FFFE => 1, 0x3FFFF => 1,
7595                    0x4FFFE => 1, 0x4FFFF => 1, 0x5FFFE => 1, 0x5FFFF => 1,
7596                    0x6FFFE => 1, 0x6FFFF => 1, 0x7FFFE => 1, 0x7FFFF => 1,
7597                    0x8FFFE => 1, 0x8FFFF => 1, 0x9FFFE => 1, 0x9FFFF => 1,
7598                    0xAFFFE => 1, 0xAFFFF => 1, 0xBFFFE => 1, 0xBFFFF => 1,
7599                    0xCFFFE => 1, 0xCFFFF => 1, 0xDFFFE => 1, 0xDFFFF => 1,
7600                    0xEFFFE => 1, 0xEFFFF => 1, 0xFFFFE => 1, 0xFFFFF => 1,
7601                    0x10FFFE => 1, 0x10FFFF => 1,
7602                   }->{$self->{next_char}}) {
7603            !!!cp ('i4.1');
7604            if ($self->{next_char} < 0x10000) {
7605              !!!parse-error (type => 'control char',
7606                              text => (sprintf 'U+%04X', $self->{next_char}));
7607            } else {
7608              !!!parse-error (type => 'control char',
7609                              text => (sprintf 'U-%08X', $self->{next_char}));
7610            }
7611        }        }
7612      };      };
7613      $p->{prev_char} = [-1, -1, -1];      $p->{prev_char} = [-1, -1, -1];
# Line 6481  sub set_inner_html ($$$) { Line 7615  sub set_inner_html ($$$) {
7615            
7616      my $ponerror = $onerror || sub {      my $ponerror = $onerror || sub {
7617        my (%opt) = @_;        my (%opt) = @_;
7618        warn "Parse error ($opt{type}) at line $opt{line} column $opt{column}\n";        my $line = $opt{line};
7619          my $column = $opt{column};
7620          if (defined $opt{token} and defined $opt{token}->{line}) {
7621            $line = $opt{token}->{line};
7622            $column = $opt{token}->{column};
7623          }
7624          warn "Parse error ($opt{type}) at line $line column $column\n";
7625      };      };
7626      $p->{parse_error} = sub {      $p->{parse_error} = sub {
7627        $ponerror->(@_, line => $line, column => $column);        $ponerror->(line => $p->{line}, column => $p->{column}, @_);
7628      };      };
7629            
7630      $p->_initialize_tokenizer;      $p->_initialize_tokenizer;
# Line 6508  sub set_inner_html ($$$) { Line 7648  sub set_inner_html ($$$) {
7648          unless defined $p->{content_model};          unless defined $p->{content_model};
7649          ## ISSUE: What is "the name of the element"? local name?          ## ISSUE: What is "the name of the element"? local name?
7650    
7651      $p->{inner_html_node} = [$node, $node_ln];      $p->{inner_html_node} = [$node, $el_category->{$node_ln}];
7652          ## TODO: Foreign element OK?
7653    
7654      ## Step 3      ## Step 3
7655      my $root = $doc->create_element_ns      my $root = $doc->create_element_ns
# Line 6518  sub set_inner_html ($$$) { Line 7659  sub set_inner_html ($$$) {
7659      $doc->append_child ($root);      $doc->append_child ($root);
7660    
7661      ## Step 5 # MUST      ## Step 5 # MUST
7662      push @{$p->{open_elements}}, [$root, 'html'];      push @{$p->{open_elements}}, [$root, $el_category->{html}];
7663    
7664      undef $p->{head_element};      undef $p->{head_element};
7665    
# Line 6564  sub set_inner_html ($$$) { Line 7705  sub set_inner_html ($$$) {
7705      ## ISSUE: mutation events?      ## ISSUE: mutation events?
7706    
7707      $p->_terminate_tree_constructor;      $p->_terminate_tree_constructor;
7708    
7709        delete $p->{parse_error}; # delete loop
7710    } else {    } else {
7711      die "$0: |set_inner_html| is not defined for node of type $nt";      die "$0: |set_inner_html| is not defined for node of type $nt";
7712    }    }

Legend:
Removed from v.1.113  
changed lines
  Added in v.1.164

[email protected]
ViewVC Help
Powered by ViewVC 1.1.24