fix(rule): use index-based padding (#23)

 fix(rule): use index-based padding

Author: azu

package.json

@@ -33,15 +33,12 @@
     "textlintrule"
   ],
   "devDependencies": {
-    "espower-babel": "^4.0.0",
-    "power-assert": "^1.1.0",
-    "textlint": "^6.0.3",
     "textlint-scripts": "^2.1.0"
   },
   "dependencies": {
     "kuromojin": "^1.2.1",
-    "sentence-splitter": "^2.2.0",
-    "textlint-rule-helper": "^1.1.4",
-    "textlint-util-to-string": "^1.1.0"
+    "sentence-splitter": "^3.0.11",
+    "textlint-rule-helper": "^2.1.1",
+    "textlint-util-to-string": "^2.1.1"
   }
 }

src/no-doubled-joshi.js

@@ -2,14 +2,15 @@
 "use strict";
 import {RuleHelper} from "textlint-rule-helper";
 import {getTokenizer} from "kuromojin";
-import {split as splitSentences, Syntax as SentenceSyntax} from "sentence-splitter";
+import {splitAST as splitSentences, Syntax as SentenceSyntax} from "sentence-splitter";
 import StringSource from "textlint-util-to-string";
 import {
     is助詞Token, is読点Token,
     concatJoishiTokens,
     createKeyFromKey,
     restoreToSurfaceFromKey
 } from "./token-utils";
+
 /**
  * Create token map object
  * {
@@ -30,6 +31,7 @@ function createSurfaceKeyMap(tokens) {
         return keyMap;
     }, {});
 }
+
 function matchExceptionRule(tokens) {
     let token = tokens[0];
     // "の" の重なりは例外
@@ -46,6 +48,7 @@ function matchExceptionRule(tokens) {
     }
     return false;
 }
+
 /*
  default options
  */
@@ -64,7 +67,7 @@ const defaultOptions = {
 
  TODO: need abstraction
  */
-module.exports = function(context, options = {}) {
+module.exports = function (context, options = {}) {
     const helper = new RuleHelper(context);
     // 最低間隔値
     const minInterval = options.min_interval || defaultOptions.min_interval;
@@ -73,21 +76,20 @@ module.exports = function(context, options = {}) {
     const separatorChars = options.separatorChars || defaultOptions.separatorChars;
     const {Syntax, report, RuleError} = context;
     return {
-        [Syntax.Paragraph](node){
+        [Syntax.Paragraph](node) {
             if (helper.isChildNode(node, [Syntax.Link, Syntax.Image, Syntax.BlockQuote, Syntax.Emphasis])) {
                 return;
             }
-            const source = new StringSource(node);
-            const text = source.toString();
             const isSentenceNode = node => {
                 return node.type === SentenceSyntax.Sentence;
             };
-            const sentences = splitSentences(text, {
-                separatorChars: separatorChars
-            }).filter(isSentenceNode);
+            const txtParentNode = splitSentences(node);
+            const sentences = txtParentNode.children.filter(isSentenceNode);
             return getTokenizer().then(tokenizer => {
                 const checkSentence = (sentence) => {
-                    const tokens = tokenizer.tokenizeForSentence(sentence.raw);
+                    const sentenceSource = new StringSource(sentence);
+                    const text = sentenceSource.toString();
+                    const tokens = tokenizer.tokenizeForSentence(text);
                     // 助詞 + 助詞は 一つの助詞として扱う
                     // https://github.com/textlint-ja/textlint-rule-no-doubled-joshi/issues/15
                     // 連語(助詞)の対応
@@ -136,15 +138,11 @@ module.exports = function(context, options = {}) {
                             // 助詞token同士の距離が設定値以下ならエラーを報告する
                             const differenceIndex = otherPosition - startPosition;
                             if (differenceIndex <= minInterval) {
-                                const originalIndex = source.originalIndexFromPosition({
-                                    line: sentence.loc.start.line,
-                                    column: sentence.loc.start.column + (current.word_position - 1)
-                                });
                                 // padding positionを計算する
-                                const padding = {
+                                const originalIndex = sentenceSource.originalIndexFromIndex(current.word_position - 1);
+                                report(sentence, new RuleError(`一文に二回以上利用されている助詞 "${joshiName}" がみつかりました。`, {
                                     index: originalIndex
-                                };
-                                report(node, new RuleError(`一文に二回以上利用されている助詞 "${joshiName}" がみつかりました。`, padding));
+                                }));
                             }
                             return current;
                         });

test/no-doubled-joshi-test.js

@@ -179,6 +179,21 @@ tester.run("no-double-joshi", rule, {
                     column: 8
                 }
             ]
+        },
+        //
+        {
+            text: `今まで「サイトはNetlify」「スライドはGitLab Pages」といった配信分けをしていたのですが、
+「 \`/slides\` にビルドしたスライドを置きたい」という動機のものと、こんな構成を検討しています。
+
+* 最初にtextlintで文法チェック
+* ドキュメントを別にビルドしてarticle化
+* 複数articleを束ねてFirebaseへデプロイ`,
+            errors: [
+                {
+                    message: `一文に二回以上利用されている助詞 "は" がみつかりました。`,
+                    index: 21
+                }
+            ]
         }
     ]
 });