javascript - Probléma a Strykerrel és a Jesttel

A Strykert tesztelem a Jesttel. Úgy tűnik, hogy a Stryker nem alkalmazza a Jest tesztet.

A két mutáns nem megy át a teszten, ha kézzel illesztem be őket a kódba, de átmennek, amikor a Strykert használom.

Úgy tűnik, a teszt nem fut a mutánsokon. Hogyan tudnám működésre bírni?

Itt van a konfigurációm:

package.json :

{
  "name": "test-stryker",
  "version": "1.0.0",
  "description": "",
  "main": "src/index.js",
  "scripts": {
    "test": "jest",
    "test-mutation": "stryker run"
  },
  "author": "",
  "license": "ISC",
  "devDependencies": {
    "npm": "^6.0.0",
    "@stryker-mutator/javascript-mutator": "^3.3.0",
    "@stryker-mutator/jest-runner": "^3.3.0",
    "jest": "^26.0.0",
    "jest-cli": "^26.0.0"
  }
}

config.jest.js :

'use strict'

module.exports = {
  clearMocks: true,
  collectCoverage: true,
  collectCoverageFrom: [
    '**/*.js',
    '!**/reports/**/*.js',
    '!**/test/**/*.js',
    '!/node_modules/',
    '!**/*.config.js',
    '!**/*.conf.js'
  ],
  coverageDirectory: 'reports/coverage',
  testEnvironment: 'node'
}

stryker.conf.js :

/**
 * @type {import('@stryker-mutator/api/core').StrykerOptions}
 */
module.exports = {
  mutator: "javascript",
  reporters: ["html", "clear-text", "progress"],
  testRunner: "jest",
  coverageAnalysis: "off",
  jest: {
    configFile: "jest.config.js",
  },
};

sum.js :

'use strict'

module.exports = (a, b) => {
    return a + b
}

sum.test.js:

'use strict'

const sum = require('../../src/sum')

describe('sum', () => {
  test('With two values should return two values added.', () => {
    expect(sum(5,2)).toBe(7)
  })
})

Itt az eredmény:

16:23:30 (21936) INFO ConfigReader Using stryker.conf.js
16:23:31 (21936) INFO InputFileResolver Found 1 of 12 file(s) to be mutated.
16:23:31 (21936) INFO InitialTestExecutor Starting initial test run. This may take a while.
16:23:35 (21936) INFO InitialTestExecutor Initial test run succeeded. Ran 1 tests in 4 seconds (net 3 ms, overhead 2707 ms).
16:23:35 (21936) INFO MutatorFacade 2 Mutant(s) generated
16:23:35 (21936) INFO SandboxPool Creating 4 test runners (based on CPU count)
Mutation testing  [==================================================] 100% (elapsed: <1m, remaining: n/a) 2/2 tested (2 survived, 0 timed out)

0. [Survived] ArithmeticOperator
C:\webdev\experiment\node\test-stryker\src\sum.js:3:11
-       return a + b
+       return a - b

1. [Survived] BlockStatement
C:\webdev\experiment\node\test-stryker\src\sum.js:2:27
-   module.exports = (a, b) => {
-       return a + b
-   }
+   module.exports = (a, b) => {}

Ran 0.00 tests per mutant on average.
----------|---------|----------|-----------|------------|----------|---------|
File      | % score | # killed | # timeout | # survived | # no cov | # error |
----------|---------|----------|-----------|------------|----------|---------|
All files |    0.00 |        0 |         0 |          2 |        0 |       0 |
 sum.js   |    0.00 |        0 |         0 |          2 |        0 |       0 |
----------|---------|----------|-----------|------------|----------|---------|

Válasz #1

Ugyanaz a problémám volt, és kiderült, hogy nyilvánvalóan ez a kérdés: https://github.com/stryker-mutator/stryker/issues/1566

Nevezetesen, a jest "find related tests" funkciója nem tűnik működőnek Windows rendszeren. A Stryker nálam működik, ha ezt hozzáadom a stryker.config.json-hoz:

"jest": { "enableFindRelatedTests" : false }

De persze ez valóban rossz a teljesítmény szempontjából nagyobb projekteknél. Talán további kutatásokkal a funkció működésre bírható. Nem vagyok biztos benne, hogy ez általános probléma a jest-tel, vagy csak akkor fordul elő, amikor a stryker vezérli.

Válasz #2

Vannak jobb megoldások is. Egy olyan megoldás, amely nincs hatással a teljesítményre:

A .stryker-tmp könyvtár átnevezése úgy, hogy ne legyen rejtett könyvtár.

// stryker.conf.[js/json]
"tempDirName": "stryker-tmp",

(forrás: https://github.com/stryker-mutator/stryker-js/issues/2122#issuecomment-605783668)