Data Engineering/spark

모델평가(2/2)

quantapia 2018. 5. 2. 15:40

나는 linear Regression 모델을 만들고 CrossValidator를 이용하여 모델을 검증했다.


val lrModel = new LinearRegression()

     .setFeaturesCol("scaledFeatures")

     .setLabelCol("loading_time")


    val pipeline = new Pipeline().setStages(Array(va, scaler, lrModel))

    val pipelineModel = pipeline.fit(usageDF)


    val paramGrid = new ParamGridBuilder()

     .addGrid(lrModel.maxIter, Array(5,10))

     .addGrid(scaler.withMean, Array(false))

     .addGrid(lrModel.regParam, Array(0.1, 0.01))

     .addGrid(lrModel.fitIntercept)

     .addGrid(lrModel.elasticNetParam, Array(0.1, 0.5, 1.0))

     .build()


위 소스에서 먼저 Parameter Grid 를 주목하자.


파라메터그리드에 5개의 row를 추가했다.