Spark之IDEA创建Scala工程

Spark之IDEA创建Scala工程

• 环境：Mac 10.13.3，Intellij Idea 2016.3.5，scala 2.12.5

前言

通过IDEA快速创建scala-maven工程，开发spark应用。

快速开始

创建

通过maven模板创建scala

后面就是创建目录的指定，这里省略。

注：由于这个模板比较老，所以要对pom做一些修改。

修改pom文件

这里主要是修改scala的版本（默认的是2.7.0的，太老了），以及maven-scala-plugin版本。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.bsd.scala</groupId>
  <artifactId>scala-003</artifactId>
  <version>1.0-SNAPSHOT</version>

  <properties>
    <scala.version>2.11.8</scala.version>
  </properties>

  <dependencies>
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>${scala.version}</version>
    </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.14</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.specs</groupId>
      <artifactId>specs</artifactId>
      <version>1.2.5</version>
      <scope>test</scope>
    </dependency>
  </dependencies>

  <build>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <testSourceDirectory>src/test/scala</testSourceDirectory>
    <plugins>
      <plugin>
        <groupId>org.scala-tools</groupId>
        <artifactId>maven-scala-plugin</artifactId>
        <version>2.15.2</version>
        <executions>
          <execution>
            <goals>
              <goal>compile</goal>
              <goal>testCompile</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>
</project>

以上基本的一个scala项目就好了。（另外再删除掉test下的相关类即可）

参考

• http://cwiki.apachecn.org/display/Spark/Index Spark翻译组

---