Carrey`s 기술블로그HomeArchivesTagsCategories
Mongo DB Aggregation Pipeline - SpringBoot에서 사용하기

SpringBoot에서 MongoDB 간단설정하기

Maven

1
2
3
4
<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-data-mongodb</artifactId>
</dependency>

  • Spring-boot-starter-data-mongodb Dependency로 간단하게 mongoldb 관련 모든 라이브러리를 로드 할 수 있습니다.

application.yml

1
2
3
4
5
6
spring:
  data:
    mongodb:
      uri: mongodb://127.0.0.1:27017/employee-test
      username: myUser
      password: myUserIsCarrey

  • SpringBoot에서는 단순하게 application.yml에 connection-uri정보만 있으면 Spring Boot 서버 시작 시
    MongoDB와 연결할 수 있습니다.

Mongo DB Config

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
@Configuration
public class MongoConfiguration extends AbstractMongoConfiguration {

   @Value("${spring.data.mongodb.uri}")
   private String url;
   @Value("${spring.data.mongodb.username}")
   private String username;
   @Value("${spring.data.mongodb.password}")
   private String password;

    @Override
    public MongoClient mongoClient() {
        MongoClientURI mongoClientURI = new MongoClientURI(this.url);
        MongoCredential mongoCredential = 
            MongoCredential.createCredential(this.username, mongoClientURI.getDatabase(),this.password.toCharArray());
        ServerAddress serverAddress = new ServerAddress(mongoClientURI.getHosts().get(0));
        MongoClientOptions options = MongoClientOptions.builder().build();
        return new MongoClient(serverAddress, mongoCredential, options);
    }

    @Override
    protected String getDatabaseName() {
        return new MongoClientURI(this.url).getDatabase();
    }
}

  • MongoDB Client 객체를 생성하는 코드를 추가하였습니다.
  • credential을 사용하는 경우 저런식으로 credential 객체를 만들어줘야 합니다.
  • 그렇지 않으면 Command aggregate failed: not authorized on DB to execute command 에러가 발생하며 Mongo DB 기능을 이용할 수 없습니다.

예제로 풀어보는 Mongo DB Aggregation pipeline

예제로 등록한 employee collection은 오라클 DB의 예제 DB인 employee 테이블을 차용하였습니다.

문제 1.

20 번 및 30 번 부서에서 근무하는 모든 사원들의 ENAME 집합과 부서번호를 출력하라

Mongo DB Aggregation pipeline

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
db.employee.aggregate(
    [ 
        { 
            $match : { 
                deptId : {
                	$in: [20, 30]
                }
            } 
        },
        { 
            $group : {
            	_id: "$deptId",
                enames: {
                    $addToSet: "$ename"
                }
        	}
        },
        {
            $project : {
                _id : 0,
                deptId : "$_id",
                enames : 1
            }
        }
    ]
);

Spring Data MongoDB를 이용한 Java Code

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
@Autowired
    private MongoTemplate mongoTemplate;

    /**
     * 20 번 및 30 번 부서에서 근무하는 모든 사원들의 ENAME 집합과 부서번호를 출력하라
     * @param deptNos
     * @return
     */
    public List<UserListByDeptNo> getUserListByDeptNo(List<Integer> deptNos) {

        //match
        Criteria criteria = new Criteria().where("deptId").in(deptNos);
        MatchOperation matchOperation = Aggregation.match(criteria);

        //group
        GroupOperation groupOperation = Aggregation.group("deptId")
                                                   .addToSet("ename").as("enames");

        //projection
        ProjectionOperation projectionOperation = Aggregation.project("enames")
                                                             .and(previousOperation()).as("deptId");

        //aggrgation
        AggregationResults<UserListByDeptNo> aggregate =
                this.mongoTemplate.aggregate(newAggregation(matchOperation, groupOperation, projectionOperation),
                                             Employee.class,
                                             UserListByDeptNo.class);

        return aggregate.getMappedResults();
    }

문제2

부서별 연봉합계 순위를 랭킹하여라

Mongo DB Aggregation pipeline

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
db.employee.aggregate(
 [ 
     { 
         "$group" : {
            "_id" : { "deptId" : "$deptId" , "deptName" : "$deptName"}, 
            "totalSal" : { "$sum" : "$sal"}
         }
     } , 
     { "$sort" : { "totalSal" : -1}} , 
     { 
         "$project" : { 
             "deptId" : "$_id.deptId" , 
             "deptName" : "$_id.deptName" , 
             "totalSal" : 1
     	}
     }
 ]
)

Spring Data MongoDB를 이용한 Java Code

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
public List<SalRankByDept> getSalRankByDepts() {

       //Group
       GroupOperation groupOperation = Aggregation.group("deptId", "deptName")
               .sum("sal").as("totalSal");
       //Sort
       SortOperation sortOperation = Aggregation.sort(Sort.Direction.DESC, "totalSal");

       //Projection
       ProjectionOperation projectionOperation = Aggregation.project("deptId", "deptName","totalSal");

       //aggrgation
       AggregationResults<SalRankByDept> aggregate =
               this.mongoTemplate.aggregate(newAggregation(groupOperation, sortOperation, projectionOperation),
                       Employee.class,
                       SalRankByDept.class);

       return aggregate.getMappedResults();
   }

삽질 끝판왕 도전기

위의 예제 코드 2개를 보면 특이한 점이 한가지 있습니다.
바로 Projection Operation 부분이 살짝 다른데요.

1
2
 //projection
ProjectionOperation projectionOperation = Aggregation.project("enames").and(previousOperation()).as("deptId");

1
2
//Projection
ProjectionOperation projectionOperation = Aggregation.project("deptId", "deptName","totalSal");

위의 코드에서는 grouping key에 대해 조회 할 때

.and(previousOperation()).as("deptId") 라고 and 메서드에 previousOperation() 라는 메서드를 적어주었습니다.
두번째 코드에서는 그냥 grouping Key를 projection field에 나열하였습니다.

무슨 차이일까요?

  • 첫번째 코드는 grouping key가 1개이다.
  • 두번째 코드는 grouping key가 2개이다.

위와 같은 차이가 있습니다.

만약에 1번 코드를 2번처럼 사용한다면

1
ProjectionOperation projectionOperation = Aggregation.project("deptId", "enames");

이와 같이 사용할 수 있을 것입니다.
위의 코드로 수정하고 프로그램을 실행해 보면...

1
Caused by: java.lang.IllegalArgumentException: Parameter deptId must not be null!

라는 메세지가 나오면서 런타임 예외를 던집니다. 뭐 때문에 나는 발생하는 예외 일까요?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
public Document toDocument(AggregationOperationContext context) {
    Document operationObject = new Document();
    if (this.idFields.exposesNoNonSyntheticFields()) {
        operationObject.put("_id", (Object)null);
    } else if (this.idFields.exposesSingleNonSyntheticFieldOnly()) {
        FieldReference reference = context.getReference((Field)this.idFields.iterator().next());
        operationObject.put("_id", reference.toString());
    } else {
        Document inner = new Document();
        Iterator var4 = this.idFields.iterator();

        while(var4.hasNext()) {
            ExposedField field = (ExposedField)var4.next();
            FieldReference reference = context.getReference(field);
            inner.put(field.getName(), reference.toString());
        }

        operationObject.put("_id", inner);
    }

    Iterator var8 = this.operations.iterator();

    while(var8.hasNext()) {
        GroupOperation.Operation operation = (GroupOperation.Operation)var8.next();
        operationObject.putAll(operation.toDocument(context));
    }

    return new Document("$group", operationObject);
}

원인은 GroupOperation 내부에 있습니다.
Aggregation 클래스들의 toDocument 메서드는 MongoDB에 보낼 실제 명령어 구조를 짜는 메서드입니다.

  • 첫 번째 if 조건인 this.idFields.exposesNoNonSyntheticFields()은 idFields.isEmpty() 인 경우를 체크 합니다.
    • Group key가 없는 경우는 _id 필드가 null이 되어집니다.
  • 두 번째 if 조건인 this.idFields.exposesSingleNonSyntheticFieldOnly() 은 group key가 1개인 경우를 체크 합니다.
    • group key가 1개인 경우에는 group key 필드에 대한 필드명이 _id 로 표현되어 다음 파이프라인에서 사용됩니다.
    • operationObject.put("_id", reference.toString()); 여기서 _id에 대한 타입은 String 으로 결정나기 때문에
      다음 파이프라인에서 _id.field와 같은 행위를 할 수 없게 됩니다.
    • 따라서 {_id : "$deptId"}로 BSON이 생성되기 때문에 다음 파이프라인인 Projection에서는 deptId인 필드는 찾을 수 없게 되는 것입니다.
  • 마지막 else 조건은 group key가 여러 개인 경우에 대해 Document 객체에 key값을 매핑시킵니다.
    • 다음 파이프라인에서 _id.field와 같은 형태로 접근이 가능하기 때문에 group key가 여러개 인 경우에는
      projection operation에서 group key만 써줘도 자연스럽게 표현이 됩니다.
    • 내부적으로는 {deptId : "$_id.deptId", deptName: "$_id.deptName"} 과 같은 형태로 사용 됩니다.
MongoDB